java實(shí)現(xiàn)隨機(jī)森林RandomForest的示例代碼

更新時(shí)間：2017年08月24日 10:54:16 作者：九佾

本篇文章主要介紹了java實(shí)現(xiàn)隨機(jī)森林RandomForest的示例代碼，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧

隨機(jī)森林是由多棵樹(shù)組成的分類(lèi)或回歸方法。主要思想來(lái)源于Bagging算法，Bagging技術(shù)思想主要是給定一弱分類(lèi)器及訓(xùn)練集，讓該學(xué)習(xí)算法訓(xùn)練多輪，每輪的訓(xùn)練集由原始訓(xùn)練集中有放回的隨機(jī)抽取，大小一般跟原始訓(xùn)練集相當(dāng)，這樣依次訓(xùn)練多個(gè)弱分類(lèi)器，最終的分類(lèi)由這些弱分類(lèi)器組合，對(duì)于分類(lèi)問(wèn)題一般采用多數(shù)投票法，對(duì)于回歸問(wèn)題一般采用簡(jiǎn)單平均法。隨機(jī)森林在bagging的基礎(chǔ)上，每個(gè)弱分類(lèi)器都是決策樹(shù)，決策樹(shù)的生成過(guò)程中中，在屬性的選擇上增加了依一定概率選擇屬性，在這些屬性中選擇最佳屬性及分割點(diǎn)，傳統(tǒng)做法一般是全部屬性中去選擇最佳屬性，這樣隨機(jī)森林有了樣本選擇的隨機(jī)性，屬性選擇的隨機(jī)性，這樣一來(lái)增加了每個(gè)分類(lèi)器的差異性、不穩(wěn)定性及一定程度上避免每個(gè)分類(lèi)器的過(guò)擬合（一般決策樹(shù)有過(guò)擬合現(xiàn)象），由此組合分類(lèi)器增加了最終的泛化能力。下面是代碼的簡(jiǎn)單實(shí)現(xiàn)

/**
 * 隨機(jī)森林 回歸問(wèn)題
 * @author ysh  1208706282
 *
 */
public class RandomForest {
  List<Sample> mSamples;
  List<Cart> mCarts;
  double mFeatureRate;
  int mMaxDepth;
  int mMinLeaf;
  Random mRandom;
  /**
   * 加載數(shù)據(jù)  回歸樹(shù)
   * @param path
   * @param regex
   * @throws Exception
   */
  public void loadData(String path,String regex) throws Exception{
    mSamples = new ArrayList<Sample>();
    BufferedReader reader = new BufferedReader(new FileReader(path));
    String line = null;
    String splits[] = null;
    Sample sample = null;
    while(null != (line=reader.readLine())){
      splits = line.split(regex);
      sample = new Sample();
      sample.label = Double.valueOf(splits[0]);
      sample.feature = new ArrayList<Double>(splits.length-1);
      for(int i=0;i<splits.length-1;i++){
        sample.feature.add(new Double(splits[i+1]));
      }
      mSamples.add(sample);
    }
    reader.close();
  }
  public void train(int iters){
    mCarts = new ArrayList<Cart>(iters);
    Cart cart = null;
    for(int iter=0;iter<iters;iter++){
      cart = new Cart();
      cart.mFeatureRate = mFeatureRate;
      cart.mMaxDepth = mMaxDepth;
      cart.mMinLeaf = mMinLeaf;
      cart.mRandom = mRandom;
      List<Sample> s = new ArrayList<Sample>(mSamples.size());
      for(int i=0;i<mSamples.size();i++){
        s.add(mSamples.get(cart.mRandom.nextInt(mSamples.size())));
      }
      cart.setData(s);
      cart.train();
      mCarts.add(cart);
      System.out.println("iter: "+iter);
      s = null;
    }
  }
  /**
   * 回歸問(wèn)題簡(jiǎn)單平均法 分類(lèi)問(wèn)題多數(shù)投票法
   * @param sample
   * @return
   */
  public double classify(Sample sample){
    double val = 0;
    for(Cart cart:mCarts){
      val += cart.classify(sample);
    }
    return val/mCarts.size();
  }
  /**
   * @param args
   * @throws Exception 
   */
  public static void main(String[] args) throws Exception {
    // TODO Auto-generated method stub
    RandomForest forest = new RandomForest();
    forest.loadData("F:/2016-contest/20161001/train_data_1.csv", ",");
    forest.mFeatureRate = 0.8;
    forest.mMaxDepth = 3;
    forest.mMinLeaf = 1;
    forest.mRandom = new Random();
    forest.mRandom.setSeed(100);
    forest.train(100);
    
    List<Sample> samples = Cart.loadTestData("F:/2016-contest/20161001/valid_data_1.csv", true, ",");
    double sum = 0;
    for(Sample s:samples){
      double val = forest.classify(s);
      sum += (val-s.label)*(val-s.label);
      System.out.println(val+" "+s.label);
    }
    System.out.println(sum/samples.size()+" "+sum);
    System.out.println(System.currentTimeMillis());
  }

}

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: