台大机器学习听课笔记---Random Forest 10-1

用Bagging的方式把一堆Decision Tree合起来---Random Forest






优点:






1. Bagging部分平行化，学习比较高效。

2. 继承了CART---DecisionTree的高效，继承了CART能处理多种class，多种特征（那几种？）。

3. 消除了CART对资料太敏感，容易overfit的缺陷。

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Bagging：

1.





1. 每次从总特征中选出一部分特征子集 ，即投影操作。

2. 特征子集基础上再re-sample，得到subspace，根据subspace里的特征进行切割，获得“小区”。

3. Bagging可以应用到除了CART外的其他算法中。

2.





注：P为投影矩阵，X为特征矩阵。
1.，Pi为投影向量。
2.通常选择的投影方式
即在Pi中只有相对较少个非零组成元素。（每次投影很少量的特征来进行切割）。
3.？
4.每一次要做Branch的时候都用一次新的。
Ps ：1.random不仅存在于Bagging过程中，也存在于CART的每一次Branch中。
2. Fun time：
Q：



A：



每次Branch过程和感知机比较类似。