集成学习——机器学习中的“屠龙宝刀”

集成学习方法是利用一系列学习器进行学习，再将学习结果整合，它像是某种优化手段和策略。
在机器学习的监督学习算法中，我们想得到的是一个稳定且在各方面表现都很好的模型。

但每每我们只能得到一些弱监督模型（在某些方面表现比较好），集成学习常日便是结合多个大略的弱机器学习算法，去做更准确的决策。

用俚语来讲，便是集众人聪慧去做相应的决策，个人的决策可能在某些方面有些不准确，但其他人可以改动他的决策，从而达到结果最优化。

一样平常来讲集成学习的关键有两点，一是如何构建不同的分类器，另一个是如何将不同分类器的结果进行领悟。

环绕着这两个核心问题，产生了很多算法，个中最具代表性、最被大家所熟知的便是Boosting、Bagging和Stacking。

集成学习的算法——Boosting

Boosting是一种提高任意给定学习算法准确度的方法。
它的思想起源于 Valiant提出的 PAC ( Probably Approximately Correct)学习模型。

Boosting是一种框架算法,紧张是通过对样本集的操作得到样本子集,然后用弱分类算法在样本子集上演习天生一系列的基分类器。

Adaboost是boosting中较有代表性的算法，Adaboost是一种迭代算法，通过凑集弱分类器，进行演习构成强分类器。

Adaboost算法的基本流程如下：

A．用均匀分配的办法初始化演习数据B．选择基本分类器C．打算分类器的系数D．更新演习数据的权重分配E．组合分类器，优化结果

普通来讲便是由偏差率求得分类器系数，由分类器系数得到组合办法。

集成学习的算法——Bagging

根据个体学习器的天生办法不同，集成学习的算法分为串行化方法和并行化方法，串行化方法的紧张代表便是上面所讲的Boosting——由于个体学习器之间存在强依赖关系，以是只能依次进行。

串行化方法的紧张代表便是我们现在要讲的Bagging（bootstrap aggregating简写），由于个体学习器之间的关系依赖没有那么强烈，以是同时进走运算。

打个比方，Boosting更像是我们小时候吃糖葫芦那样，只能先吃掉上面的一颗，才能吃到下面的一颗，而Bagging就像是我们吃面条，可以同时吃很多根，不存在只能先吃哪根，再吃其余一根。

Bagging的采样方法是自助采样法，用的是有放回的采样。

一样平常步骤都是先抽取一定量的样本，再打算想得到的统计量T，重复多次N，得到N个统计量，末了根据统计量，打算统计量的置信区间。

举例解释：比如数据集里有10000个数据，我们随意从中抽取100个，得出统计量T1，然后将这100个数据放回到数据集里，再从中抽取100个数据，得出统计量T2，如此循环反复N次，得出统计量TN，打算出末了的置信区间。

名词阐明：置信区间是指由样本统计量所布局的总体参数的估计区间

随机森林

随机森林（Random Forest）是Bagging的扩展变体。
随机森林在以决策树为基学习器构建Bagging集成的根本上，进一步在决策树的演习过程中引入了随机属性选择。

大略来说，随机森林相称于Bagging的升级版，原来的Bagging会在决策树的所有属性中，选择最优的那一个，而随机森林是从相应节点的随机属性中，选择一个最优属性。

比如森林中有10万棵树，要从中选择高于10米的树，Bagging的做法便是重复统计多次，从而找到高于十米的树的数量区间。

而随机森林的做法是随机将10万棵树分成10份，每份1万棵。
对付这10份，每份都有一个输出结果，赶过10米或者低于10米。
如果赶过10米的种别多，则整体是高于10米的，反之亦然。

在概率学中，样本容量越大，结果就越靠近，以是随机森林能够在演习效果更高效，打算开销更小的情形下，得出末了结果。

值得把稳的是在随机森林中，有两个采样过程是随机的，第一个是输入数据是随机的，它是从整体性演习数据中，选取一部分作为决策树的构建，是有放回的选取。
（这就担保每棵树都不是全部的样本，不随意马虎涌现问题）。

第二个是每个决策树构建所需特色是从整体特色集中随机选取的，采样的特色远远小于整体特色。

集成学习的算法——Stacking

比较较于Bagging和Boosting，Stacking提到的较少，Stacking算法是演习出多个小分类器，把这些小分类器的输出重新组合成为一个新的演习集，演习出来一个更高层次的分类器，以得到终极的结果。

Stacking算法在实际运用中，常日利用logistic回归作为组合策略。

Stacking 是一种集成学习技能，通过元分类器或元回归聚合多个分类或回归模型。

根本层次模型（level model）基于完全的演习集进行演习，然后元模型基于根本层次模型的输出进行演习。