任务一 随机森林算法梳理

任务一 随机森林算法梳理

任务一 随机森林算法梳理

• 目录
• • 1.集成学习概念
  • 2.个体学习器概念
  • 3.boosting bagging
  • • 3.1boosting
    • 3.2baggging
  • 4结合策略(平均法，投票法，学习法)
  • • 4.1平均法
    • 4.2投票法
    • 4.3学习法
  • 5.随机森林思想
  • 6.随机森林的推广
  • 7.随机森林优缺点
  • 8.sklearn参数
  • • 参数
  • 9.应用场景

目录

1. 集成学习概念
2. 个体学习器概念
3. boosting bagging
4. 结合策略(平均法，投票法，学习法)
5. 随机森林思想
6. 随机森林的推广
7. 优缺点
8. sklearn参数2
9. 应用场景

1.集成学习概念

集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。一般情况下，集成学习中的多个学习器都是同质的"弱学习器"。

集成学习的主要思路是先通过一定的规则生成多个学习器，再采用某种集成策略进行组合，最后综合判断输出最终结果。一般而言，通常所说的集成学习中的多个学习器都是同质的"弱学习器"。基于该弱学习器，通过样本集扰动、输入特征扰动、输出表示扰动、算法参数扰动等方式生成多个学习器，进行集成后获得一个精度较好的"强学习器"。
随着集成学习研究的深入，其广义的定义逐渐被学者们所接受，它是指对多个学习器集合采用学习的方式，而不对学习器性质加以区分。根据这一定义，多学习器系统 (multi-classifier system) 、多专家混合 (mixture of experts) 以及基于委员会的学习 (committee-based learning)等多个领域都可以纳入到集成学习中。但当前仍然以同质分类器的集成学习研究居多。

2.个体学习器概念

通常由一个现有的学习算法从训练数据产生，例如C4.5决策树算法、BP神经网络算法等，此时集成中只包含同种类型的个体学习器。