GBDT

in 机器学习 with 0 comment view 47 times

GBDT.svg

GBDT的介绍:

GBDT属于boosting算法系列,同样拥有boosting的加性模型和前向算法的特点,而GBDT算法的其他特点主要的是拟合残差

1. GBDT树主要可以完成回归任务和分类任务

  1. 回归任务:

    • 使用cart来拟合前面的残差
      训练集是$x_i$,预测集是$r_{ti}$
    • 用前向算法拟合找到最合适的$c_{ti}$,该值将作为目标函数的权重
  2. 分类任务

    • GBDT如果用于分类任务,将退化成Adaboost算法

2. GBDT的回归和分类有什么区别

除了负梯度计算和叶子节点的最佳负梯度拟合的线性搜索,二元GBDT分类和GBDT回归算法过程相同

Responses