机器学习GBDT和XGBoosts有何区别?

发布网友发布时间：2022-04-11 05:25

共2个回答

懂视网时间：2022-04-11 09:46

GBDT基于GB算法。GB算法的主要思想是，每次建立模型是在之前建立模型损失函数的梯度下降方向。损失函数是评价模型性能(一般为拟合程度+正则项)，认为损失函数越小，性能越好。而让损失函数持续下降，就能使得模型不断调整提升性能，其最好的方法就是使损失函数沿着梯度方向下降。GBDT再此基础上，基于负梯度(当损失函数为均方误差的时候，可以看作是残差)做学习。

2.原理

类似于随机森林回归，随机森林使用的bagging,gdbt使用的是boosting方式，

通过不断迭代真实值与预测值的残差来产生新的回归树，

公式：

技术图片

vm表示权重，这里是固定超参数，预测时只要做反运算即可，公式：

技术图片

过程：

(1).对于样本{X,Y}，首先生成截距b(可以是Y均值)，对所有样本Y0=Y-b

(2).以Y0为预测值生成回归树t0,Y1 = Y0 - learningRate*tree0.predict(X)，以Y1为预测值生成下一棵树,得出以下迭代公式：

Yi+1 = Yi - learningRate*treei.predict(X)

(3).重复步骤二，直至树的数目足够多为止

GDBT回归

标签：png 方向 apple 迭代 tin ace boost 运算 src

热心网友时间：2022-04-11 06:54

首先来了解一下boosting思想，每次训练单个弱分类器时，都将上一次分错的数据权重提高一点再进行当前单个弱分类器的学习，这样往后执行，训练出来的单个弱分类器就会越在意那些容易分错的点，最终通过加权求和的方式组合成一个最终的学习器，gradent boosting 是boosting的一种，每一次构建单个学习器时，是在之前建立的模型的损失函数的梯度下降方向， GB与Adaboost的区别在于：
AdaBoost是通过提升错分数据点的权重来定位模型的不足。
Gradient Boosting是通过算梯度（gradient）来定位模型的不足。
主要思想是，每一次建立单个学习器时，是在之前建立的模型的损失函数的梯度下降方向，损失函数越大，说明模型越容易出错，如果我们的模型能够让损失函数持续的下降，则说明我们的模型在不停的改进，而最好的方式就是让损失函数在其梯度方向上下降。
GBDT=GB+DT(decision tree),即基分类器为决策树时，这里的决策树是回归树。
Xgboost 是GB算法的高效实现，其中基分类器除了可以使CART也可以是线性分类器。
几大区别：
传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯帝回归或者线性回归
传统GBDT在优化时只用到了一阶导数，而xgboost对代价函数进行了二阶泰勒展开，用到了一阶和二阶导数
xgboost加入了正则项，防止过拟合
shrinkage，相当于学习率，在每完成一次迭代后，会乘上这个系数，削减每棵树的影响
列抽样，借鉴随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算。