再读xgboost和LightGBM
发布网友
发布时间：2024-10-02 04:04
共1个回答
热心网友
时间：2024-12-14 04:35
提升树模型可以表示为决策树的加法模型。
每棵树都是拟合上一轮提升树模型，与真实标签的残差。
其中[公式]表示决策树，[公式]表示第[公式]棵树的参数，[公式]为树的个数。
输入：训练数据集[公式]
[公式][公式]为输出空间。
输出：提升树[公式]
[公式]
3. M次迭代之后得到提升树：
[公式]
对于提升树模型，每一个决策树[公式]拟合的值，都是上一轮提升树模型[公式]未能完全拟合的残差。
4. 极端梯度提升(Xgboost)
5. 轻量级梯度(LightGBM)
