深入理解GBDT、XGBoost、LightGBM系列(二)

发布网友发布时间：2024-10-02 04:04

共1个回答

热心网友时间：2024-11-23 05:04

深入理解GBDT原理后，XGBoost的跟进学习变得相对简单，尽管基础框架保持一致，但在具体实现上如树结构分值计算有差异。参考论文，你会发现XGBoost中的gamma、eta等参数与公式直接对应。

XGBoost的流行程度无需赘述，即使在2021年的竞赛分享中，多数人仍首选树模型（XGBoost和LightGBM）解决问题，因其易用性和优秀性能。有了上文关于boosting算法的加性模型理解，我们将结合XGBoost的经典论文，深入探讨其实现细节，以期提供更深入的见解。

遵循经典机器学习思路，本文将基于论文和参考资料[1]，逐步揭示XGBoost框架中的智慧，从模型构建到算法优化。

模型

首先，定义使用回归树的梯度提升算法，数据集包含n个样本，每个样本有m个特征。加性模型预测如公式(1)，通过每个树结构q和叶子权重w构建模型，整个过程可以用图示。

回归树的叶子节点分值用公式表示，预测值则是所有叶子节点的加总。目标函数包括正则项，以避免过拟合，如公式(2)所示。

在XGBoost中，通过前向分步法，以公式(3)表示预测值的迭代过程，损失函数在此基础上演化。损失函数优化采用二阶泰勒展开，引入梯度近似，目标函数仅依赖于一阶和二阶导数，如公式(8)所示。

特征选择和切分点选择依赖于公式(13)，通过计算增益来决定最佳*。XGBoost中的gamma参数与这个过程紧密相关，如图所示。

防止过拟合的策略包括剪枝和列采样，剪枝参数eta类似梯度下降的步长。XGBoost的*算法有精确和近似两种，后者支持分布式训练和特征处理。

论文中详细阐述了XGBoost的高效系统设计，如列块的并行处理、精确和近似算法的优化策略，以及对硬盘和内存的高效利用。这些优化使得XGBoost在实际应用中表现出色。

最后，本文大量引用了[1]，深度解析了关键概念，旨在帮助读者深入理解XGBoost的原理和实现。