XGBoost

XGBoost是一個最佳化的分散式梯度增強庫，旨在實現高效，靈活和便攜。

它在 Gradient Boosting 框架下實現機器學習算法。XGBoost提供並行樹提升（也稱為GBDT，GBM），可以快速準確地解決許多數據科學問題。相同的代碼在主要的分散式環境（Hadoop，SGE，MPI）上運行，並且可以解決數十億個示例之外的問題。

基本介紹

• 外文名：XGBoost
• 定義：一個最佳化的分散式梯度增強庫
• 目的：實現高效，靈活和便攜

釋義

XGBoost是對梯度提升算法的改進，求解損失函式極值時使用了牛頓法，將損失函式泰勒展開到二階，另外損失函式中加入了正則化項。訓練時的目標函式由兩部分構成，第一部分為梯度提升算法損失，第二部分為正則化項。損失函式定義為

其中n為訓練函式樣本數，l是對單個樣本的損失，假設它為凸函式，為模型對訓練樣本的預測值，為訓練樣本的真實標籤值。正則化項定義了模型的複雜程度：

其中，和為人工設定的參數，w為決策樹所有葉子節點值形成的向量，T為葉子節點數。正則化項