XGBoost是一個最佳化的分散式梯度增強庫,旨在實現高效,靈活和便攜。它在 Gradient Boosting 框架下實現機器學習算法。XGBoost提供並行樹提升(也稱為GBDT,GBM),可以快速準確地解決許多數據科學問題。相同的代碼在主要的分散式環境(Hadoop,SGE,MPI)上運行,並且可以解決數十億個示例之外的問題。 基本介紹 外文名:XGBoost定義:一個最佳化的分散式梯度增強庫目的:實現高效,靈活和便攜 釋義XGBoost是對梯度提升算法的改進,求解損失函式極值時使用了牛頓法,將損失函式泰勒展開到二階,另外損失函式中加入了正則化項。訓練時的目標函式由兩部分構成,第一部分為梯度提升算法損失,第二部分為正則化項。損失函式定義為其中n為訓練函式樣本數,l是對單個樣本的損失,假設它為凸函式,為模型對訓練樣本的預測值,為訓練樣本的真實標籤值。正則化項定義了模型的複雜程度:其中,和為人工設定的參數,w為決策樹所有葉子節點值形成的向量,T為葉子節點數。正則化項