基本介紹
- 中文名:次梯度法
- 外文名:Subgradient method
- 套用:凸函式最最佳化問題
- 分類:最最佳化算法
次梯度法是求解凸函式最最佳化(凸最佳化)問題的一種疊代法。次梯度法能夠用於不可微的目標函式。當目標函式可微時,對於無約束問題次梯度法與梯度下降法具有同樣的搜尋方向。雖然在實際的套用中,次梯度法比內點法和牛頓法慢得多,但是次梯...
次梯度 次梯度(subgradient)是1993年公布的數學名詞。公布時間 1993年,經全國科學技術名詞審定委員會審定發布。出處 《數學名詞》第一版。
7.2 凸規劃的次梯度法 7.3 凸規劃的割平面法 第8章 非光滑方程組及非線性互補問題 8.1 半光滑函式及性質 8.2 半光滑方程組的牛頓法 8.3 複合函式的牛頓法 8.4 擬可微方程組的牛頓法 8.5 非線性互補問題 第9章 控制系統的生存性 9.1 微分包含與生存性 9.2 生存性的判別 9.3 線性系統多面體...
舉例 以下問題都是凸最佳化問題,或可以通過改變變數而轉化為凸最佳化問題:最小二乘 線性規劃 線性約束的二次規劃 半正定規劃 方法 凸最佳化(凸最小化)問題可以用以下幾種方法求解:捆集法 次梯度法 內點法 凸最大化 通常凸最佳化的定義要求目標函式f在可行域內被最小化,而在某些的線性規劃問題中也會研究最大化。
提出了結合代理次梯度法的改進拉格朗日鬆弛算法,它要求近似求解鬆弛問題從而獲得乘子更新方向,以帶有限等待時間的動態混合流水車間調度問題為研究對象進行了套用研究。上述算法均通過仿真驗證了有效性。針對鬆弛問題或子問題含工件或工序優先權要求的工件問題,提出了基於混合前後向動態規劃的改進拉格朗日鬆弛算法,使其能處理...
三是提出互聯電網電壓穩定預防控制的分散式算法,採用拉格朗日鬆弛法處理少量線性耦契約束,採用次梯度法對乘子更新實現分區間協調。通過本項目的研究,為提高我國區域電網的電壓穩定監視與控制水平做出貢獻。結題摘要 當前互聯電網的電壓穩定評估與控制面臨很多難題。由於電網分層分區調度管理與市場運營,不但造成子網電壓穩定...
[6] 軒華,李冰. 基於異步次梯度法的LR算法及其在多階段HFSP的套用[J]. 運籌與管理,2015,24(6):121-127.國家自然科學基金委員會管理科學部重要期刊,A類 [7] 軒華,劉靜,李冰. 工件優先權圖為非連線圖且含環的單機總加權拖期調度問題[J]. 運籌與管理,2014,23(2):244-249.國家自然科學...
4.1梯度下降算法與次梯度下降算法71 4.2隨機梯度下降算法77 4.3牛頓疊代算法83 4.4坐標下降算法87 小結91 習題92 第5章Logistic回歸算法94 5.1Logistic回歸基本概念94 5.2Logistic回歸最佳化算法100 5.3分類問題的度量107 5.3.1準確率107 5.3.2精確率與召回率108 5.3.3ROC曲線及AUC度量112 5.4Softmax...
3.1 次梯度下降法37 3.1.1 一般非光滑凸問題38 3.1.2 非光滑強凸問題39 3.1.3 光滑凸問題41 3.1.4 光滑強凸問題42 3.2 鏡面下降法43 3.3 加速梯度下降法46 3.4 加速梯度下降法的博弈論解釋50 3.5 非光滑問題的光滑方案52 3.6 鞍點最佳化的原始-對偶方法54 3.6.1 一般...
8.4.2 次梯度下降法 246 8.5 尋找模型的弱點 251 8.5.1 泛化性實驗. 252 8.5.2 精確性實驗. 255 8.6 模型最佳化路徑的可視化. 255 8.7 模型的過擬合. 260 8.7.1 過擬合方案. 261 8.7.2 SGD 與過擬合 263 8.7.3 對於深層模型泛化的猜想. 264 8.8 總結. 265 8.9 參考文獻. 265 9 ...
6.3.1次梯度方法 6.3.2近似次梯度法和增量次梯度法 6.3.3割平面方法 6.3.4上升法和近似上升法 6.4分解方法 6.4.1耦契約束的拉格朗日鬆弛 6.4.2基於約束右側常數分解的方法 6.5注釋和參考資料 附錄 A數學背景 A.1向量和矩陣 A.2範數、數列、極限和連續性 A.3方陣和特徵值 A.4對稱和正定矩陣 A...