基本介紹
內容簡介,圖書目錄,
內容簡介
機器學習是關於從數據中建立預測或描述模型，以提升機器解決問題能力的學科。在建立模型後，需要採用適當的最佳化算法來求解模型的參數，因此最佳化算法是機器學習的重要組成部分。但是傳統的最佳化算法並不完全適用於機器學習，因為通常來說機器學習模型的參數維度很高或涉及的樣本數巨大，這使得一階最佳化算法在機器學習中占據主流地位。
本書概述了機器學習中加速一階最佳化算法的新進展。書中全面介紹了汗旋頸各種情形下的加速一階最佳化算法，包括確定性和隨機性的算法、同步和異步的算法，以求解帶約束的問題和無約束的問題、凸問題和非凸問題，對算法思想進行了深入的解讀，並對其收斂速度提供了詳細的證明。
圖書目錄
推薦序一
推薦序二
推薦序三
中文版前言
英文版前言
致謝
作者介紹
符號表
第 1 章 緒論 1
1.1 機器學習中的最佳化問題舉例1
1.1.1 正則化的經驗損失雅轎妹模型 1
1.1.2 矩陣填充及低秩學習模型3
1.2 一階最佳化算法 3
1.3 加速算法中的代表性工趨櫻精格作綜述 4
1.4 關於本書 7
參考文獻7
第 2 章 無約束凸最佳化中的加速算法 14
2.1 梯度下降法 14
2.2 重球法 15
2.3 加速梯度法 16
2.4 求解複合凸最佳化問題的加速梯度法 23
2.4.1 第一種 Nesterov 加速鄰近梯度法 23
2.4.2 第二種 Nesterov 加速鄰近梯度法 27
2.4.3 第三種 Nesterov 加速鄰近梯度法 31
2.5 非精確加速鄰近梯度法 33
2.5.1 非精確加速梯度法 42
2.5.2 非精確加速鄰汗阿近點法 42
2.6 重啟策略 43
2.7 平滑策略 45
2.8 高階加速方法 50
2.9 從變分的角度解釋加速現象55
參考文獻60
第 3 章 帶約束凸最佳化中的加速算法 63
3.1 線性等式約束問題的一些有用結論 63
3.2 加速罰函式法 66
3.2.1 一般凸目標函式 71
3.2.2 強凸目標函式71
3.3 加速拉格朗日乘子法 72
3.3.1 原始問題的講章局解74
3.3.2 加速增廣拉格朗日乘子法76
3.4 交替方向乘子法及非遍歷意義下的加速算法 77
3.4.1 情形 1：一般凸和非光滑目標函式滲構想立 82
3.4.2 情形 2：強凸非光滑目標函式 83
3.4.3 情形 3：一般凸和光滑目標函式 85
3.4.4 情形 4：強凸和光滑目標函式 87
3.4.5 非遍歷意義收斂速度 88
3.5 原始–對偶算法98
3.5.1 情形 1：兩個函式均非強凸 100
3.5.2 情形 2：只有一個函式強凸 101
3.5.3 情形 3：兩個函式均強凸103
3.6 Frank-Wolfe 算法 104
參考文獻108
第 4 章 非凸最佳化中的加速梯度算法 112
4.1 帶衝量的鄰近梯度法 112
4.1.1 收斂性理論 113
4.1.2 單調加速鄰近梯度法 120
4.2 快速收斂到臨界點 120
4.2.1 能夠檢測強凸性質的 AGD121
4.2.2 負曲率下降算法 123
4.2.3 非凸加速算法125
4.3 快速逃離鞍點 128
4.3.1 幾乎凸的情形128
4.3.2 完全非凸情形130
4.3.3 非凸加速梯度下降法 131
參考文獻136
第 5 章 加速隨機算法 138
5.1 各自凸情況 139
5.1.1 加速隨機坐標下降算法 140
5.1.2 方差縮減技巧基礎算法 147
5.1.3 加速隨機方差縮減方法 152
5.1.4 黑盒加速算法158
5.2 各自非凸情況 160
5.3 非凸情況 166
5.3.1 隨機路徑積分差分估計子167
5.3.2 衝量加速 173
5.4 帶約束問題 174
5.5 無窮情況 197
參考文獻200
第 6 章 加速並行算法 202
6.1 加速異步算法 202
6.1.1 異步加速梯度下降算法 203
6.1.2 異步加速隨機坐標下降算法 215
6.2 加速分散式算法227
6.2.1 中心化模式 227
6.2.2 去中心化模式232
參考文獻243
第 7 章 總結 246
參考文獻247
附錄 A 數學基礎 249
A.1 代數與機率 249
A.2 凸分析 250
A.3 非凸分析 257
參考文獻259
縮略語表260
索引 262
2.4.2 第二種 Nesterov 加速鄰近梯度法 27
2.4.3 第三種 Nesterov 加速鄰近梯度法 31
2.5 非精確加速鄰近梯度法 33
2.5.1 非精確加速梯度法 42
2.5.2 非精確加速鄰近點法 42
2.6 重啟策略 43
2.7 平滑策略 45
2.8 高階加速方法 50
2.9 從變分的角度解釋加速現象55
參考文獻60
第 3 章 帶約束凸最佳化中的加速算法 63
3.1 線性等式約束問題的一些有用結論 63
3.2 加速罰函式法 66
3.2.1 一般凸目標函式 71
3.2.2 強凸目標函式71
3.3 加速拉格朗日乘子法 72
3.3.1 原始問題的解74
3.3.2 加速增廣拉格朗日乘子法76
3.4 交替方向乘子法及非遍歷意義下的加速算法 77
3.4.1 情形 1：一般凸和非光滑目標函式 82
3.4.2 情形 2：強凸非光滑目標函式 83
3.4.3 情形 3：一般凸和光滑目標函式 85
3.4.4 情形 4：強凸和光滑目標函式 87
3.4.5 非遍歷意義收斂速度 88
3.5 原始–對偶算法98
3.5.1 情形 1：兩個函式均非強凸 100
3.5.2 情形 2：只有一個函式強凸 101
3.5.3 情形 3：兩個函式均強凸103
3.6 Frank-Wolfe 算法 104
參考文獻108
第 4 章 非凸最佳化中的加速梯度算法 112
4.1 帶衝量的鄰近梯度法 112
4.1.1 收斂性理論 113
4.1.2 單調加速鄰近梯度法 120
4.2 快速收斂到臨界點 120
4.2.1 能夠檢測強凸性質的 AGD121
4.2.2 負曲率下降算法 123
4.2.3 非凸加速算法125
4.3 快速逃離鞍點 128
4.3.1 幾乎凸的情形128
4.3.2 完全非凸情形130
4.3.3 非凸加速梯度下降法 131
參考文獻136
第 5 章 加速隨機算法 138
5.1 各自凸情況 139
5.1.1 加速隨機坐標下降算法 140
5.1.2 方差縮減技巧基礎算法 147
5.1.3 加速隨機方差縮減方法 152
5.1.4 黑盒加速算法158
5.2 各自非凸情況 160
5.3 非凸情況 166
5.3.1 隨機路徑積分差分估計子167
5.3.2 衝量加速 173
5.4 帶約束問題 174
5.5 無窮情況 197
參考文獻200
第 6 章 加速並行算法 202
6.1 加速異步算法 202
6.1.1 異步加速梯度下降算法 203
6.1.2 異步加速隨機坐標下降算法 215
6.2 加速分散式算法227
6.2.1 中心化模式 227
6.2.2 去中心化模式232
參考文獻243
第 7 章 總結 246
參考文獻247
附錄 A 數學基礎 249
A.1 代數與機率 249
A.2 凸分析 250
A.3 非凸分析 257
參考文獻259
縮略語表260
索引 262
