機器學習中的一階與隨機最佳化方法

《機器學習中的一階與隨機最佳化方法》是2023年機械工業出版社出版的圖書。

基本介紹

• 中文名：機器學習中的一階與隨機最佳化方法
• 出版時間：2023年6月1日
• 出版社：機械工業出版社
• ISBN：9787111724254

內容簡介

本書對最佳化算法的理論和研究進展進行了系統的梳理，旨在幫助讀者快速了解該領域的發展脈絡，掌握必要的基礎知識，進而推進前沿研究工作。本書首先介紹流行的機器學習模式，對重要的最佳化理論進行回顧，接著重點討論已廣泛套用於最佳化的算法，以及有潛力套用於大規模機器學習和數據分析的算法，包括一階方法、隨機最佳化方法、隨機和分散式方法、非凸隨機最佳化方法、無投影方法、運算元滑動和分散方法等。

本書適合對機器學習、人工智慧和數學編程感興趣的讀者閱讀參考。

圖書目錄

Firstorder and Stochastic Optimization Methods for Machine Learning

譯者序

前言

第1章　機器學習模型 1　1

.1　線性回歸1

　1.2　邏輯回歸3

　1.3　廣義線性模型5

　　1.3.1　指數分布族5

　　1.3.2　模型構建5

　1.4　支持向量機8

　1.5　正則化、Lasso回歸和嶺回歸11

　1.6　群體風險最小化11

　1.7　神經網路12

　1.8　練習和注釋14

第2章　凸最佳化理論15　

2.1　凸集15

　　2.1.1　定義和例子15

　　2.1.2　凸集上的投影16

　　2.1.3　分離定理17

　2.2　凸函式20

　　2.2.1　定義和例子20

　　2.2.2　可微凸函式21

　　2.2.3　不可微凸函式21

　　2.2.4　凸函式的Lipschitz連續性23

　　2.2.5　凸最佳化的最優性條件24

　　2.2.6　表示定理與核25

　2.3　拉格朗日對偶26

　　2.3.1　拉格朗日函式與對偶性26

　　2.3.2　強對偶性的證明27

　　2.3.3　鞍點29

　　2.3.4　KarushKuhnTucker條件29

　　2.3.5　對偶支持向量機31

　2.4　LegendreFenchel共軛對偶32

　　2.4.1　凸函式的閉包32

　　2.4.2　共軛函式33

　2.5　練習和注釋35

第3章　確定性凸最佳化37　

3.1　次梯度下降法37

　　3.1.1　一般非光滑凸問題38

　　3.1.2　非光滑強凸問題39

　　3.1.3　光滑凸問題41

　　3.1.4　光滑強凸問題42

　3.2　鏡面下降法43

　3.3　加速梯度下降法46

　3.4　加速梯度下降法的博弈論解釋50

　3.5　非光滑問題的光滑方案52

　3.6　鞍點最佳化的原始-對偶方法54

　　3.6.1　一般雙線性鞍點問題57

　　3.6.2　光滑雙線性鞍點問題57

　　3.6.3　光滑強凸雙線性鞍點問題58

　　3.6.4　線性約束問題59

　3.7　乘子交替方向法61

　3.8　變分不等式的鏡面-鄰近方法63

　　3.8.1　單調變分不等式64

　　3.8.2　廣義單調變分不等式66

　3.9　加速水平法68

　　3.9.1　非光滑、光滑和弱光滑問題68

　　3.9.2　鞍點問題76

　3.10　練習和注釋81

第4章　隨機凸最佳化83　

4.1　隨機鏡面下降法83

　　4.1.1　一般非光滑凸函式84

　　4.1.2　光滑凸問題87

　　4.1.3　準確性證書90

　4.2　隨機加速梯度下降法95

　　4.2.1　無強凸性問題100

　　4.2.2　非光滑強凸問題103

　　4.2.3　光滑強凸問題104

　　4.2.4　準確性證書109

　4.3　隨機凹凸鞍點問題111

　　4.3.1　通用算法框架112

　　4.3.2　極小極大隨機問題115

　　4.3.3　雙線性矩陣博弈117

　4.4　隨機加速原始-對偶方法119

　　4.4.1　加速原始-對偶方法121

　　4.4.2　隨機雙線性鞍點問題129

　4.5　隨機加速鏡面-鄰近方法140

　　4.5.1　算法框架141

　　4.5.2　收斂性分析142

　4.6　隨機塊鏡面下降方法154

　　4.6.1　非光滑凸最佳化155

　　4.6.2　凸複合最佳化164

　4.7　練習和注釋171

第5章　凸有限和及分散式最佳化173　

5.1　隨機原始-對偶梯度法173

　　5.1.1　多人共軛空間博弈的重新表述176

　　5.1.2　梯度計算的隨機化177

　　5.1.3　強凸問題的收斂性179

　　5.1.4　隨機化方法的複雜度下界189

　　5.1.5　對非強凸性問題的推廣193

　5.2　隨機梯度外插法197

　　5.2.1　梯度外插方法198

　　5.2.2　確定性有限和問題204

　　5.2.3　隨機有限和問題213

　　5.2.4　分散式實現218

　5.3　降低方差的鏡面下降法220

　　5.3.1　無強凸性的光滑問題223

　　5.3.2　光滑和強凸問題225

　5.4　降低方差加速梯度下降法226

　　5.4.1　無強凸性的光滑問題229

　　5.4.2　光滑和強凸問題233

　　5.4.3　滿足錯誤界條件的問題238

　5.5　練習和注釋240

第6章　非凸最佳化241　

6.1　無約束非凸隨機最佳化法241

　　6.1.1　隨機一階方法243

　　6.1.2　隨機零階方法251

　6.2　非凸隨機複合最佳化法260

　　6.2.1　鄰近映射的一些性質261

　　6.2.2　非凸鏡面下降法263

　　6.2.3　非凸隨機鏡面下降法264

　　6.2.4　複合問題的隨機零階方法275

　6.3　非凸隨機塊鏡面下降法279

　6.4　非凸隨機加速梯度下降法286

　　6.4.1　非凸加速梯度下降法287

　　6.4.2　隨機加速梯度下降法298

　6.5　非凸降低方差鏡面下降法310

　　6.5.1　確定性問題的基本求解方案310

　　6.5.2　隨機最佳化問題的推廣313

　6.6　隨機化加速鄰近點方法316

　　6.6.1　非凸有限和問題317

　　6.6.2　非凸多塊問題327

　6.7　練習和注釋337

第7章　無投影方法 338　

7.1　條件梯度法338

　　7.1.1　經典條件梯度