《神經網路與深度學習》是2021年機械工業出版社出版的圖書。
基本介紹
- 中文名：神經網路與深度學習
- 出版時間：2021年8月1日
- 出版社：機械工業出版社
- ISBN：9787111686859
內容簡介,圖書目錄,作者簡介,
內容簡介
本書涵蓋了經典和現代的深度學習模型。章節分為三類:第1部分為神經網路的基礎。許多傳統的機器學習模型可以理解為神經網路的特殊情況。前兩章的重點是理解傳統機器學習和神經網路之間的關係。支持向量機、線性/邏輯回歸、奇異值分解、矩陣分解和推薦系統都是神經網路的特例。本書將這些方法與特徵工程方法如word2vec一起進行了研究。第2部分是神經網路的基本原理。訓練和正則化的詳細討論在第3章和第4章提供。第5章和第6章介紹了徑向基函式(RBF)網路和受限的玻爾茲曼機。第3部分是神經網路的高級主題:第7章和第8章討論了循環神經網路和卷積神經網路。第9章和第10章介紹了幾個高級主題，如深度強化學習、神經圖像機、Kohonen自組織映射和生成對抗網路。這本書是為研究生、研究人員和實踐者編寫的。大量的練習和一個解決方案手冊，以幫助在課堂教學。在可能的情況下，突出顯示以應用程式為中心的視圖，以便提供對每一類技術的實際用途的理解。
圖書目錄
譯者序
前言
致謝
作者簡介
第1章神經網路概論111簡介1
12神經網路的基本架構3
121單層計算網路：感知機3
122多層神經網路13
123多層網路即計算圖15
13利用反向傳播訓練神經網路16
14神經網路訓練中的實際問題19
141過擬合問題19
142梯度消失與梯度爆炸問題22
143收斂問題22
144局部最優和偽最優22
145計算上的挑戰23
15複合函式的能力之謎23
151非線性激活函式的重要性25
152利用深度以減少參數26
153非常規網路架構27
16常見網路架構28
161淺層模型模擬基礎機器學習方法28
162徑向基函式網路29
163受限玻爾茲曼機29
164循環神經網路30
165卷積神經網路31
166層次特徵工程與預訓練模型32
17高級主題34
171強化學習34
172分離數據存儲和計算34
173生成對抗網路35
18兩個基準35
181MNIST手寫數字資料庫35
182ImageNet資料庫36
19總結37
110參考資料說明37
1101視頻講座38
1102軟體資源39
111練習39
第2章基於淺層神經網路的機器學習41
21簡介41
22二分類模型的神經架構42
221複習感知機42
222最小二乘回歸44
223邏輯回歸47
224支持向量機49
23多分類模型的神經架構50
231多分類感知機51
232WestonWatkins支持向量機52
233多重邏輯回歸（softmax分類器）53
234套用於多分類的分層softmax54
24反向傳播可以用於特徵選擇和神經網路的可解釋性54
25使用自編碼器進行矩陣分解55
251自編碼器的基本原則55
252非線性激活函式59
253深度自編碼器60
254套用於離群點檢測62
255當隱藏層比輸入層維數高時63
256其他套用63
257推薦系統：行索引到行值的預測65
258討論67
26word2vec：簡單神經架構的套用67
261連續詞袋的神經嵌入68
262skipgram模型的神經嵌入70
263word2vec（SGNS）是邏輯矩陣分解74
264原始skipgram模型是多項式矩陣分解76
27圖嵌入的簡單神經架構76
271處理任意數量的邊78
272多項式模型78
273與DeepWalk和node2vec的聯繫78
28總結78
29參考資料說明79
210練習80
第3章深度神經網路的訓練8231簡介82
32反向傳播的詳細討論83
321計算圖抽象中的反向傳播83
322前來拯救的動態規劃87
323使用激活後變數的反向傳播88
324使用激活前變數的反向傳播89
325不同激活函式的更新示例91
326以向量為中心的反向傳播的解耦視圖92
327多輸出節點及隱藏節點下的損失函式94
328小批量隨機梯度下降95
329用於解決共享權重的反向傳播技巧96
3210檢查梯度計算的正確性97
33設定和初始化問題98
331調整超參數98
332特徵預處理99
333初始化100
34梯度消失和梯度爆炸問題101
341對梯度比例影響的幾何理解102
342部分解決：激活函式的選擇103
343死亡神經元和“腦損傷”104
35梯度下降策略105
351學習率衰減105
352基於動量的學習106
353參數特異的學習率108
354懸崖和高階不穩定性111
355梯度截斷112
356二階導數112
357Polyak平均118
358局部極小值和偽極小值119
36批歸一化120
37加速與壓縮的實用技巧123
371GPU加速123
372並行和分散式實現125
373模型壓縮的算法技巧126
38總結128
39參考資料說明128
310練習130
第4章讓深度學習器學會泛化132
41簡介132
42偏差方差權衡135
43模型調優和評估中的泛化問題138
431用留出法和交叉驗證法進行評估139
432大規模訓練中的問題140
433如何檢測需要收集更多的數據141
44基於懲罰的正則化141
441與注入噪聲的聯繫142
442L1正則化143
443選擇L1正則化還是L2正則化143
444對隱藏單元進行懲罰：學習稀疏表示144
45集成方法145
451裝袋和下採樣145
452參數模型選擇和平均146
453隨機連線刪除146
454Dropout147
455數據擾動集成149
46早停149
47無監督預訓練150
471無監督預訓練的變體153
472如何進行監督預訓練154
48繼續學習與課程學習154
481繼續學習155
482課程學習156
49共享參數156
410無監督套用中的正則化157
4101基於值的懲罰：稀疏自編碼器157
4102噪聲注入：去噪自編碼器157
4103基於梯度的懲罰：收縮自編碼器158
4104隱藏層機率結構：變分自編碼器161
411總結166
412參考資料說明166
413練習168
第5章徑向基函式網路169
51簡介169
52RBF網路的訓練171
521訓練隱藏層171
作者簡介
查魯·C. 阿加沃爾（Charu C. Aggarwal）是位於美國紐約州約克敦海茨的IBM T. J. Watson 研究中心的傑出研究員，於1996年獲麻省理工學院博士學位。他發表了350多篇論文，擁有80多項專利，撰寫或編著了18本圖書（涵蓋數據挖掘、機器學習、推薦系統和離群點分析等領域）。由於其專利的商業價值，IBM三次授予他“創新大師”稱號。他曾獲EDBT會議頒發的久經考驗獎（2014）和IEEE ICDM研究貢獻獎（2015）。他曾擔任數據挖掘領域許多大型會議的聯席程式主席或聯席總主席，目前是ACM SIGKDD Explorations和ACM Transactions on Knowledge Discovery from Data的主編。他由於對知識發現和數據挖掘算法的貢獻而當選了SIAM、ACM和IEEE的會士。
