深度學習模型及套用詳解

《深度學習模型及套用詳解》面向的讀者是希望學習和運用深度學習模型到具體套用場景的企業工程師、科研院所的學生和科研人員。讀者學習本書的目的是了解深度學習模型和算法基礎後，快速部署到自己的工作領域，並取得落地成果。

基本介紹

• 中文名：深度學習模型及套用詳解 
• 作者：張若非 付強 高斌 張耿豪 葉挺 
• 出版時間：2019年9月 
• 出版社：電子工業出版社 
• 頁數：276 頁 
• ISBN：9787121371264
• 定價：89 元 
• 開本：16 開 

內容簡介

《深度學習模型及套用詳解》作者都是微軟人工智慧及研究院的研究人員和套用科學家，具有深厚的機器學習背景，在一線針對產品需求和支持的場景進行了大量的深度學習模型及算法的研究和開發，在模型設計、訓練、評估、部署、推理最佳化等模型開發全生命周期積累了豐富的經驗。

《深度學習模型及套用詳解》分為4 部分，共13 章。其中第1 部分（第1、2 章）簡要介紹了深度學習的現狀、概念和實現工具。第2 部分（第3～5 章）以具體的實際套用展示基於深度學習技術進行工程實踐和開發的流程和技巧。第3 部分（第6～12 章）介紹了學術界和工業界最新的高階深度學習模型的實現和套用。第4 部分（第13章）介紹了深度學習領域的一些前沿研究方向，並對深度學習的未來發展進行展望。

圖書目錄

第1 章

神經網路發展史 / 1

1.1 神經網路的早期雛形 / 3

1.1.1 聯結主義和Hebb 學習規則 / 4

1.1.2 Oja 學習規則及主分量分析 / 5

1.1.3 早期的神經元模型 / 5

1.2 現代神經網路 / 6

1.2.1 反向傳播算法 / 6

1.2.2 神經網路的通用函式近似性 / 8

1.2.3 深度的必要性 / 9

1.3 深度學習發展歷史中的重要神經網路 / 10

1.3.1 深度神經網路的興起 / 10

1.3.2 自組織特徵映射 / 10

1.3.3 霍普菲爾德神經網路 / 11

1.3.4 玻爾茲曼機及受限玻爾茲曼機 / 12

1.3.5 深度信念網 / 14

1.3.6 其他深度神經網路 / 15

1.4 本章小結 / 15

參考文獻 / 16

第2 章

深度學習開源框架 / 17

2.1 主流的深度學習開源框架 / 18

2.2 簡單神經網路模型在不同框架上的實現對比 / 29

2.3 本章小結 / 44

參考文獻 / 45

第3 章

多層感知機在自然語言處理方面的套用 / 46

3.1 詞和文本模型的發展歷程 / 47

3.2 Word2Vec 模型：基於上下文的分散式表達 / 49

3.2.1 Skip-Gram 算法的訓練流程 / 50

3.2.2 Skip-Gram 算法的網路結構 / 53

3.2.3 代價函式 / 54

3.3 套用TensorFlow 實現Word2Vec 模型 / 58

3.3.1 定義計算圖：訓練語料庫預處理 / 60

3.3.2 模型計算圖的實現 / 63

3.4 Word2Vec 模型的局限及改進 / 66

3.5 本章小結 / 67

參考文獻 / 68

第4 章

卷積神經網路在圖像分類中的套用 / 69

4.1 圖像識別和圖像分類的發展 / 72

4.2 AlexNet / 73

4.2.1 網路模型結構 / 74

4.2.2 AlexNet 的具體改進 / 79

4.2.3 代價函式 / 83

4.3 套用TensorFlow 實現AlexNet / 83

4.3.1 讀取訓練圖像集 / 83

4.3.2 模型計算圖的實現 / 84

4.4 本章小結 / 85

參考文獻 / 86

第5 章

遞歸神經網路 / 87

5.1 遞歸神經網路套用背景介紹 / 88

5.2 遞歸神經網路模型介紹 / 89

5.2.1 遞歸神經網路模型結構 / 89

5.2.2 雙向遞歸神經網路 / 90

5.2.3 長短期記憶模型 / 91

5.3 遞歸神經網路展望 / 94

5.4 本章小結 / 95

參考文獻 / 95

第6 章

DeepIntent 模型在信息檢索領域的套用 / 96

6.1 信息檢索在搜尋廣告中的套用發展 / 97

6.2 含有注意力機制的RNN 模型 / 99

6.2.1 網路模型結構 / 100

6.2.2 代價函式 / 104

6.3 套用TensorFlow 實現DeepIntent 模型 / 107

6.3.1 定義計算圖 / 107

6.3.2 定義代價函式及最佳化算法 / 114

6.3.3 執行計算圖進行訓練 / 118

6.4 本章小結 / 119

參考文獻 / 120

第7 章

圖像識別及在廣告搜尋方面的套用 / 121

7.1 視覺搜尋 / 122

7.2 方法和系統 / 124

7.2.1 圖像DNN 編碼器 / 124

7.2.2 利用Rich-CDSSM 降低維度 / 125

7.2.3 快速最近鄰搜尋系統 / 127

7.2.4 精密層 / 127

7.2.5 端到端服務系統 / 128

7.3 評測 / 129

7.4 用於演示的Visual Shopping Assistant 應用程式 / 131

7.5 相關工作 / 132

7.6 本章小結 / 133

第8 章

Seq2Seq 模型在聊天機器人中的套用 / 134

8.1 Seq2Seq 模型套用背景 / 135

8.2 Seq2Seq 模型的套用方法 / 136

8.3 含有注意力機制的多層Seq2Seq 模型 / 137

8.3.1 詞嵌入層 / 137

8.3.2 可變深度LSTM 遞歸層 / 138

8.3.3 注意力機制層 / 139

8.3.4 投影層 / 139

8.3.5 損失函式（loss function）和端到端訓練 / 140

8.4 信息導向的自適應序列採樣 / 142

8.5 多輪項目推薦 / 143

8.6 熵作為信心的度量 / 143

8.6.1 直觀的定義和討論 / 143

8.6.2 序列後驗估計的不確定性 / 145

8.6.3 信息導向的抽樣：最大化預期信息增益的原則 / 145

8.6.4 Seq2Seq 模型的3 個應用程式 / 146

8.6.5 應用程式1：查詢理解和重寫 / 147

8.6.6 應用程式2：相關性評分 / 152

8.6.7 應用程式3：聊天機器人 / 156

8.7 本章小結 / 160

參考文獻 / 160

第9 章

word2vec 的改進：fastText 模型 / 162

9.1 fastText 模型的原理 / 163

9.1.1 回顧Skip-Gram 算法 / 163

9.1.2 subword 模型 / 164

9.1.3 subword 形態 / 167

9.1.4 分層softmax / 168

9.1.5 fastText 的模型架構 / 170

9.1.6 fastText 算法實現 / 171

9.2 套用場景：搜尋廣告中的查詢詞關鍵字匹配問題 / 172

9.3 本章小結 / 173

參考文獻 / 174

第10 章

生成對抗網路 / 175

10.1 生成對抗網路的原理 / 176

10.1.1 GAN 的基本模型 / 176

10.1.2 GAN 最佳化目標的原理 / 178

10.1.3 GAN 的訓練 / 179

10.1.4 GAN 的擴展模型 / 180

10.2 套用場景：搜尋廣告中由查詢詞直接生成關鍵字 / 182

10.2.1 生成模型的構建 / 182

10.2.2 判別模型的構建 / 184

10.2.3 條件生成對抗網路的構建 / 185

10.3 本章小結 / 186

參考文獻 / 187

第11 章

深度強化學習 / 188

11.1 深度強化學習的原理 / 189

11.1.1 強化學習的基本概念 / 189

11.1.2 馬爾可夫決策過程 / 191

11.1.3 價值函式和貝爾曼方程 / 192

11.1.4 策略疊代和值疊代 / 194

11.1.5 Q-Learning / 196

11.1.6 深度Q 網路 / 198

11.1.7 策略梯度 / 201

11.1.8 動作評價網路 / 202

11.2 套用場景：基於深度強化學習的推薦系統 / 203

11.3 本章小結 / 206

參考文獻 / 206

第12 章

工程實踐和線上最佳化 / 208

12.1 Seq2Seq 模型介紹 / 209

12.2 LSTM 最佳化分析 / 211

12.2.1 最佳化一：指數運算的近似展開 / 214

12.2.2 最佳化二：矩陣運算的執行速度最佳化 / 218

12.2.3 最佳化三：多執行緒並行處理 / 224

12.3 最佳化套用實例：RapidScorer 算法對GBDT 的加速 / 227

12.3.1 背景介紹 / 228

12.3.2 RapidScorer 數據結構設計 / 231

12.3.3 RapidScorer 矢量化 / 233

12.3.4 RapidScorer 實驗結果 / 237

12.4 本章小結 / 238

參考文獻 / 239

第13 章

深度學習的下一個浪潮 / 240

13.1 深度學習的探索方向展望 / 241

13.1.1 設計更好的生成模型 / 241

13.1.2 深度強化學習的發展 / 241

13.1.3 半監督學習與深度學習 / 242

13.1.4 深度學習自身的學習 / 242

13.1.5 遷移學習與深度學習的結合 / 242

13.1.6 用於推理的深度學習 / 243

13.1.7 深度學習工具的標準化 / 243

13.2 深度學習的套用場景展望 / 243

13.2.1 醫療健康領域 / 243

13.2.2 安全隱私領域 / 248

13.2.3 城市治理領域 / 249

13.2.4 藝術創作領域 / 250

13.2.5 金融保險領域 / 252

13.2.6 無人服務領域 / 254

13.3 本章小結 / 257

參考文獻 / 258

作者簡介

張若非

美國紐約州立大學計算機科學博士。微軟（美國）人工智慧與研究院高級研究總監，全球合伙人，負責微軟線上廣告平台機器學習模型、算法及系統的研究和建設。研究領域包括機器學習、數據挖掘、自然語言處理、計算機視覺和多媒體信息檢索。在這些領域的一流學術期刊和頂級學術會議發表論文50餘篇，獲得美國發明專利12項。美國國家自然科學基金會（NSF）智慧型系統評審委員會委員，IEEE和ACM高級會員。

付強

博士畢業於清華大學電子工程系，現任微軟（美國）搜尋廣告部資深套用科學家，主要從事機器學習、深度學習、信息檢索、自然語言理解、圖像處理等方面的算法研究及其在搜尋廣告產品中的套用。此前曾任微軟亞洲研究院研究員，研究將機器學習算法用於雲計算平台的系統建模、性能最佳化，以及故障自動診斷。在機器學習、數據挖掘、計算機系統等領域的國際頂級會議及期刊上共發表論文30餘篇，持有4項美國專利。

高斌

博士畢業於北京大學數學科學學院，現任微軟（美國）搜尋廣告部資深機器學習科學家，此前曾擔任微軟亞洲研究院機器學習研究組主管研究員。主要從事機器學習、信息檢索、數據挖掘和計算廣告等領域的研究和開發。在國際頂級期刊和會議上發表相關論文40餘篇，並持有30餘項美國專利。主持研發的十餘項創新技術已經被套用於必應搜尋引擎、必應搜尋廣告及微軟小冰等產品中。

張耿豪

博士畢業於美國加州大學伯克利分校，現任微軟（美國）搜尋廣告部資深套用科學家。主要專注於機器學習、自然語言處理、信息檢索、人機界面等領域，並且在微軟負責必應搜尋廣告業務及多項延伸的套用與研究，例如聊天機器人、以圖搜圖等。在國際頂級期刊和會議上發表相關論文20餘篇，並持有3項美國專利。

葉挺

碩士畢業於北京大學軟體工程研究所，現任微軟（美國）搜尋廣告部工程師，主要從事深度學習算法的性能最佳化和分散式實現，成功將多個深度學習模型套用於必應的廣告服務中。在計算機會議KDD、ASE發表論文3篇，並取得發明專利3項。