實用深度學習基礎

《實用深度學習基礎》是2022年清華大學出版社出版的圖書,作者是屈丹、張文林、楊緒魁、牛銅、閆紅剛、邱澤宇、郝朝龍。

基本介紹

  • 中文名:實用深度學習基礎
  • 作者:屈丹、張文林、楊緒魁、牛銅、閆紅剛、邱澤宇、郝朝龍
  • 出版社:清華大學出版社
  • 出版時間:2022年9月1日
  • 定價:99 元
  • ISBN:9787302609438
內容簡介,圖書目錄,

內容簡介

本書根據深度學習技術發展速度快、理論性與實踐性強、套用廣泛等特點,結合教學、科研及套用需求,堅持“原理、技術、套用”三位一體原則,注重基礎性、系統性、前沿性和實用性的統一,對深度學習的**方法與研究趨勢進行全面深入的研究和探索。全書分成四部分:第一部分是人工智慧基礎,重點闡述人工智慧的概念、發展歷史和發展趨勢等;第二部分是深度學習基礎,包括機器學習基礎理論、深度學習基礎、深度學習網路的最佳化方法和技巧;第三部分是經典神經網路技術,包括卷積神經網路、循環神經網路、神經網路的區分性訓練、序列到序列建模;第四部分是高級深度學習技術,包括自編碼器、遷移學習、生成對抗網路、終身學習、深度強化學習、元學習、自監督學習等。
本書在深入淺出的講解中將**理論成果與實際問題解決過程相結合,培養學生的創新思維和解決複雜工程問題能力,適用於人工智慧、網路安全、通信工程、信息工程等專業高年級本科生、研究生教學,可作為人工智慧相關領域的科研人員、工程師的重要參考書。

圖書目錄

第1章人工智慧技術概覽
1.1人工智慧的概念
1.1.1智慧型的基本概念
1.1.2人類智慧型的度量
1.1.3人工智慧的概念
1.2人工智慧的發展歷程
1.2.1人工智慧誕生前的50年
1.2.2人工智慧發展的第一階段
1.2.3人工智慧發展的第二階段
1.2.4人工智慧發展的第三階段
1.3人工智慧的學術流派
1.3.1戴維·阿蘭格里爾的學術流派劃分
1.3.2佩德羅·多明戈斯的學術流派劃分
1.3.3人工智慧學術流派的重新劃分
1.4人工智慧的未來發展
1.4.1無監督學習、元學習正在突破通用智慧型
1.4.2實時強化學習技術趨於成熟
1.4.3可解釋性知識推理技術成為研究重點
1.4.4開放式持續學習技術受到廣泛關注
1.4.5不同流派人工智慧技術融合認知開闢新的技術路徑
1.4.6套用場景朝小數據量、惡劣環境、非完整數據方向發展
1.5本章小結
參考文獻
第2章機器學習理論基礎
2.1機器學習基本概念
2.1.1學習與機器學習
2.1.2機器學習的分類
2.1.3感知機及其學習算法
2.2可能近似正確學習理論
2.2.1機器學習的不可行性
2.2.2機率近似正確學習理論
2.3VC維理論
2.3.1假設的有效數量
2.3.2突破點
2.3.3上限函式
2.3.4VC維
2.4三個最基本機器學習模型
2.4.1線性分類
2.4.2線性回歸
2.4.3邏輯回歸
2.4.4三種基本機器學習算法對比分析
2.5本章小結
參考文獻
第3章深度學習基礎
3.1深度學習的基本定義和特點
3.1.1神經元與生物神經網路
3.1.2人工神經元及其分類能力
3.1.3單隱含層神經網路的能力
3.1.4深度學習
3.2深度學習網路設計的三個核心問題
3.2.1定義網路結構
3.2.2目標函式選擇
3.2.3最佳化算法選擇
3.3後向傳播算法
3.3.1輸出端的損失梯度
3.3.2隱含層的損失梯度
3.3.3神經網路參數的損失梯度
3.3.4算法整理流圖
3.4本章小結
參考文獻
第4章深度學習網路最佳化技巧
4.1深度學習網路最佳化學習
4.1.1定義網路結構
4.1.2目標函式選擇
4.1.3最佳化算法選擇
4.1.4深度學習算法檢查
4.2新激活函式選擇
4.2.1梯度消失問題
4.2.2ReLU函式
4.2.3ReLU函式的變形
4.2.4其他激活函式
4.3最佳化算法
4.3.1基本最佳化算法
4.3.2梯度方向調整最佳化算法
4.3.3自適應學習率
4.3.4步長和方向聯合最佳化算法
4.4測試集性能最佳化技巧
4.4.1提前終止策略
4.4.2正則化
4.4.3丟棄法
4.5本章小結
參考文獻
第5章卷積神經網路
5.1卷積神經網路概述
5.1.1卷積神經網路的歷史
5.1.2卷積神經網路的結構
5.2卷積神經網路與全連線網路的關係
5.2.1連線稀疏性
5.2.2參數共享機制
5.3典型的卷積神經網路
5.3.1LeNet5網路
5.3.2AlexNet網路
5.3.3ZFNet網路
5.3.4VGGNet網路
5.3.5GoogLeNet網路
5.3.6殘差網路
5.3.7擠壓激勵網路
5.3.8區域卷積神經網路及其拓展版本
5.4本章小結
參考文獻
本章知識點補充
第6章循環神經網路
6.1循環神經網路的引入
6.2循環神經網路的結構
6.3循環神經網路的訓練
6.3.1循環神經網路的前向傳播
6.3.2循環神經網路的依時間反向傳播
6.3.3循環神經網路的梯度消失與梯度爆炸問題
6.4長短時記憶單元與門循環單元
6.4.1長短時記憶單元
6.4.2門循環單元
6.5循環神經網路的擴展
6.5.1深層循環神經網路
6.5.2雙向循環神經網路
6.6循環神經網路的套用
6.6.1多到一模式
6.6.2一到多模式
6.6.3同步多到多模式
6.6.4異步多到多模式
6.7本章小結
參考文獻
第7章神經網路的區分性訓練
7.1最小交叉熵與最大似然估計
7.2區分性訓練準則
7.3序列模型的區分性訓練
7.3.1最大互信息準則
7.3.2增強型MMI
7.3.3最小音素錯誤/狀態級最小貝葉斯風險
7.3.4序列區分性訓練準則的一般形式
7.4序列區分性訓練準則套用實例
7.4.1基於詞圖的序列區分性訓練
7.4.2詞圖無關的序列區分性訓練
7.5本章小結
參考文獻
第8章序列到序列模型
8.1序列到序列模型基本原理
8.1.1序列到序列模型的引入
8.1.2序列到序列模型構成
8.2連續時序分類準則
8.2.1連續時序分類準則定義
8.2.2連續時序分類準則的解碼
8.3注意力模型
8.3.1注意力模型定義與原理
8.3.2自注意力機制
8.4Transformer模型
8.4.1Transformer模型組成
8.4.2Transformer模型的核心技術
8.5BERT模型與GPT模型
8.5.1BERT模型
8.5.2GPT模型
8.5.3與其他模型異同點分析
8.6後BERT模型時代的新模型算法
8.6.1XLNet模型及原理
8.6.2ERNIE模型及原理
8.6.3ALBERT模型及原理
8.7序列到序列模型的套用
8.8本章小結
參考文獻
第9章自編碼器
9.1自編碼器的定義與基本原理
9.1.1自編碼器的通用框架
9.1.2棧式自編碼器
9.2正則自編碼器
9.2.1稀疏自編碼器
9.2.2降噪自編碼器
9.2.3收縮自編碼器
9.3變分自編碼器
9.3.1目標函式
9.3.2最佳化過程
9.3.3條件變分自編碼器
9.4VAE的改進算法
9.4.1betaVAE
9.4.2infoVAE
9.5對抗自編碼器
9.5.1AAE與VAE
9.5.2introVAE
9.6本章小結
參考文獻
第10章遷移學習
10.1遷移學習的基本原理
10.1.1遷移學習的定義
10.1.2遷移學習的分類
10.1.3遷移學習的意義
10.2基於特徵的遷移學習
10.2.1分布差異矩陣
10.2.2特徵增強
10.2.3特徵映射
10.2.4特徵選擇
10.2.5特徵對齊
10.2.6基於深度學習的特徵遷移
10.3基於模型的遷移學習
10.3.1深度網路的可遷移性
10.3.2基於KL散度的遷移學習
10.3.3基於知識蒸餾的遷移學習
10.4基於樣例的遷移學習
10.5遷移學習前沿
10.5.1混合智慧型遷移學習
10.5.2傳遞式遷移學習
10.5.3終身遷移學習
10.5.4對抗遷移學習
10.5.5遷移強化學習
10.5.6遷移學習的可解釋性
10.6本章小結
參考文獻
第11章終身學習
11.1終身學習原理
11.1.1終身學習的定義
11.1.2DARPA的L2M項目
11.1.3終身學習的關鍵問題
11.2深度學習與終身學習
11.2.1生物學依據
11.2.2現有方法的分類
11.3彈性權值鞏固
11.3.1EWC中的貝葉斯理論
11.3.2EWC的目標函式
11.3.3參數重要性的估計
11.4自組織增量學習神經網路
11.4.1自組織映射
11.4.2自組織增量學習神經網路
11.4.3算法優、缺點
11.5梯度情景記憶
11.5.1知識的前向遷移與後向遷移
11.5.2情景記憶損失函式
11.5.3模型求解
11.6本章小結
參考文獻
第12章生成對抗網路
12.1生成對抗網路引入
12.1.1無監督學習與生成模型
12.1.2生成對抗網路簡介
12.2生成對抗網路的基本原理
12.3生成對抗網路訓練過程的數學推導
12.3.1最大似然估計
12.3.2生成對抗網路的訓練準則函式
12.3.3生成對抗網路的訓練過程
12.4生成對抗網路的工程實現及主要問題
12.4.1生成對抗網路的工程實現
12.4.2生成對抗網路的工程實現中的問題
12.5GAN的變體
12.5.1WGAN
12.5.2條件GAN
12.5.3CycleGAN
12.5.4InfoGAN
12.5.5BiGAN
12.6本章小結
參考文獻
第13章深度強化學習
13.1強化學習基本概念與原理
13.2強化學習的數學模型、求解框架及分類
13.2.1馬爾可夫決策過程
13.2.2值函式與策略函式
13.2.3策略疊代與值疊代求解框架
13.2.4強化學習的分類
13.3基於值函式的深度強化學習
13.3.1深度Q網路算法
13.3.2DQN算法的變種
13.4基於策略函式的深度強化學習
13.5基於參與者評價者的深度強化學習
13.5.1A2C與A3C算法
13.5.2PPO算法
13.6本章小結
參考文獻
第14章元學習
14.1元學習的定義及原理
14.1.1元學習的定義
14.1.2元學習系統的組成
14.1.3元學習的主要現狀
14.2模型無關的元學習方法
14.2.1相關概念
14.2.2MAML算法原理
14.2.3MAML算法流程
14.2.4MAML算法具體實現
14.3一階模型無關元學習方法Reptile
14.3.1Reptile算法的基本原理
14.3.2Reptile算法理論分析
14.4自適應梯度更新規則元學習方法
14.4.1簡單LSTM方法
14.4.2複雜LSTM方法
14.5度量元學習方法
14.5.1匹配網路
14.5.2原型網路
14.5.3關係網路
14.6本章小結
參考文獻
第15章自監督學習
15.1自監督學習的基本原理
15.1.1自監督學習的定義
15.1.2自監督學習的分類
15.2對比式自監督學習
15.2.1模型坍塌問題
15.2.2有負例的對比學習
15.2.3無負例的對比學習
15.3基於對比預測的自監督語音表示學習
15.3.1對比預測編碼
15.3.2wav2vec系列
15.3.3HuBERT系列
15.4自監督學習中的關鍵科學問題
15.4.1任務相關表示學習
15.4.2模型輕量化
15.5本章小結
參考文獻

相關詞條

熱門詞條

聯絡我們