《深度強化學習落地指南》是電子工業出版社出版圖書，作者是魏寧。
一本討論強化學習落地套用的技術書，從實用性角度對強化學習進行歸納和梳理，重點圍繞如何解決實際問題展開
基本介紹
- 中文名：深度強化學習落地指南
- 作者：魏寧
- 出版社：電子工業出版社
- 出版時間：2021年8月
- 頁數：202 頁
- 定價：109 元
- 開本：16 開
- ISBN：9787121416446
內容簡介,圖書目錄,作者簡介,
內容簡介
跳出原理介紹加套用案例的傳統敘述模式，轉而在橫向上對深度強化學習落地過程中的核心環節進行了完整復盤。
圖書目錄
第1章 需求分析 1
1.1 需求分析：勿做DRL鐵錘人 1
1.2 一問“是不是” 2
1.2.1 Agent和環境定義 2
1.2.2 馬爾可夫決策過程和強化學習 3
1.3 二問“值不值” 5
1.3.1 試試規則和啟發式搜尋 5
1.3.2 別忘了傳統強化學習 7
1.3.3 使用DRL的理由 7
1.4 三問“能不能” 9
1.4.1 場景固定：兩個分布一致 9
1.4.2 數據廉價：多、快、好、費 13
1.5 四問“邊界在哪裡” 16
1.6 本章小結 18
參考文獻 19
第2章 動作空間設計 23
2.1 動作空間設計：這裡大有可為 23
2.1.1 被忽視的價值 23
2.1.2 動作空間的常見類型 24
2.1.3 動作空間設計的基本原則 26
2.2 動作空間的完備性 26
2.2.1 功能完備 27
2.2.2 時效完備 29
2.3 動作空間的高效性 30
2.3.1 化整為零：以精度換效率 31
2.3.2 有機組合：尺度很重要 33
2.4 動作空間的合法性 35
2.4.1 非法動作禁止機制 36
2.4.2 Agent的知情權 37
2.5 本章小結 39
參考文獻 40
第3章 狀態空間設計 43
3.1 狀態空間設計：特徵工程的誘惑 43
3.2 狀態空間設計的兩種常見誤區 44
3.2.1 過分依賴端到端特徵學習 44
3.2.2 極致特徵工程 44
3.3 與動作空間和回報函式的協同設計 45
3.3.1 與動作空間尺度一致 45
3.3.2 以回報函式為中心 46
3.4 狀態空間設計的四個步驟 47
3.4.1 任務分析 47
3.4.2 相關信息篩選 49
3.4.3 泛化性考量 53
3.4.4 效果驗證 58
3.5 本章小結 61
參考文獻 62
第4章 回報函式設計 64
4.1 回報函式設計：面向強化學習的編程 64
4.2 稀疏回報問題 65
4.2.1 孤獨無援的主線回報 65
4.2.2 稀疏回報問題的本質 66
4.3 輔助回報 67
4.3.1 子目標回報 67
4.3.2 塑形回報 70
4.3.3 內驅回報 76
4.3.4 回報取值的注意事項 77
4.4 回報函式設計的常見陷阱 78
4.4.1 魯莽 79
4.4.2 貪婪 80
4.4.3 懦弱 82
4.5 最優回報問題 83
4.6 基於學習的回報函式 84
4.6.1 經典方法 84
4.6.2 前沿方法 85
4.7 本章小結 87
參考文獻 88
第5章 算法選擇 92
5.1 算法選擇：拿來主義和改良主義 92
5.1.1 DRL算法的發展脈絡 92
5.1.2 一篩、二比、三改良 94
5.1.3 從獨當一面到眾星捧月 96
5.2 牢記經典勿忘本 97
5.2.1 DQN 98
5.2.2 DDPG 99
5.2.3 A3C 102
5.3 關注SOTA算法別留戀 105
5.3.1 TD3 105
5.3.2 SAC 107
5.3.3 PPO 110
5.4 其他算法 112
5.5 本章小結 113
參考文獻 113
第6章 訓練調試 119
6.1 訓練調試：此事要躬行 119
6.2 訓練前的準備工作 120
6.2.1 制定訓練方案 120
6.2.2 選擇網路結構 124
6.2.3 隨機漫步 128
6.2.4 數據預處理 129
6.3 訓練進行時 131
6.3.1 反脆弱：擁抱不確定性 131
6.3.2 調節超參數 134
6.3.3 監控訓練狀態 143
6.4 給初學者的建議 146
6.5 本章小結 148
參考文獻 149
第7章 性能衝刺 154
7.1 性能衝刺：為DRL注入強心劑 154
7.2 課程學習 155
7.2.1 源任務及其分類 155
7.2.2 套用方式 157
7.3 額外監督信號 162
7.3.1 有監督預訓練 163
7.3.2 輔助任務 164
7.4 進化策略 169
7.4.1 基本原理 169
7.4.2 關鍵細節 170
7.4.3 套用方式 174
7.5 本章小結 175
參考文獻 176
作者簡介
魏寧，本科和碩士分別畢業於西安交通大學和中國科學院大學計算機專業，在國際頂級會 議和期刊上發表多篇學術論文，曾就職於德國KUKA Robotics從事協作機器人智慧型套用研發工作，在海康威視研究院任算法專家，負責深度學習、強化學習等領域的創新研究和落地套用，同時也是網際網路社區“深度強化學習實驗室”核心成員，在強化學習套用方面具有豐富的實踐經驗。
