深度強化學習：原理、算法與PyTorch實戰

《深度強化學習：原理、算法與PyTorch實戰》是2021年清華大學出版社出版的圖書。

基本介紹

• 中文名：深度強化學習：原理、算法與PyTorch實戰
• 作者：劉全,黃志剛
• 類別：深度學習與神經網路類圖書
• 出版社：清華大學出版社
• 出版時間：2021年8月
• 開本：16 開
• 裝幀：平裝-膠訂
• ISBN：9787302578208

內容簡介

本書基於PyTorch框架，用通俗易懂的語言深入淺出地介紹了強化學習的基本原理，包括傳統的強化學習基本方法和目前流行的深度強化學習方法。在對強化學習任務建模的基礎上，首先介紹動態規劃法、蒙特卡洛法、時序差分法等表格式強化學習方法，然後介紹在PyTorch框架下，DQN、DDPG、A3C等基於深度神經網路的大規模強化學習方法。全書以一個掃地機器人任務貫穿始終，並給出具有代表性的實例，增加對每個算法的理解。全書配有PPT和視頻講解，對相關算法和實例配有代碼程式。 全書共分三部分： 和第二部分（第1～8章）為表格式強化學習部分，著重介紹深度強化學習概述、環境的配置、數學建模、動態規劃法、蒙特卡洛法、時序差分法、n步時序差分法、規劃和蒙特卡洛樹搜尋； 第三部分（第9～14章）為深度強化學習部分，著重介紹深度學習、PyTorch與神經網路、深度Q網路、策略梯度、基於確定性策略梯度的深度強化學習、AC框架的拓展。全書提供了大量的套用實例，每章章末均附有習題。 本書既適合作為高等院校計算機、軟體工程、電子工程等相關專業高年級本科生、研究生的教材，又可為人工智慧、機器學習等領域從事項目開發、科學研究的人員提供參考。

圖書目錄

隨書資源

部分： 預備知識及環境安裝

第1章深度強化學習概述

1.1引言

1.2深度學習

1.3強化學習

1.4深度強化學習

1.5小結

1.6習題

第2章環境的配置

2.1PyTorch簡介

2.2PyTorch和TensorFlow

2.3強化學習的開發環境

2.3.1Anaconda環境搭建

2.3.2Anaconda環境管理

2.3.3PyTorch的安裝

2.3.4Jupyter Notebook的安裝

2.3.5Jupyter Notebook的使用

2.3.6Gym的安裝

2.3.7Gym案例

2.4小結

2.5習題

第二部分： 表格式強化學習

第3章數學建模

3.1馬爾可夫決策過程

3.2基於模型與無模型

3.3求解強化學習任務

3.3.1策略

3.3.2獎賞與回報

3.3.3值函式與貝爾曼方程

3.3.4策略與值函式

3.4探索與利用

3.5小結

3.6習題

第4章動態規劃法

4.1策略疊代

4.1.1策略評估

4.1.2策略疊代

4.2值疊代

4.3廣義策略疊代

4.4小結

4.5習題

第5章蒙特卡洛法

5.1蒙特卡洛法的基本概念

5.1.1MC的核心要素

5.1.2MC的特點

5.2蒙特卡洛預測

5.3蒙特卡洛評估

5.4蒙特卡洛控制

5.4.1基於探索始點的蒙特卡洛控制

5.4.2同策略蒙特卡洛控制

5.4.3異策略與重要性採樣

5.4.4蒙特卡洛中的增量式計算

5.4.5異策略蒙特卡洛控制

5.5小結

5.6習題

第6章時序差分法

6.1時序差分預測

6.2時序差分控制

6.2.1Sarsa算法

6.2.2QLearning算法

6.2.3期望Sarsa算法

6.3化偏差與Double QLearning

6.3.1化偏差

6.3.2Double Learning

6.3.3Double QLearning

6.4DP、MC和TD算法的關係

6.4.1窮舉式遍歷與軌跡採樣

6.4.2期望更新與採樣更新

6.5小結

6.6習題

第7章n步時序差分法

7.1n步TD預測及資格跡

7.1.1n步TD預測

7.1.2前向TD(λ)算法

7.1.3後向TD(λ)算法

7.2n步TD控制及其資格跡實現

7.2.1同策略n步Sarsa算法

7.2.2Sarsa(λ)算法

7.2.3異策略n步Sarsa算法

7.2.4n步Tree Backup算法

7.3小結

7.4習題

第8章規劃和蒙特卡洛樹搜尋

8.1模型、學習與規劃

8.1.1模型

8.1.2學習

8.1.3規劃

8.2DynaQ結構及其算法改進

8.2.1DynaQ架構

8.2.2優先遍歷

8.2.3模擬模型的錯誤性

8.3決策時間規劃

8.3.1啟發式搜尋

8.3.2預演算法

8.3.3蒙特卡洛樹搜尋

8.4小結

8.5習題

第三部分： 深度強化學習

第9章深度學習

9.1傳統神經網路

9.1.1感知器神經元

9.1.2激活函式

9.2反向傳播算法

9.2.1前向傳播

9.2.2權重調整

9.2.3BP算法推導

9.3卷積神經網路

9.3.1卷積神經網路核心思想

9.3.2卷積神經網路結構

9.4小結

9.5習題

第10章PyTorch與神經網路

10.1PyTorch中的Tensor

10.1.1直接構造法

10.1.2間接轉換法

10.1.3Tensor的變換

10.2自動梯度計算

10.2.1標量對標量的自動梯度計算

10.2.2向量對向量的自動梯度計算

10.2.3標量對向量（或矩陣）的自動梯度計算

10.3神經網路的模型搭建和參數最佳化

10.3.1模型的搭建

10.3.2激活函式

10.3.3常用的損失函式

10.3.4模型的保存和重載

10.4小結

10.5習題

第11章深度Q網路

11.1DQN算法

11.1.1核心思想

11.1.2訓練算法

11.1.3實驗結果與分析

11.2Double DQN算法

11.2.1核心思想

11.2.2實驗結果與分析

11.3Prioritized DQN

11.3.1核心思想

11.3.2訓練算法

11.3.3實驗結果與分析

11.4Dueling DQN

11.4.1訓練算法

11.4.2實驗結果與分析

11.5小結

11.6習題

第12章策略梯度法

12.1隨機策略梯度法

12.1.1梯度上升算法

12.1.2策略梯度法與值函式逼近法的比較

12.2策略最佳化方法

12.2.1情節式策略目標函式

12.2.2連續式策略目標函式

12.2.3策略梯度定理

12.3策略表達形式

12.3.1離散動作空間策略參數化

12.3.2連續動作空間策略參數化

12.4蒙特卡洛策略梯度法

12.4.1REINFORCE

12.4.2REINFORCE算法的實驗結果與分析

12.4.3帶基線的REINFORCE

12.4.4帶基線的REINFORCE算法的實驗結果與分析

12.5行動者評論家

12.6確定性策略梯度定理

12.7小結

12.8習題

第13章基於確定性策略梯度的深度強化學習

13.1DDPG算法

13.1.1算法背景

13.1.2核心思想

13.1.3DDPG算法

13.2DDPG算法的實驗結果與分析

13.2.1DDPG算法網路結構與超參數設定

13.2.2實驗環境

13.2.3實驗結果與分析

13.3雙延遲確定性策略梯度算法

13.3.1過高估計問題解決方案

13.3.2累計誤差問題解決方案

13.3.3TD3算法

13.3.4實驗結果與分析

13.4小結

13.5習題

第14章基於AC框架的深度強化學習

14.1行動者評論家框架

14.2A3C算法

14.2.1算法的核心思想

14.2.2異步1步Q學習算法

14.2.3A3C算法

14.2.4實驗結果與分析

14.3A2C算法

14.3.1A2C算法

14.3.2實驗結果與分析

14.4小結

14.5習題

參考文獻

作者簡介

劉全，蘇州大學教授，博士生導師。 吉林大學博士, 南京大學軟體新技術國家重點實驗室博士後。蘇州市人工智慧學會常務理事、秘書長。2006年開始從事強化學習

領域的教學和科研工作。主講研究生、本科生《強化學習》及相關課程16次。主持“深度強化學習方法研究”、“部分感知強化學習理論及方法”、“基於tableau的邏輯強化學習研究”等國家、省部級項目10餘項。目前主要研究方向為：深度強化學習。

2012年獲江蘇省教工委優秀共產黨員稱號。2011年、2012年入選江蘇省“六大人才”、江蘇省“333”人才培養計畫。