《網路智慧型化中的深度強化學習技術》是2023年人民郵電出版社出版的圖書,作者是戚琦、付霄元、莊子睿、王敬宇、廖建新。
基本介紹
- 中文名:網路智慧型化中的深度強化學習技術
- 作者:戚琦、付霄元、莊子睿、王敬宇、廖建新
- 出版時間:2023年4月
- 出版社:人民郵電出版社
- ISBN:9787115572639
- 開本:16 開
- 裝幀:平裝
內容簡介,作者簡介,圖書目錄,
內容簡介
隨著人工智慧技術的廣泛套用,網路智慧型化近年來受到廣泛的關注,已經成為下一代移動通信與未來網路的重要技術。阿爾法圍棋(AlphaGo)之後,深度強化學習不斷推陳出新,為網路中的決策問題提供了有效的潛在解決方案。本書系統介紹了網路智慧型化中深度強化學習的基本理論、算法及套用場景。全書共8章,針對網際網路、移動通信網、邊緣網路、數據中心等典型網路,闡述了網路管理、網路控制、任務調度等決策需求,深入論述了深度強化學習的模型構建與套用技術。第1章介紹了網路智慧型的需求與挑戰;第2章介紹了先進的深度強化學習模型與方法;第3~6章論述了無線接入最佳化、網路管理、網路控制與任務調度等普遍網路管控任務中,深度強化學習技術的套用方法;第7章和第8章論述了深度強化學習在流媒體控制以及自組織網路等典型場景中的新研究進展。
本書可為高等院校計算機和通信相關專業的本科生、研究生提供參考,也可供對網路智慧型化與深度強化學習領域感興趣的研究人員和工程技術人員參考。
作者簡介
戚琦,博士,網路與交換國家重點實驗室副教授、碩士生導師、博士生導師。長期從事業務網路智慧型化和移動雲計算方向的科研工作,近年來重點關注深度強化學習、分散式機器學習、聯邦學習、輕量化神經網路等方面的前沿研究,取得了知識定義網路、邊緣智慧型、手部姿態估計、草圖檢索等一系列研究成果。發表高水平學術論文70餘篇,SCI索引期刊論文40餘篇。先後主持2項國家自然科學基金目,1項北京市自然科學基金,3項基地自主科研項目,以及多項企事業單位合作項目,作為主研人承擔重點研發計畫、創新團隊、創新群體、973等多個國家及省部級重大項目。
圖書目錄
第 1章 網路智慧型概述 1
1.1 概述 2
1.1.1 網路架構的持續演進 2
1.1.2 網路管理與控制的挑戰 3
1.1.3 網路智慧型的興起 4
1.2 網路智慧型的基礎 7
1.2.1 大數據 7
1.2.2 算力支持 7
1.2.3 集中式控制 9
1.3 網路智慧型的現狀 10
1.3.1 意圖網路 10
1.3.2 自動駕駛網路 12
1.3.3 知識定義網路 14
1.3.4 標準化工作 17
1.4 網路智慧型的實現途徑 18
1.4.1 監督學習 18
1.4.2 無監督學習 20
1.4.3 強化學習 21
1.5 網路智慧型的願景與挑戰 22
1.5.1 網路智慧型的願景 22
1.5.2 網路智慧型的挑戰 24
參考文獻 25
第 2章 深度強化學習方法 29
2.1 強化學習方法概述 30
2.1.1 馬爾可夫決策過程 30
2.1.2 多臂賭博機 32
2.1.3 蒙特卡洛樹搜尋與時間差分方法 33
2.1.4 值疊代與策略疊代 35
2.2 深度強化學習 37
2.2.1 深度Q網路 38
2.2.2 策略梯度方法 40
2.2.3 策略梯度單調提升最佳化算法 44
2.2.4 最大熵算法 50
2.3 多智慧型體強化學習 52
2.3.1 獨立強化學習及其湧現行為分析 53
2.3.2 多智慧型體通信 55
2.3.3 多智慧型體合作機制 56
2.3.4 多智慧型體建模與策略推斷 59
2.4 分層強化學習 61
2.5 遷移強化學習 64
2.5.1 遷移強化學習框架 65
2.5.2 根據遷移設定的分類 66
2.5.3 根據遷移知識類型的分類 67
2.5.4 根據遷移目標的分類 68
2.6 多任務強化學習 69
2.6.1 多任務學習基本概念 69
2.6.2 多任務強化學習 70
2.6.3 基於多任務學習的遷移強化學習 71
2.7 逆強化學習 73
2.8 分散式強化學習 75
參考文獻 77
第3章 基於強化學習的無線接入最佳化 81
3.1 多信道無線接入 81
3.1.1 多信道無線接入概述 82
3.1.2 基於DRL的動態多信道無線接入 83
3.1.3 異構無線網路的多信道接入 87
3.2 異構無線網路的調製和編碼 91
3.2.1 調製和編碼問題概述 91
3.2.2 基於DRL的調製和編碼 93
3.3 基站自適應能量控制 99
3.3.1 基站自適應能量控制內容概述 99
3.3.2 基站自適應能量控制問題引入 100
3.3.3 基於DRL的自適應能量控制 100
參考文獻 105
第4章 基於強化學習的網路管理 108
4.1 智慧型服務編排 108
4.1.1 NFV的資源配置 108
4.1.2 服務功能鏈映射 110
4.1.3 服務功能鏈選路 117
4.1.4 無線網路VNF的資源編排 122
4.2 智慧型網路切片 124
4.2.1 網路切片的需求與概念 124
4.2.2 網路切片的資源管理 127
4.2.3 無線接入網切片 128
4.2.4 核心網切片 133
參考文獻 136
第5章 基於強化學習的網路控制 141
5.1 智慧型路由控制 141
5.1.1 時間相關QoS的路由控制 143
5.1.2 邊緣網路路由控制 147
5.1.3 帶快取的DCN路由控制 151
5.2 智慧型擁塞控制 158
5.2.1 多路徑TCP控制 160
5.2.2 智慧型擁塞控制模型Aurora 164
5.3 智慧型流量調度 167
5.3.1 流量工程概述 168
5.3.2 智慧型流量調度 169
5.3.3 分散式流量調度 170
參考文獻 172
第6章 基於強化學習的任務調度 175
6.1 並行計算的任務調度 175
6.1.1 問題定義 176
6.1.2 基於RL的並行任務調度方法 177
6.1.3 基於DRL的並行任務調度方法 178
6.2 基於有向無環圖的任務調度 182
6.2.1 分散式系統任務模型 182
6.2.2 邊緣計算任務調度 183
6.2.3 雲計算的任務調度 185
6.2.4 數據處理集群的任務調度 188
6.3 混合任務調度 192
6.3.1 多類型任務調度 192
6.3.2 任務調度相關的聯合最佳化 195
參考文獻 198
第7章 基於強化學習的流媒體控制 200
7.1 超低時延的流媒體傳輸 201
7.1.1 超低時延的流媒體傳輸框架 201
7.1.2 碼率自適應算法 204
7.1.3 基於強化學習的超低時延傳輸算法 206
7.2 個性化的流媒體傳輸 210
7.2.1 個性化用戶體驗 210
7.2.2 基於強化學習的個性化QoE設計 212
7.3 新場景下的流媒體傳輸展望 214
參考文獻 215
第8章 基於強化學習的自組織網路 218
8.1 網聯自動駕駛 218
8.1.1 車載通信任務 218
8.1.2 車載資源分配 221
8.2 無人機網路概述 226
8.2.1 無人機通信資源調度 227
8.2.2 無人機公平效率覆蓋 231
8.2.3 無人機感測數據收集 235
參考文獻 238
名詞索引 241