基本介紹
- 中文名：從深度學習到圖神經網路：模型與實踐
- 作者：張玉宏、楊鐵軍
- 出版時間：2023年6月
- 出版社：電子工業出版社
- 頁數：340 頁
- ISBN：9787121456824
- 定價：108.00 元
- 開本：16 開
內容簡介,圖書目錄,作者簡介,
內容簡介
《從深度學習到圖神經網路：模型與實踐》詳細介紹了從深度學習到圖神經網路的基礎概念和前沿技術，包括圖上的深度學習、圖神經網路的數學基礎、神經網路學習與算法最佳化、深度學習基礎、神經網路中的表示學習、面向圖數據的嵌入表示、初代圖神經網路、空域及譜域圖卷積神經網路等內容。
圖書目錄
第1章 圖上的深度學習 1
1.1 人工智慧與深度學習 2
1.1.1 深度學習的發展 2
1.1.2 人工智慧的底層邏輯 4
1.2 圖神經網路時代的來臨 6
1.2.1 圖與圖像大不同 6
1.2.2 圖神經網路的本質 8
1.3 圖數據處理面臨的挑戰 9
1.3.1 歐氏空間難表示圖 9
1.3.2 圖表達無固定格式 10
1.3.3 圖可視化難理解 11
1.3.4 圖數據不符合獨立同分布 11
1.4 圖神經網路的套用層面 12
1.4.1 節點預測 12
1.4.2 邊預測 13
1.4.3 圖預測 14
1.5 圖神經網路的發展簡史 15
1.5.1 早期的圖神經網路 15
1.5.2 圖卷積神經網路的提出 16
1.5.3 圖表示學習 18
1.5.4 圖卷積的簡化 19
1.6 圖神經網路的模組與分類 20
1.6.1 圖神經網路的常見模組 20
1.6.2 圖神經網路的分類 22
1.7 本章小結 23
參考資料 24
第2章 圖神經網路的數學基礎 27
2.1 矩陣論基礎 28
2.1.1 標量與向量 28
2.1.2 向量範數 30
2.1.3 向量的夾角與餘弦相似度 32
2.1.4 矩陣與張量 33
2.1.5 矩陣的本質 34
2.1.6 矩陣乘法的三種視角 34
2.1.7 逆矩陣與行列式 37
2.1.8 特徵值與特徵向量 38
2.1.9 矩陣的平方分解 39
2.1.10 特徵分解 40
2.1.11 正定矩陣和半正定矩陣 42
2.2 圖論基礎 43
2.2.1 圖的表示 44
2.2.2 無向圖與有向圖 45
2.2.3 權值圖 45
2.2.4 鄰接矩陣與關聯矩陣 46
2.2.5 鄰域和度 47
2.2.6 度數矩陣 49
2.2.7 二分圖 50
2.2.8 符號圖 51
2.2.9 圖的遍歷 52
2.2.10 圖的同構與異構 53
2.2.11 圖的途徑、跡與路 54
2.2.12 圖的連通性 55
2.2.13 節點的中心性 57
2.3 譜圖論基礎 65
2.3.1 拉普拉斯矩陣的來源 65
2.3.2 拉普拉斯矩陣的性質 72
2.3.3 拉普拉斯矩陣的譜分解 74
2.3.4 拉普拉斯矩陣的歸一化 77
2.4 本章小結 80
參考資料 80
第3章 神經網路學習與算法最佳化 82
3.1 人工神經網路的緣起 83
3.2 神經網路的第一性原理 84
3.2.1 通用近似定理 85
3.2.2 通用近似定理的套用 86
3.3 感知機模型與前饋神經網路 87
3.3.1 人工神經元的本質 88
3.3.2 歷久彌新的感知機 88
3.3.3 備受啟發的支持向量機 90
3.4 更強表征能力的多層感知機 91
3.5 不可或缺的激活函式 93
3.5.1 Sigmoid函式 94
3.5.2 Tanh函式 95
3.5.3 ReLU函式 96
3.5.4 Softmax函式 98
3.6 損失函式 100
3.6.1 普通的損失函式 101
3.6.2 交叉熵損失函式 103
3.7 神經網路的訓練 105
3.7.1 最佳化算法的意義 106
3.7.2 基於梯度的最佳化流程 106
3.8 最佳化算法的分類 109
3.8.1 最佳化算法的派系 109
3.8.2 最佳化算法面臨的挑戰 111
3.9 本章小結 112
參考資料 113
第4章 深度學習基礎 115
4.1 深度學習時代的興起 116
4.2 卷積神經網路 118
4.2.1 卷積神經網路的整體結構 118
4.2.2 神經網路中“層”的本質 119
4.3 可圈可點的卷積層 120
4.3.1 卷積核 120
4.3.2 卷積核的工作機理 122
4.3.3 多通道卷積 123
4.3.4 用PyTorch實現特定卷積 125
4.3.5 卷積層的4個核心參數 127
4.4 降維減負的匯聚層 131
4.4.1 匯聚層原理 131
4.4.2 匯聚層實例 133
4.5 不可或缺的全連線層 135
4.6 防止過擬合 136
4.6.1 批歸一化處理 137
4.6.2 丟棄法 141
4.7 本章小結 143
參考資料 143
第5章 神經網路中的表示學習 145
5.1 表示學習的背景 146
5.1.1 符號表示與向量表示 146
5.1.2 為何需要表示學習 147
5.2 離散表示與獨熱編碼 148
5.3 分散式表示與神經網路 150
5.3.1 神經網路是一種分散式表示 150
5.3.2 深度學習中的“End-to-End”表示學習 152
5.4 自編碼器中的表示學習 153
5.4.1 自編碼器的工作原理 154
5.4.2 從信息瓶頸看自編碼器的原理 155
5.4.3 欠完備自編碼器 156
5.4.4 正則化自編碼器 157
5.4.5 降噪自編碼器 159
5.4.6 變分自編碼器 159
5.5 嵌入表示與Word2vec 161
5.5.1 詞嵌入 161
5.5.2 Word2vec的核心思想 164
5.5.3 跳元模型 165
5.6 詞嵌入實戰 171
5.6.1 讀取數據集 171
5.6.2 數據預處理 172
5.6.3 模型構建與訓練 174
5.6.4 相似性度量 175
5.6.5 詞向量可視化：t-SNE 177
5.7 本章小結 179
參考資料 180
第6章 面向圖數據的嵌入表示 182
6.1 圖嵌入概述 183
6.2 DeepWalk的原理 184
6.2.1 DeepWalk的基本思想 184
6.2.2 隨機遊走階段 185
6.2.3 跳元模型訓練階段 187
6.2.4 負採樣 193
6.2.5 分層Softmax 195
6.3 基於DeepWalk的維基百科相似網頁檢測 198
6.3.1 數據準備 198
6.3.2 圖的構建 201
6.3.3 構建隨機遊走節點序列 201
6.3.4 利用Word2vec實現DeepWalk 203
6.3.5 模型的保存與載入 206
6.3.6 DeepWalk的套用領域 207
6.4 LINE模型 208
6.4.1 LINE模型的發展背景 208
6.4.2 一階相似度 208
6.4.3 二階相似度 209
6.5 Node2vec 211
6.5.1 Node2vec的由來 211
6.5.2 同質性與結構性 212
6.5.3 Node2vec的工作原理 213
6.6 Metapath2vec 215
6.6.1 異構圖的定義與問題 216
6.6.2 基於Meta-path的隨機遊走216
6.7 本章小結 218
參考資料 219
第7章 初代圖神經網路 221
7.1 初代圖神經網路的誕生 222
7.2 GNN中的數據聚合 222
7.2.1 GNN的本質 223
7.2.2 圖中的訊息傳遞 223
7.3 初代GNN的工作原理 225
7.3.1 圖中節點的信息更新 226
7.3.2 不動點理論 229
7.3.3 壓縮映射實現的條件 232
7.3.4 圖神經網路模型的訓練 234
7.4 初代圖神經網路的局限性 235
7.5 本章小結 235
參考資料 236
第8章 空域圖卷積神經網路 238
8.1 圖卷積神經網路概述 239
8.1.1 圖卷積神經網路的誕生 239
8.1.2 圖卷積神經網路的框架 241
8.2 MPNN模型 244
8.3 GCN與CNN的關聯245
8.3.1 局部連線性 246
8.3.2 層次化表達 247
8.4 圖卷積節點分類實踐 248
8.4.1 圖數據的生成 248
8.4.2 傳遞規則的實現 250
8.4.3 考慮權值影響的信息聚合 260
8.4.4 添加激活函式 261
8.4.5 模擬一個分類輸出 262
8.5 GraphSAGE263
8.5.1 歸納式學習與直推式學習 263
8.5.2 GraphSAGE所為何來 266
8.5.3 GraphSAGE的框架 267
8.5.4 鄰居節點採樣 268
8.5.5 特徵信息聚合 269
8.5.6 權值參數訓練 271
8.6 基於GraphSAGE的實踐 273
8.6.1 Cora數據探索 273
8.6.2 構造正負樣本 276
8.6.3 定義模型 277
8.6.4 訓練參數配置 278
8.6.5 訓練模型 279
8.6.6 嵌入表示的可視化 281
8.7 本章小結 283
參考資料 284
第9章 譜域圖卷積神經網路 286
9.1 傅立葉變換 287
9.1.1 傅立葉變換背後的方法論 287
9.1.2 感性認識傅立葉變換 288
9.1.3 向量分解與信號過濾 288
9.2 圖傅立葉變換 290
9.2.1 什麼是圖信號 290
9.2.2 圖傅立葉變換簡介 290
9.2.3 特徵值與圖信號頻率之間的關係 293
9.3 譜域視角下的圖卷積 296
9.3.1 圖卷積理論 296
9.3.2 譜域圖卷積 297
9.3.3 基於譜的圖濾波器設計 299
9.4 基於譜域GCN的演進 300
9.4.1 頻率回響參數化的GCN 300
9.4.2 多項式參數化的GCN 302
9.4.3 基於切比雪夫網路截斷的多項式參數化的GCN 304
9.4.4 基於一階切比雪夫網路的GCN 306
9.5 Karate Club圖卷積分類實踐 308
9.5.1 Karate Club數據集 308
9.5.2 數據導入與探索 309
9.5.3 鄰接矩陣與坐標格式 312
9.5.4 繪圖NetworkX圖 315
9.5.5 半監督的節點分類 315
9.5.6 模型預測 321
9.6 本章小結 323
參考資料 323
作者簡介
張玉宏，博士畢業於電子科技大學，大數據分析師（高級），2009—2011年美國西北大學訪問學者，2019—2020年美國IUPUI高級訪問學者，CCF鄭州分部執行委員，CFF公益大使。現執教於河南工業大學，主要研究方向為人工智慧、大數據等。發表學術論文30餘篇，先後撰寫《深度學習之美：AI時代的數據處理與最佳實踐》《Python極簡講義：一本書入門數據分析與機器學習》等科技圖書15部。
楊鐵軍，博士，教授，博士生導師，河南省電子學會副理事長，河南省高等學校電子信息類專業教學指導委員會副主任委員，河南省數字政府建設專家委員會委員。主要研究方向：醫學圖像處理、糧食信息處理。
