《遷移學習導論（第2版）》是2022年7月電子工業出版社出版的圖書，作者是王晉東、陳益強。
基本介紹
- 書名：遷移學習導論（第2版）
- 作者：王晉東、陳益強
- 出版社：電子工業出版社
- 出版時間：2022年7月
- 頁數：400 頁
- 定價：119 元
- 開本：16 開
- ISBN：9787121436505
內容簡介,圖書目錄,作者簡介,
內容簡介
遷移學習作為機器學習和人工智慧領域的重要方法，在計算機視覺、自然語言處理、語音識別等領域都得到了廣泛的套用。
《遷移學習導論（第2版）》的編寫目的是幫助遷移學習及機器學習相關領域的初學者快速入門。全書主要分為“遷移學習基礎”“現代遷移學習”和“遷移學習的套用與實踐”三大部分，同時配有相關的代碼、數據和論文資料，以最大限度地降低初學者的學習和使用門檻。
《遷移學習導論（第2版）》與前一版的主要區別在於新增了對遷移學習前沿關鍵主題的探討,以及更多的套用實踐內容。
《遷移學習導論（第2版）》適合對遷移學習感興趣的讀者閱讀，也可作為相關課程的配套教材。
圖書目錄
第I 部分遷移學習基礎
1 緒論3
1.1 遷移學習3
1.2 相關研究領域7
1.3 遷移學習的必要性8
1.3.1 大數據與少標註之間的矛盾9
1.3.2 大數據與弱計算能力的矛盾9
1.3.3 有限數據與模型泛化能力的矛盾· 10
1.3.4 普適化模型與個性化需求的矛盾· 11
1.3.5 特定套用的需求 11
1.4 遷移學習的研究領域12
1.4.1 按特徵空間分類 13
1.4.2 按目標域有無標籤分類 13
1.4.3 按學習方法分類 13
1.4.4 按離線與線上形式分類 14
1.5 學術界和工業界中的遷移學習15
1.6 遷移學習的套用18
1.6.1 計算機視 覺19
1.6.2 自然語言處理 21
1.6.3 語音識別與合成 23
1.6.4 普適計算與人機互動25
1.6.5 醫療健康 28
1.6.6 其他套用領域30
參考文獻
2 從機器學習到遷移學習48
2.1 機器學習基礎48
2.1.1 機器學習概念48
2.1.2 結構風險最小化 49
2.1.3 數據的機率分布 50
2.2 遷移學習定義52
2.3 遷移學習基本問題 55
2.3.1 何時遷移 55
2.3.2 何處遷移 56
2.3.3 如何遷移 58
2.4 失敗的遷移：負遷移 58
2.5 一個完整的遷移學習過程 60
參考文獻61
3 遷移學習方法總覽63
3.1 分布差異的度量 63
3.2 分布差異的統一表征66
3.2.1 分布自適應因子的計算 67
3.3 遷移學習方法統一表征68
3.3.1 樣本權重遷移法 70
3.3.2 特徵變換遷移法 70
3.3.3 模型預訓練遷移法 71
3.4 上手實踐72
3.4.1 數據準備 · 73
3.4.2 基準模型構建：KNN 75
參考文獻76
4 樣本權重遷移法78
4.1 問題定義78
4.2 基於樣本選擇的方法 80
4.2.1 基於非強化學習的樣本選擇法 81
4.2.2 基於強化學習的樣本選擇法82
4.3 基於權重自適應的方法 83
4.4 上手實踐 85
4.5 小結 88
參考文獻88
5 統計特徵變換遷移法93
5.1 問題定義93
5.2 最大均值差異法94
5.2.1 基本概念 94
5.2.2 基於最大均值差異的遷移學習96
5.2.3 求解與計算 99
5.2.4 套用與擴展 101
5.3 度量學習法102
5.3.1 度量學習 102
5.3.2 基於度量學習的遷移學習 104
5.4 上手實踐 105
5.5 小結108
參考文獻108
6 幾何特徵變換遷移法 111
6.1 子空間變換法111
6.1.1 子空間對齊法112
6.1.2 協方差對齊法113
6.2 流形空間變換法 114
6.2.1 流形學習 114
6.2.2 基於流形學習的遷移學習方法 115
6.3 最優傳輸法 118
6.3.1 最優傳輸 118
6.3.2 基於最優傳輸法的遷移學習方法 119
6.4 上手實踐 121
6.5 小結 122
參考文獻 123
7 遷移學習理論、評測與模型選擇125
7.1 遷移學習理論 125
7.1.1 基於H-divergence 的理論分析 126
7.1.2 基於HΔH-distance 的理論分析· 128
7.1.3 基於差異距離的理論分析 129
7.1.4 結合標籤函式差異的理論分析 130
7.2 遷移學習評測 131
7.3 遷移學習模型選擇132
7.3.1 基於密度估計的模型選擇 133
7.3.2 遷移交叉驗證133
7.4 小結134
參考文獻 135
第II 部分現代遷移學習
8 預訓練– 微調 139
8.1 深度神經網路的可遷移性 140
8.2 預訓練微調 143
8.2.1 預訓練– 微調的有效性 144
8.3 遷移學習中的正則 145
8.4 預訓練模型用於特徵提取148
8.5 學習如何微調 149
8.6 上手實踐 151
8.7 小結 155
參考文獻155
9 深度遷移學習 158
9.1 總體思路159
9.2 深度遷移學習的網路結構160
9.2.1 單流結構 161
9.2.2 雙流結構 161
9.3 數據分布自適應方法163
9.4 結構自適應的深度遷移學習方法165
9.4.1 基於批歸一化的遷移學習 165
9.4.2 基於多表示學習的遷移網路結構· 166
9.4.3 基於解耦的深度遷移方法 168
9.5 知識蒸餾 169
9.6 上手實踐170
9.6.1 網路結構 171
9.6.2 遷移損失 174
9.6.3 訓練和測試 179
9.7 小結183
參考文獻184
10 對抗遷移學習 187
10.1 生成對抗網路與遷移學習187
10.2 數據分布自適應的對抗遷移方法189
10.3 基於最大分類器差異的對抗遷移方法192
10.4 基於數據生成的對抗遷移方法 194
10.5 上手實踐195
10.5.1 領域判別器 195
10.5.2 分布差異計算 · 196
10.5.3 梯度反轉層 197
10.6 小結198
參考文獻198
11 遷移學習的泛化200
11.1 領域泛化200
11.2 基於數據操作的領域泛化方法203
11.2.1 數據增強和生成方法 203
11.2.2 基於Mixup 的數據生成方法 · 205
11.3 領域不變特徵學習206
11.3.1 核方法：領域不變成分分析· 206
11.3.2 深度領域泛化方法· 208
11.3.3 特徵解耦 210
11.4 用於領域泛化的不同學習策略212
11.4.1 基於集成學習的方法 212
11.4.2 基於元學習的方法213
11.4.3 用於領域泛化的其他學習範式 215
11.5 領域泛化理論215
11.5.1 平均風險預估誤差上界 215
11.5.2 泛化風險上界217
11.6 上手實踐17
11.6.1 數據載入 218
11.6.2 訓練和測試 220
11.6.3 示例方法：ERM 和CORAL· 222
11.7 小結225
參考文獻225
12 安全和魯棒的遷移學習232
12.1 安全遷移學習232
12.1.1 遷移學習模型可以被攻擊嗎233
12.1.2 抵制攻擊的方法233
12.1.3 ReMoS：一種新的安全遷移學習方法 235
12.2 聯邦學習和遷移學習 238
12.2.1 聯邦學習 238
12.2.2 面向非獨立同分布數據的個性化聯邦學習 241
12.2.3 模型自適應的個性化遷移學習 242
12.2.4 基於相似度的個性化聯邦學習 243
12.3 無需源數據的遷移學習244
12.3.1 信息最大化方法 246
12.3.2 特徵匹配方法 247
12.4 基於因果關係的遷移學習248
12.4.1 什麼是因果關係 248
12.4.2 因果關係與遷移學習 250
12.5 小結254
參考文獻254
13 複雜環境中的遷移學習 260
13.1 類別非均衡的遷移學習260
13.2 多源遷移學習263
13.3 開放集遷移學習265
13.4 時間序列遷移學習267
13.4.1 AdaRNN：用於時間序列預測的遷移學習 269
13.4.2 DIVERSIFY：用於時間序列分類的遷移學習271
13.5 線上遷移學習 273
13.6 小結276
參考文獻276
14 低資源學習281
14.1 遷移學習模型壓縮 281
14.2 半監督學習284
14.2.1 一致性正則化方法285
14.2.2 偽標籤和閾值法 287
14.3 元學習290
14.3.1 基於模型的元學習方法 · 292
14.3.2 基於度量的元學習方法 · 293
14.3.3 基於最佳化的元學習方法 · 295
14.4 自監督學習 297
14.4.1 構造輔助任務 · 298
14.4.2 對比自監督學習 · 299
14.5 小結300
參考文獻301
第III 部分遷移學習的套用與實踐
15 計算機視覺中的遷移學習實踐309
15.1 目標檢測309
15.1.1 任務與數據 309
15.1.2 載入數據 310
15.1.3 模型 313
15.1.4 訓練和測試 313
15.2 神經風格遷移315
15.2.1 數據載入 315
15.2.2 模型 316
15.2.3 訓練 317
參考文獻319
16 自然語言處理中的遷移學習實踐320
16.1 情緒分類任務及數據集320
16.2 模型322
16.3 訓練和測試323
16.4 預訓練微調324
參考文獻325
17 語音識別中的遷移學習實踐326
17.1 跨領域語音識別 326
17.1.1 語音識別中的遷移損失 327
17.1.2 CMatch 算法實現· 328
17.1.3 實驗及結果 332
17.2 跨語言語音識別333
17.2.1 適配器模組 334
17.2.2 基於適配器進行跨語言語音識別335
17.2.3 算法：MetaAdapter 和SimAdapter · 336
17.2.4 結果與討論 337
參考文獻339
18 行為識別中的遷移學習實踐340
18.1 任務及數據集340
18.2 特徵提取341
18.3 源域選擇342
18.4 使用TCA 方法進行非深度遷移學習344
18.5 深度遷移學習用於跨位置行為識別345
參考文獻350
19 醫療健康中的聯邦遷移學習實踐351
19.1 任務和數據集351
19.1.1 模型結構 355
19.2 聯邦學習基礎算法FedAvg 356
19.2.1 客戶端更新 357
19.2.2 伺服器端更新 · 357
19.2.3 結果 358
19.3 個性化聯邦學習算法AdaFed 359
19.3.1 相似度矩陣計算 · 359
19.3.2 伺服器端通信 · 361
19.3.3 結果 362
參考文獻362
20 回顧與展望364
參考文獻367
附錄368
常用度量準則368
常見的幾種距離 · 368
餘弦相似度 · 369
互信息· 369
相關係數 · 369
KL 散度與JS 距離 370
最大均值差異MMD · 370
Principal Angle · 371
A-distance 371
Hilbert-Schmidt Independence Criterion 371
Wasserstein Distance 372
常用數據集372
手寫體識別圖像數據集 373
對象識別數據集 · 374
圖像分類數據集 · 374
通用文本分類數據集· 375
行為識別公開數據集· 375
相關期刊會議376
遷移學習資源匯總377
參考文獻378
作者簡介
王晉東
微軟亞洲研究院研究員，博士畢業於中國科學院計算技術研究所，主要從事遷移學習、機器學習和深度學習方面的研究。
研究成果發表在IEEE TKDE、IEEE TNNLS、NeurIPS、CVPR、IJCAI、IMWUT等頂級期刊和會議；獲得國家獎學金、中國科學院優秀博士論文獎、IJCAI聯邦學習研討會最佳套用論文獎等。擔任國際會議IJCAI2019的宣傳主席，擔任TPAMI、TKDE、ICML、NeurIPS、ICLR等的審稿人或程式委員會委員。
熱心知識分享，領導維護著GitHub上廣受歡迎的遷移學習開源庫，獲得超過1萬星標；在知乎的部落格文章瀏覽次數逾1000萬次，幫助眾多學術界和工業界人士快速入門遷移學習。
陳益強
中國科學院計算技術研究所所務委員、研究員、CCF Fellow，主要研究人機互動與普適計算，聯邦學習與遷移學習等。
任北京市移動計算與新型終端重點實驗室主任、中科院計算所泛在計算系統研究中心主任；曾入選國家“萬人計畫”科技創新領軍人才、科技部中青年科技創新領軍人才、北京市科技新星等；國務院特殊津貼專家，東京大學、南洋理工大學兼職教授，IEEE計算智慧型等6個刊物的編委，IEEE可穿戴與智慧型互動技術委員會創始委員等。獲 IJCAI-FL等人工智慧和普適計算領域最佳論文獎 6 項；相關成果獲國家科技進步二等獎及中國計算機學會技術發明一等獎等。
