《聯邦學習：原理與算法》是2021年人民郵電出版社出版的圖書，作者是王健宗、李澤遠、何安珣、王偉。
基本介紹
- 中文名：聯邦學習：原理與算法
- 作者：王健宗、李澤遠、何安珣、王偉
- 出版時間：2021年11月1日
- 出版社：人民郵電出版社
- ISBN：9787115575326
- 類別：算法
- 開本：16 開
- 裝幀：平裝-膠訂
內容簡介,圖書目錄,作者簡介,
內容簡介
數據孤島問題已經成為制約人工智慧發展的主要阻礙。在此背景下, 聯邦學習(Federated Learning) 作為一種新興的機器學習技術範式, 憑藉其突出的隱私保護能力,展示出在諸多業務場景中的套用價值。
本書從聯邦學習的基礎知識出發, 深入淺出地介紹了中央伺服器最佳化和聯邦機器學習的算法體系, 詳細闡述了聯邦學習中涉及的加密通信模組的相關知識, 以定性和定量的雙視角建立了聯邦學習服務質量的評估維度、理論體系, 還延伸介紹了提升聯邦學習服務質量的方法, 並對聯邦學習的研究趨勢進行了深入探討與分析, 可以對設計和選擇算法提供工具式的參考和幫助。
本書是高校、科研院所和業界相關學者研究聯邦學習技術的理想讀本, 也適合大數據、人工智慧行業的從業者和感興趣的讀者參考。
圖書目錄
第 1 章緒論 1
1.1人工智慧的發展 1
1.1. 1人工智慧的定義 1
1. 1. 2人工智慧的發展歷史及現狀 2
1. 1. 3機器學習與數據 3
1.2隱私保護浮出水面 4
1.2. 1隱私保護問題 5
1. 2. 2隱私保護的攻擊 5
1. 2. 3常見的隱私保護技術 7
1.3聯邦學習的誕生 8
1.3. 1聯邦學習的提出 8
1. 3. 2聯邦學習的範式 9
1.3. 3聯邦學習的套用 12
1. 4本章小結 13
第 2 章聯邦學習基礎 15
2.1聯邦學習的基本概念 15
2. 2聯邦學習的發展歷程 17
2. 3聯邦學習的基本類別與流程 18
2. 3. 1橫向聯邦學習 18
2. 3. 2縱向聯邦學習 19
2. 3. 3聯邦遷移學習 19
2. 3. 4聯邦強化學習 20
2.4聯邦學習的套用場景 21
2. 5本章小結 21
第 3 章中央伺服器最佳化算法 23
3.1聯邦隨機梯度下降算法 23
3. 1. 1算法框架及參數 23
3. 1. 2目標函式 24
3. 1. 3算法流程 25
3. 2聯邦平均算法 25
3. 2. 1算法框架及參數 26
3. 2. 2目標函式 27
3. 2. 3算法流程 27
3. 3差分隱私聯邦隨機梯度下降算法 28
3. 3. 1算法框架及參數 28
3. 3. 2相關函式說明 29
3. 3. 3算法流程 30
3. 4差分隱私聯邦平均算法 31
3. 4. 1算法框架及參數 31
3. 4. 2算法流程 32
3. 5基於損失的自適應提升聯邦學習算法 33
3. 5. 1算法框架及參數 34
3. 5. 2算法流程 35
3. 6自平衡聯邦學習算法 36
3. 6. 1算法框架及參數 36
3. 6. 2算法流程 37
3. 7聯邦近端算法 39
3. 7. 1算法框架及參數 40
3. 7. 2模組介紹 41
3. 7. 3算法流程 42
3. 8不可知聯邦學習算法 43
3. 9 基於機率的聯邦網路匹配算法Ⅰ: 單隱層神經網路匹配算法 50
3. 9. 1算法框架及參數 50
3. 9. 2模組介紹 53
3. 9. 3算法流程 56
3. 10基於機率的聯邦網路匹配算法Ⅱ: 多隱層神經網路匹配算法 57
3. 10. 1算法框架及參數 57
3. 10. 2模組介紹 59
3. 10. 3算法流程 63
3.11聯邦匹配平均算法 64
3. 11. 1算法框架及參數 64
3. 11. 2目標函式 65
3. 11. 3算法流程 66
3. 12本章小結 67
第 4 章聯邦回歸算法 69
4.1聯邦機器學習算法的定義 69
4. 1. 1水平型分布數據 70
4.1. 2垂直型分布數據 70
4. 2線性回歸 70
4. 2. 1橫向線性回歸 71
4. 2. 2縱向線性回歸 74
4. 3邏輯回歸 80
4. 3. 1橫向邏輯回歸 81
4. 3. 2縱向邏輯回歸 88
4. 4本章小結 96
第 5 章聯邦分類算法 97
5.1樸素貝葉斯分類法 97
5. 1. 1貝葉斯定理 97
5. 1. 2樸素貝葉斯分類的思想和工作過程 97
5. 1. 3橫向樸素貝葉斯分類 98
5.1. 4縱向樸素貝葉斯分類 102
5. 2支持向量機 107
5. 2. 1橫向支持向量機 109
5. 2. 2縱向支持向量機 116
5. 3本章小結 124
第 6 章聯邦樹模型 125
6. 1決策樹 125
6. 1. 1橫向決策樹 126
6. 1. 2縱向決策樹 131
6.2XGBoost 138
6. 2. 1參數及含義 139
6. 2. 2加法同態 140
6.2. 3SecureBoost 算法的流程 140
6. 3本章小結 143
第 7 章聯邦推薦算法 145
7. 1K 均值算法 145
7.1. 1橫向K 均值聚類算法 146
7. 1. 2縱向K 均值聚類算法 149
7. 1. 3任意數據 K 均值聚類算法 158
7. 1. 4安全兩方 K 均值聚類算法 162
7. 2因子分解機 166
7.3基於近鄰的協同過濾算法 171
7. 3. 1基於近鄰的傳統協同過濾算法 171
7. 3. 2基於用戶的聯邦協同過濾算法 173
7. 4基於矩陣的協同過濾算法 178
7. 4. 1基於矩陣的傳統協同過濾算法 178
7. 4. 2基於矩陣的聯邦協同過濾算法 178
7. 5矩陣分解算法 186
7. 5. 1基於 SGD 的聯邦矩陣分解算法 186
7. 5. 2基於多視圖的聯邦矩陣分解算法 190
7. 5. 3興趣點推薦算法 195
7. 5. 4基於差分隱私的聯邦矩陣分解算法 197
7. 5. 5基於混淆電路的聯邦矩陣分解算法 200
7. 5. 6基於相似度的聯邦矩陣分解算法 205
7. 5. 7基於因子分析的聯邦矩陣分解算法 209
7.5. 8基於深度學習的聯邦矩陣分解算法 211
7. 6本章小結 213
第 8 章聯邦學習系統的隱私與安全 215
8.1問題描述與安全模型 215
8. 2聯邦學習隱私保護技術 216
8. 2. 1秘密共享 216
8. 2. 2不經意傳輸 218
8. 2. 3混淆電路 220
8. 2. 4同態加密 222
8. 2. 5差分隱私 224
8.3聯邦學習安全防護技術 226
8. 3. 1密碼算法 226
8. 3. 2身份認證 229
8. 3. 3通信安全 231
8. 3. 4存儲安全 233
8. 3. 5可信計算 235
8. 4本章小結 237
第 9 章聯邦學習的服務質量 239
9.1聯邦學習服務質量的定義 239
9. 1. 1聯邦學習服務質量的由來 239
9. 1. 2什麼是聯邦學習服務質量評估 241
9. 2聯邦學習服務質量的評估維度 242
9. 2. 1模型性能 242
9. 2. 2數據傳輸效率 243
9. 2. 3網路性能 243
9. 2. 4計算資源
9. 2. 5聯邦建模的魯棒性
9. 3聯邦學習服務質量的理論體系
9. 3. 1模型性能的評價指標
9. 3. 2聯邦學習的通信指標
9. 3. 3資源調度代價
9. 3. 4聯邦建模的魯棒性
9. 3. 5隱私保護技術的選取
9. 3. 6權值更新方法
9. 4提升聯邦學習服務質量的方法
9. 4. 1聯邦學習的算法最佳化
9. 4. 2聯邦學習的通信最佳化
9. 4. 3聯邦學習的末位淘汰
9. 4. 4增強聯邦學習系統的魯棒性
9.5本章小結
第 10 章聯邦學習的研究趨勢
10.1聯邦學習的最佳化研究
10. 2聯邦學習的安全和隱私研究
10. 3聯邦學習的套用領域研究
10. 4本章小結
附錄
附錄 ACholesky 分解
附錄 BLDLT 分解
附錄 C共軛梯度法
參考文獻
作者簡介
王健宗
博士，美國佛羅里達大學人工智慧博士後，工程師，某大型金融集團科技公司聯邦學習團隊負責人，中國計算機學會傑出會員、大數據和量子計算專業委員會委員，長期從事聯邦學習、隱私計算技術研發和平台搭建工作，在聯邦學習、人工智慧、雲計算、大數據等領域發表國際論文 50 余篇，出版《深入理解 AutoML 和 AutoDL》、《金融智慧型》等共四部作品。
李澤遠
某大型金融集團科技公司 Al 產品經理，CCF
YOCSEF 深圳 AC 委員，長期負責 Al平台的標準
化產品設計，參與完成多項隱私計算產品在金融、醫療、政務場景中的交付落地，擁有豐富的實戰經驗。累計發表科研論文及申報專利數十篇 項，出版作品3部。
何安珣
某頭部網際網路公司產品經理。在金融科技領域深耕多年，在隱私計算領域生態建設、技術研究和架構搭建等方面擁有豐富的經驗，致力於推動隱私計算行業數字經濟轉型。累計發表科研論文、申報專利數十篇 項，參與業內多項標準制定。
王偉
中國科學院信息工程研究所信息安全國家重點實驗室助理研究員，信息安全博士，主要研究方向為密碼技術。在國際學術會議上發表論文多篇，獲得數項國家發明專利授權，承擔和參與了多項國家和省部級科研項目。
