《推薦系統技術原理與實踐》是一本2023年人民郵電出版社出版的圖書，作者是文亮。
基本介紹
- 中文名：推薦系統技術原理與實踐
- 作者：文亮
- 出版時間：2023年6月
- 出版社：人民郵電出版社
- ISBN：9787115609809
- 裝幀：平裝-膠訂
內容簡介,圖書目錄,作者簡介,
內容簡介
本書系統介紹推薦系統的技術理論和實踐。首先介紹推薦系統的基礎知識；然後介紹推薦系統常用的機器學習和深度學習模型；接著重點介紹推薦系統的4層級聯架構，包括召回、粗排、精排和重排，以及谷歌、阿里巴巴等大型網際網路公司在4層級聯架構中的模型設計和實現原理；緊接其後介紹多目標排序在推薦系統中的套用，具體介紹阿里巴巴、谷歌等大型網際網路公司的實踐；後從不同角度審視推薦系統，介紹公平性問題、知識蒸餾、冷啟動等各種前沿實踐。本書基於一線研發人員的視角向讀者分享推薦系統的實踐經驗，所有模型結構和前沿實踐都在業務場景中落地。
本書適合推薦系統領域的從業者、高校科研人員、高校計算機專業學生，以及對推薦系統感興趣的產品研發人員和運營人員閱讀。
圖書目錄
第 1章 推薦系統簡介 1
1.1 什麼是推薦系統 1
1.2 推薦系統的作用和意義 2
1.3 推薦系統的技術架構 3
1.4 推薦系統的召回階段 5
1.5 推薦系統的粗排階段 5
1.6 推薦系統的精排階段 5
1.7 推薦系統的重排階段 6
1.8 小結 6
第 2章 推薦系統算法基礎 7
2.1 LR--套用極廣的機器學習模型 7
2.1.1 LR的數學原理 7
2.1.2 LR的訓練方法 9
2.1.3 LR的訓練最佳化 12
2.1.4 LR的優勢和局限性 13
2.2 MLP--極簡單的深度學習模型 13
2.2.1 MLP的模型結構 15
2.2.2 MLP的訓練方法 16
2.2.3 MLP的優勢和局限性 16
2.3 機器學習常用的最佳化算法 17
2.3.1 隨機梯度下降法 17
2.3.2 小批量隨機梯度下降法 18
2.3.3 FTRL線上學習算法 18
2.4 深度學習常用的最佳化算法 18
2.4.1 深度學習的最佳化挑戰 18
2.4.2 AdaGrad算法 19
2.4.3 RMSProp算法 20
2.4.4 AdaDelta 算法 21
2.4.5 Adam 算法 21
2.5 深度學習常用的激活函式.22
2.5.1 引入激活函式的目的 22
2.5.2 sigmoid 激活函式 23
2.5.3 ReLU 激活函式 25
2.5.4 Leaky ReLU 激活函式25
2.5.5 PReLU 激活函式 26
2.5.6 阿里巴巴的 Dice 激活函式 26
2.5.7 RReLU 激活函式 27
2.6 欠擬合和過擬合 28
2.6.1 欠擬合和過擬合的原因與解決方案 28
2.6.2 處理欠擬合的特定技術 29
2.6.3 處理過擬合的特定技術 30
2.7 深度學習中模型參數的初始化 31
2.7.1 權重和超參數的初始化 31
2.7.2 權重初始化案例-連續點擊機率模型 31
2.8 小結 33
第3 章 召回技術演進 35
3.1 召回層的作用和意義 36
3.2 召回模型的演進 37
3.3 傳統召回算法 38
3.3.1 基於協同過濾的召回算法 38
3.3.2 基於矩陣分解的召回算法 41
3.3.3 傳統召回算法小結 42
3.4 Embedding 模型化召回的基本框架 42
3.4.1 Embedding 的產生 43
3.4.2 Embedding 的發展 44
3.4.3 基於 Embedding 的召回框架 44
3.5 基於內容語義的 i2i 召回 46
3.5.1 物品 Embedding 生成 46
3.5.2 Word2vec-經典的詞向量方法 46
3.5.3 FastText-字元級別n-gram 方法 54
3.5.4 BERT-動態詞向量方法 55
3.5.5 語言模型擴展為序列模型 58
3.5.6 內容語義召回小結 59
3.6 基於 Graph Embedding 的i2i 召回 60
3.6.1 DeepWalk-隨機遊走圖表征 61
3.6.2 EGES-阿里巴巴的Graph Embedding 方法 61
3.6.3 Node2vec-最佳化圖結構的Graph Embedding 方法 63
3.6.4 GCN-基於譜域的圖神經網路 65
3.6.5 GraphSAGE-基於空間域的圖神經網路 68
3.6.6 Graph Embedding 小結 70
3.7 基於深度學習的 u2i 召回 70
3.7.1 DSSM-經典的雙塔模型 70
3.7.2 YouTube 的深度學習召回算法 71
3.7.3 基於用戶長短興趣的Embedding 召回 73
3.7.4 深度學習 u2i 召回小結 78
3.8 小結 78
第4 章 粗排技術演進 80
4.1 粗排的發展 81
4.2 粗排的前深度學習時代 81
4.3 粗排的深度學習時代 82
4.3.1 向量內積模型 82
4.3.2 向量版 WDL 模型--向量內積模型的改進 83
4.4 粗排的進展 84
4.4.1 阿里巴巴的粗排模型 COLD 84
4.4.2 知識蒸餾 85
4.5 粗排的未來展望 90
4.6 小結90
第5 章 精排技術演進 91
5.1 精排模型的演化關係 92
5.2 傳統機器學習推薦模型 94
5.2.1 FM 模型-稀疏數據下的特徵交叉94
5.2.2 FFM-特徵域感知 FM 模型 97
5.2.3 GBDT LR-Facebook 的特徵交叉模型 98
5.2.4 MLR-阿里巴巴的經典 CTR 預估模型 100
5.3 精排的深度學習時代 103
5.3.1 WDL-谷歌的經典 CTR預估模型 103
5.3.2 DCN-深度交叉網路 105
5.3.3 DCN-v2-谷歌的改進版DCN 模型 107
5.3.4 DIN-基於注意力機制的用戶動態興趣表達 109
5.3.5 DIEN-使用序列模型對用戶興趣建模 112
5.3.6 BST-使用 Transformer 對用戶行為序列建模 116
5.3.7 DSIN-基於會話的興趣演化模型 117
5.3.8 MIMN-多通道用戶興趣網路 121
5.3.9 SIM-基於搜尋的超長用戶行為序列建模 126
5.3.10 CAN-特徵交叉新路線 135
5.4 小結 139
第6 章 重排技術演進 141
6.1 重排的作用 142
6.2 基於規則的多樣性重排 143
6.3 基於行列式點過程的重排 143
6.4 深度學習在重排中的套用 145
6.5 強化學習在重排中的套用 147
6.6 小結 149
第7 章 多目標排序在推薦系統中的套用.150
7.1 推薦系統的最佳化目標 151
7.2 多目標排序模型的演化關係 152
7.3 通過樣本權重進行多目標最佳化 154
7.4 多目標排序模型 155
7.4.1 共享底層參數的多塔結構 155
7.4.2 MOE-替換共享底層參數的門控網路 158
7.4.3 MMOE-改進 MOE 的多門混合專家系統 159
7.4.4 PLE-改進 MMOE 解決“蹺蹺板”現象 160
7.4.5 ESMM-根據目標依賴關係建模 167
7.4.6 ESM2-改進 ESMM 解決數據稀疏性問題 170
7.4.7 DBMTL-用貝葉斯網路對目標依賴關係建模 172
7.5 多目標融合最佳化 174
7.5.1 基於 UWL 聯合機率分布的多目標融合 174
7.5.2 帕累托多目標融合 176
7.6 多目標模型訓練方式 177
7.6.1 聯合訓練 177
7.6.2 交替訓練 178
7.7 小結 178
第8 章 推薦系統的前沿實踐 180
8.1 推薦系統的套用場景 181
8.2 推薦系統的公平性問題 182
8.2.1 公平性策略-消除位置偏置和資源曝光偏置 182
8.2.2 YouTube 消除位置偏置實踐 187
8.2.3 華為消除位置偏置實踐--PAL 模型 188
8.2.4 360 消除用戶組偏差實踐--語料採樣 189
8.2.5 360 多場景融合實踐--偏置建模消除用戶組偏差 191
8.2.6 360 實踐--PID 建模消除資源曝光偏置 192
8.3 多場景融合實踐 194
8.3.1 360 多場景融合實踐--將場景信息作為特徵加入模型 195
8.3.2 360 多場景融合實踐--多塔結構學習各個場景 195
8.3.3 阿里巴巴多場景融合實踐--STAR 模型多場景融合 196
8.4 知識蒸餾在推薦系統中的套用 200
8.4.1 知識蒸餾的背景 200
8.4.2 阿里巴巴廣告知識蒸餾實踐 201
8.4.3 阿里巴巴淘寶推薦知識蒸餾實踐 203
8.4.4 愛奇藝知識蒸餾實踐 205
8.5 推薦系統的冷啟動問題 206
8.5.1 基於規則的冷啟動過程 207
8.5.2 引入輔助信息最佳化 Embedding冷啟動 207
8.5.3 元學習最佳化 Embedding冷啟動 208
8.6 深度學習模型的特徵選擇 216
8.6.1 基於 L2 的特徵選擇 216
8.6.2 基於 SE Block 的特徵選擇 216
8.7 推薦系統的其他問題 218
8.7.1 基於 Look-alike 解決推薦系統長尾問題 218
8.7.2 正負樣本不平衡實踐--Focal loss 221
8.7.3 深度學習推薦系統的預訓練實踐 222
8.8 小結 222
作者簡介
文亮，奇虎360公司資深算法專家, 碩士畢業於電子科技大學信息與軟體工程學院。主要研究方向有推薦系統、深度學習和信息安全，曾發表5篇相關領域的學術論文，其中3篇被EI收錄 。他擁有超過5年的機器學習與推薦系統實踐經驗，作為奇虎360推薦場景的核心研發人員，主導深度學習在奇虎360信息流推薦場景的落地工作。
