《多模態大模型：新一代人工智慧技術範式（全彩）》是電子工業出版社出版圖書，作者劉陽、林倞。
基本介紹
- 中文名：多模態大模型：新一代人工智慧技術範式（全彩）
- 作者：劉陽、 林倞
- 出版時間：2024年4月
- 出版社：電子工業出版社
- 頁數：296 頁
- ISBN：9787121475474
- 定價：119 元
- 開本：16 開
內容簡介,圖書目錄,作者簡介,
內容簡介
《多模態大模型：新一代人工智慧技術範式（全彩）》以深入淺出的方式介紹多模態大模型的技術方法、開源平台和套用場景，並詳細闡述因果推理、世界模型及多智慧型體與具身智慧型等前沿技術領域，有助於讀者全面了解多模態大模型的特點及發展方向，對新一代人工智慧技術範式和通用人工智慧的發展起到重要推動作用。
《多模態大模型：新一代人工智慧技術範式（全彩）》內容共5章，第1章引領讀者深入探索最具代表性的大模型結構，包括BERT、Chat-GPT 和ChatGLM等，為建立對多模態大模型的全面認知打下基礎。第2章深度剖析多模態大模型的核心技術，如提示學習、上下文學習、思維鏈和人類反饋強化學習等，揭示多模態大模型的獨特之處和引人入勝的技術內涵。第3章介紹多個具有代表性的多模態基礎模型，如CLIP、LLaMA、SAM和PaLM-E等，為讀者呈現多樣和廣泛的技術解決方案。第4章深入分析視覺問答、AIGC和具身智慧型這三個典型套用，展示多模態大模型在實際場景中的強大能力。第5章探討實現AGI的可行思路，包括因果推理、世界模型、超級智慧型體與具身智慧型等前沿技術方向。
《多模態大模型：新一代人工智慧技術範式（全彩）》不僅適合高校相關專業高年級本科生和研究生作為教材使用，更是各類IT從業者的必備參考之作。
圖書目錄
1 大模型全家桶 1
1.1 多模態大模型基本概念 3
1.1.1 多模態 4
1.1.2 大模型和基礎模型 4
1.1.3 多模態大模型 5
1.2 BERT技術詳解 6
1.2.1 模型結構 6
1.2.2 預訓練任務 10
1.2.3 下游套用場景 13
1.3 ViT技術詳解 14
1.3.1 模型結構 15
1.3.2 預訓練任務 17
1.4 GPT系列 19
1.4.1 GPT-1結構詳解 20
1.4.2 GPT-2結構詳解 23
1.4.3 GPT-3結構詳解 24
1.5 ChatGPT簡介 28
1.5.1 InstructGPT 28
1.5.2 ChatGPT 32
1.5.3 多模態GPT-4V 37
1.6 中英雙語對話機器人ChatGLM 40
1.6.1 ChatGLM-6B模型 41
1.6.2 千億基座模型GLM-130B的結構 43
1.7 百川大模型 46
1.7.1 預訓練 47
1.7.2 對齊 51
1.8 本章小結 53
2 多模態大模型核心技術 54
2.1 預訓練基礎模型 55
2.1.1 基本結構 56
2.1.2 學習機制 57
2.2 預訓練任務概述 59
2.2.1 自然語言處理領域的預訓練任務 59
2.2.2 計算機視覺領域的預訓練任務 59
2.3 基於自然語言處理的預訓練關鍵技術 60
2.3.1 單詞表征方法 61
2.3.2 模型結構設計方法 63
2.3.3 掩碼設計方法 63
2.3.4 提升方法 64
2.3.5 指令對齊方法 65
2.4 基於計算機視覺的預訓練關鍵技術 67
2.4.1 特定代理任務的學習 68
2.4.2 幀序列學習 68
2.4.3 生成式學習 69
2.4.4 重建式學習 70
2.4.5 記憶池式學習 71
2.4.6 共享式學習 72
2.4.7 聚類式學習 74
2.5 提示學習 75
2.5.1 提示的定義 76
2.5.2 提示模板工程 78
2.5.3 提示答案工程 81
2.5.4 多提示學習方法 82
2.6 上下文學習 85
2.6.1 上下文學習的定義 86
2.6.2 模型預熱 86
2.6.3 演示設計 88
2.6.4 評分函式 90
2.7 微調 91
2.7.1 適配器微調 92
2.7.2 任務導向微調 95
2.8 思維鏈 98
2.8.1 思維鏈的技術細節 99
2.8.2 基於自洽性的思維鏈 100
2.8.3 思維樹 103
2.8.4 思維圖 106
2.9 RLHF 110
2.9.1 RLHF技術分解 111
2.9.2 RLHF開源工具集 114
2.9.3 RLHF的未來挑戰 115
2.10 RLAIF 115
2.10.1 LLM的偏好標籤化 116
2.10.2 關鍵技術路線 118
2.10.3 評測118
2.11 本章小結119
3 多模態基礎模型 120
3.1 CLIP 122
3.1.1 創建足夠大的數據集 122
3.1.2 選擇有效的預訓練方法 123
3.1.3 選擇和擴展模型 124
3.1.4 預訓練 124
3.2 BLIP 125
3.2.1 模型結構 125
3.2.2 預訓練目標函式 126
3.2.3 標註過濾 127
3.3 BLIP-2 128
3.3.1 模型結構 129
3.3.2 使用凍結的圖像編碼器進行視覺與語言表示學習 129
3.3.3 使用凍結的LLM進行從視覺到語言的生成學習 130
3.3.4 模型預訓練 131
3.4 LLaMA 132
3.4.1 預訓練數據 132
3.4.2 網路結構 133
3.4.3 最佳化器 134
3.4.4 高效實現 134
3.5 LLaMA-Adapter 134
3.5.1 LLaMA-Adapter的技術細節 136
3.5.2 LLaMA-Adapter V2 137
3.6 VideoChat 140
3.6.1 VideoChat-Text 142
3.6.2 VideoChat-Embed 143
3.7 SAM 146
3.7.1 SAM任務 149
3.7.2 SAM的視覺模型結構 150
3.7.3 SAM的數據引擎 151
3.7.4 SAM的數據集 152
3.8 PaLM-E 153
3.8.1 模型結構155
3.8.2 不同感測器模態的輸入與場景表示 157
3.8.3 訓練策略 158
3.9 本章小結 159
4 多模態大模型的套用 160
4.1 視覺問答 160
4.1.1 視覺問答的類型 161
4.1.2 圖像問答 162
4.1.3 視頻問答 179
4.1.4 未來研究方向 190
4.2 AIGC 191
4.2.1 GAN和擴散模型 192
4.2.2 文本生成 194
4.2.3 圖像生成 198
4.2.4 視頻生成 203
4.2.5 三維數據生成 204
4.2.6 HCP-Diffusion統一代碼框架 204
4.2.7 挑戰與展望 209
4.3 具身智慧型 209
4.3.1 具身智慧型的概念 210
4.3.2 具身智慧型模擬器 212
4.3.3 視覺探索 216
4.3.4 視覺導航 219
4.3.5 具身問答 223
4.3.6 具身互動 225
4.3.7 存在的挑戰 228
4.4 本章小結 231
5 多模態大模型邁向AGI 232
5.1 研究挑戰 233
5.1.1 缺乏評估準則 233
5.1.2 模型設計準則模糊 233
5.1.3 多模態對齊不佳 234
5.1.4 領域專業化不足 234
5.1.5 幻覺問題 236
5.1.6 魯棒性威脅 236
5.1.7 可信性問題 238
5.1.8 可解釋性和推理能力問題 242
5.2 因果推理 246
5.2.1 因果推理的基本概念 247
5.2.2 因果的類型 251
5.2.3 LLM的因果推理能力 252
5.2.4 LLM和因果發現的關係 254
5.2.5 多模態因果開源框架CausalVLR 255
5.3 世界模型 257
5.3.1 世界模型的概念 258
5.3.2 聯合嵌入預測結構 261
5.3.3 Dynalang：利用語言預測未來 264
5.3.4 互動式現實世界模擬器 266
5.3.5 Sora：模擬世界的視頻生成模型 267
5.4 超級智慧型體AGI Agent 271
5.4.1 Agent的定義 272
5.4.2 Agent的核心組件 274
5.4.3 典型的AGI Agent模型 275
5.4.4 AGI Agent的未來展望 284
5.5 基於Agent的具身智慧型 286
5.5.1 具身決策評測集 287
5.5.2 具身知識與世界模型嵌入 288
5.5.3 具身機器人任務規劃與控制 289
5.6 本章小結 296
作者簡介
劉陽
中山大學計算機學院副研究員，中山大學人機物智慧型融合實驗室（HCP-Lab）骨幹成員。主要研究方向為多模態認知理解、因果推理和具身智慧型。截至2023年12月，在IEEE T-PAMI、T-IP、ICCV、ACM MM等期刊和會議上發表論文30餘篇，2篇論文入選ESI高被引和熱點論文。提出的視覺-語言因果推理開源框架CausalVLR受到國內外廣泛關注。主持多項國家級、省部級科研項目，作為課題骨幹參與國家人工智慧重大專項。獲得2023年中國軟體大會“達闥杯”機器人大模型與具身智慧型挑戰賽優勝獎，廣東省第三屆計算機科學青年學術秀一等獎。
林倞
人工智慧領域國際著名學者（IEEE Fellow、IAPR Fellow、IET Fellow）、鵬城實驗室多智慧型體與具身智慧型研究所所長、中山大學二級教授、國家傑出青年科學基金獲得者、國家人工智慧重大專項首席科學家；在多模態認知計算、生成式模型、具身互動與學習等領域形成一系列突破創新成果。截至2023年10月，發表論文400餘篇（含T-PAMI論文40餘篇），論文被引用30000餘次（谷歌學術統計），5次獲得最佳論文獎。獲黑龍江省自然科學獎一等獎、吳文俊人工智慧獎（自然科學類）、中國圖象圖形學學會科學技術獎一等獎等榮譽；指導學生獲得CCF優秀博士論文獎、ACM China優秀博士論文獎及CAAI優秀博士論文獎。帶領團隊堅持產學研結合的科技創新思路，曾任商湯科技研究院執行院長，孵化新一代人工智慧領軍企業拓元智慧。在企業數智化、元宇宙、智慧城市等領域形成了具有廣泛影響力的商業化產品和項目。
