ChatGPT原理與架構：大模型的預訓練、遷移和中間件編程

內容簡介

這是一本深入闡述ChatGPT等大模型的工作原理、運行機制、架構設計和底層技術，以及預訓練、遷移、微調和中間件編程的著作。它將幫助我們從理論角度全面理解大模型，從實踐角度更好地套用大模型，是作者成功訓練並部署大模型的過程復盤和經驗總結。

第1章介紹了ChatGPT等大模型的發展歷程、技術演化和技術棧等基礎知識；

第2~5章深入講解了Transformer的架構原理，並從GPT-1的生成式預訓練到GPT-3的稀疏注意力機制詳細描述了GPT系列的架構演進；

6~8章從底層技術實現的角度講解了大語言模型的訓練策略、數據處理方法，以及如何利用策略最佳化和人類反饋來進一步提升模型的表現；

第9~10章首先詳細講解了大語言模型在垂直領域的低算力遷移方法，並給出了醫療和司法領域的遷移案例，然後講解了大模型的中間件編程；

第11章對GPT的未來發展趨勢進行預測，探討數據資源、自回歸模型的局限性，以及大語言模型時代具身智慧型的可行路線。

前言

第1章　人工智慧的新里程碑——ChatGPT　/　1

1.1　ChatGPT的發展歷程　/　1

1.2　ChatGPT的能力　/　3

1.3　大語言模型的技術演化　/　6

1.3.1　從符號主義到連線主義　/　6

1.3.2　Transformer模型　/　7

1.3.3　無監督預訓練　/　10

1.3.4　有監督微調　/　11

1.3.5　人類反饋強化學習　/　11

1.4　大語言模型的技術棧　/　12

1.5　大語言模型帶來的影響　/　13

1.6　大語言模型復現的壁壘　/　16

1.6.1　算力瓶頸　/　16

1.6.2　數據瓶頸　/　17

1.6.3　工程瓶頸　/　18

1.7　大語言模型的局限性　/　19

1.8　小結　/　20

第2章　深入理解Transformer

模型　/　21

2.1　Transformer模型簡介　/　21

2.2　自注意力機制　/　23

2.2.1　自注意力機制的計算

過程　/　23

2.2.2　自注意力機制的本質　/　26

2.2.3　自注意力機制的優勢與局

限性　/　28

2.3　多頭注意力機制　/　29

2.3.1　多頭注意力機制的實現　/　29

2.3.2　多頭注意力機制的作用　/　31

2.3.3　多頭注意力機制的最佳化　/　32