ChatGPT原理與套用開發

內容簡介

隨著ChatGPT的出現，大語言模型的能力得到了業內外的認可，新的商業模式不斷湧現，舊的設計和實現都將重構。本書主要介紹基於ChatGPT開發算法相關的套用或服務，側重於介紹與自然語言處理相關的常見任務和套用，以及如何使用類似ChatGPT的大語言模型服務來實現以前只有算法工程師才能完成的工作。

全書共8章內容，第1章介紹與ChatGPT相關的基礎知識，第2～5章分別介紹相似匹配、句詞分類、文本生成和複雜推理方面的任務，第6～8章分別介紹ChatGPT的工程實踐、局限與不足，以及商業套用，以幫助讀者更好地構建自己的套用。

本書以實踐為主，尤其注重任務的講解和設計，但同時也對自然語言處理相關算法的基本原理和基礎知識進行科普性介紹，適合所有對大語言模型感興趣的開發者閱讀。

第 1 章　基礎知識——大語言模型背後 1

1.1　自然語言背景 1

1.1.1　語言是智慧型的標誌 1

1.1.2　從圖靈測試到ChatGPT 2

1.2　語言模型基礎 6

1.2.1　*小語義單位Token 與Embedding 6

1.2.2　語言模型是怎么回事 8

1.3　ChatGPT基礎 14

1.3.1　*強表示架構Transformer設計與演變 14

1.3.2　生成語言模型GPT進化與逆襲 18

1.3.3　利器強化學習RLHF流程與思想 25

1.4　本章小結 30

第 2 章　相似匹配——萬物皆可Embedding 31

2.1　相似匹配基礎 31

2.1.1　更好的Embedding表示 31

2.1.2　如何度量Embedding相似度 36

2.2　ChatGPT接口使用 37

2.2.1　Embedding接口 37

2.2.2　ChatGPT+提示詞 40

2.3　相關任務與套用 41

2.3.1　簡單問答：以問題找問題 42

2.3.2　聚類任務：物以類聚也以群分 50

2.3.3　推薦套用：一切*是Embedding 55

2.4　本章小結 64

第3 章　句詞分類——句子Token*是類別 65

3.1　句詞分類基礎 65

3.1.1　如何對一句話進行分類 68

3.1.2　從句子分類到Token分類 71

3.2　ChatGPT接口使用 72

3.2.1　基礎版GPT續寫 72

3.2.2　進階版ChatGPT指令 77