GPT圖解：大模型是怎樣構建的

內容簡介

人工智慧（AI），尤其是生成式語言模型和生成式人工智慧（AIGC）模型，正以驚人的速度改變著我們的世界。駕馭這股潮流的關鍵，莫過於探究自然語言處理（NLP）技術的深奧秘境。該書將帶領讀者踏上一段扣人心弦的探索之旅，讓其親身感受，並動手搭建語言模型。該書主要內容包括N-Gram，詞袋模型（BoW），Word2Vec（W2V），神經機率語言模型（NPLM），循環神經網路（RNN），Seq2Seq（S2S），注意力機制，Transformer，從初代GPT到ChatGPT再到GPT-4等一系列突破性技術的誕生與演進。

該書將以生動活潑的筆觸，將枯燥的技術細節化作輕鬆幽默的故事和繽紛多彩的圖畫，引領讀者穿梭於不同技術的時空，見證自然語言處理技術的傳承、演進與蛻變。在這場不斷攀登技術新峰的奇妙之旅中，讀者不僅能深入理解自然語言處理技術的核心原理，還能自己動手，從零開始搭建起一個又一個語言模型。

圖書目錄

目　錄

序章　看似尋常最奇崛，成如容易卻艱辛　001

GPT-4：點亮人工通用智慧型的火花　002

人工智慧演進之路：神經網路兩落三起　004

現代自然語言處理：從規則到統計　007

何為語言？信息又如何傳播？　008

NLP是人類和計算機溝通的橋樑　009

NLP技術的演進史　010

大規模預訓練語言模型：BERT與GPT爭鋒　012

語言模型的誕生和進化　012

統計語言模型的發展歷程　014

基於Transformer架構的預訓練模型　016

“預訓練+微調大模型”的模式　018

以提示/指令模式直接使用大模型　019

從初代GPT到ChatGPT，再到GPT-4　021

GPT作為生成式模型的天然優勢　022

ChatGPT背後的推手——OpenAI　023

從初代GPT到ChatGPT，再到GPT-4的進化史　024

第 1課　高樓萬丈平地起：語言模型的雛形N-Gram和簡單文本表示Bag-of-Words　026

1．1　N-Gram模型　026

1．2　“詞”是什麼，如何“分詞”　030

1．3　創建一個Bigram字元預測模型　032

1．4　詞袋模型　036

1．5　用詞袋模型計算文本相似度　037

小結　042

思考　043

第 2課　問君文本何所似：詞的向量表示Word2Vec和Embedding　044

2．1　詞向量 ≈ 詞嵌入　045

GPT圖解：大模型是怎樣構建的

基本介紹

內容簡介

圖書目錄

相關詞條

熱門詞條