GPT-1

GPT-1是OpenAI 在2018 年，推出的第一代生成式預訓練模型。

此前，NLP 任務需要通過大規模數據集來進行有監督的學習，需要成本高昂的數據標註工作。

GPT-1 的關鍵特徵是：半監督學習。先用無監督學習的預訓練，在 8 個 GPU 上花費 了 1 個月的時間，從大量未標註數據中增強 AI 系統的語言能力，獲得大量知識，然後進行有監督的微調，與大型數據集集成來提高系統在 NLP 任務中的性能。

基本介紹

• 軟體名稱：GPT-1
• 上線時間：2018年
• 開發商：OpenAI

產生背景

在 GPT 出現之前，NLP 模型主要是基於針對特定任務的大量標註數據進行訓練。這會導致一些限制：

• 大規模高質量的標註數據不易獲得
• 模型僅限於所接受的訓練，泛化能力不足
• 無法執行開箱即用的任務，限制了模型的落地套用

為了克服這些問題，OpenAI 走上了預訓練大模型的道路。

發展歷程

2018 年，OpenAI 推出了第一代生成式預訓練模型 GPT-1。

主要功能

GPT-1 的關鍵特徵是：半監督學習。先用無監督學習的預訓練，在 8 個 GPU 上花費 了 1 個月的時間，從大量未標註數據中增強 AI 系統的語言能力，獲得大量知識，然後進行有監督的微調，與大型數據集集成來提高系統在 NLP 任務中的性能。