GPT-1

GPT-1是OpenAI 在2018 年,推出的第一代生成式預訓練模型。

此前,NLP 任務需要通過大規模數據集來進行有監督的學習,需要成本高昂的數據標註工作。

GPT-1 的關鍵特徵是:半監督學習。先用無監督學習的預訓練,在 8 個 GPU 上花費 了 1 個月的時間,從大量未標註數據中增強 AI 系統的語言能力,獲得大量知識,然後進行有監督的微調,與大型數據集集成來提高系統在 NLP 任務中的性能。

基本介紹

  • 軟體名稱:GPT-1
  • 上線時間:2018年
  • 開發商:OpenAI
產生背景,發展歷程,主要功能,

產生背景

在 GPT 出現之前,NLP 模型主要是基於針對特定任務的大量標註數據進行訓練。這會導致一些限制:
  • 大規模高質量的標註數據不易獲得
  • 模型僅限於所接受的訓練,泛化能力不足
  • 無法執行開箱即用的任務,限制了模型的落地套用
為了克服這些問題,OpenAI 走上了預訓練大模型的道路。

發展歷程

2018 年,OpenAI 推出了第一代生成式預訓練模型 GPT-1。

主要功能

GPT-1 的關鍵特徵是:半監督學習。先用無監督學習的預訓練,在 8 個 GPU 上花費 了 1 個月的時間,從大量未標註數據中增強 AI 系統的語言能力,獲得大量知識,然後進行有監督的微調,與大型數據集集成來提高系統在 NLP 任務中的性能。

相關詞條

熱門詞條

聯絡我們