GPT-2

GPT-2是OpenAI 在2019 年推出的第二代生成式預訓練模型。

GPT-2與GPT-1架構相同，但是使用了更大的數據集 WebText，大約有 40 GB 的文本數據、800 萬個文檔，並為模型添加了更多參數（達到15 億個參數），來提高模型的準確性，可以說是加強版或臃腫版的 GPT-1。

GPT-2 的出現，進一步證明了無監督學習的價值，以及預訓練模型在下游 NLP 任務中的廣泛成功，已經開始達到圖靈測試的要求，有研究表示，GPT-2 生成的文本幾乎與《紐約時報》的真實文章（83%）一樣令人信服。

基本介紹

• 軟體名稱：GPT-2
• 上線時間：2019年
• 開發商：OpenAI

產生背景

之前的GPT-1 存在明顯的問題，一是數據局限性，GPT-1 是在網際網路上的書籍和文本上訓練的，對世界的認識不夠完整和準確；二是泛化性依然不足，在一些任務上性能表現就會下降。

發展歷程

GPT-2是OpenAI 在2019 年推出的。

主要功能

GPT-2 的出現，進一步證明了無監督學習的價值，以及預訓練模型在下游 NLP 任務中的廣泛成功，已經開始達到圖靈測試的要求，有研究表示，GPT-2 生成的文本幾乎與《紐約時報》的真實文章（83%）一樣令人信服。