SpeechGPT

SpeechGPT是內生跨模態對話能力的大型語言模型，該模型由復旦大學的張棟、邱錫鵬提出。

基本介紹

• 中文名：SpeechGPT
• 類型：語言模型

簡介

SpeechGPT是一個具有內生跨模態對話能力的大型語言模型，能夠感知和生成多模態內容。他們通過自監督訓練的語音模型對語音進行離散化處理，以統一語音和文本之間的模態。然後，他們將離散的語音 token 擴展到 LLM 的辭彙表中，從而賦予模型感知和生成語音的內生能力。