基本介紹
- 中文名：AI合成主播
- 發布會議：第五屆世界網際網路大會
- 發布時間：2018年11月7日
- 性質：AI主持人
- 發布機構：搜狗與新華社
- 採用技術：語音合成、唇形合成、表情合成等
主播介紹,技術原理,發展動態,研發作用,升級亮點,研發意義,媒體評論,
主播介紹
“AI合成主播”是在搜狗“分身”技術的支持下，通過人臉關鍵點檢測、人臉特徵提取、人臉重構、唇語識別、情感遷移等多項前沿技術，並結合語音、圖像等多模態信息進行聯合建模訓練後，生成與真人無異的AI分身模型。該項技術能夠將所輸入的中英文文本自動生成相應內容的視頻，並確保視頻中音頻和表情、唇動保持自然一致，展現與真人主播無異的信息傳達效果。
“AI合成主播”不僅有中文“AI合成主播”，同時還有以“聯接中外、溝通世界”為使命的英文“AI合成主播”。
技術原理
建立輸入文本與輸出音頻信息的關聯，在圖像生成引擎中，使用業界的搜狗人臉識別、三維人臉重建、表情建模等技術對人臉表情動作進行特徵學習和建模，建立輸入文本、輸出音頻與輸出視覺信息的關聯映射，最終生成輸出分身視頻。
發展動態
2018年11月7日，五屆世界網際網路大會在浙江烏鎮拉開帷幕，搜狗公司CEO王小川、新華社副社長劉思揚、搜狗公司智慧型語音事業部總經理王硯峰和主持人邱浩聯合發布AI合成主播。
2019年2月19日，搜狗公司與新華社新媒體中心聯合發布了首個站立式AI合成主播，新的AI合成主播從過去的“坐著播新聞”升級成結合肢體動作的“站立式播報”，標誌著“搜狗分身”技術再次取得突破。
2019年3月，新華社聯合搜狗公司近日在京發布全新升級的站立式AI合成主播，並推出全球首個AI合成女主播。
2020年5月21日，搜狗聯合新華社推出的3D AI合成主播“新小微”。與以前的“新小浩”“新小萌”等不同版本相比，名為“新小微”的AI合成主播高度還原真人髮膚，在立體感、靈活度、可塑性、互動能力等多個方面，都有了大幅躍升，而且還能根據播報的內容，做出各種更接近於真人的姿勢和表情。
2023年3月22日報導，俄羅斯南部斯塔夫羅波爾地區的一家電視台推出了一位AI天氣預報女播報員。節目負責人介紹，這名AI女主播應該是俄羅斯媒體首次推出的，這位俄羅斯AI女播報員的靈感來自於中國的AI主播。
俄羅斯媒體AI天氣預報女播報員
2023年4月11日訊息，科威特首個人工智慧（ai）生成的女主播亮相，吸引全球多家媒體關注和報導，也在社交媒體上引起較大反響。
2023年6月，香港電台旗下 AI 天氣主播 Aida 正式登場，從 6 月 26 日起將在該台《香港電台天氣簡報》節目中報導當地與世界各地的天氣情況。
2023年8月，山東廣播電視台元宇宙與人工智慧實驗室放大招，全國首發超寫實男性數字主播“岱青”正式亮相。
研發作用
“AI合成主播”使用新華社中、英文主播的真人形象，配合搜狗“分身”的語音、合成等技術模擬真人播報畫面。這種播報形式，突破了以往語音圖像合成領域中，只能單純創造虛擬形象，並配合語音輸出唇部效果的約束，提高了觀眾信息獲取的真實度。利用“搜狗分身”技術，“AI虛擬主播”還能實時高效地輸出音視頻合成效果，使用者通過文字鍵入、語音輸入、機器翻譯等多種方式輸入文本後，將獲得實時的播報視頻。這種操作方式將減少新聞媒體在後期製作的各項成本，讓新聞視頻的製作效率有了提高。
“AI合成主播”擁有和真人主播同樣的播報能力，能24小時不間斷播報。
升級亮點
新版的AI合成主播採用了wavernn波形建模技術，替換掉傳統聲碼器，實現音頻合成。通過模型最佳化及多風格數據的使用，新版的AI合成主播實現了表情合成、肢體動作與語義的匹配。
隨著圖形生成引擎的最佳化，AI合成主播從過去的“坐著播新聞”升級成結合肢體動作的“站立式播報”，利用“搜狗分身”技術繼續賦予AI合成主播肢體語言的能力，讓AI合成的主播更智慧型。
研發意義
“AI合成主播”不僅在全球AI合成領域實現了技術創新和突破，更是在新聞領域開創了實時音視頻與AI真人形象合成的先河。“AI合成主播”結合新華社“現場新聞”報導，將“AI合成主播”與短視頻一體化生產製作。
最新推出的站立式AI合成主播即將投入到2019年新華社全國兩會的報導籌備中，並將在搜狗搜尋、輸入法等平台上與用戶見面。
隨著“搜狗分身”技術能力的不斷提高，AI合成主播的定製周期也降低，合成效果和穩定性也有提升。僅靠少量用戶真實音視頻數據，即可定製出高逼真度的分身模型，幫助媒體在融媒體轉型、新聞時效性、跨語種傳播能力等領域升級。
媒體評論
↑BBC（英國廣播公司）、REUTERS（路透社）的報導頁面
《參考訊息》報導
援引外媒報導稱，中國的新聞主播可能面臨一些新的競爭——人工智慧機器人在播報新聞時可以模仿人的面部表情和舉止。
除此之外，《泰晤士報》、福克斯新聞、今日俄羅斯電視台、法蘭西24電視台、《新聞周刊》、《洛杉磯時報》、美國國家公共電台等媒體也進行了報導。
《路透社》報導
路透社報導稱，這個AI主播是以中國新聞主播邱浩為原型的，它身穿黑西裝打著領帶。這是中國旨在提升其在人工智慧技術方面能力努力的一部分。
《獨立報》報導
英國《獨立報》網站則稱，新華社的AI主播是一位栩栩如生的數位化播報員，可以通過模仿真人主播的形象和聲音朗讀文本內容。
在受到讚許的同時，有些媒體認為“AI合成主播”還需要進一步完善。美國《赫芬頓郵報》網站稱，新華社似乎知道AI主播是需要不斷完善的，正如AI主播在其首次播報中所強調的那樣。它說：“作為一名正在研發中的人工智慧新聞主播，我知道我需要改進的還有很多。謝謝。”
學者的分析
