奇觀是愛奇藝業內首個推出的原創功能，通過整合多項先進技術，支持即時識別和搜尋視頻畫面信息。奇觀是連線用戶和視頻之間互動的橋樑，藉助AI的識別能力，通過用戶一鍵選擇，即可對觀影過程中的人物、明星、卡通角色、BGM、台詞的識別。
基本介紹
- 中文名：奇觀
- 外文名：Qiguan
- 研發機構：愛奇藝
- 出品公司：愛奇藝
主要功能,關鍵技術,套用場景,所獲榮譽,
主要功能
奇觀是連線用戶和視頻之間互動的橋樑，藉助AI的識別能力，通過用戶一鍵選擇，即可對觀影過程中的人物、明星、卡通角色、BGM、台詞的識別。奇觀分為“框內”、“框外”兩大組成部分。“框內”指各端的播放器內，對播放器內的畫面內容進行識別；“框外”指播放器外的識別，包括：掃一掃+AR掃一掃+圖搜劇合併，是識別能力集合體。
關鍵技術
多模態人物識別技術
愛奇藝在多模態人物識別領域領先，它綜合利用人臉、人頭、人體、聲紋等多維度特徵信息，對視頻中的人物進行識別，大幅提高了綜藝、電影、電視劇中的人物識別率，愛奇藝的人臉識別模型，除了人臉的身份之外，還有其屬性信息，目前線上模型包含10+個屬性，相較於工業界的其他模型更加全面。愛奇藝人臉識別與屬性模型十五合一，一個模型可以同時識別身份屬性，且各項屬性的識別精度也比較高。奇觀是多模態人物識別技術的套用功能，目前明星識別準確率達97.54%。
卡通角色識別技術
愛奇藝自建了業界首個的卡通人物資料庫，擁有業內首個人工標註的大規模卡通人物識別檢測數據集。基於真實場景中視頻任務的多模態資料庫已經成為業內重要的多模態數據，標籤清晰規模大。目前已經有超過20,000個卡通人物（虛擬形象），並開通了10W+個卡通檢測臉、38W+張卡通識別臉的iCartoonFace數據集，採用多模態人物識別技術和虛擬人物識別技術，綜合對卡通類視頻中的人物形象進行識別。奇觀卡通人物識別技術的套用功能，目前識別準確率達到90.02%
套用場景
識別明星、識別卡通角色
觸發奇觀功能，可識別當前視頻的明星人物或卡通角色。依託愛奇藝強大的多模態人物識別和卡通識別技術。愛奇藝的總明星識別數到30萬+，總人物識別數到120萬+，幾乎涵蓋了愛奇藝TOP100萬中90%以上的PGC視頻，包含影視劇、綜藝、電影等多個頻道。目前在愛奇藝APP 中全量上線，用戶可以在觀看視頻時，點擊奇觀，可識別明星角色以及卡通角色，了解其角色相關的百科信息。
識別BGM
通過音頻特徵抽取和匹配等技術，提供給觀眾在觀看影視中出現的配樂、背景音樂等，一鍵識別出用戶感興趣的音樂，例如：人氣自製劇《隱秘的角落》中得到套用，並得到了良好的用戶反饋；用戶一鍵識別出感興趣的音樂後，可以邊觀看視頻邊了解音樂信息，還可以連結到音樂社區進行收聽。
識別商品購買
在爆款原創綜藝《潮流合伙人》節目中，愛奇藝上線了行業首個支持識別同款商品並且進行購買，用戶可根據個人喜好，點擊奇觀來識別明星同款，隨後進入購買頁面可進行購買。該功能在自製綜藝《我是唱作人2》中得到了很好的套用，通過奇觀，開啟了新行銷場景的大門。
台詞實體識別
利用OCR和NLP等技術，通過對視頻中角色台詞的識別，幫助用戶了解台詞中的知識點、專業術語等信息。用戶可以通過奇觀按鈕，邊觀看邊了解台詞中的信息。在影視劇《鬢邊不是海棠紅》得到了很好的套用，讓觀眾能夠了解豐富的戲曲知識。
所獲榮譽
AI優秀案例實踐獎Top 30
