《面向用戶的視頻自動標註關鍵技術研究》是依託北京大學，由段凌宇擔任負責人的青年科學基金項目。
基本介紹
- 中文名：面向用戶的視頻自動標註關鍵技術研究
- 項目負責人：段凌宇
- 項目類別：青年科學基金項目
- 依託單位：北京大學
項目摘要,結題摘要,
項目摘要
飛速增長的信息會導致人們注意力的稀缺性。個性化信息自動檢索的目標是降低人們的信息負載量和緩解注意力稀缺的重要研究方向。本課題針對提高個性化視頻內容的管理和分發效率，為用戶有效的搜尋和利用富媒體信息提供視頻自動標註關鍵技術保障。面向用戶的視頻標註技術涉及的研究內容包括：視頻內容的語義分析和表示、基於稀疏編碼的中層語義表示、基於知識遷移的自動標註、個性化用戶行為分析及個性化標註問題。課題將通過研究視頻的語義分析和鏡頭場景等概念的抽取，結合用戶的個性化分析和機器學習的方法，來對視頻進行語義標註。面向互動式數位電視服務，建立一個真實的個性化視頻標註及推介系統,將圖像視頻自動標註、視頻結構化及語義分析、用戶模型學習三個關鍵技術環節有機地結合，定位當前視頻自動標註、個性化定製技術面向實際套用時存在的瓶頸，從而更進一步促進面向用戶的視頻自動標註理論與方法研究。
結題摘要
本項目的目標是研究面向用戶的視頻自動標註關鍵技術。按照項目任務書開展研究，取得一系列的成果進展，包括： （1）針對圖像及視頻自動標註問題，從多核學習角度，研究中間層表示。針對視覺對象、場景呈現的類內多樣、類間混疊，以及視頻數據固有的時序相關特性，提出建立面向標註的中間層表示模型。 （2）面向海量圖像及視頻數據，從視覺搜尋角度，研究視覺對象標註、視覺詞典構建。全面的標註系統依賴強大的後台知識庫,提出了一組面向大規模視覺對象搜尋的核心算法，利用視覺搜尋技術手段，將待標註的視覺對象或場景與知識庫中的信息中間載體（圖片以及文本標籤）建立關聯，獲得面向用戶的關聯信息，實現個性化自動標註。 （3）針對智慧型移動終端為面向用戶的視頻標註套用帶來的機遇和挑戰，提出了緊湊視覺描述子算法。通過移動終端，用戶便捷地採集現實世界的視覺對象，結合感測器提供的個性化數據，針對視覺對象進行高精度匹配和識別，從移動網際網路另一端快速地獲取關聯標註信息。 （4）將移動視覺搜尋與圖像標註技術有機結合，並以移動智慧型終端為平台，建立“所見即所知”的圖像視頻自動標註套用範式。提出了包括視覺特徵在內的關鍵技術模組的互操作性解決方案。 （5）圍繞圖像視頻標註的視覺特徵和檢索架構，成功套用於百度的網際網路搜尋產品與服務。此外，基於視覺搜尋的圖像標註技術，套用於教育部211重點工程項目《大學數字圖書館國際合作計畫》項目。 本項目累計發表（含接收）論文32篇，其中國際期刊論文8篇，包括IJCV 論文1 篇、IEEE TIP/ TMM 論文3 篇、Signal Processing: Image Communication論文1 篇、EURASIP JIVP 1 篇、ACM TIST 1 篇、AI Magazine 1篇,其中EI檢索國際會議論文18 篇，包括本領域頂級會議4 篇，IEEE CVPR 1 篇、ACM Multimedia 長文 1 篇、IJCAI 1 篇；獲得國家發明專利授權1 項、申請國家發明專利5 項。課題組開發的全局特徵描述子、緊湊局部特徵、檢索流程的描述子軟量化在核心技術競爭中勝出，為國際標準制定提供了技術選擇依據。此外，依託本項目開發的緊湊視覺特徵等關鍵技術套用於百度的移動網際網路搜尋產品與服務以及教育部211重點工程項目。綜上所述，各項研究成果指標均超出了項目任務書的規定。
