《融合稀疏層次模型的內容辨識研究》是依託北京工業大學，由牟倫田擔任項目負責人的面上項目。
基本介紹
- 中文名：融合稀疏層次模型的內容辨識研究
- 項目類別：面上項目
- 項目負責人：牟倫田
- 依託單位：北京工業大學
項目摘要,結題摘要,
項目摘要
當前，媒體內容產業面臨兩方面的問題，一是多媒體編輯工具與內容分享網站使媒體內容面臨極高的非授權分發風險；二是用戶希望在便攜終端設備上與正在消費的媒體內容互動。因此，如何準確、高效辨識媒體內容成為亟待解決的問題。現有內容指紋方法主要從信號處理角度手工設計特徵來生成內容指紋，且在性能提升上遇到了瓶頸，亟需理論突破。受啟發於認知科學與計算神經科學領域的研究進展，本項目擬以稀疏認知學習理論為基礎，探究具有生物可行性的稀疏特徵學習機理，以期為內容指紋的自動學習提供理論支持。本項目擬從稀疏層次模型出發，研究面向內容辨識的尺度不變稀疏特徵深度學習機制；其次，在獨特性約束下，研究稀疏特徵到二進制指紋編碼的有監督學習方法並評測其性能。本項目的研究成果將為稀疏認知學習理論提供實驗驗證，並可廣泛套用於網路侵權追蹤、廣播監管和多屏互動等領域。
結題摘要
1）項目的背景：當前，媒體內容產業面臨兩方面的問題，一是多媒體編輯工具與內容分享網站使媒體內容面臨極高的非授權分發風險；二是用戶希望在便攜終端設備上與正在消費的媒體內容互動。因此，如何準確、高效辨識媒體內容成為亟待解決的問題。現有內容指紋方法主要從信號處理角度手工設計特徵來生成內容指紋，且在性能提升上遇到了瓶頸，亟需理論突破。 2）主要研究內容：研究稀疏層次網路與深度學習的結合機制，構建深度稀疏層次模型，並研究如何在該模型上開展尺度不變稀疏特徵的有效學習；研究如何將深度哈希模型用於稀疏特徵到二進制編碼的轉換，並研究如何在該模型中引入獨特性約束，進而開展有監督學習，獲得同時滿足魯棒性、獨特性與緊湊性的內容指紋；研究如何從魯棒性、獨特性和緊湊性三個維度對內容指紋性能度量進行建模，同時將構建相應的大規模性能評測基準數據集。 3）重要結果：提出了基於內容指紋的多媒體內容組件權屬識別與通知方法，能夠更好保護多媒體內容所有者的利益，該研究成果被多媒體信息處理與檢索國際會議接收，核心技術被IEEE 1857國際標準和AVS國家標準採納。提出了用於大規模多標籤圖像分類的深度行列式點過程方法，支持端到端的多標籤學習和深度表示學習，該成果發表於計算機視覺國際會議。提出了基於紋理方向自適應表示的多方向稀疏字典與局部相關性約束的稀疏重建模型，豐富了現有圖像視頻信號的稀疏表示理論方法，該研究成果發表於視覺通信與圖像處理國際會議。 4）關鍵數據：構建了大規模性能評測基準數據集，包括10萬圖片，長度3分鐘的視頻、音頻各1萬段，視頻、音頻總時長均達到400小時。 5）科學意義：本項目的研究成果將為稀疏認知學習理論提供實驗驗證，為媒體內容著作權保護、侵權追蹤、廣播監管、多屏互動與關聯推介等重要套用提供理論與技術支撐。
