視頻廣告監播中的跨媒體分析理論與技術研究

《視頻廣告監播中的跨媒體分析理論與技術研究》是依託北京交通大學，由朱振峰擔任項目負責人的面上項目。

基本介紹

• 中文名：視頻廣告監播中的跨媒體分析理論與技術研究
• 項目類別：面上項目
• 項目負責人：朱振峰
• 依託單位：北京交通大學

項目摘要

電視廣告在人們日常生活的信息傳遞中占據著重要的角色，正越來越潛移默化地影響著人們生活。開展高效、可伸縮的電視廣告智慧型監播技術研究具有重要的理論意義與多層次的實際套用需求。認知神經心理學研究表明，人腦的認知過程呈現出跨媒體的特性，即，來自視覺、聽覺等多態感官信息之間無意識和自動的相互刺激、共同作用而產生最終的認知結果。本課題旨在跨媒體多態分析的統一框架下，從跨媒體多態認知角度並結合機器學習理論，充分挖掘電視廣告中所蘊含的多態（視覺、音頻及文本）特性，實現對視頻廣告這一特定對象的深層次語義理解；對其中涉及的廣告自動檢測、獨立廣告分割、廣告重複檢測與識別及廣告的自動分類與標註等關鍵科學問題，進行深入研究，在關鍵技術上取得進展，完成電視廣告的智慧型監播任務。研究成果能夠為廣電行業的監播計需求提供理論與技術支撐。

結題摘要

電視廣告在人們日常生活的信息傳遞中占據著重要的角色。開展高效的電視廣告智慧型監播技術研究具有重要的理論意義與套用價值。認知神經心理學研究表明，人腦的認知過程呈現出“跨媒體”特性。本課題旨在跨媒體分析的統一框架下，從多態認知角度並結合機器學習理論，充分挖掘電視廣告中所蘊含的跨媒體（視覺、音頻及文本）特性。通過對所涉及的視頻廣告自動檢測、獨立廣告分割、廣告識別、及廣告分類等問題進行深入研究，實現對視頻廣告這一特定對象的深層次語義理解，從而完成電視廣告的智慧型監播的任務。課題研究工作的主要貢獻點包括：1、在跨媒體理論分析方面，提出了一種基於共享子空間的跨媒體分析方法，構建了異構底層特徵空間、中層高維同構特徵空間、高層共享語義空間的層次化統一模型，實現跨媒體語義的一致性挖掘；2、在視頻廣告自動檢測與分割方面，通過對視頻廣告的跨媒體特性的分析，提出了一種基於視覺、音頻、文本模態互動融合的視頻廣告段落自動檢測方法，並結合人類的視覺特性，利用時空一致性實現廣告段落中獨立廣告的自動分割； 3、在視頻廣告識別方面，提出了基於網路搜尋與商標匹配的視頻廣告識別方法，通過把視頻廣告標識看作顯著性目標，並結合層次化匹配技術實現視頻廣告的自動快速識別；4、在視頻廣告分類方面，提出一種基於稀疏視覺詞包描述的廣告語義分類方法。通過在不同類別廣告中蘊含的語義信息與稀疏視覺詞包描述之間建立潛在的映射關係，實現對廣告語義內容的分類。相關研究成果在重要國際雜誌TMM、TKDE、TNNLS、 Image and Vision Computing 、Information Science等，以及 Multimedia、 ICME等本領域高級別學術會議上發表學術論文23篇（SCI檢索8篇），一篇論文入選國際會議ICME2013最佳候選論文；申請發明專利2項；構建了一個目前國內外最大的視頻廣告資料庫。在人才培養方面，課題負責人入選教育部新世紀優秀人才計畫，指導的博士生獲得2015年度中國人工智慧學會優秀博士學位論提提名獎，5名碩士生獲得北京交通大學優秀碩士論文。在國際學術交流方面，課題組在IIH-MSP2013國際會議上組織了有關跨媒體計算的專題研討。 經過課題組全體成員的團結協作，課題取得了豐富研究成果，圓滿地完成了項目任書中的研究任務。部分研究成果為針對其他特定對象的視頻監播需求提供理論與技術支撐。