《圖像語義自動文本描述技術研究》是依託復旦大學，由周向東擔任項目負責人的面上項目。
基本介紹
- 中文名：圖像語義自動文本描述技術研究
- 依託單位：復旦大學
- 項目類別：面上項目
- 項目負責人：周向東
項目摘要,結題摘要,
項目摘要
隨著社會Web的蓬勃發展，圖像語義的自動文本描述技術在社會Web內容管理與檢索方面具有廣闊的套用前景，引起了越來越多的關注和研究興趣。本課題將在充分發掘Web文本數據中蘊含的圖像語義知識與概念體系的基礎上，利用結構化學習及稀疏正則化等統計學習理論與方法，對基於底層視覺識別的圖像標註與圖像高層語義發掘進行深入研究。圍繞圖像語義的自動文本描述以及圖像-文本語義匹配技術的理論與方法，重點開展基於半監督學習的圖像局部區域語義標註，基於Web海量文本分析的圖像描述語言模型和可視概念網路構建，基於結構化學習的圖像語義自動文本描述，以及Web社區問答的圖像增強等研究。上述研究的突破性成果將對Web多媒體問答式搜尋，多媒體數據的複雜語義查詢等新型套用發揮積極的促進作用。
結題摘要
本項目在語義上下文模型，稀疏正則化以及深度學習技術的基礎上，對圖像區域標註、圖像語義的文本描述和Web社區問答檢索等問題開展研究。主要代表性研究工作是提出了一種利用圖像語義上下文來改進圖像區域標註的方法；一種新的基於相似性深度網路的圖像語義文本描述方法，一種新的基於層次分類的問題標籤選取與cQA問題檢索方法等。研究表明對語義上下文的挖掘是提高圖像區域識別，以及圖像複雜場景識別性能的重要途徑。在基於深度網路的圖像語義文本描述方面，相似性網路預訓練以及增加網路隱層的深度對於提高系統性能具有重要意義。同時我們的研究還顯示稀疏正則化的運用可以提高層次分類的性能，並提出了一種有效的自動標籤獲取技術。本項目同時還對遷移學習， 跨領域圖像分類，高維數據的可視化分析，Web社區產品評價數據的挖掘，高維時序數據的分析索引等問題開展了研究，並取得了一批研究成果。課題組共發表（已錄用）EI/核心刊物論文14篇，包括CIKM，ICPR，PCM等重要國際會議論文多篇，培養博士畢業生1人，碩士畢業生6人。在項目的執行中，課題組參與承辦了知名國際會議ACM CIKM 2014和其他國際學術會議和交流。
