《基於跨媒體數據挖掘的社會圖像事件分析與標註》是依託北京航空航天大學，由張小明擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於跨媒體數據挖掘的社會圖像事件分析與標註
- 依託單位：北京航空航天大學
- 項目負責人：張小明
- 項目類別：青年科學基金項目
項目摘要,結題摘要,
項目摘要
社會網路媒體的迅速發展對多媒體數據管理和套用提出了嚴峻的挑戰，即如何有效地管理大量的、動態的、用戶產生的多媒體數據的問題。傳統社會圖像事件分析和標註技術主要關注圖像本身的信息，沒有綜合考慮不同特徵的關聯關係對社會圖像事件檢測的作用，沒有利用跨媒體數據挖掘技術更深入全面的分析社會圖像事件，並且沒有充分利用圖像的上下文信息提高圖像標註算法的性能。為了充分利用社會網路媒體豐富的內容以提高社會圖像管理與套用的性能，本項目擬對社會圖像事件分析與標註進行研究。主要研究內容包括：融合多種特徵的社會圖像事件檢測與跟蹤；基於跨媒體數據挖掘的社會圖像事件分析；結合事件信息的社會圖像標註。本項目的研究將充分挖掘跨媒體事件的關聯模式，並探索利用社會網路豐富的信息改進圖像標註算法性能，為更全面分析社會網路事件和最佳化社會圖像的管理提供理論依據和技術支撐。
結題摘要
社會網路媒體的迅速發展對多媒體數據管理和套用提出了嚴峻的挑戰，即如何有效地管理大量的、動態的、用戶產生的多媒體數據的問題。傳統社會圖像事件分析和標註技術主要關注圖像本身的信息，沒有綜合考慮不同特徵的關聯關係對社會圖像事件檢測的作用，沒有利用跨媒體數據挖掘技術更深入全面的分析社會圖像事件，並且沒有充分利用圖像的上下文信息提高圖像標註算法的性能。為了充分利用社會網路媒體豐富的內容以提高社會圖像管理與套用的性能，本項目擬對社會圖像事件分析與標註進行研究。主要研究內容包括：融合多種特徵的社會圖像事件檢測與跟蹤；基於跨媒體數據挖掘的社會圖像事件分析；結合事件信息的社會圖像標註。提出了一個基於圖像視覺特徵、文本特徵、人物關係的圖像事件檢測算法，該算法採用機率圖模型計算圖象屬於已知事件的機率值；提出了一個基於社交關係的圖像距離測量方法，該方法利用圖像發布者之間的關係以及圖像的語義相似性指導距離測量方法的學習；提出了一個基於bi-DBN的多模數據融合模型，該模型把視覺特徵和文本特徵作為深度神經網路的輸入，模型的輸出為社會圖像多模數據的統一表示向量，該向量可以用於圖像的各種套用，例如圖像聚類、標註、分類等；提出了一個基於地理信息的社會圖像話題模型，該模型能夠發現不同地方的事件標籤及語言特點，進而可以用於圖像的標註及地理位置的識別。本項目的研究充分挖掘了跨媒體事件的關聯模式，並利用社會網路豐富的信息改進圖像標註算法性能，為更全面分析社會網路事件和最佳化社會圖像的管理提供理論依據和技術支撐。
