《基於多維特徵分析的音畫情感聯覺檢索研究》是依託杭州電子科技大學，由邢白夕擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於多維特徵分析的音畫情感聯覺檢索研究
- 項目類別：青年科學基金項目
- 項目負責人：邢白夕
- 依託單位：杭州電子科技大學
項目摘要,結題摘要,
項目摘要
多媒體數據中蘊含豐富的情感信息，“情感”已經成為檢索多媒體數據的重要方法，用戶檢索的情感需求日益突出。目前的檢索套用主要採用語義檢索技術，其本質上存在瓶頸，即語義很難涵蓋情感的多維化與模糊性，導致其查全率和準確率已很難滿足用戶要求。.本項目針對以上問題，力圖研究一種新型的情感聯覺檢索方式，解決語義在情感需求上的局限性。研究以情感特徵為橋樑，基於情感計算理論與方法，創造出接近用戶情感需求的音畫跨媒體檢索方式，試圖找出一種適合計算機計算的情感計算規則來實現計算機音畫情感聯覺。 .研究將構建音樂情感資料庫、圖像情感資料庫及生理情感資料庫，然後運用深度學習算法進行多維特徵情感識別建模，最後基於音畫情感聯覺空間，研發一個音畫跨媒體情感檢索系統，初步實現計算機音畫情感聯覺。
結題摘要
鑒於“情感”已經成為檢索多媒體數據的重要方法，同時也是重要的用戶檢索需求，本項目研究提出了一種基於情感相似性的情感聯覺檢索方式，以解決語義在情感需求上的局限性，力求創造出接近用戶情感需求的音畫跨媒體檢索方式。 本項目研究期間構建了相對完善的音樂情感資料庫、圖像情感資料庫及生理情感資料庫，重點基於多維特徵資料庫比對了多種機器學習算法的情感識別模型表現。在多維情感特徵的交叉組合中，我們發現包含多媒體特徵及用戶實時生理特徵的特徵組合在識別中可以達到最優表現，基於最優模型建立了音畫跨媒體檢索系統，研發了多個情感互動相關套用系統，初步實現計算機音畫情感聯覺，並將研究延伸至教育情感智慧型領域。
