《引入情緒認知腦機制的音樂情緒分類檢索關鍵技術研究》是依託雲南大學，由諸薇娜擔任負責人的國家自然科學基金專項基金項目。
基本介紹
- 中文名：引入情緒認知腦機制的音樂情緒分類檢索關鍵技術研究
- 負責人：諸薇娜
- 依託單位：雲南大學
- 項目類型：項基金項目
項目摘要,結題摘要,
項目摘要
目前在基於內容的音樂檢索技術中，情緒這一高級語義內容被作為分類檢索的特徵，開始受到越來越多的關注；但卻鮮有引入人類認知機制的研究嘗試。本項目結合當代音樂認知研究的成果，套用認知神經科學的方法（fMRI，EEG，心電，皮電），進一步探討音樂情緒認知機制並建立認知模型；並結合基於內容信息檢索技術中的特徵提取、特徵匹配和分類算法，建立一種能夠體現人類思維特點的音樂情緒分類檢索模型和方法。本項目的成果除了可以套用到機器作曲和人機互動的研究中，也對音樂教育和音樂治療有積極作用。很明顯，本項目的研究，一方面對推動基於認知機理的計算模型及套用技術的發展具有重要科學意義；另一方面，開展具體的音樂分類檢索算法研究，對於推動基於內容的多媒體和跨媒體檢索新方法的革新發展，具有重要學術價值；還可以將提出的模型套用到圖像和視頻分類檢索的算法研究中去，從而大幅提高計算機對信息的理解能力和處理效率，具有重要的實用價值。
結題摘要
本項目以人類大腦認知機制研究為基礎，將認知研究的結果套用到基於內容的音樂檢索技術中，達到對音樂情緒這一高級語義內容的分類檢索方法進行研究的目的。在以往的基於內容的檢索研究中，鮮有引入人類認知機制的研究嘗試；本項目套用認知神經科學的方法，進一步探討了音樂情緒認知機制；並以此為基礎結合基於內容信息檢索技術中的特徵提取、特徵匹配和分類算法，建立了一種更接近人類思維特點的音樂情緒分類檢索模型和方法。 在本研究中，我們首先根據音樂的基本特徵建立了音樂情緒表達的特徵向量，將音樂的基本要素音高，節奏，旋律，音色，調性等特徵提取後，組成了對情緒的表達特徵式。同時根據心理學理論提出的二維情緒空間，將音樂按照效價和喚醒度組成的空間劃分成不同的情緒表達類別，建立了人工標註的音樂庫。以此為基礎，使用認知神經科學和認知心理學研究的手段，藉助電生理的實驗方法，對這些特徵對音樂情緒的影響進行了深入研究，對他們對音樂情緒的影響和相互之間的關係有了進一步的認識；以此為基礎對音樂情緒特徵向量的表達進行了調整和改進。同時，在實驗中我們還發現了一些以前沒有注意的問題，如“熟悉度”的影響問題，並進一步進行了實驗，把熟悉度也做為情緒表達的一個緯度，放到了特徵空間中，最終建立音樂認知模型。 完成特徵提取和認知模型的建立以後，我們以此為基礎，利用改進的線性分類算法來完成音樂情緒的分類檢索研究。由於我們的音樂情緒分類是在二維（喚醒度，效價）空間下完成的，因此我們使用兩個二值分類器來完成情緒的分類。在考慮計算量和線性數據空間下穩定性的前提下，我們使用了線性分類器來進行分類檢索的工作。同時我們還採用了交叉生效（cross-validation）的策略來避免過度學習的問題。 通過本項目的研究，部分成果除了可以對基於內容的音樂檢索技術提供新的思路，還可以把音樂檢索的方法套用到其他的視覺媒體檢索技術中；對未來的進一步探索音樂情緒認知的研究提出了一些借鑑和參考。另一方面還可以進一步將研究結果套用到機器作曲和人機互動的研究中；研究中發現的對音樂認知機制的相關成果，也對音樂教育和音樂治療產生積極的作用。 總的來說，本項目的研究，一方面對推動基於認知機理的計算模型及套用技術的發展具有重要科學意義；另一方面，開展具體的音樂分類檢索算法研究，對於推動基於內容的多媒體和跨媒體檢索新方法的革新發展，具有重要學術價值。
