《音樂舞蹈視頻中音樂-動作片段識別方法的研究》是依託瀋陽航空航天大學，由石祥濱擔任項目負責人的面上項目。
基本介紹
- 中文名：音樂舞蹈視頻中音樂-動作片段識別方法的研究
- 項目類別：面上項目
- 項目負責人：石祥濱
- 依託單位：瀋陽航空航天大學
項目摘要,結題摘要,
項目摘要
視頻人體運動分析由於其複雜性一直是學術界的研究熱點。本課題對現有的音樂舞蹈視頻資料進行自動分析，提取音樂特徵和人體圖像特徵，分析舞蹈姿態和動作，並形成音樂-動作片段及其摘要，以滿足舞蹈理論研究、教學、舞蹈視頻檢索和自動舞蹈編排等套用的需求。提出一種基於層次結構的音樂情感識別方法，採用樂段、小節和音符分層結構描述音樂特徵，並根據樂段特徵識別音樂情感；提出一種基於音樂特徵的舞蹈姿態估計方法，採用層次貝葉斯網路，底層網路根據人體圖像特徵估計人體各部位的姿態特徵，頂層網路根據人體各部位的姿態特徵、音樂特徵和舞蹈風格估計總體人體姿態；提出一種基於音樂情感特徵的舞蹈動作識別方法，在對姿態序列進行分段的基礎上，採用條件隨機場，根據人體運動統計特徵、音樂情感特徵和舞蹈風格識別舞蹈動作，並形成音樂-動作片段及其摘要。最後，建立一個原型系統，對本課題的研究方法進行驗證。
結題摘要
本課題的目標是對海量的音樂舞蹈視頻進行自動分析，並高效地完成對音樂舞蹈數據的處理。現有的音樂舞蹈識別方法主要採用人體圖像特徵來描述人的靜態表觀特徵，本課題提出從音樂特徵、圖像特徵、人體姿態和人體動作四個方面對音樂舞蹈視頻進行描述和分析。（1）音樂特徵方面，針對MIDI和WAVE格式音樂檔案，根據音符特徵提取小節特徵，並根據若干相鄰小節的相似性將樂曲劃分成若干獨立的樂段，在提取樂段特徵後利用神經網路識別樂段情感，最終獲得整首樂曲的情感。（2）圖像特徵方面，分別提出快速的特徵點提取方法、基於圖像分解的特徵表示方法和基於差值局部方向模式的特徵表示方法。為了降低特徵點提取算法的時間複雜度高，提出一種快速有效的特徵點提取算法；為了有效地描述高維圖像中的低維特徵，提出一種基於圖像分解的特徵表示方法；為了有效地降低遮擋、光照變化和姿態多樣性的干擾，提出基於差值局部方向模式的特徵表示方法。（3）姿態估計方面，針對人體對稱部位的誤判問題，提出基於連線關係與對稱關係的人體姿態估計方法，在PS模型的基礎上，採用以角度關係評價人體下肢結構對稱程度的評價方法，並給出了以HSV顏色直方圖與SIFT特徵來評價上肢和下肢外觀對稱程度的方法，綜合連線關係和對稱關係對人體姿態進行估計；針對舞蹈演員在跟蹤過程中由於形變較大的問題，對目標區域進行超像素分割，利用圖的流形排序算法進行目標的顯著性檢測，同時為了適應背景以及各種環境因素的變化，根據顯著分割結果更新目標檢測器。（4）動作識別方面，針對關節角度或關節點中心距離作為描述人體姿態的特徵所存在的局限性，提出一種關節聯動特徵；針對底層特徵不能表示整個動作在時間和空間上的相關性問題，提出了一種提取動作片段間時空上下文特徵的方法；為了提高動作識別的準確率和實時性，並且降低計算過程中的計算複雜度，提出了一個基於關鍵幀的骨架特徵的人體動作識別方法。在項目支持下共發表論文40餘篇，其中SCI一篇，EI十篇，申請專利1項。本課題研究成果可以輔助專業人員對音樂舞蹈視頻進行分析，還可以用於自動舞蹈編排。此外，本課題成果對智慧型視頻監控、體育運動分析、輔助臨床診斷、人機互動等領域的研究也有相當的借鑑作用。
