《基於深度學習的音樂特徵學習與分類》是依託清華大學，由張長水擔任項目負責人的面上項目。
基本介紹
- 中文名：基於深度學習的音樂特徵學習與分類
- 依託單位：清華大學
- 項目負責人：張長水
- 項目類別：面上項目
項目摘要,結題摘要,
項目摘要
音樂信息檢索是一個有實際意義的研究領域。音樂分類是音樂檢索的主要工作內容和技術手段。音樂分類的關鍵是音樂特徵提取。音樂是一種錯綜複雜和結構細緻的聲音信號，目前音樂分類系統的性能難以滿足實際需要。音樂特徵高度抽象，而深層神經網路通過多層非線性操作，能夠自動學習抽象特徵，非常適合於音樂分類任務。本項目研究基於深度學習的音樂特徵學習與分類，對於豐富深度學習的理論、擴大深度學習的套用範圍、提高音樂分類的性能，都有重要的意義。課題具體內容包括：音樂資料庫建立和音樂數據預處理；研究適合於音樂分析的新的深層網路結構；研究音樂深層網路結構的主動學習；研究多任務的深度學習網路結構；研究多任務的深度學習的作曲家分類與音樂情感分類；此外，還設計和實現一個用於算法實驗和驗證的基於深度學習的音樂分類實驗系統。
結題摘要
本課題的研究主要分為三個階段。在研期間實驗室分工明確，計畫清晰，有條不紊按計畫攻克科研難關，切實地按期保質保量完成了科研計畫，在科學研究和人才培養方面都取得了一定成果。 在課題的第一個研究階段，我們將主要精力放在了研究解決本課題下屬的各個子fan問題的基本理論和方法。在本階段中，我們著重研究了音樂特徵學習和分類的基本問題：作曲家分類以及onset detection問題。這使得我們對深度學習在音樂特徵學習中的基本性能有了較為全面的了解。在研究音樂數據特性的過程中，我們還對哈西算法、非獨立同分布樣本序列的線上核學習以及批量核學習等理論問題進行了研究，發現了一批具有理論研究價值和實際套用前景的基礎問題並以此為契機提出了若干基礎方法研究的成果，對音樂特徵學習與分類的理論框架和基本方法做出了積極的貢獻。 在課題的第二階段，我們從整體的理論和方法體系上對音樂數據特徵學習問題就行了歸納、梳理和總結性的研究。在理論方法上，我們不僅研究了求解SVM問題的快速割平面方法，還提出了一種新的深度神經網路結構最佳化算法。其中，前者一直以來都是音樂分類的重要工具，尤其是對目前大數據環境下的大規模快速計算的需求來講。後者對深度學習在音樂特徵學習套用的過程中更具有重要的意義：自動有效的超參數調整算法可以儘可能的揭示深度模型的全部性能潛能，並節省大量的專家調整時間。除了上述理論方法，我們還將深度度量學習用在了音樂數據的相對相似性學習任務上，提出了基於度量學習的數據增廣方法以及多尺度音樂標記和場景聲音檢測網路。 在課題的第三個研究階段中，我們將已有的用於音樂特徵學習的深度學習方法用於更加廣泛的場景中，比如“雞尾酒會”問題，也就是所謂的聲源分離問題中。不同於以往的方法，我們在這一階段提出了音視頻匹配與融合的新方法，並在公開數據集上對我們的模型進行了測試。實驗結果表明，我們的方法相對以前的方法有明顯效果提升，有較強套用潛力。
