面向創作的音樂與舞蹈的關聯計算模型

《面向創作的音樂與舞蹈的關聯計算模型》是依託浙江大學，由耿衛東擔任項目負責人的面上項目。

基本介紹

• 中文名：面向創作的音樂與舞蹈的關聯計算模型
• 依託單位：浙江大學
• 項目負責人：耿衛東
• 項目類別：面上項目

項目摘要

本項目擬面向文化創意產業中的編舞與配樂等創作需求，探索建立音樂與舞蹈的量化計算關聯模型。引入可表達時變動態特性的紋理空間，並基於統一的計算框架，建立一體化的音樂與舞蹈關聯計算模型。面向藝術家的創作需求，對編舞和配樂的作品從新穎度、匹配度等多個維度上進行分析與評價，並基於音樂與舞蹈一體化關聯計算模型，借鑑紋理合成的算法思想，提出新的基於紋理空間的編舞與配樂方法。另外，也將針對即興創作需求，綜合運用現場反應式人工智慧、預計算和線上最短路徑方法，來探索具有實時計算能力的線上編舞和配樂方法。該項目不僅對計算機動畫、數位化藝術、多媒體計算、以及多通道感知等套用基礎理論和學科交叉有學術貢獻，也將為我國的文化創意產業提供計算模型和套用技術支持。

結題摘要

本項目面向數字藝術創意產業中編舞與配樂等創作需求，結合近年來以Neural Arts為代表的深度機器學習方法在藝術創作領域的相關研究與套用，融合多模態數據之間的協同分析方法，在深度學習框架與特徵空間上探索建立具有一定通用性的音樂與舞蹈關聯計算模型。面向深思熟慮、反覆推敲的創作方式，提出基於深度學習的多維度編舞與配樂評估方法，研發數據驅動的音樂與舞蹈的一體化編排。同時，綜合運用人工智慧方法，結合公開數據集和自行構建的CAPG音樂舞蹈基準數據集，探索了基於深度學習的音樂舞蹈關聯計算模型和舞蹈動作預測算法，研發了計算機輔助編舞的原型系統，初步實現了音樂驅動的舞蹈編排功能。本項目面向數字創意產業和藝術創作的套用需求，提供了基於深度學習方法的多模態數據之間的關聯計算模型和協同分析方法。本項目不僅對計算機動畫、數位化藝術、多媒體感知等套用基礎理論和交叉學科有學術貢獻，還有望為數字創意和藝術創作的智慧型化套用提供了方法和途徑。