基本介紹
- 外文名:VocaListener
- 日文名:ぼかりす
- 套用:轉換音樂風格
歷史,技術,VocaListener-core,VocaListener-plus,VocaListener-front-end[,
歷史
技術早於2006年8月已進行研究。最初於2008年4月28日公開,於NICONICO動畫上載音樂軟體初音未來版本的《PROLOGUE》,歌曲原唱為聲優緒方智美。但最初只是寫作簡稱“ぼかりす”,並沒有正式發表技術,是一個試驗性質的公開。當時正值初音未來熱潮後不久,其極為自然、非常接近人類的歌聲大大超越初音未來平常歌曲的水準而被稱為“神調教”(把初音未來的歌曲調整得十分自然之意),更引起一段短暫對新技術真相的猜測。同年5月2日承認“ぼかりす”就是VocaListener。在5月28日的第75回音樂資訊科學研究會正式發表。6月6日再公開鏡音鈴版本的《Game of Love》,歌曲原唱為吉井弘美。9月22日再同時公開KAITO、MEIKO、初音未來、鏡音鈴、連ACT2、GACKPOID和合唱版本的演歌《大漁船》,2009年2月6日再公開巡音流歌的版本,歌曲原唱為西一男。4月27日開始Yamaha的“Netぼかりす”Alpha版測試,只提供部份功能。
技術
系統先以VocaListener-front-end分析目標歌聲和歌詞,辨認音高、音量、歌詞等,再由用戶以VocaListener-plus編輯修正,其後以VocaListener-core分析歌聲並加以合成,反覆測定音高、音量、歌詞等的相似度,由用戶加以微調,最後得到合成歌聲的參數。
VocaListener-core
這是合成歌聲模仿目標歌聲的核心技術,由歌聲分析、歌聲合成、反覆的合成參數更新三種要素組成。歌聲分析的對象不止目標歌聲,亦會對合成後的歌聲作出分析,但分析的使用技術Viterbi alignment會有辨認錯誤的問題,需要反覆分析,務求兩者的風格儘量相近。判定音高分為MIDI的音名數值和滑音斜率。在音名數值中,組合VOCALOID 2滑音斜率(PIT、Pitch Bend)和滑音斜率敏感度(PBS、Pitch Bend Sensitivity)最多可以做出高或低兩個八度的滑音,而音名數值由以下數式選擇(NoteNumber:音名數值、σ=0.03、t是音符長度。):
而合成歌聲是、目標歌聲則是{\displaystyle F0_{org}(t)}。經過重複計算而把兩個數值不斷更新,變得相似。把PIT和PBS轉換為數式則是如此:
而音量測定上是使用相對數值,反覆測定而得到從0至127的強弱(DYN、Dynamics)數值。