《基於語義解析的油畫風格化研究》是依託中山大學，由曾坤擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於語義解析的油畫風格化研究
- 項目類別：青年科學基金項目
- 項目負責人：曾坤
- 依託單位：中山大學
中文摘要,結題摘要,
中文摘要
非真實感繪製技術廣泛套用於動漫、平面廣告設計和三維遊戲製作等。本項目將主要研究單幅圖像和視頻（序列幀）的油畫風格化繪製。我們建立一個大型油畫資料庫，通過對這些油畫數據進行特徵統計分析和學習，制定寫實油畫風格基本繪製策略和質量評估體系。單幅圖像的油畫風格化過程包含兩個階段：在圖像解析過程中，根據給定一幅圖像或者照片，我們先對圖像進行互動式分割，然後進行區域識別和內容理解，最後建立層級圖像語義解析樹。在圖像繪製階段，首先建立一個基於物體類別的油畫筆觸庫和物理筆觸模型，然後根據區域內容安排對應筆觸進行繪製，並根據畫家的繪畫習慣和統計規律制定油畫風格基本繪製策略進行油畫渲染，最後建立一套客觀有效的評估體系對渲染結果進行評價。在此基礎上我們把這套語意驅動繪製的思想擴展到視頻油畫風格化中，該系統同樣包括兩個階段視頻處理階段：視頻解析系統和渲染系統，其中提出一些關鍵新算法來減少幀間筆刷的抖動。
結題摘要
該項目在下面幾個領域進行了研究：（1） 圖像顏色增強。油畫渲染的一個關鍵技術在於顏色的增強，並把Local Linear Embedding的思想套用到圖像增強中，並取得了較好的效果，相關研究工作已經發表在圖像處理的國際會議ICIP，在該方法的研究過程中我們發現基於LLE或者機率顏色映射方法的顏色變化容易產生圖像人工偽影，因此我們提出一個基於疊代機率顏色映射和自學習濾波的框架，以抑制圖像的人工偽影，該研究結果發表在IEEE TMM期刊。；（2）圖像的物體識別和區域語義信息提取。油畫渲染的另一個關鍵技術是抽取圖像和視頻的語義信息，並基於語義信息進行筆刷選取和繪製策略，因此在該方面進行深入研究，相關研究成果已經發表在國際期刊Pattern Recognition。（3）基於視頻內容理解的油畫風格化渲染，其核心研究是視頻風格化，主要包含兩個模組：（a）基於關鍵幀技術的視頻內容語義分割模組，包括視頻語義分割、特徵提取和匹配。（b）語義驅動的視頻風格化模組，包括基於視頻內容的筆觸選取和繪製策略制定，另外在設計彈簧模型表達畫刷彼此之間的關係，並利用LM 算法來抑制序列幀的畫刷抖動，取得了較好的效果。相關研究內容發表在IEEE TCSVT期刊。
