《數據驅動的人體圖像語義分割研究》是依託中國科學院大學，由王丹擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：數據驅動的人體圖像語義分割研究
- 項目類別：青年科學基金項目
- 項目負責人：王丹
- 依託單位：中國科學院大學
項目摘要,結題摘要,
項目摘要
人體圖像的語義分割，即按照頭髮、膚色、上身衣服、下身衣服、鞋襪、背景等類別將人體圖像進行像素或超像素級的語義標註。該問題涉及統計學習、圖像處理等多個學科領域，具有重要的理論價值，同時它可以直接套用於行人身份識別、人體服飾檢索、人體動作識別等實際問題。為此，本項目擬開展的主要研究內容包括：（1）人體圖像的高效標註，擬採用主動學習的策略，快速獲取大量具有語義分割的訓練數據；（2）人體定位，即確定整個人體區域的大體位置以排除大部分背景區域，擬採用顯著性建模方法進行預濾波以提高定位的速度和精度；（3）人體部件的形狀建模，擬採用數據驅動的方法，自適應地學習針對特定實例的可形變形狀模型，並將該高層形狀模型與低層表觀模型結合，從而精確分割人體圖像中的各個部件區域。本項目有望用於電子商務的服飾分割、檢索，以及智慧型視頻監控的人體身份識別問題中。
結題摘要
人體圖像的語義分割問題涉及統計學習、圖像處理等多個學科領域，具有重要理論價值，同時它可以直接套用於行人身份識別、人體服飾檢索、人體動作識別等實際問題。由於人體服飾的表觀差異、姿態變化、形狀差異、背景複雜等，人體圖像的語義分割面臨了諸多的挑戰。現有的人體語義分割系統還比較少，而且多半是在限定採集條件下，而在圖像質量差、人體定位不準確、姿態變化較大的情況下，難以取得令人滿意的結果。為此，本年度圍繞如何高效獲取人體圖像分割數據和如何確定人體整體區域的邊界兩個問題開展研究，研究內容包括：（1）針對人體圖像的高效標註問題，提出最大化期望信度變化的區域推薦方法，能夠在保證同樣分割精度的條件下，大幅降低用戶互動量，提高數據標註效率。（2）針對人體定位問題，提出基於顯著性檢測和近鄰先驗的人體分割方法，根據顯著圖的相似度，引入近鄰約束學習形狀，有效提高了分割性能；同時，針對普適的顯著物體檢測問題，提出了基於局部先驗和多級前背景對比度的顯著物體檢測方法。（3）針對人體形狀建模問題，提出了多種形狀模型，如基於稀疏自編碼器的人體服飾分割方法，基於深度回歸的人體分割算法等，這些方法通過建立圖像特徵與二值分割結果的映射關係，實現從圖像特徵到分割結果的回歸，從中得到分割結果的估計，將其作為形狀先驗加以利用。該基於稀疏自編碼器的人體服飾分割方法能夠以幾倍於其他分割方法的速度，達到與其他方法相當的分割精度。（4）在系統搭建方面，本項目開發實現了人體分割系統，該系統可以對輸入人體圖像進行快速分割。此外，我們將人體語義分割套用到實際的人體身份再識別問題中，提出了無監督的局部約束的測地距離方法，有效提高的人體再識別系統的性能。項目周期內被錄用EI論文4篇，國防科技報告2篇，其中以第一作者發表的共4篇。
