基於計算攝影學的中國手語光場獲取研究

《基於計算攝影學的中國手語光場獲取研究》是依託北京工業大學，由孔德慧擔任項目負責人的面上項目。

基本介紹

• 中文名：基於計算攝影學的中國手語光場獲取研究
• 項目類別：面上項目
• 項目負責人：孔德慧
• 依託單位：北京工業大學

項目摘要

作為視覺空間語言，中國手語沒有語音或書寫符號的表現形式，表達者及其表達的動作是手語的唯一表現形式。目前已有的各種形式中國手語數據，包括文字式的《中國手語》；運動參數式的人體關節運動角度和關鍵點位置；場景投影式的中國手語視頻，都是中國手語在不同層面的簡化描述。中國手語光場記錄表達者所在場景中每一點的光線強度，記錄表達者及其動作的完整信息，是一種全息中國手語數據。 中國手語光場對手語語言學研究、人機互動、媒體傳播等有重要意義，如何獲取中國手語光場數據是一個值得研究的問題。為此，本項目研究基於計算攝影學的中國手語光場獲取方法，研究內容包括：針對中國手語語義表達需求，構建基於特徵的中國手語光場表示模型；針對光場數據採集，研究基於空間-光度聯合復用的中國手語光場採集方案；針對光場生成，研究基於壓縮感知的中國手語光場生成方法；針對高真實感中國手語表達，研究基於光場圖像復用的視點相關的光場繪製。

結題摘要

中國手語光場記錄表達者所在場景中每一點的光線強度，記錄表達者及其動作的完整信息，是一種全息中國手語數據。中國手語光場對手語語言學研究、人機互動、媒體傳播等有重要意義，如何獲取中國手語光場數據是一個值得研究的問題。針對此問題，本項目研究基於計算攝影學的中國手語光場獲取方法，項目研究工作主要包括：①中國手語光場採集:提出基於時空採樣密度最佳化的中國手語合成光場採集方法，並基於規格化視點設定採集獲得中國手語光場資料庫；②中國手語光場表示：提出基於測地距離的人體姿態表示模型，以及基於曲率尺度空間特徵的手部姿態表示方法，在此基礎上實現中國手語表面光場表示；③基於CS的光場生成：提出基於編碼光圈的高精度光場獲取方法，以及基於張量字典的動態光場重建方法；④中國手語光場重構與繪製，提出基於光場的深度信息估計方法、基於字典的手部深度圖像去噪方法，以及基於多視點圖像的手勢表面光場重建方法；⑤基於光場的中國手語識別：提出基於Grassman流形的手語光場識別方法、基於多流CNN的手語識別方法以及基於CNN-HOG-HMM的融合手語識別方法。 針對以上研究內容，項目組取得了較為豐碩的研究成果，在包括IEEE Trans. on Multimedia, IEEE Trans. on Image Processing等的國內外重要期刊和學術會議發表學術論文16篇。申請國家發明專利7項，其中5項已授權。獲得軟體著作權1項。