基於深度學習的協同目標分割與行為理解研究

《基於深度學習的協同目標分割與行為理解研究》是依託福州大學，由陳飛擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於深度學習的協同目標分割與行為理解研究
• 依託單位：福州大學
• 項目類別：青年科學基金項目
• 項目負責人：陳飛

項目摘要

人類可以在混亂的場景中實現運動目標的分割、識別和行為理解，但這對於計算機視覺系統卻是一個嚴峻的挑戰。本項目研究關於高層先驗知識指導和底層圖像數據驅動相結合，同時進行目標分割和行為理解的方法。該方法能夠在實際環境比較惡劣的情況下，實現精確的目標分割和準確的行為推理。主要研究利用深度學習的多層表達能力捕捉目標行為和動作的層次結構特徵，結合變分圖像分割算法，以目標形狀作為上下層連線的紐帶，通過多個深度玻爾茲曼機的近似推理和產生機理實現底層、中層和高層的協同合作，建立協同目標分割和行為理解的計算模型，並提出模型的最佳化及求解方法。同時以手勢識別系統中手指拼寫單詞作為Demo實例，分析研究先驗行為的表達、基於形狀驅動的變分分割，多個深度玻爾茲曼機的協同學習等關鍵問題。此研究將為底層序列圖像分割、中層目標識別和高層行為理解的協同合作提供新的思路和途徑。

結題摘要

本項目研究基於先驗知識和底層數據相結合的目標分割與行為識別的基礎理論與方法，其主要成果包括：基於深度玻爾茲曼機的協同目標分割與行為識別，基於循環相似性的目標形變配準，基於形狀稀疏凸組合的目標分割與識別，基於低秩約束的序列圖像協同分割等。此研究重點解決了目標行為表達，多個深度玻爾茲曼機協同學習,目標形變不變性, 穩健分割等問題，同時為底層圖像分割、中層目標識別和高層行為理解的協同合作提供新的解決方法。由於研究的對象是低質量圖像，噪聲等干擾因素往往影響分割與識別算法的效果，現研究成果給圖像復原問題也提供了新的研究思路和理論依據，取得了很好的效果。本項目的研究有助於提高計算機視覺系統人機互動的質量和穩健性。