基於反饋型級聯連線模型的多模態語義SFM方法研究

《基於反饋型級聯連線模型的多模態語義SFM方法研究》是依託蘇州科技大學，由沈曄湖擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於反饋型級聯連線模型的多模態語義SFM方法研究
• 項目類別：青年科學基金項目
• 項目負責人：沈曄湖
• 依託單位：蘇州科技大學

項目摘要

由運動恢復結構（SFM）是計算機視覺領域的基本問題之一。目前大多數研究基於對圖像基本幾何基元的幾何分析，缺乏對語義信息的利用，因此穩定性不強、套用領域受限。本項目借鑑人腦並行分級處理以及反饋機制，擬研究反饋型級聯連線模型框架對SFM 和圖像分割、區域類別標記、物體識別等語義子模組進行整合，通過框架的反饋級在線上制突破傳統將各子問題割裂分析的做法，實現語義輸出SFM 系統。本項目還將研究一種包含點、物體、區域等多模態輸出SFM 新算法，提升穩定性，減少語義鴻溝。此外現有的基準測試資料庫僅針對SFM或者圖像理解與分析系統中的單個或部分子模組設計,因此本項目還將構建一個同時包含三維和語義分割信息的室內外SFM基準測試數據。該研究有望豐富SFM 和視頻理解與分析算法理論，並推動機器人自主導航、增強現實、電影特效等領域的發展，因此具有重要的科學意義和廣泛的套用前景。

結題摘要

本項目主要針對機器人視覺定位和環境三維地圖構建這個機器人視覺導航領域的核心問題，通過引入圖像中的語義信息實現了包含點、平面、物體等多種模態的混合三維地圖，從而提升了機器人在室外複雜環境下的定位可靠性和精度，同時拓展了三維地圖的適用範圍，為機器人視覺定位和環境三維地圖構建在室外複雜環境下的實用化進程奠定了基礎。 項目主要完成的研究內容如下：（1）完成了基於語義分割技術的機器人同時定位與地圖構建算法框架的研究和實現，通過對圖像進行語義分割實現語義信息與圖像特徵點信息的結合，並且通過最小化能量似然函式得到最優的相機運動參數以及混合三維地圖，在公共數據集以及自建數據集上驗證了本算法框架的性能。（2）完成了稀疏自編碼器時空卷積神經網路及其並行加速實現，本項目提出在每個卷積步驟中運用稀疏自動組合策略，通過在隱層節點典型特徵表示過程中引入信息約束來處理拓撲結構的自適應稀疏編碼。從而使得學習得到的特徵能夠更好地表示時空域的轉換關係並且使得隱層節點數量能夠限制在特定的範圍之內。我們還實現了基於MapReduce技術的並行化，充分利用多核CPU的計算能力，從而在大規模視頻序列中能夠更加有效的提取視覺特徵。（3）完成了基於機率神經網路的高效特徵融合技術的研究，構建了一個特徵融合模型，提升系統對陌生數據的識別能力。（4）完成了基於數據分布感知的自適應機器學習模型數據壓縮技術的研究，提出了與模型數據機率分布相關的數據量化初始化方法，實現了一個機器學習領域訓練模型的通用壓縮方案，以較高的壓縮率達到接近的性能，為某些資源受限的嵌入式環境套用鋪平了道路。（5）完成了高效訓練圖像前背景自動融合技術開發，實現了均值坐標系統的高效近似方案，完成了GPGPU並行化方案的實現，降低了視頻基準序列資料庫大規模採集的難度和成本。