在軌視頻圖像特徵提取與壓縮關鍵技術研究

《在軌視頻圖像特徵提取與壓縮關鍵技術研究》是依託北京大學，由張史梁擔任負責人的重大研究計畫。

基本介紹

• 中文名：在軌視頻圖像特徵提取與壓縮關鍵技術研究
• 項目負責人：張史梁
• 依託單位：北京大學
• 項目類別：重大研究計畫

項目摘要

隨著衛星圖像視頻解析度的持續提高，如何對視頻圖像數據進行實時、高效傳輸已成為新一代衛星技術面臨的重要問題之一。針對該問題，本課題對在軌端視頻圖像特徵提取和壓縮新算法開展研究。具體研究內容包括：（1）緊湊局部特徵提取、（2）高判別力視覺基元提取、（3）緊湊語義特徵提取、（4）視頻特徵壓縮編碼。通過融合併壓縮圖像區域的局部視覺信息和空間結構信息構建緊湊、高判別力的局部特徵；通過發掘感興趣物體中的固定、可重複的視覺模式來提取視覺基元碼本；利用深度學習模型提取圖像高層語義信息；針對視頻提取多層次的特徵，並設計相應的幀間壓縮算法。提取並壓縮多層次的互補特徵有望在實現特徵數據高效傳輸的同時保證特徵的通用性和對視頻圖像內容的判別能力，提升後期數據分析性能。本課題預期為解決關鍵科學問題：“空間信息網路對海上目標連續觀測基礎理論與關鍵技術”做出貢獻，並為空間信息網路研究提供理論、技術和方法支持。

結題摘要

隨著衛星圖像解析度的持續提高，如何對在軌圖像數據進行實時、高效傳輸已成為新一代衛星技術面臨的重要問題之一。針對該問題，本課題針對在軌端圖像與視頻特徵的提取和壓縮算法開展了研究，擬使用特徵傳輸取代傳統的圖像視頻壓縮流傳輸，大幅減小數據傳輸頻寬，同時保證相同的圖像內容分析效果。為保證特徵的判別力、緊緻性，以及對後續不同套用的適用性，本課題在多個層面開展了研究。首先，開展了基於深度學習的壓縮感知圖像恢復研究。項目組提出了DR2-Net深度神經網路，利用單層全連線網路學習圖像重構參數進行圖像初步重構，進而學習多層殘差網路預測圖像重構誤差並對初步重構結果進行修正，逐步提升重構精度。算法可以從稀疏採樣信號中重構出高質量的衛星圖像，從而為高效圖像數據傳輸提供支持。其次，完成了基於輕量化深度神經網路的二值局部特徵提取和高效深度神經網路結構與高效學習算法研究，收集了衛星圖像匹配數據集。項目組通過設計一個緊湊的三層神經網路來實現端到端的緊湊二值局部特徵CDbin提取和壓縮。所提CDbin特徵緊緻性、效率、圖像匹配準確率均優於傳統SIFT、ORB以及近期的深度網路特徵。所提出的CN-Net網路結構通過引入多個網路分支並約束不同分支之間的特徵互補性，改善了傳統網路容易對訓練數據過擬合的問題，在多個物體分類測試集上取得了比著名深度網路如Resnet、GoogleNet等更好的性能。第三，完成了深度網路圖像特徵壓縮與哈希和基於緊湊3D神經網路的圖像序列特徵提取研究，收集了航拍目標檢索數據集。課題組提出的特徵壓縮模型通過對深度網路中間特徵層進行哈希編碼，保留了更多的圖像細節和空間結構信息，保證壓縮特徵的判別力、信息量和緊緻性。提出的多尺度時間卷積M3D網路比傳統3D卷積神經網路更加緊湊，可以有效提取視頻序列中的時空特徵。在本課題支持下，項目組共發表/接收學術論文23篇，課題負責人以第一發明人申請國家發明專利5項。