《基於神經影像反演的三維圖像重構》是依託北京師範大學，由姚力擔任項目負責人的重大研究計畫。
基本介紹
- 中文名：基於神經影像反演的三維圖像重構
- 依託單位：北京師範大學
- 項目負責人：姚力
- 項目類別：重大研究計畫
項目摘要,結題摘要,
項目摘要
三維圖像的感知與重構是計算機立體視覺領域的難題，從人類感知與加工視覺信息的認知機理出發，建立可以模擬人類視覺系統的計算模型是解決這一瓶頸問題的有效途徑。隨著神經影像技術的飛速發展，基於神經影像的視覺信息編解碼研究成為一個新的熱點，研究人員基於功能磁共振影像和腦電信號開展了視覺圖片刺激的分類、識別和重構，但現有研究主要是針對二維圖片、且視覺信息的神經編解碼模型也比較初步。本項目重點研究基於神經影像的三維視覺信息編解碼數學模型，並從四個方面展開研究：研究三維圖像刺激下的神經信號採集與處理方法；探究人類視覺系統如何感知三維場景中的深度信息；建立三維場景中立體信息的神經解碼模型；最終完成基於神經活動的三維場景圖像重構系統。本項目從神經影像信號中提取三維圖像中物體的深度信息，並基於神經影像反演出三維圖像，有望進一步揭示人類視覺系統的工作機理，推動計算機三維場景重構技術的發展。
結題摘要
基於神經影像的視覺刺激的重構是當前認知神經科學領域的研究熱點。本項目藉助多種神經影像技術，圍繞三維視覺刺激的編解碼計算模型中的關鍵技術問題，對三維視覺刺激的深度加工的神經機制以及深度的識別進行了深入探討。本項目主要開展了以下幾方面的內容。 一是本項目對編解碼計算方法進行了深入探討。（1）在編碼方法方面，本項目對獨立成分分析（Independent Component Analysis, ICA）方法進行了深入探討，提出了兩步超高斯ICA，提高了腦網路分離的準確性和有效性。（2）在解碼方面，本項目提出了拉普拉斯的平滑L0模的特徵提取算法，大大提高了計算效率及最終解碼的準確率。此外，本項目對解碼的模式分類方法深入探討。我們開展了基於腦電信號的圖片解碼（分類）研究，我們深入探討了提高圖片分類正確率的兩種方法：一種是分析刺激前相位信息與刺激後圖片內容想著的ERP之間的耦合關係，據此設計分類器集成方法；另一種方法是利用多ERP之間的分類互補信息，構建基於多核學習的分類器融合方法。 二是本項目對三維視覺刺激的立體深度加工的神經機制進行了深入探討。（1）研究採用fMRI技術，考察了三維視覺刺激的加工的神經機制。研究發現腹側視覺區對視差符號的加工敏感，二背側視覺區對視差符號的區分敏感。（2）研究採用fMRI技術，利用Garbor基構建了從深度到腦活動之間的編碼計算模型，同時構建了從腦活動到深度的解碼模型。通過該編解碼計算模型， V3A是所有視覺腦區中識別新的視差準確率最高的腦區。 三是本項目搭建了三維視覺刺激呈現的環境以及基於神經活動的三維場景圖像深度識別的系統平台。基於該系統平台，我們能夠方便的開展三維視覺深度加工的神經機制研究。
