基於仿生機理的高速CMOS視覺系統晶片研究

《基於仿生機理的高速CMOS視覺系統晶片研究》是依託天津大學，由馬建國擔任項目負責人的重點項目。

基本介紹

• 中文名：基於仿生機理的高速CMOS視覺系統晶片研究
• 項目類別：重點項目
• 項目負責人：馬建國
• 依託單位：天津大學

項目摘要

隨著實際套用對圖像感知幀頻和解析度要求的不斷提升，傳統“幀掃描”的圖像採集模式將產生數十Gb/s的數據吞吐率，這使得傳統的讀出與處理電路遇到了速度瓶頸。探究新型圖像感知構架和新型極高頻時鐘驅動下的讀出電路與圖像預處理電路成為克服傳統速度瓶頸的必然選擇，也成為當前國際圖像感知領域的研究熱點。生物視覺的信息感知與處理具有事件驅動、異步高效、稀疏表示和並行處理的特點。基於這種機理，本項目在深入研究CMOS圖像感測器和處理器的基礎上：開展高速CMOS視覺系統晶片的新型體系架構研究；通過針對基於地址事件表示的高速視覺事件感知的研究，以及基於接收仲裁的並行處理的研究，提出基於此視覺系統晶片的高速目標識別與跟蹤系統；基於RFIC的設計思想，設計開發由高速時鐘驅動的數據吞吐率達10Gb/s以上的高速讀出電路與高速圖像預處理電路。為從根本上突破高速CMOS視覺信息採集的發展瓶頸提供可行的理論指導和技術來源。

結題摘要

隨著實際套用對圖像感知幀頻和解析度要求的不斷提升，傳統幀掃描的圖像採集模式將產生極大的數據吞吐率，造成讀出與處理電路的速度瓶頸。生物視覺的信息感知與處理具有事件驅動、異步高效、稀疏表示和並行處理的特點，是解決高速成像速率瓶頸的新思路。本項目基於仿生視覺機理，開展了高速CMOS視覺系統晶片研究。課題組通過分析生物視覺的感知和處理方式，提出了事件驅動的動態視覺感測架構、脈衝視覺感測架構等高速仿生視覺晶片架構，並完成了關鍵模組電路的物理模型和設計方法研究；進一步開展了仿生視覺感知晶片像素和電路的設計研究，完成了100萬像素的視覺感測晶片的設計，有效數據吞吐率達到40Gb/s，並完成了一款128×128解析度的兼容灰度成像和事件驅動的動態視覺感知晶片以及一款400×250解析度40kfps高速脈衝視覺感知晶片流片和測試，時間解析度達到0.05ms以下；針對新型的事件和脈衝數據形式，研究了圖像重建和增強算法、事件型卷積處理器和卷積方法、基於CNN目標識別追蹤方法及多核處理器實現方法等仿生感知數據處理器及處理算法研究；最後，課題組基於所研究視覺感測晶片，搭建了多方向仿生目標識別系統和高速目標跟蹤系統，可達到1000幀/秒的實時常規視覺信息處理，且對脈衝視覺數據的處理可達到40k幀/秒的處理能力，對高速目標定位追蹤的能力大幅提升。綜上，本項目從視覺機理、架構、模型、電路設計技術、算法、系統等多層級完成了仿生視覺晶片的體系化研究，發表高水平論文42篇，申請發明專利23項，培養研究生22人，形成了新型仿生視覺感知理論和晶片、算法技術體系，突破了當前高速成像的技術瓶頸，為高速視覺信息感知技術發展提供了可靠的理論指導、技術來源於人才儲備。本項目在國防科技創新特區支持下開展了套用技術研究，完成了與兵器工業集團、航天集團等研究所的技術對接，將為我國武器、無人系統研製提供高速視覺解決方案；同時在研發中與業界CIS公司開展技術合作，實現間接經濟效益近10億元，實現了顯著的社會和經濟效益。