基於地址-事件表達(AER)的動態視覺感測器模仿生物視覺的工作機理,而傳統的視覺圖像採集方式以固定頻率採集的“幀”為基礎,具有高冗餘、高延遲、高噪聲、低動態範圍和高數據量等缺陷。動態視覺感測器是像素異步工作,僅輸出光強發生變化像素的地址和信息,而非被動依次讀出“幀”內每個像素信息,從源頭上消除冗餘數據,具有場景變化實時動態回響、圖像超稀疏表示、事件異步輸出等特點,可廣泛套用於高速目標跟蹤、實時監控、工業自動化和機器人視覺等領域。
基本介紹
- 中文名:動態視覺感測器
- 外文名:Dynamic Vision Sensor
- 套用:高速目標跟蹤、實時監控、工業自動化和機器人視覺等領域
基本原理
將基於事件的神經形態系統的工作結合起來的概念,是一種模仿生物學使用異步的、極度稀疏的、數據驅動的數位訊號作為其計算架構的核心方面的願望。地址-事件表示(AER)系統自然提供了一種方法來合併基於需求的計算,其中來自一個地方的數據驅動另一個地方的計算。AER視覺感測器的目標是將“視覺信息的顆粒”封裝在它們的輸出事件中,這樣每個事件攜帶的信息都比灰度級別的信息要多。事件還應該及時地利用異步表示。
歷史
Mead被認為是神經形態工程的創始人,被稱為創造術語“神經形態處理器”。在20世紀80年代後期,Mead建議計算與神經系統博士生Misha Mahowald開發矽視網膜,利用模擬電路模擬視網膜中視桿細胞、視錐細胞和其他非光感受細胞的生物學功能。第一個AER視覺系統是由Mahowald和她的同事在她1992年的博士論文中建立的。早期系統的性能受到了影響,因為它們必須同時將一種新的計算範式與複雜的延遲不敏感異步邏輯和大規模並行模擬計算結合起來。在Mahowald的AER視網膜之後,只有Boahen的小組在接下來的10年裡發表了任何有意義的研究成果。除了Lazzaro在audition上的開創性工作外,截至2005年的工作旨在構建完整的神經形態系統,即不需要傳統的處理器。2003年,Ruedi等人發表了一篇令人印象深刻的JSSC論文,研究了空間對比度和局部方向視覺感測器。
輸出數據
地址事件AER數據:發生特定事件的像素對控制模組發出通信請求,請求獲準後輸出量為該像素所在坐標位置(x,y)及發生的事件。對於一維單一事件異步並行輸出,事件以脈衝形式輸出,引起其所在行的地址編碼器實時輸出行地址,後續接收處理電路根據接收到的行地址及接收編碼的時間還原事件屬性及所在地址。
優勢
傳統的視覺圖像採集方式以固定頻率採集的“幀”為基礎,具有高冗餘、高延遲、高噪聲、低動態範圍和高數據量等缺陷。基於地址-事件表達(AER)的視覺圖像感測器模仿生物視覺的工作機理,像素異步工作,僅輸出光強發生變化像素的地址和信息,而不是被動依次讀出“幀”內每個像素信息,從源頭上消除冗餘數據,具有場景變化實時動態回響、圖像超稀疏表示、事件異步輸出等特點,可廣泛套用於高速目標跟蹤、實時監控、工業自動化和機器人視覺等領域。動態視覺感測器集成了多模式行仲裁方式、實時時間標記功能,可有效減小輸出數據量,解決AER異步輸出方式帶來的事件-時間不匹配問題,並具有高幀頻、大動態範圍(DR)的特點。