香港理工大學/華中科技大學：研發動態視覺傳感器，實現低延時低功耗的運動識別

近日，香港理工大學柴揚和華中科技大學何毓輝教授造出一款動態視覺傳感器，實現了高級別的動態視覺處理。

本次研究結合了動態視覺傳感器和傳感器內計算，通過充分利用兩者的優點，他們還設計出一款動態傳感器內計算架構。該架構可以大幅提高運算效率，實現低延時、低功耗的運動識別。

這種直接在傳感器內進行實時處理和決策的方式，有望用于邊緣計算，以及用于那些對延遲高度敏感的場景比如無人駕駛汽車、機器人技術等領域，并能有效節省通信帶寬，此外還能增強數據的安全性和隱私性。

那么，相比現有的圖像傳感器、或互補金屬氧化物半導體（CMOS，Complementary Metal Oxide Semiconductor），動態視覺傳感器在捕捉動態圖像時，在工作原理上有著哪些不同？

據了解，傳統相機所基于的標準圖像傳感器具有固定的幀率，不管像素點的光強是否發生變化，都會在每一幀記錄下所有像素的光強，因此會包含大量冗余的視覺數據。

另一方面，較長的曝光時間限制了事件捕獲的延遲，導致所捕捉到的高速運動物體圖像存在模糊和過曝等問題。

相比之下，受生物視網膜啟發的動態視覺傳感器（DVS，Dynamic Vision Sensor），可以只針對場景中的相對變化區域作出反應。

對于動態視覺傳感器來說，只有在像素點的位置發生光強變化的時候，才會產生脈沖信號從而生成稀疏數據，這樣一來就能大大減少數據的冗余量。

動態視覺傳感器還具備超高的時間分辨率，能夠確保動作信息被完整記錄下來。因此，它也能被用于檢測場景中的變化，輸出稀疏且重要的信息。

而對于傳感器內的脈沖信號來說，它是否也能被反饋給傳感器神經元，從而做出相應的調整？

對于這一問題，答案是肯定的。為了執行復雜的計算任務比如動作識別，像素單元需要被擴展到陣列級別，并通過單元之間合適的物理互連，構建成脈沖神經網絡（SNN，Spiking Neural Network）。

而每個子像素陣列，在連接之后可以輸出神經元。在動態場景中，當像素點的光照強度發生變化時，子像素單元也會產生正負電流脈沖，來對 LIF（leaky integrate and fire）神經元中的電容進行充放電。

一旦電容的積分電壓也就是神經元的膜電位，達到神經元的閾值時就會輸出脈沖。

來源：傳感器專家網