青島大學(xué)：研發(fā)非馮諾依曼柔性神經(jīng)形態(tài)視覺傳感器

現(xiàn)有的機器視覺在自動駕駛、人臉識別、無人機導(dǎo)航、工業(yè)檢測、視頻監(jiān)控等方面已經(jīng)達(dá)到了一定水平，但是面對復(fù)雜環(huán)境，比如高速運動、昏暗條件下，其綜合性能還有待提高。目前，機器視覺系統(tǒng)面臨的挑戰(zhàn)有以下三點：

1.如何采集良好的視覺數(shù)據(jù)。

2.硅基半導(dǎo)體技術(shù)在跟上摩爾定律方面已經(jīng)達(dá)到了極限，在芯片升級方面存在瓶頸；

3.處理器與存儲器間的信息傳輸存在缺陷。

人類視覺系統(tǒng)是我們感知系統(tǒng)中最重要的組成部分，它負(fù)責(zé)感知和處理人體獲得的80%以上的信息。面對如此龐大的信息，人類視覺系統(tǒng)表現(xiàn)出低冗余、低功耗、強魯棒性等的性能。這是現(xiàn)有的機器視覺系統(tǒng)的。因此，重新審視人類視覺系統(tǒng)，借鑒其感知與處理信息的機制，有助于發(fā)展更高性能的機器視覺。在人類視覺系統(tǒng)中，視網(wǎng)膜在功能與結(jié)構(gòu)上的特點可以輔助解決以上問題：

1.視網(wǎng)膜曲面的結(jié)構(gòu)保證較好的成像效果。若將機器視覺系統(tǒng)中感光模塊制作為曲面，可進一步減少算力消耗；

2.人類神經(jīng)網(wǎng)絡(luò)有助于神經(jīng)網(wǎng)絡(luò)算法的進一步發(fā)展。更優(yōu)秀的算法可建立性能更高的機器視覺系統(tǒng)；

3.視網(wǎng)膜作為感知模塊的終點與信息處理的起點，僅由一個模塊完成了兩個模塊的工作。若將機器視覺系統(tǒng)中感光模塊與預(yù)處理模塊進行集成，不僅能提升整體集成度，而且也能避免存儲器壁(memory wall)的問題。

研究成果

近日，青島大學(xué)金明亮團隊、宿杰團隊、新加坡國立大學(xué)葛樹志團隊發(fā)表綜述文章，概述了一類受視網(wǎng)膜啟發(fā)的具有“感存算一體化"功能的柔性神經(jīng)形態(tài)視覺傳感器的制作方式。

本文從人類視覺系統(tǒng)出發(fā)，比較和討論了人類視覺系統(tǒng)和傳統(tǒng)機器視覺系統(tǒng)之間的差異。由于視覺信息的多樣性和數(shù)據(jù)量較大，使用非馮諾伊曼結(jié)構(gòu)的柔性神經(jīng)形態(tài)視覺傳感器可以有效地彌補基于馮諾伊曼架構(gòu)的傳統(tǒng)機器視覺系統(tǒng)的局限性。首先，本文討論了視網(wǎng)膜信息處理機制的模仿方式，并概述了非馮·諾伊曼計算架構(gòu)的原理和電路實現(xiàn)方法。

其次，本文以二維材料為例，從光電材料與計算材料兩種角度介紹了該類型傳感器材料選擇的一般標(biāo)準(zhǔn)，并對目前相關(guān)光電探測器性能進行了對比。

再次，在模擬視網(wǎng)膜表面結(jié)構(gòu)方面，本文介紹了柔性傳感器陣列的優(yōu)勢與制造方法。根據(jù)時間順序?qū)ο嚓P(guān)工作者的探索進行了總結(jié)。最后，本文分析了非馮·諾伊曼柔性神經(jīng)形態(tài)視覺傳感器目前面臨的挑戰(zhàn)，并對其未來的發(fā)展進行了展望。

來源：傳感器專家網(wǎng)