吳南健/WU Nanjian

（1. 中國科學(xué)院，北京100083；2. 中國科學(xué)院大學(xué)，北京100049）

(1. Chinese Academy of Sciences, Beijing 100083, China;2. University of Chinese Academy of Sciences, Beijing 100049, China)

視覺是人類感知外部世界的最重要手段，視覺信息占到了人類獲取外部環(huán)境信息總量的80%，視覺感知和視覺信息的智能化處理是人類智能活動(dòng)的重要組成部分。如圖1所示的人類視覺信息系統(tǒng)主要包括人眼視網(wǎng)膜和大腦視覺皮層[1]，它們分別起到了視覺傳感器和視覺圖像信息多層次并行處理器的功能。視覺系統(tǒng)能夠感知外部世界的可見光視覺信號(hào)，并且通過學(xué)習(xí)記憶來識(shí)別和認(rèn)知外部的視覺信息。隨著信息社會(huì)的發(fā)展和人工智能產(chǎn)業(yè)的再度崛起，人工視覺信息的獲取和快速高精度處理在人工智能產(chǎn)業(yè)化中的作用日趨凸顯，如何借鑒人的視覺系統(tǒng)結(jié)構(gòu)和視覺信息處理模式來實(shí)現(xiàn)人工的智能視覺系統(tǒng)是當(dāng)今人工智能領(lǐng)域面臨的重要挑戰(zhàn)。在硅片上實(shí)現(xiàn)能夠進(jìn)行視覺信息獲取和智能化處理的半導(dǎo)體智能視覺系統(tǒng)芯片成為了當(dāng)今半導(dǎo)體信息領(lǐng)域中重要的熱點(diǎn)研究課題之一。

半導(dǎo)體智能視覺系統(tǒng)芯片是一種集成了視覺圖像傳感器和智能視覺圖像處理器的新型超大規(guī)模光電混合集成電路芯片，它是一種典型的邊緣計(jì)算型視覺系統(tǒng)性片。半導(dǎo)體智能視覺系統(tǒng)芯片克服了傳統(tǒng)視覺圖像系統(tǒng)中數(shù)據(jù)串行傳輸和串行信息處理的速度限制瓶頸效應(yīng)，具有實(shí)現(xiàn)或超越人類視覺系統(tǒng)的功能及其性能的潛力，在高速運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)追蹤、圖像識(shí)別、智能交通、虛擬現(xiàn)實(shí)、生產(chǎn)線自動(dòng)產(chǎn)品質(zhì)量檢測及各類智能化玩具等領(lǐng)域具有廣泛的應(yīng)用前景。智能視覺系統(tǒng)芯片是一種新型光電子、微電子融合的混合集成電路，它的工作原理和設(shè)計(jì)方法不同于傳統(tǒng)的圖像傳感器芯片。智能視覺系統(tǒng)芯片的設(shè)計(jì)和應(yīng)用研究富有挑戰(zhàn)性。

C. MEAD[2]和K. AIZAWA[3]首先提出了一種基于半導(dǎo)體集成電路技術(shù)的神經(jīng)形態(tài)視覺芯片，它以單芯片的形式實(shí)現(xiàn)圖像傳感和圖像處理的功能，是一種非常有應(yīng)用潛力的人工視覺系統(tǒng)芯片。在近30年的發(fā)展進(jìn)程中，美國、歐洲和日本等國家或地區(qū)紛紛投入了大量資金和研究人員支持大規(guī)模視覺芯片的科學(xué)技術(shù)研究。隨著互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）圖像傳感器技術(shù)、智能化圖像信息處理方法和光電融合集成芯片技術(shù)的進(jìn)步和研究人員不懈的努力，半導(dǎo)體智能視覺系統(tǒng)芯片的體系架構(gòu)、信息處理模式和光電融合設(shè)計(jì)技術(shù)不斷演化進(jìn)步，取得了一系列重要的進(jìn)展[4-12]。文章中，我們重點(diǎn)介紹和評述半導(dǎo)體智能視覺系統(tǒng)芯片體系架構(gòu)的演變和最新研究成果。

1 智能視覺系統(tǒng)芯片的概念

▲圖1 人的視覺系統(tǒng)示意圖

▲圖2 智能視覺系統(tǒng)芯片的示意圖

圖2給出了智能視覺系統(tǒng)芯片的示意[1]，它由相當(dāng)于視網(wǎng)膜的視覺圖像傳感器、相當(dāng)于視皮層的多級并行處理網(wǎng)絡(luò)和片上存儲(chǔ)器組成。視覺圖像傳感器將捕獲到的外界光學(xué)圖像信號(hào)轉(zhuǎn)換成電子圖像信號(hào)，并進(jìn)行圖像信號(hào)的彩色處理、灰度調(diào)整、噪聲消除和靈敏度控制等增強(qiáng)處理操作，然后電子圖像信號(hào)傳輸給圖像處理器進(jìn)行多級圖像信息并行處理。多級并行處理器接收來自視網(wǎng)膜的圖像信號(hào)并進(jìn)行圖像信息處理，通過進(jìn)行多層次視覺圖像特征的提取和圖像目標(biāo)的檢測，完成視覺信息的學(xué)習(xí)、記憶和識(shí)別功能。這種芯片的智能含義主要體現(xiàn)在兩個(gè)方面：首先，芯片能夠分析視覺圖像傳感器獲得的圖像質(zhì)量，并判斷圖像是否能夠滿足后續(xù)信息處理的要求，然后優(yōu)化傳感器的拍攝條件進(jìn)行圖像獲??；其次，芯片能夠自動(dòng)地對獲取的圖像進(jìn)行智能化處理，實(shí)現(xiàn)圖像信息的學(xué)習(xí)、記憶、識(shí)別分析和判斷處理的功能。

目前的智能視覺系統(tǒng)芯片可分為兩類：幀驅(qū)動(dòng)型視覺系統(tǒng)芯片[4-9]和事件驅(qū)動(dòng)型視覺芯片[10-12]。幀驅(qū)動(dòng)型視覺系統(tǒng)芯片通過視覺圖像傳感器以幀的形式捕獲圖像，然后將圖像數(shù)據(jù)傳輸?shù)蕉嗉壊⑿刑幚砥髦校嗉壊⑿刑幚砥髦饚M(jìn)行圖像信息處理，最后輸出處理結(jié)果。另一方面，事件驅(qū)動(dòng)型視覺芯片感知場景中的時(shí)間或空間光信號(hào)變化進(jìn)行動(dòng)態(tài)視覺成像，輸出脈沖視覺圖像數(shù)據(jù)到多級并行處理網(wǎng)絡(luò)中，然后脈沖型多級并行處理網(wǎng)絡(luò)進(jìn)行圖像信息處理，最后輸出處理結(jié)果。

這兩類智能視覺系統(tǒng)芯片在設(shè)計(jì)方法、信號(hào)編碼、操作模式和圖像信息處理算法等方面有很大的不同。事件驅(qū)動(dòng)型視覺芯片具有感知速度快、數(shù)據(jù)稀疏、類腦處理、能量利用率高等優(yōu)點(diǎn)。其信號(hào)編碼方式與人類視覺系統(tǒng)中的視覺信號(hào)編碼方式相似，視覺圖像信息的表示、傳輸和處理都以脈沖形式來進(jìn)行；因此，它具有時(shí)間分辨率高和視覺信息處理能效高的特點(diǎn)。但是，事件驅(qū)動(dòng)型視覺信號(hào)時(shí)分處理困難，需要相對大規(guī)模的物理處理單元電路進(jìn)行信息處理。

另一方面，幀驅(qū)動(dòng)型視覺系統(tǒng)芯片在圖像分辨率、靜態(tài)目標(biāo)檢測、時(shí)間復(fù)用視覺圖像信息處理、芯片面積等方面具有優(yōu)勢。在幀驅(qū)動(dòng)型視覺系統(tǒng)芯片中像素電路緊湊，使得視覺圖像傳感器更加容易提高分辨率和填充因子。視覺圖像傳感器可以很好地感知靜止和運(yùn)動(dòng)的目標(biāo)，較好地支持視覺圖像信息的時(shí)間復(fù)用處理模式和處理網(wǎng)絡(luò)-存儲(chǔ)器間的中間數(shù)據(jù)傳輸，方便地采用計(jì)算視覺和深度學(xué)習(xí)的方法進(jìn)行視覺圖像想信息處理。由于篇幅的限制，本文中我們以幀驅(qū)動(dòng)型視覺系統(tǒng)芯片為例，介紹智能視覺系統(tǒng)芯片體系架構(gòu)的演變和最新的研究成果。有關(guān)事件驅(qū)動(dòng)型視覺芯片的研究內(nèi)容細(xì)節(jié)可閱讀文獻(xiàn)[1]、[10-12]。

2 智能視覺系統(tǒng)芯片體系架構(gòu)

智能視覺系統(tǒng)芯片的概念提出來后，各國研究人員開展了長期的視覺系統(tǒng)芯片研究。隨著半導(dǎo)體視覺圖像傳感技術(shù)和圖像信息處理技術(shù)的不斷進(jìn)步，智能視覺系統(tǒng)芯片的體系架構(gòu)不斷演進(jìn)形成了如圖3所示的4種不同架構(gòu)，支撐著智能視覺系統(tǒng)芯片設(shè)計(jì)和應(yīng)用技術(shù)的發(fā)展。智能視覺系統(tǒng)芯片主要包括視覺圖像傳感、圖像增強(qiáng)處理、特征提取處理和圖像檢測識(shí)別處理的4個(gè)功能，能夠完成智能化的圖像感知和圖像信息處理。早期的視覺系統(tǒng)芯片通常采用架構(gòu)Ⅰ[5]，它由二維處理單元陣列組成，處理單元以單指令多數(shù)據(jù)方式進(jìn)行圖像獲取和信息處理操作。處理單元包括了光電二極管像素和圖像信息處理電路，獲取光電信號(hào)后處理電路就直接可以進(jìn)行圖像信息處理，可實(shí)現(xiàn)像素級的實(shí)時(shí)并行處理，具有工作速度高的特點(diǎn)。這種視覺系統(tǒng)芯片能完成圖像信號(hào)增強(qiáng)處理、邊緣檢測、輪廓提取、塊匹配、圖像質(zhì)心、光流計(jì)算、運(yùn)動(dòng)檢測、測距和圖像壓縮等圖像處理操作，可應(yīng)用于目標(biāo)跟蹤、產(chǎn)品檢測和人機(jī)交互等領(lǐng)域；然而，由于這種架構(gòu)的芯片存在圖像分辨率低、填充因子小和圖像信息處理功能有限等缺點(diǎn)，實(shí)際應(yīng)用推廣困難。

▲圖3 智能視覺系統(tǒng)芯片架構(gòu)的演進(jìn)

為了克服這些困難，新的視覺系統(tǒng)芯片體系架構(gòu)Ⅱ被提出來[6]。該芯片由圖像傳感器、二維處理單元陣列、行并行處理器陣列和微處理器單元構(gòu)成，它們可以分別執(zhí)行視覺圖像傳感、圖像增強(qiáng)、特征信息提取和圖像識(shí)別的操作。架構(gòu)Ⅱ克服了架構(gòu)Ⅰ圖像分辨率低的問題，將像素陣列和二維處理單元陣列分離，可以獨(dú)立地設(shè)計(jì)像素陣列和二維處理單元陣列的規(guī)模和性能，并且圖像傳感器陣列和二維處理單元之間可以實(shí)現(xiàn)靈活的映射。但是，由于微處理器的能力無法與二維處理單元陣列和行并行處理器陣列的處理能力相匹配，限制了圖像識(shí)別處理的速度。圖像識(shí)別處理所需時(shí)間遠(yuǎn)大于前期圖像處理所需時(shí)間；因此，根據(jù)Amdahl定律，圖像識(shí)別處理將制約系統(tǒng)的性能。

為了提高圖像識(shí)別的處理速度，我們進(jìn)一步提出了新的視覺系統(tǒng)芯片體系架構(gòu)Ⅲ[7]。它由圖像傳感器、二維處理單元陣列、行并行處理器陣列、自組織映射神經(jīng)網(wǎng)絡(luò)和微處理器單元構(gòu)成，分別執(zhí)行視覺圖像傳感、圖像增強(qiáng)、特征信息提取、圖像識(shí)別的操作和芯片控制。架構(gòu)Ⅲ的特點(diǎn)是混合集成了馮·諾依曼型處理器和非馮·諾依曼型自組織映射神經(jīng)網(wǎng)絡(luò)處理器。自組織映射神經(jīng)網(wǎng)絡(luò)有效地提高了圖像識(shí)別的處理速度，使圖像識(shí)別處理的速度很好地匹配前期圖像處理的速度，顯著提高了視覺系統(tǒng)芯片的性能。其次，自組織映射神經(jīng)網(wǎng)絡(luò)電路和二維處理單元陣列電路可以在幾個(gè)時(shí)鐘周期內(nèi)通過動(dòng)態(tài)重構(gòu)方式實(shí)現(xiàn)，從而大幅度節(jié)省了芯片的面積。

隨著基于深度學(xué)習(xí)的圖像信息處理技術(shù)的發(fā)展，架構(gòu)Ⅳ的視覺系統(tǒng)芯片體系架構(gòu)被提出來[9]。由于計(jì)算視覺的圖像信息特征提取和圖像識(shí)別的精度已被深度學(xué)習(xí)超越，該架構(gòu)在特征提取處理階段用卷積神經(jīng)網(wǎng)路代替了馮·諾依曼型行并行處理器陣列。該架構(gòu)充分考慮了計(jì)算機(jī)視覺和卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算特點(diǎn)，可以支持卷積神經(jīng)網(wǎng)絡(luò)計(jì)算和計(jì)算機(jī)視覺算法計(jì)算，二維處理單元陣列、卷積神經(jīng)網(wǎng)絡(luò)電路和檢測分類神經(jīng)網(wǎng)絡(luò)電路可以通過動(dòng)態(tài)重構(gòu)技術(shù)實(shí)現(xiàn)時(shí)分復(fù)用處理。架構(gòu)Ⅳ的視覺系統(tǒng)芯片的編程能力、圖像信息處理能力和處理能率等各個(gè)方面都明顯優(yōu)于前面的視覺芯片，具備實(shí)用化應(yīng)用的能力，在高速運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)追蹤、圖像識(shí)別、智能交通、虛擬現(xiàn)實(shí)、生產(chǎn)線自動(dòng)產(chǎn)品質(zhì)量檢測及各類智能化玩具等領(lǐng)域具有廣泛的應(yīng)用前景。

3 智能視覺系統(tǒng)芯片的設(shè)計(jì)案例

圖4給出了基于芯片架構(gòu)Ⅲ的智能視覺系統(tǒng)芯片的照片和手勢識(shí)別實(shí)驗(yàn)結(jié)果[7]。芯片集成了高速CMOS圖像傳感器、多級馮·諾依曼型并行處理器和非馮·諾依曼型自組織映射神經(jīng)網(wǎng)絡(luò)混合處理器，具備像素級、行級、矢量級和線程級多級并行的完整片上處理功能，可完成高速圖像獲取、圖像增強(qiáng)、圖像特征提取和圖像識(shí)別的各階段圖像處理任務(wù)。芯片的特點(diǎn)是：支持片上自組織映射網(wǎng)絡(luò)在線訓(xùn)練；以約2%芯片總面積開銷和3個(gè)時(shí)鐘周期的代價(jià)實(shí)現(xiàn)了二維并行處理單元陣列和自組織映射神經(jīng)網(wǎng)絡(luò)的相互重構(gòu)；是首款體系功能完整的馮·諾依曼/非馮·諾依曼混合處理視覺芯片。芯片采用 0.18 μm圖像傳感器專用工藝流片實(shí)現(xiàn)，它包括一個(gè)256×256的像素陣列、128×2路像素信號(hào)處理和10 bit 模數(shù)轉(zhuǎn)換器陣列、動(dòng)態(tài)可重構(gòu)的64×64 處理單元陣列處理器/16×16自組織映射神經(jīng)網(wǎng)絡(luò)處理器、64×1的行處理器陣列、32 bit精簡指令集計(jì)算機(jī)（RISC）核的雙核微處理器（MPU）和控制邏輯電路，芯片面積9.8 mm×8.4 mm，系統(tǒng)時(shí)鐘頻率為50 MHz，功耗為630 MW。該視覺芯片達(dá)到了包括從圖像采集到特征識(shí)別全過程在內(nèi)的1 000 fps系統(tǒng)級性能，其中特征識(shí)別所耗時(shí)間小于0.1 ms。

▲圖4 基于架構(gòu)Ⅲ的智能視覺系統(tǒng)芯片及其測試結(jié)果

圖5 基于架Ⅳ的智能視覺系統(tǒng)芯片及測試結(jié)果

圖5給出了基于芯片架構(gòu)Ⅳ的智能視覺系統(tǒng)芯片的照片和遙感圖像船只檢測實(shí)驗(yàn)結(jié)果[9]。芯片采用65 nm CMOS工藝集成了多層次的并行處理單元整列、局域存儲(chǔ)器和片上互聯(lián)網(wǎng)絡(luò)電路。并行處理單元陣列包括16計(jì)算簇，每一個(gè)計(jì)算簇主要包含1個(gè)16位標(biāo)量處理單元、32個(gè)互相連接的16位向量處理單元及本地存儲(chǔ)器。標(biāo)量處理單元可以靈活地獲取和處理32×32圖像塊中任意數(shù)據(jù)，每個(gè)向量處理單元可以進(jìn)行像素級的圖像處理，并行處理單元陣列以單指令、多數(shù)據(jù)模式進(jìn)行并行運(yùn)算。RISC32微處理器和系統(tǒng)總線以及其他相關(guān)模塊是整個(gè)芯片的控制系統(tǒng)，指揮數(shù)據(jù)通路和計(jì)算陣列協(xié)同工作。智能視覺系統(tǒng)芯片可以支持卷積神經(jīng)網(wǎng)絡(luò)計(jì)算和計(jì)算機(jī)視覺算法計(jì)算，二維處理單元陣列、卷積神經(jīng)網(wǎng)絡(luò)電路和檢測分類神經(jīng)網(wǎng)絡(luò)電路可以通過動(dòng)態(tài)重構(gòu)技術(shù)實(shí)現(xiàn)時(shí)分復(fù)用處理，從而可以實(shí)現(xiàn)邊緣計(jì)算型人臉檢測和如圖5（b）所示的遙感圖像船只檢測的實(shí)際應(yīng)用。這種視覺芯片具有功能完整、處理速度快、功耗低和可靈活可編程的特點(diǎn)，適合應(yīng)用于對功耗、尺寸、實(shí)時(shí)性有較高要求的邊緣計(jì)算等場合。

4 結(jié)束語

本文中，以我們研究小組長期的研究成果為例子，介紹了半導(dǎo)體智能視覺系統(tǒng)芯片的研究背景、系統(tǒng)芯片的概念、芯片體系架構(gòu)的演變、視覺系統(tǒng)芯片的設(shè)計(jì)案例。盡管視覺系統(tǒng)芯片技術(shù)已取得了長足進(jìn)步，但視覺系統(tǒng)芯片要真正進(jìn)入到實(shí)用階段仍然面臨著諸多亟待解決的問題。首先，要提高圖像傳感器的高分辨下成像速度、暗光條件下成像能力、成像動(dòng)態(tài)范圍和高精度三維成像能力，來滿足不斷增長的應(yīng)用需求；其次，目前視覺系統(tǒng)芯片的智能化處理能力相對于要求來說比較簡單，還不具備片上學(xué)習(xí)和圖像傳感器自適應(yīng)控制的能力，并且圖像信息分析和處理的能力有限，無法滿足各種實(shí)際應(yīng)用場景下完全自主工作的應(yīng)用需求；最后，在視覺系統(tǒng)芯片集成的技術(shù)方面，由于視覺圖像傳感器、智能圖像處理器和存儲(chǔ)器通常采用不同節(jié)點(diǎn)的CMOS工藝來實(shí)現(xiàn)，并且智能圖像處理器和存儲(chǔ)器所用的工藝節(jié)點(diǎn)通常要比視覺圖像傳感器的更為先進(jìn)，要在單一的硅芯片上實(shí)現(xiàn)智能視覺系統(tǒng)芯片很難平衡視覺圖像傳感器的能力和圖像處理器的性能之間的關(guān)系[12]。因此，采用三維堆疊集成技術(shù)實(shí)現(xiàn)智能視覺系統(tǒng)芯片是今后發(fā)展的重要趨勢。目前中國科學(xué)技術(shù)部的重點(diǎn)研究計(jì)劃已經(jīng)部署了相關(guān)的研究項(xiàng)目開展研究，中國有望在視覺系統(tǒng)芯片領(lǐng)域取得重要的突破。

致謝

本文中所介紹的芯片架構(gòu)和芯片設(shè)計(jì)的案例是中國科學(xué)院半導(dǎo)體研究所超晶格國家重點(diǎn)實(shí)驗(yàn)室高速圖像傳感與圖像信息處理課題組成員共同取得的成果，在此對做出貢獻(xiàn)的全體成員表示感謝！