吳南健

(中國(guó)科學(xué)院半導(dǎo)體研究所 超晶格國(guó)家重點(diǎn)實(shí)驗(yàn)室,北京 100083)

0 前 言

視覺(jué)是人類(lèi)感知外部世界的最重要手段,人類(lèi)從外部環(huán)境獲取信息中的80%是視覺(jué)信息。如圖1所示人的視覺(jué)信息系統(tǒng)包括人的眼睛和大腦。人的眼睛是一個(gè)典型的圖像傳感器,能夠攝取圖像并且進(jìn)行一些噪聲去除等初級(jí)圖像處理。人的大腦神經(jīng)元網(wǎng)絡(luò)是一個(gè)視覺(jué)圖像處理系統(tǒng),具有非常強(qiáng)的、對(duì)所攝取的視覺(jué)信息進(jìn)行并行處理的能力。

加州理工學(xué)院Mead[1]和東京大學(xué)石川正俊[2]最先提出了視覺(jué)片上系統(tǒng) (SoC)芯片的概念。如圖2所示視覺(jué)SoC芯片是一種集圖像傳感器和圖像信息處理電路為一體,實(shí)現(xiàn)高速實(shí)時(shí)視覺(jué)信息處理的片上系統(tǒng)芯片。視覺(jué)SoC芯片能夠模仿人的視覺(jué)和大腦圖像處理系統(tǒng)進(jìn)行圖像攝取、實(shí)時(shí)圖像信息并行處理和控制外部設(shè)備等完整的系統(tǒng)操作。它具有圖像處理速度快、功能強(qiáng)、功耗低、體積小和成本低的優(yōu)點(diǎn),在高速運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)追蹤、機(jī)器人視覺(jué)系統(tǒng)、圖像識(shí)別、智能交通、虛擬現(xiàn)實(shí)及各類(lèi)智能化玩具等領(lǐng)域具有廣泛的應(yīng)用前景。是當(dāng)今圖像傳感和圖像處理系統(tǒng)芯片研究領(lǐng)域最前沿的研究課題之一。

近年來(lái)國(guó)內(nèi)外研究機(jī)構(gòu)紛紛投入了大量資金和研究人員支持視覺(jué)SoC芯片的關(guān)鍵技術(shù)研究,取得了一系列重要的進(jìn)展。加州理工大學(xué)[1]、東芝公司和麻省理工大學(xué)[3]、愛(ài)丁堡大學(xué)[4]、東京大學(xué)[5-6]、斯坦福大學(xué)[7]、Burgundy大學(xué)[8]、約翰霍普金斯大學(xué)[9]、曼徹斯特大學(xué)[10]、靜岡大學(xué)[11]和半導(dǎo)體研究所[12-15]等諸多著名的大學(xué)、研究機(jī)構(gòu)和企業(yè)開(kāi)展了視覺(jué)SoC芯片的研究工作,并逐漸形成了兩個(gè)主要的研究方向：

1)專(zhuān)用視覺(jué)芯片：主要是針對(duì)某種或某些具體應(yīng)用而設(shè)計(jì),比如運(yùn)動(dòng)探測(cè)、運(yùn)動(dòng)分析、物體范圍搜尋、目標(biāo)跟蹤和3D視覺(jué)等;

2)可編程視覺(jué)SoC芯片：這類(lèi)視覺(jué)SoC芯片可以執(zhí)行圖像識(shí)別、智能交通、機(jī)器人視覺(jué)系統(tǒng)、圖像自動(dòng)解釋和虛擬現(xiàn)實(shí)等多種圖像處理任務(wù),通過(guò)編程可以應(yīng)對(duì)復(fù)雜多變的實(shí)際應(yīng)用場(chǎng)合。

目前,國(guó)際國(guó)內(nèi)雖然在視覺(jué)SoC芯片的研究方面取得了明顯的進(jìn)步,但是在視覺(jué)信息處理能力方面與人相比仍然具有較大差距：

1)在視覺(jué)SoC芯片體系架構(gòu)上,當(dāng)前的芯片實(shí)現(xiàn)了局域像素并行處理,但并不具備視覺(jué)圖像的廣域信息處理能力,沒(méi)有完全、充分的實(shí)現(xiàn)視覺(jué)芯片的功能;

2)目前的視覺(jué)信息處理是基于精確的數(shù)學(xué)建模進(jìn)行串行計(jì)算來(lái)實(shí)現(xiàn)的,僅僅依靠這樣的傳統(tǒng)處理器架構(gòu)很難完成復(fù)雜的視覺(jué)信息處理,無(wú)法模仿和接近人腦的簡(jiǎn)單直觀感知與認(rèn)知能力;

3)在電路結(jié)構(gòu)上,單元電路規(guī)模大導(dǎo)致填充率低,很難實(shí)現(xiàn)高精度處理,滿(mǎn)足不了真正的視覺(jué)芯片的要求;

4)在面向器件實(shí)現(xiàn)的算法上,當(dāng)前主要是為在計(jì)算機(jī)上采用軟件進(jìn)行視覺(jué)信息處理而設(shè)計(jì),忽視了人眼并行視覺(jué)處理、簡(jiǎn)單直觀的視覺(jué)感知與認(rèn)知特性以及視覺(jué)芯片高速圖像攝取的特征,無(wú)法適用于視覺(jué)芯片的并行視覺(jué)信息處理。

本文將重點(diǎn)介紹視覺(jué)信息處理的特征和我們研究小組最近幾年在視覺(jué)SoC芯片領(lǐng)域取得的研究成果。下面分別給出視覺(jué)信息處理的特征、視覺(jué)SoC芯片的架構(gòu)設(shè)計(jì)、芯片的電路設(shè)計(jì)、視覺(jué)SoC芯片實(shí)現(xiàn)和測(cè)試結(jié)果。

1 視覺(jué)信息處理的特征

圖3給出了視覺(jué)信息處理流程及其特征。視覺(jué)系統(tǒng)首先完成圖像采集,然后進(jìn)行視覺(jué)圖像信息處理。視覺(jué)圖像信息處理過(guò)程根據(jù)處理的復(fù)雜度以及并行度的高低可以劃分為3個(gè)層次：低級(jí)、中級(jí)和高級(jí)圖像處理。低級(jí)圖像處理完成一些基本的圖像處理功能,其目的在于對(duì)圖像進(jìn)行預(yù)處理,增強(qiáng)圖像或者是進(jìn)行濾波平滑銳化等,方便后續(xù)圖像處理;中級(jí)圖像處理則負(fù)責(zé)進(jìn)行圖像分割和圖像特征的提取,即分離出圖像中的不同物體和背景,然后得到圖像中物體的特征,如輪廓、質(zhì)心和紋理等;高級(jí)圖像處理利用圖像的特征信息,根據(jù)已有的知識(shí)經(jīng)驗(yàn),完成物體識(shí)別和分析的任務(wù)。

在處理的圖像數(shù)據(jù)量方面,低級(jí)圖像處理對(duì)一幅數(shù)字圖像進(jìn)行運(yùn)算,數(shù)據(jù)量大,而處理結(jié)果仍然是一幅數(shù)字圖像;中級(jí)圖像處理完成對(duì)數(shù)字圖像的運(yùn)算,數(shù)據(jù)量也大,但是處理的結(jié)果是從圖像中獲得的特征信息;高級(jí)圖像處理的輸入是那些特征信息,數(shù)據(jù)量相對(duì)很小。

在計(jì)算復(fù)雜性和并行度方面,低級(jí)圖像處理執(zhí)行局部的全像素并行運(yùn)算,并行度最高,但是運(yùn)算本身卻很簡(jiǎn)單;中級(jí)圖像處理有的以全像素并行方式執(zhí)行,有的以行/列并行方式執(zhí)行,有局部的也有廣域的,并行度有所降低,同時(shí)計(jì)算復(fù)雜性增加;高級(jí)圖像處理大都是些不規(guī)則的復(fù)雜的運(yùn)算,很少體現(xiàn)出并行性。

圖3 視覺(jué)信息處理流程和特征Fig.3 Characters of image processing

2 視覺(jué)片上系統(tǒng)芯片的架構(gòu)

視覺(jué)片上系統(tǒng)芯片最初的體系架構(gòu)的特點(diǎn)是每一個(gè)像素和一個(gè)處理單元做在一起,一個(gè)像素對(duì)應(yīng)一個(gè)處理單元。圖4是我們提出的一種典型可編程視覺(jué)片上系統(tǒng)芯片架構(gòu)[12]。芯片結(jié)構(gòu)的核心部分是一個(gè)連接成網(wǎng)狀結(jié)構(gòu)的 N×N圖像處理單元(PE)陣列。PE陣列的外圍由一個(gè) X軸處理器、一個(gè)Y軸處理器、一個(gè)PE數(shù)據(jù)輸入/輸出模塊、一個(gè)坐標(biāo)輸出模塊、一個(gè)片內(nèi)控制器、以及在處理單元陣列邊緣的2N個(gè)PMOS晶體管構(gòu)成。

每一個(gè)PE單元包括一個(gè)圖像傳感器像素單元和信號(hào)處理電路。在片內(nèi)控制器的控制下,PE陣列首先通過(guò)每個(gè)PE中的感光二極管像素得到一幀N×N大小的模擬灰度圖像。該灰度圖像被由兩個(gè)閾值電壓VL和VH組成的閾值窗口量化為二值圖像。然后進(jìn)行一系列可編程并行圖像處理,得到算法需要的圖像特征信息,比如物體的位置、邊界或骨架。這些圖像特征信息被以像素坐標(biāo)的形式快速地輸出到外部處理器中,這樣就完成了一幀的圖像處理任務(wù)。視覺(jué)SoC芯片重復(fù)以上過(guò)程連續(xù)地完成每一幀的處理任務(wù)。由于這種可編程視覺(jué)片上系統(tǒng)芯片是采用全像素并行架構(gòu),因而具有處理時(shí)并行度高,處理速度快的優(yōu)點(diǎn)。但是,它是一種全像素并行的體系架構(gòu),將像素和處理單元做在一起,因而隨著圖像分辨率的提高芯片整體面積快速增大,而受限于芯片面積因素,圖像分辨率不能做的太高;另外像素單元是模擬電路,所以處理單元往往也做成模擬的處理單元,因而所進(jìn)行的功能和靈活性相對(duì)比較弱;第三,由于這個(gè)視覺(jué)SoC芯片只包含了PE處理單元陣列和XY軸處理器,所以他只能完成初級(jí)圖像處理和部分中級(jí)圖像處理功能。

圖5給出了我們提出的最新的多并行度處理視覺(jué)SoC芯片的系統(tǒng)結(jié)構(gòu)圖[13]。其特點(diǎn)是圖像傳感器像素陣列和處理單元電路是分離的,并且包括了多種并行度不同的處理器。它包含二維的PE陣列、一維的行RP處理器陣列和嵌入式通用微處理器 (MCU),能夠分別實(shí)現(xiàn)初級(jí)、中級(jí)和高級(jí)圖像處理功能。PE陣列用于實(shí)現(xiàn)像素級(jí)并行的圖像處理算法;RP陣列用于實(shí)現(xiàn)行并行的圖像處理算法;通用微處理器 (MCU)能夠?qū)崿F(xiàn)高級(jí)的圖像處理和控制PE陣列和RP陣列的運(yùn)行。系統(tǒng)包含M×M的CMOS圖像傳感器陣列,一列可編程增益放大器 (PGA)和一列模數(shù)轉(zhuǎn)換器 (ADC)。圖像被一列一列并行的由ADC轉(zhuǎn)化為數(shù)字信號(hào)并傳輸?shù)絉P陣列。RP陣列包含N1個(gè)RP,而PE陣列包含N1×N2個(gè)PE。PE陣列的大小不同于圖像尺寸并不會(huì)造成問(wèn)題,這是因?yàn)镻E陣列和傳感器圖像可以有靈活的映射關(guān)系?？梢岳?個(gè)PE單元存儲(chǔ)多個(gè)像素的信息以完成對(duì)整個(gè)圖像的運(yùn)算和處理。

每個(gè)PE都含有運(yùn)算單元 (ALU)和局域存儲(chǔ)的K位數(shù)據(jù)存儲(chǔ)器。如果每個(gè)PE單元對(duì)應(yīng)于一個(gè)圖像像素,則可以將原始圖像數(shù)據(jù)和運(yùn)算后的圖像數(shù)據(jù)都存儲(chǔ)于PE單元的存儲(chǔ)器中,并且由PE中的ALU讀取這些局域的存儲(chǔ)器并完成圖像操作。每個(gè)RP的數(shù)據(jù)存儲(chǔ)器由同一行的N2個(gè)PE提供,因此每個(gè)RP等效有N2×K的數(shù)據(jù)存儲(chǔ)器空間。這種存儲(chǔ)器共享減少了芯片面積。當(dāng)RP陣列需要訪(fǎng)問(wèn)數(shù)據(jù)存儲(chǔ)器時(shí),則PE陣列不能工作。而當(dāng)RP僅對(duì)其內(nèi)部寄存器操作時(shí),PE陣列和RP陣列可以同時(shí)工作。當(dāng)圖像被逐列從傳感器傳輸并保存到PE陣列中的存儲(chǔ)器后,由RP陣列和PE陣列完成圖像的初級(jí)和中級(jí)操作。在并行處理器完成運(yùn)算后,其輸出的結(jié)果數(shù)據(jù)量往往遠(yuǎn)小于原始的圖像。此時(shí)將這些結(jié)果送到MCU完成高級(jí)圖像算法。比如可以由PE陣列完成對(duì)圖像的去噪聲、邊緣提取,由RP陣列完成灰度統(tǒng)計(jì)并得到代表圖像特征的特征向量 (vector),最后由MCU完成特征向量的匹配,實(shí)現(xiàn)圖像的模式識(shí)別。為了提高性能,PE陣列和RP陣列的指令由片內(nèi)的指令存儲(chǔ)器給出,指令存儲(chǔ)器的地址由MCU給出。

為了系統(tǒng)地對(duì)比圖4的可編程視覺(jué)SoC芯片架構(gòu) (架構(gòu)A)和圖5的多并行度處理視覺(jué)SoC芯片結(jié)構(gòu) (架構(gòu)B),表1列出了兩種架構(gòu)的主要特征指標(biāo)。架構(gòu)A具有處理時(shí)并行度高、處理速度快、控制簡(jiǎn)單和設(shè)計(jì)難度低的優(yōu)點(diǎn)。但是,由于PE單元和像素單元是一體的,圖像傳感器的填充率指標(biāo)較低,編程運(yùn)算的靈活性小,適合于局域化圖像處理,高級(jí)圖像處理困難。最致命的是隨著圖像分辨率的提高芯片整體面積快速增大,而受限于芯片面積因素,圖像分辨率不能做的太高,實(shí)現(xiàn)廣泛應(yīng)用的視覺(jué)SoC芯片困難。架構(gòu)B具有填充率指標(biāo)高、靈活性強(qiáng)、能夠完成低級(jí)、中級(jí)、高級(jí)圖像信息處理和圖像傳感器分辨率相同的條件下芯片面積小的優(yōu)點(diǎn)。盡管存在處理時(shí)并行度不高、控制復(fù)雜和設(shè)計(jì)難度大的缺點(diǎn),但是,通過(guò)提高電路設(shè)計(jì)技術(shù)能夠克服這些困難,并且滿(mǎn)足視覺(jué)信息實(shí)時(shí)處理的要求。

表1 兩種架構(gòu)的指標(biāo)對(duì)比Table 1 Comparison with architectures Aand B

3 視覺(jué)片上系統(tǒng)芯片的電路設(shè)計(jì)

圖6給出了CMOS圖像傳感器和一行后續(xù)模擬電路的結(jié)構(gòu)和功能[13]。CMOS像素單元為標(biāo)準(zhǔn)的3管有源像素傳感器 (APS)結(jié)構(gòu)。入射光線(xiàn)透射到光電二極管(PD)陣列上,并被采集了模擬的電壓信號(hào),復(fù)位前后兩次采樣的電壓信號(hào)由相關(guān)雙采樣(CDS)電路除去像素的固定噪聲。增益可編程放大器 (PGA)可以通過(guò)數(shù)字信號(hào)控制放大器增益調(diào)節(jié)信號(hào)動(dòng)態(tài)范圍,實(shí)現(xiàn)維持圖像整體信號(hào)保持合適的幅度。最后,單斜式模擬數(shù)字轉(zhuǎn)換器 (ADC)將模擬圖像信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)直接輸出或者傳輸給RP單元陣列進(jìn)行圖像處理。高速行并行圖像像素和后續(xù)的模擬電路可以實(shí)現(xiàn)1 000幀/s高速的圖像獲取、模擬信號(hào)處理和模擬數(shù)字信號(hào)轉(zhuǎn)換。

圖6 視覺(jué)芯片中感光源電路及后續(xù)模擬電路的功能和結(jié)構(gòu)[13]Fig.6 Schematics and functions of the APS sensor,CDS,PGA and ADCcircuits

圖7給出了PE單元的電路[13]。每個(gè)PE單元含有2塊靜態(tài)存儲(chǔ)器 (SRAM)和一個(gè)1位的算術(shù)邏輯運(yùn)算單元 (ALU)。ALU可以完成二值邏輯運(yùn)算和1位加法。每個(gè)時(shí)鐘周期ALU從左邊的SRAM讀取操作數(shù)data1,從右邊的SRAM讀取操作數(shù)data2。每個(gè)PE的data1都被連接到其上、下、左、右的近臨PE單元上。ALU的第一個(gè)運(yùn)算數(shù)由多路選通器從近臨PE輸出的data1中選擇。ALU的第二個(gè)運(yùn)算數(shù)為data2,其運(yùn)算結(jié)果dataw被同時(shí)寫(xiě)回SRAM。因此,PE單元可以在單周期完成對(duì)存儲(chǔ)器的讀取,運(yùn)算和寫(xiě)回操作。而一般的RISC CPU讀取 (load)和寫(xiě)回 (w rite)存儲(chǔ)器都分別需要1個(gè)單獨(dú)的周期。這種存儲(chǔ)中邏輯的結(jié)構(gòu)提高了系統(tǒng)的性能。

圖7 視覺(jué)芯片中PE的電路結(jié)構(gòu)[13]Fig.7 Schematic of the PE

圖8給出了行處理器RP的結(jié)構(gòu)和功能[13]。使用了簡(jiǎn)單的8位單級(jí)RISC處理器,所有的行處理器接受相同的指令,其數(shù)據(jù)存儲(chǔ)器由對(duì)應(yīng)一行PE單元中的存儲(chǔ)器構(gòu)成。行處理器可以完成數(shù)學(xué)運(yùn)算、在左右近鄰間傳輸數(shù)據(jù)和存儲(chǔ)器地址索引。與PE不同,行處理器的存儲(chǔ)器讀寫(xiě)地址由其ALU提供,因此可以有不同的讀寫(xiě)地址。這使行處理器可以完成更復(fù)雜的行并行圖像處理算法。芯片中行處理器同時(shí)作為ADC輸出數(shù)據(jù)的緩存和向MCU傳輸數(shù)據(jù)的接口。

4 視覺(jué)SoC芯片實(shí)現(xiàn)和測(cè)試結(jié)果

我們采用0.18 μm CMOS工藝分別試制了基于架構(gòu)A(圖4)和架構(gòu) B(圖5)的兩種視覺(jué)SoC芯片。圖9是基于架構(gòu)A的視覺(jué)SoC芯片照片。它的PE陣列大小為16×16,每一個(gè)PE面積是30 μm ×40 μm,這在已報(bào)道的可編程能力較好的芯片中是比較小的。圖10是基于架構(gòu)B的視覺(jué)SoC芯片照片,芯片面積為5 mm×2.7 mm。它包含有128×128的傳感器像素陣列,128個(gè)PGA,128個(gè)ADC,32個(gè)行處理器RP,32×128的PE陣列,一個(gè)8051 MCU,指令存儲(chǔ)器和一些周邊電路。每個(gè)像素大小為9 μm ×9 μm 。ADC 的分辨率設(shè)計(jì)為8位。PE 單元大小為65 μm×25 μm,其版圖全部由手工定制。存儲(chǔ)器使用定制的存儲(chǔ)單元,不包含靈敏放大器和解碼器以減少面積。RP陣列和PE陣列的存儲(chǔ)器共享節(jié)省了30%的芯片面積。

圖8 視覺(jué)SoC芯片中行處理器RP的結(jié)構(gòu)簡(jiǎn)圖和主要功能[13]Fig.8 Schematic and functions of the row processor

圖9 架構(gòu)A的視覺(jué)SoC芯片照片F(xiàn)ig.9 Microphotograph of the vision SoCchip based on architecture A

圖11是視覺(jué)SoC芯片的測(cè)試系統(tǒng)。它包括鏡頭、測(cè)試板、FPGA板、高精度直流步進(jìn)馬達(dá)和計(jì)算機(jī)。為了方便使用視覺(jué)SoC芯片,設(shè)計(jì)了一種類(lèi)C語(yǔ)言的PE陣列并行編程語(yǔ)言,并使用C#語(yǔ)言開(kāi)發(fā)了相應(yīng)的編譯器和開(kāi)發(fā)仿真環(huán)境。

圖10 基于架構(gòu)B的視覺(jué)SoC芯片照片F(xiàn)ig.10 Microphotograph of the vision SoCchip based on architecture B

圖11 視覺(jué)SoC芯片的測(cè)試系統(tǒng)實(shí)物照片F(xiàn)ig.11 Test system of vision SoC chip

圖12給出了架構(gòu)A的視覺(jué)SoC芯片完成的4個(gè)形態(tài)學(xué)算法的例子。這4個(gè)算法采用相同的結(jié)構(gòu)元素,見(jiàn)圖12的右下角。在圖12(a)中完成的是一種去噪聲運(yùn)算。第一步是對(duì)圖12(a)最上面的圖像進(jìn)行一次開(kāi)運(yùn)算,這消除了小的噪聲點(diǎn)。將結(jié)果膨脹一次后與最上面的圖求與,得到了中間的圖像。接下來(lái),再對(duì)中間的圖像執(zhí)行一次閉運(yùn)算,得到了底部的沒(méi)有噪聲的圖像;圖12(b)給出了區(qū)域生長(zhǎng)算法的示意。在最上方的圖中有一個(gè)像素點(diǎn)作為種子,它以圖12(a)底部的圖像為參照開(kāi)始生長(zhǎng)。具體的步驟是種子圖像做一次膨脹,然后同圖12(a)底部的圖像做求與運(yùn)算把結(jié)果作為新的種子,如此反復(fù)。最終種子生長(zhǎng)成如圖12(b)底部所示的與參考圖像中的對(duì)象完全相同的對(duì)象。這里用到了探測(cè)空?qǐng)D像的功能來(lái)判斷兩個(gè)對(duì)象是否相同;圖12(c)分別在中間和底部給出了頂部圖像對(duì)象的外部和內(nèi)部輪廓。外部輪廓通過(guò)將原對(duì)象膨脹一次,然后從膨脹的結(jié)果中減去原對(duì)象得到。內(nèi)部輪廓通過(guò)從原對(duì)象中減去原對(duì)象進(jìn)行一次腐蝕后的結(jié)果得到;圖12(d)的例子是形態(tài)學(xué)骨架抽取算法,頂部圖像中對(duì)象的骨架被提取出來(lái),見(jiàn)中間的圖像。

事實(shí)上,在算法執(zhí)行過(guò)程中,得到的是一系列子骨架,最后的骨架是這些子骨架的并集。利用子骨架用相反過(guò)程的算法可以還原出與原對(duì)象完全一致的對(duì)象,見(jiàn)圖12(d)的底部。

圖12 架構(gòu)A的視覺(jué)SoC芯片完成的4個(gè)形態(tài)學(xué)算法的例子Fig.12 Some algorithms'example using mathematical morphology performed in the vision chip A

架構(gòu)A的視覺(jué)SoC芯片目標(biāo)跟蹤試驗(yàn)的實(shí)驗(yàn)環(huán)境在圖13(a)中給出。一個(gè)白色的處于黑暗背景中的目標(biāo)在固定于馬達(dá)上的鏡頭前水平往返運(yùn)動(dòng)。目標(biāo)和鏡頭之間的距離為60 cm。處于鏡頭后試驗(yàn)芯片不斷的以1 000幀/s的速度得到目標(biāo)的位置,據(jù)此馬達(dá)調(diào)整其方位使目標(biāo)始終處于視場(chǎng)的中心從而一直跟蹤目標(biāo);圖13(b)給出了實(shí)驗(yàn)過(guò)程中目標(biāo)位置隨時(shí)間變化的記錄。

圖14給出了架構(gòu)B的視覺(jué)SoC芯片芯片完成較復(fù)雜的圖像特征提取功能的試結(jié)果。這里使用基于邊緣信息表征圖像的PPED算法[16]。其原理是計(jì)算圖像在垂直、水平和+/-45°4個(gè)方向上的剃度值,與邊緣均值相比得到4個(gè)方向的邊緣點(diǎn),將這些邊緣點(diǎn)的個(gè)數(shù)按規(guī)則匯總得到特征向量。圖14(a)給出了算法流程;圖14(b)、(c)給出了原始圖像、圖像邊緣均值、在4個(gè)方向上提取出的邊緣點(diǎn)和最后形成的特征向量。整個(gè)操作可以在12 000個(gè)周期內(nèi)完成。因此芯片可以完成1 000禎/s的圖像特征提取功能,圖像特征可以輸入8051 MCU并完成圖像的模式識(shí)別。

圖13 目標(biāo)跟蹤測(cè)試Fig.13 Example of the target tracking experiment

5 小 結(jié)

本文闡述了視覺(jué)SoC芯片的研究背景、應(yīng)用領(lǐng)域和國(guó)內(nèi)外的研究動(dòng)態(tài)。重點(diǎn)介紹了圍繞我們有關(guān)視覺(jué)SoC芯片的研究?jī)?nèi)容和取得的研究成果。它包括視覺(jué)圖像信息處理的特征分析、視覺(jué)SoC芯片的架構(gòu)設(shè)計(jì)、芯片的電路設(shè)計(jì)、視覺(jué)SoC芯片實(shí)現(xiàn)和測(cè)試結(jié)果。視覺(jué)SoC芯片具有圖像處理速度快、功能強(qiáng)、功耗低、體積小和成本低的優(yōu)點(diǎn),在高速運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)追蹤、機(jī)器人視覺(jué)系統(tǒng)、圖像識(shí)別、智能交通和虛擬現(xiàn)實(shí)等領(lǐng)域具有廣泛的應(yīng)用前景。

致謝：本文介紹的研究?jī)?nèi)容和成果是在國(guó)家自然科學(xué)基金委員會(huì)、國(guó)家科技部和中國(guó)科學(xué)院項(xiàng)目基金支持下完成的,多年來(lái)妙維博士、林清宇博士、張萬(wàn)成博士、付秋喻博士、李元金同學(xué)和石匆同學(xué)參與了本項(xiàng)目的研究工作,做出了卓越的貢獻(xiàn),在此表示感謝。

圖14 (a)給出了PPED算法流程,(b)給出了人臉的實(shí)驗(yàn)結(jié)果,(c)給出了人手的實(shí)驗(yàn)結(jié)果Fig.14 (a)Flow of the PPED pattern extraction algorithm,(b)experimental results of the PPED algorithmapplied to a human face and(c)results of the PPED algorithm applied to a human hand

[1]C.Mead and M.A.Mahowald.Silicon model of early visual processing[J].Neural Network,1988,1：91.

[2]M.Ishikawa,A.Morita and N.Takayanagi.High speed vision system using massively parallel processing[A].Proc.Int.Conf[C].On Intelligent Robots and Systems,1992：373.

[3]H.Yamashita and C.I.Sodinz.A CMOS imager with a programmable bit-serial column-parallel SIMD/MIMD processor[J].IEEE Trans.,Electron Devices,2009,56：2 534-2 545.

[4]S.Matsunaga,D.Renshaw,and A.Murray.A singlechip 10,000 frame/s CMOS tracking image sensor for complex targets[J].ESSCIRC,2002：97.

[5]T.Komuro,S.Kagami,and M.Ishikawa.A dynamically reconfigurable SIMD processor for a vision chip[J].IEEE J.Solid State Circuits,2004,30：265.

[6]S.Mandai,M.Ikeda,and K.Asada.A 256×256 14k range maps/s 3-D range-finding image sensor using rowparallel embedded binary search tree and address encoder[J].IEEE International Solid-State Circuits Conference(ISSCC),2010：404-405.

[7]K.Fife,A.El Gamal,H.-S.P.Wong.A 3MPixel multi-aperture image sensor with 0.7 μm pixels in 0.11 um CMOS[C]//IEEE International Solid-State Circuits Conference(ISSCC),2008：48-49.

[8]J.Dubois,D.Ginhac,M.Paindavoine,et al.A 10 000 fps CMOS sensor with massively parallel image processing[J].IEEE J.SolidState Circuits,2008,43：706-717.

[9]R.Etienne-Cummings,Z.K.Kalayjian,D.Cai.A programmable focal-plane MIM D image processor chip[J].IEEE J.Solid-State Circuits,2001,36(1)：64-73.

[10]P.Dudek and P.J.Hicks.A general-purpose processor-per-pixel analog SIM D vision chip[J].IEEE Trans.Circuits Syst.I,2005,52(1)：13-20.

[11]S.Itoh,I.Takai,M.S.Z.Sarker,et al.A CMOS image sensor for 10M b/s 70 m-range LED based spatial optical communication[C]//IEEE International Solid-State Circuits Conference(ISSCC),2010：402-403.

[12]W.Miao,Q-Y.Lin,W-C.Zhang,et al.A programmable SIMD vision chip for real-time vision applications[J].IEEE J.Solid-state Circuits,2008,43(6)：1 470-1 479.

[13]W-C.Zhang,Q-Y.Fu,N-J.WU,et al.Integrated vision chip based on multiple levels of SIMD parallel processors[J].IEEE J.Solid-state Circuits,2011,46(9)：2 132-2 147.

[14]W.Miao,Q.-Y.Lin,N.-J.Wu.A novel vision chip for high-speed target tracking[J].Jpn.J.Appl.Phys.,2007,46(4B)：2 220-2 225.

[15]Q-Y.Lin,W.Miao,W-C.Zhang,et al.“A 1 000 frames/s programmable vision chip with variable resolution and row-pixel-mixed parallel image processors”[J].SENSORS,2009,9(8)：5 933-5 951.

[16]M.Yagi and T.Shibata.“An image representation algorithm compatibletoneural-associativeprocessorbased hardware recognition systems,”IEEE Trans.Neural Networks,2003,14(5)：1 144-1 161.