徐冬冬,張 宇,聶 婷,張星祥,任建岳

(1.中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所,吉林長春 130033; 2.中國科學(xué)院大學(xué),北京 100049)

小型CMOS相機(jī)系統(tǒng)設(shè)計(jì)及其硬件實(shí)現(xiàn)

徐冬冬1,2,張 宇1,聶 婷1,2,張星祥1,任建岳1

(1.中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所,吉林長春 130033; 2.中國科學(xué)院大學(xué),北京 100049)

采用MT9V032型CMOS數(shù)字圖像傳感器設(shè)計(jì)了一款完整的小型化、低功耗相機(jī).基于初級(jí)像差理論,設(shè)計(jì)了焦距為12.95 mm、F數(shù)為5的光學(xué)系統(tǒng).該系統(tǒng)體積小、結(jié)構(gòu)緊湊,在空間頻率83線對(duì)每毫米處,各視場調(diào)制傳遞函數(shù)均優(yōu)于0.5;電子學(xué)系統(tǒng)以現(xiàn)場可編程門陣列作為時(shí)序控制平臺(tái),控制CMOS輸出數(shù)字視頻信號(hào),數(shù)字視頻信號(hào)通過差分芯片以低壓差分信號(hào)格式輸出到圖像采集卡,最后在計(jì)算機(jī)上成像.實(shí)驗(yàn)結(jié)果表明,這種相機(jī)像質(zhì)良好、功耗低、移植性強(qiáng)、可靠性高.當(dāng)時(shí)鐘為26.6 MHz時(shí),幀頻為60幀/秒,并可通過調(diào)節(jié)內(nèi)部寄存器的值實(shí)現(xiàn)多種模式,特別適用于對(duì)相機(jī)體積以及成像質(zhì)量要求較高的場合.

光學(xué)設(shè)計(jì);CMOS;像差;驅(qū)動(dòng)電路;信噪比

對(duì)互補(bǔ)金屬氧化物半導(dǎo)體(Complementary Metal-Oxide-Semiconductor transistor,CMOS)圖像傳感器的研究始于20世紀(jì)60年代.起初由于工藝水平的限制,CMOS一直沒有得到市場的重視.隨著CMOS工藝的進(jìn)步以及設(shè)計(jì)水平的提升,信噪比、動(dòng)態(tài)范圍、量子效率等問題得以解決,圖像的質(zhì)量顯著提高.與光電耦合器件(Charge-Coupled Device,CCD)相比,CMOS具有功耗低、成本低、集成度高、抗輻射能力強(qiáng)等明顯的優(yōu)勢(shì).因此,CMOS已在諸多領(lǐng)域取代了CCD,成為理論研究與工程開發(fā)中的熱點(diǎn)話題[1-6].

筆者以CMOS為研究對(duì)象,基于現(xiàn)場可編程門陣列(Field Programmable Gata Array,FPGA)設(shè)計(jì)了一款分辨率為752 H×480 V,電路板大小為3 cm×2.2 cm的雙層小型化、低功耗相機(jī),并重點(diǎn)介紹了相機(jī)的光學(xué)設(shè)計(jì)和電子學(xué)設(shè)計(jì)部分.針對(duì)光譜范圍為0.49～0.66μm的譜段,實(shí)現(xiàn)了折射式光學(xué)系統(tǒng)設(shè)計(jì),所設(shè)計(jì)的像元角分辨率為4.6×10-4rad,為小型相機(jī)的光學(xué)系統(tǒng)設(shè)計(jì)提供一個(gè)可行性方案.電子學(xué)設(shè)計(jì)采用現(xiàn)場可編程門陣列作為主控制器[7-9],嚴(yán)格控制信號(hào)的時(shí)序關(guān)系.這種相機(jī)工作性能穩(wěn)定,在光線較暗的情況下可以保證很高的成像質(zhì)量,同時(shí)小型化、低功耗的成像系統(tǒng)非常適合對(duì)載荷的體積、重量以及功耗等方面有嚴(yán)格要求的場合.

1　MT9V032型CMOS成像系統(tǒng)工作原理

CMOS成像系統(tǒng)主要由光學(xué)鏡頭、CMOS圖像傳感器、現(xiàn)場可編程門陣列控制器、驅(qū)動(dòng)電路等部分組成.CMOS成像系統(tǒng)的工作原理為:通過超高速集成電路硬件描述語言(Very High speed integrated circuit hardware Description Language,VHDL)對(duì)現(xiàn)場可編程門陣列編程產(chǎn)生CMOS所需的時(shí)序信號(hào),經(jīng)過集成電路總線(Inter-Integrated Circuit,IIC)供給CMOS傳感器.CMOS安裝在光學(xué)鏡頭的焦平面上,在時(shí)序電路的驅(qū)動(dòng)下,將光信號(hào)轉(zhuǎn)換成電信號(hào),并通過內(nèi)部集成的模數(shù)轉(zhuǎn)換器(Analog to Digital Converter,ADC)將模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào),數(shù)字信號(hào)經(jīng)現(xiàn)場可編程門陣列緩存后,經(jīng)過差分驅(qū)動(dòng)芯片輸出到圖像采集卡,最后顯示在成像設(shè)備上.

2　相機(jī)光學(xué)系統(tǒng)設(shè)計(jì)

CMOS選用鎂光公司生產(chǎn)的MT9V032[10]型圖像傳感器,根據(jù)傳感器像面尺寸、像元尺寸等參數(shù)以及應(yīng)用需求,確定光學(xué)系統(tǒng)的設(shè)計(jì)參數(shù)(如表1).

表1　光學(xué)系統(tǒng)設(shè)計(jì)參數(shù)

圖1　光學(xué)系統(tǒng)結(jié)構(gòu)布局

圖2　調(diào)制傳遞函數(shù)曲線

光學(xué)系統(tǒng)結(jié)構(gòu)布局如圖1所示,所有鏡面均為球面.優(yōu)化后的系統(tǒng)調(diào)制傳遞函數(shù)如圖2所示.可見,該光學(xué)系統(tǒng)易于加工,結(jié)構(gòu)合理,體積小,成像質(zhì)量良好,滿足設(shè)計(jì)要求.

3　基于現(xiàn)場可編程門陣列的CMOS時(shí)序系統(tǒng)設(shè)計(jì)

3.1MT9V032結(jié)構(gòu)及時(shí)序分析

MT9V032是Aptina公司生產(chǎn)的36萬像素?cái)?shù)字圖像傳感器,總像素為782 H×492 V,其中有效感光像元為752 H×480 V,像元尺寸為6.0μm×6.0μm.最高讀出頻率為26.6 MHz,擁有全局快門,支持漸進(jìn)讀出模式以及隔行讀出模式,最高幀頻可達(dá)60幀/秒.同時(shí),可實(shí)現(xiàn)自動(dòng)曝光控制以及自動(dòng)增益控制,在保持CMOS尺寸、價(jià)格以及集成度的前提下,實(shí)現(xiàn)了同樣分辨率CCD的成像質(zhì)量.

在垂直方向,MT9V032上部有8行暗像元,1行啞像元;下部有2行啞像元.在水平方向,左邊有26列暗像元,1列啞像元;右邊有2列啞像元.這些暗像元可以對(duì)暗電平進(jìn)行監(jiān)控.8行暗像元用來實(shí)現(xiàn)自動(dòng)暗電平調(diào)節(jié),還可通過將傳感器設(shè)置成原始數(shù)據(jù)輸出模式來讀出中間的4行暗像元.啞像元用來改善有效區(qū)域內(nèi)圖像的一致性.除此之外,還有1行和1列用來實(shí)現(xiàn)傳感器水平和垂直方向的鏡像讀出.

要實(shí)現(xiàn)MT9V032的時(shí)序電路,主要是通過集成電路總線進(jìn)行寄存器配置.集成電路總線定義的傳輸碼由開始位、從機(jī)地址、應(yīng)答位、信息位以及結(jié)束位組成.發(fā)送完開始位后,主機(jī)開始發(fā)送八位地址位.地址的最后一位為“0”,代表寫命令;最后一位為“1”,代表讀命令.表2為從機(jī)地址模式表.從表2中可知,通過兩個(gè)輸入管腳S_CTRL_ADR1和S_CTRL_ADR0,MT9V032可實(shí)現(xiàn)4種從機(jī)地址.如果收到地址信息,則從機(jī)會(huì)向主機(jī)發(fā)送應(yīng)答位;反之,主機(jī)則會(huì)重新發(fā)送地址位直到從機(jī)向主機(jī)發(fā)送應(yīng)答位.MT9V032內(nèi)部的寄存器有16位數(shù)據(jù),所以需要傳輸2次.傳輸完16位信息,寄存器地址自動(dòng)增加,接著寫入下一個(gè)寄存器的16位地址.寫完所有寄存器信息之后,主機(jī)發(fā)送結(jié)束位,寫入停止.

表2　從機(jī)地址模式

3.2寄存器配置

3.2.1操作模式選擇

MT9V032內(nèi)部共有152個(gè)寄存器.由于系統(tǒng)保留的寄存器以及只讀寄存器不需要配置,因此只需配置其中的94個(gè)寄存器便可實(shí)現(xiàn)成像功能.通過對(duì)寄存器配置不同的值,可實(shí)現(xiàn)多種操作模式.MT9V032共有3種操作模式,分別為主機(jī)模式、快照模式以及從機(jī)模式.主機(jī)模式有并行和串行兩種操作方法,在并行過程中,曝光和讀出同時(shí)發(fā)生,使該模式的速度最快.與主機(jī)模式不同,快照模式接收外部觸發(fā)信號(hào),并由觸發(fā)信號(hào)進(jìn)行初始化控制.該模式可采集單獨(dú)的一幅或一系列圖像,通過對(duì)曝光時(shí)間進(jìn)行更改以實(shí)現(xiàn)幀率的變化.傳感器的EXPOSURE,STFRM_OUT以及STLN_OUT管腳控制從機(jī)模式的曝光以及讀出.通過該模式,傳感器可讀出垂直消隱行.這3種模式可根據(jù)需要通過調(diào)節(jié)寄存器R0x07的值進(jìn)行方便切換.

3.2.2信號(hào)路徑內(nèi)容設(shè)置

MT9V032的信號(hào)路徑由可編程增益、可編程模擬補(bǔ)償以及10位模數(shù)轉(zhuǎn)換器部分組成,下文將對(duì)這3個(gè)部分所需寄存器如何配置進(jìn)行詳細(xì)說明.

當(dāng)寄存器R0x80-R0x98的值發(fā)生變化時(shí),數(shù)字增益將在下一幀圖像中發(fā)生變化.然而,模擬增益的變化則依賴于自動(dòng)增益控制.如果將寄存器R0x AF的第2位設(shè)置成邏輯高電平,系統(tǒng)將實(shí)現(xiàn)自動(dòng)增益控制,第n幀的增益變化將在第(n+1)幀體現(xiàn);如果自動(dòng)增益控制失效,第n幀的變化將在第(n+2)幀中體現(xiàn).如果自動(dòng)增益控制失效,則可通過編程更改增益.模擬增益公式為

其中,a為寄存器R0x35的低7位,步長為0.0625,增益范圍為1倍到4倍.在計(jì)算數(shù)字增益時(shí),首先要通過寄存器R0x99-R0x A4將圖像分成25塊,然后分別計(jì)算每塊的數(shù)字增益.數(shù)字增益公式為

其中,b為寄存器R0x80-R0x98的低4位,增益范圍為0.25倍到3.75倍.

通過調(diào)整寄存器R0x4C,R0x42,R0x46,R0x47,R0x48的值可實(shí)現(xiàn)自動(dòng)暗電平校準(zhǔn),校準(zhǔn)結(jié)果可用于模擬補(bǔ)償.自動(dòng)暗電平校準(zhǔn)測(cè)量2行暗像元像素的平均值,然后利用該值與可接受的最低電平和最高電平進(jìn)行比較.若低于最小值,補(bǔ)償電壓將通過寄存器R0x4C的最低位的值以一定補(bǔ)償進(jìn)行自加;若平均值高于最大值,則進(jìn)行相應(yīng)的自減.補(bǔ)償電壓計(jì)算公式為

其中,c為寄存器R0x48的低7位,d為寄存器R0x48的第8位.模數(shù)轉(zhuǎn)換器的輸入電壓為

其中,e為像素輸出電壓.其余寄存器的值可根據(jù)需要調(diào)整.

3.3時(shí)序仿真

Altera公司CycloneⅣ系列現(xiàn)場可編程門陣列采用經(jīng)過優(yōu)化的60 nm低功耗工藝.與前一代產(chǎn)品相比,總功耗降低了30%,同時(shí)簡化了電源分配網(wǎng)絡(luò),減少了電路板的設(shè)計(jì)面積,特別適合體積小、成本低、功耗低的系統(tǒng).芯片EP4CE15具有高達(dá)20個(gè)時(shí)鐘控制模塊、豐富的邏輯資源以及大量用戶I/O[11],在保證體積和功耗的前提下可實(shí)現(xiàn)復(fù)雜、嚴(yán)格的時(shí)序設(shè)計(jì),完全滿足CMOS成像系統(tǒng)中時(shí)序產(chǎn)生、電路控制以及數(shù)據(jù)緩存等眾多要求.

系統(tǒng)在QuartusⅡ13.1開發(fā)環(huán)境下,使用硬件描述語言(VHDL)編寫時(shí)序程序,采用自上而下的模塊化編程方法.通過調(diào)節(jié)內(nèi)部寄存器的值,可實(shí)現(xiàn)多種模式間的切換.仿真采用Modelsim 10.2,圖3和圖4為部分仿真結(jié)果.

圖3　仿真開始階段

圖4　仿真結(jié)束階段

在時(shí)鐘信號(hào)保持高電平期間,輸出的數(shù)據(jù)從高電平變?yōu)榈碗娖?此時(shí)程序開始.程序開始后,輸入寫地址位,然后等待應(yīng)答,收到應(yīng)答后輸入首個(gè)寄存器地址,依次將各個(gè)寄存器的值寫入,寄存器全部寫完后,在應(yīng)答后下一個(gè)時(shí)鐘信號(hào)高電平期間,拉高數(shù)據(jù)電平,程序結(jié)束.

4　小型化設(shè)計(jì)

為了滿足小型化板的設(shè)計(jì)要求,印刷電路板(Printed Circuit Board,PCB)應(yīng)滿足小、輕、薄的設(shè)計(jì)特點(diǎn)[12].本系統(tǒng)采用兩塊大小均為3 cm×2.2 cm的6層印刷電路剛性板,厚度為1.2 mm,兩端通過連接器相連.前端電路板放置傳感器、電源芯片等,后端電路板放置現(xiàn)場可編程門陣列及其配置電路.

同時(shí),對(duì)該系統(tǒng)進(jìn)行了電磁兼容設(shè)計(jì)[13-14]:為了保證電源穩(wěn)定、降低電路阻抗以及縮短配線長度,采用內(nèi)層為電源層的多層電路板;為了避免數(shù)字信號(hào)與模擬信號(hào)之間相互干擾,將數(shù)字地與模擬地進(jìn)行隔離,并通過0Ω電阻進(jìn)行連接;為了濾除干擾,在所有電源管腳處連接了0.1μF的去耦電容.盡量采用直線連接,以避免T形連接線在連接部位反射.

5　實(shí)驗(yàn)結(jié)果

本系統(tǒng)采用自主設(shè)計(jì)的光學(xué)鏡頭進(jìn)行成像實(shí)驗(yàn),視頻數(shù)據(jù)經(jīng)過圖像采集卡傳輸?shù)缴衔粰C(jī)進(jìn)行成像實(shí)驗(yàn).圖5為相機(jī)實(shí)物圖,從圖中可以看出系統(tǒng)體積特別小,長、寬、高只有3 cm、2.2 cm和4 cm,具有很強(qiáng)的靈活性以及便攜性.

成像系統(tǒng)不僅體積小,而且功耗低,所占用的資源特別少.系統(tǒng)使用了421個(gè)邏輯單元,只占總資源的3%;使用了39個(gè)邏輯寄存器,不到總資源的1%;使用了1個(gè)鎖相環(huán),占總數(shù)量的25%.因此,系統(tǒng)非常適用于對(duì)功耗有特殊要求的場合.

圖5　相機(jī)實(shí)物圖

圖6　MT9V032成像效果圖

為驗(yàn)證成像系統(tǒng)的成像效果以及工作穩(wěn)定性,進(jìn)行了相機(jī)室內(nèi)拍攝實(shí)驗(yàn).相機(jī)連續(xù)工作10 min,系統(tǒng)工作正常.當(dāng)時(shí)鐘為26.6 MHz時(shí),幀頻為60幀/秒.圖6為室內(nèi)拍攝效果圖,成像分辨率為752 H×480 V,由圖可知,相機(jī)拍攝清晰,內(nèi)容豐富,成像系統(tǒng)完全滿足設(shè)計(jì)要求.

6　總 結(jié)

筆者以現(xiàn)場可編程門陣列作為核心控制器件,使用MT9V032型圖像傳感器,設(shè)計(jì)并實(shí)現(xiàn)了一款功能完整的小型相機(jī).采用易于加工、結(jié)構(gòu)合理、體積小的光學(xué)系統(tǒng),設(shè)計(jì)電路兼顧電磁兼容的同時(shí)選用性能高且功耗低的器件.實(shí)驗(yàn)結(jié)果表明,該相機(jī)的成像質(zhì)量與同分辨率CCD成像系統(tǒng)的成像質(zhì)量相媲美,并可實(shí)現(xiàn)多種模式切換.

[1]劉術(shù)彬,朱樟明,趙揚(yáng),等.一種具有延遲校準(zhǔn)功能的可編程多相位時(shí)鐘電路[J].西安電子科技大學(xué)學(xué)報(bào),2014,41 (6):67-74. LIU Shubin,ZHU Zhangming,ZHAO Yang,et al.Programmable Multi-phase Clock Circuit with Delay Calibration[J]. Journal of Xidian University,2014,41(6):67-74.

[2]付敏,彭東林,魯進(jìn),等.基于時(shí)間參考點(diǎn)的差動(dòng)式線陣CCD位移傳感器[J].光學(xué)精密工程,2014,22(4):957-962. FU Min,PENG Donglin,LU Jin,et al.Differential and Linear CCD Displacement Sensors Based on Time Reference Points[J].Optics and Precision Engineering,2014,22(4):957-962.

[3]賀小軍,曲宏松,張貴祥,等.掃描鏡穩(wěn)定度對(duì)TDI CCD測(cè)量精度的影響[J].中國光學(xué),2014,7(4):665-671. HE Xiaojun,QU Hongsong,ZHANG Guixiang,et al.Impact of Scan Mirror Stability on TDI CCD System Measure Accuracy[J].Chinese Optics,2014,7(4):665-671.

[4]夏璞,劉學(xué)斌,閆鵬.偏振透霧成像系統(tǒng)的設(shè)計(jì)與實(shí)驗(yàn)分析[J].西安電子科技大學(xué)學(xué)報(bào),2014,41(2):104-109. XIA Pu,LIU Xuebin,YAN Peng.Design and Experiment of Polarization Dehazing Imaging System[J].Journal of Xidian University,2014,41(2):104-109.

[5]冷雪,張雪菲,李文明,等.全幀CCD相機(jī)時(shí)間延遲積分模式下的圖像缺損[J].光學(xué)精密工程,2014,22(2):467-473. LENG Xue,ZHANG Xuefei,LI Wenming,et al.Image Defect of Full-frame CCD in TDI Mode[J].Optics and Precision Engineering,2014,22(2):467-473.

[6]張健,張玲花,劉立國,等.全景式航空遙感器TDI CCD精密裝調(diào)必要性分析及實(shí)現(xiàn)方法[J].中國光學(xué),2014,7(6): 996-1002. ZHANG Jian,ZHANG Linghua,LIU Liguo,et al.Necessity and Implement Method of Precise Assembling of TDI CCD in Sweep Aerial Remote Sensor[J].Chinese Optics,2014,7(6):996-1002.

[7]MOSHE B.A Digital Gigapixel Large-format Tile-scan Camera[J].IEEE Computer Graphics and Application,2011,31 (1):49-61.

[8]MOSHE B.High Resolution Large Format Tile-scan Camera:Design,Calibration,and Extended Depth of Field[C]// 2010 IEEE International Conference on Computational Photography.Piscataway:IEEE,2010:5585095.

[9]黃輝,周進(jìn).基于現(xiàn)場可編程門陣列的CCD相機(jī)自動(dòng)調(diào)光[J].光學(xué)精密工程,2014,22(2):426-433. HUANG Hui,ZHOU Jin.Auto-exposure for CCD Camera Based on FPGA[J].Optics and Precision Engineering, 2014,22(2):426-433.

[10]APTINA IMAGING INC.MT9V032 Datasheet[EB/OL].[2015-04-10].http://www.aptina.com.

[11]ALERA.Cyclone IV Device Handbook[EB/OL].[2015-04-15].http://www.altera.com.

[12]于雷.結(jié)構(gòu)狀態(tài)監(jiān)測(cè)的通用型小型化系統(tǒng)研制與開發(fā)[D].重慶:重慶大學(xué),2008.

[13]徐祥桐.基于AMD CPU的高速電路板設(shè)計(jì)[D].濟(jì)南:山東大學(xué),2013.

[14]孫守紅,郭立紅,葛欣宏.瞬變電磁場輻照下液晶顯示模塊的電磁兼容預(yù)測(cè)[J].光學(xué)精密工程,2014,22(12): 3160-3166. SUN Shouhong,GUO Lihong,GE Xinhong.EMC Prediction of Liquid Crystal Display Module Under Transient Irradiation in Electromagnetic Field[J].Optics and Precision Engineering,2014,22(12):3160-3166.

(編輯:郭 華)

Design and hardware implementation of the small-size CMOS camera system

XU Dongdong1,2,ZHANG Yu1,NIE Ting1,2,ZHANG Xingxiang1,REN Jianyue1
(1.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Scienses,Changchun 130033,China;2.University of Chinese Academy of Sciences,Beijing 100049,China)

A camera with a small-size and low-power is designed,using a CMOS MT9V032 as the digital image sensor.Based on the primary aberration theory,the optical system with the small size and compact structure is designed whose focal length is 12.95 mm and whose F number is 5,and the modulation transfer functions(MTF)of all fields are better than 0.5 at the spatial frequency of 83 lp/mm;we use FPGA as the timing control platform for the electronic system and the digital video signal of the CMOS output which is delivered through the differential chip in the low voltage differential signal(LVDS)output format to the image acquisition card.Finally,we can see the image on the computer.Experimental results show that the designed CMOS camera has a good image quality,low power,portability,and high reliability,and that the frame rate is 60 frames/s when the clock is 26.6 MHz,and it could achieve a variety of modes by adjusting the values of the internal registers,which is particularly suitable for the high requirements occasion in the camera volume and high imaging quality.

optical design;complementary metal-oxide-semiconductor transistor;aberrations;driving circuit;signal-to-noise ratio

TN201;TN911.73;TN386.5

A

1001-2400(2016)04-0117-06

10.3969/j.issn.1001-2400.2016.04.021

2015-06-10 網(wǎng)絡(luò)出版時(shí)間：2015-10-21

國家高技術(shù)研究發(fā)展計(jì)劃資助項(xiàng)目(863-2-5-1-13B)

徐冬冬(1987-),男,中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所博士研究生,E-mail:1069292478@qq.com.

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/61.1076.TN.20151021.1046.042.html