施建盛，梁發(fā)云，何 輝

(1.南昌大學(xué)裸眼立體技術(shù)與虛擬現(xiàn)實(shí)研究中心，江西南昌330031;2.南昌興亞光電科技發(fā)展有限公司，江西南昌330031)

雙CMOS仿生3D視覺(jué)傳感器電路設(shè)計(jì)

施建盛1，2，梁發(fā)云1，2，何 輝1，2

(1.南昌大學(xué)裸眼立體技術(shù)與虛擬現(xiàn)實(shí)研究中心，江西南昌330031;2.南昌興亞光電科技發(fā)展有限公司，江西南昌330031)

針對(duì)目前3D相機(jī)中出現(xiàn)的圖像數(shù)據(jù)易丟失、左右圖像同步難等問(wèn)題，提出一種可精確采集左右格式立體對(duì)圖像的仿生3D傳感器實(shí)現(xiàn)方法，可為仿生3D傳感器的光路系統(tǒng)的檢驗(yàn)及目標(biāo)物三維重建提供精確三維坐標(biāo)信息。為更好協(xié)調(diào)3D傳感器在光信號(hào)處理中的點(diǎn)像素同步，采用現(xiàn)場(chǎng)可編程門(mén)陣列處理雙OV3640圖像傳感器各信號(hào)，初始化后在像素時(shí)鐘的準(zhǔn)確控制下采集圖像數(shù)據(jù)并完成輸出圖像格式轉(zhuǎn)換、緩存、左右格式立體對(duì)圖像拼接及輸出顯示驗(yàn)證。結(jié)果表明，3D傳感器工作可靠、集成度高、體積小，可精確采集左右格式立體對(duì)圖像。

光信號(hào)處理;雙CMOS;仿生3D傳感器;現(xiàn)場(chǎng)可編程門(mén)陣列;立體對(duì)圖像

裸眼3D技術(shù)是不佩戴眼鏡的新型顯示技術(shù)，通過(guò)特制的光學(xué)器件把具有視差的立體對(duì)圖像分別傳送到對(duì)應(yīng)的左右眼來(lái)獲得立體效果［1-2］。雙目仿生3D傳感器是裸眼3D顯示的前提基礎(chǔ)，質(zhì)量?jī)?yōu)良的圖像片源可明顯減輕觀看者的不適度及疲勞感。

然而，目前國(guó)內(nèi)市場(chǎng)上尚無(wú)法購(gòu)買到雙CMOS形式3D傳感器，而且市面上的3D照相機(jī)由于是兩只鏡頭與傳感器的簡(jiǎn)單組合，采集到的左右圖像數(shù)據(jù)容易出現(xiàn)丟幀或非同步等現(xiàn)象。光路系統(tǒng)中的光線折射方式也是影響圖像質(zhì)量的重要因素之一，搭配精確的光路系統(tǒng)可明顯增強(qiáng)立體圖像顯示效果［3］。但是由上述方法得到的三維坐標(biāo)信息精度低，很難檢驗(yàn)后期所設(shè)計(jì)的仿生視覺(jué)光路效果，即使有后續(xù)的軟件算法彌補(bǔ)也會(huì)造成很大匹配失真，使觀看者產(chǎn)生眩暈或疲勞感。

數(shù)字信號(hào)處理(DSP)和現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)［4］是圖像采集常用控制器件，但DSP難同步雙傳感器圖像數(shù)據(jù)，而FPGA的并行處理方式使各程序模塊之間同時(shí)進(jìn)行［5-6］，使用Verilog HDL硬件編程語(yǔ)言在時(shí)序精確控制下完成最終左右格式立體對(duì)圖像拼接。電路板集成的EPCS芯片可固化圖像采集程序，能作為各種3D產(chǎn)品的一個(gè)獨(dú)立模塊連接使用，可廣泛應(yīng)用與3D照相機(jī)、車載立體視覺(jué)［7］、安防等領(lǐng)域。

1 雙目視覺(jué)圖像獲取及重建原理

人類的雙眼能完成絕大多數(shù)的外界信息獲取任務(wù)，只有使用雙眼時(shí)人們才能感受到物體的遠(yuǎn)近及深度感，這是因?yàn)樽笥已郢@取的圖像存在細(xì)微的差異，這種差異被稱為視差。雙眼所獲取的圖像信息經(jīng)過(guò)大腦處理后能得到該物體的三維結(jié)構(gòu)，憑借經(jīng)驗(yàn)?zāi)芨兄酱蟾啪嚯x。雙攝像頭立體視覺(jué)圖像采集系統(tǒng)正是模仿人眼的這一特殊功能，通過(guò)兩個(gè)攝像頭分別模擬人的左右眼對(duì)目標(biāo)物體進(jìn)行拍攝，獲得兩幅有略有差異的圖像，為后續(xù)的立體匹配和測(cè)距提供視頻源。

如圖1所示為雙OV3640傳感器在同一水平面上的理想模型，圖2為對(duì)應(yīng)攝像機(jī)坐標(biāo)系。對(duì)空間任意物體上的M(x，y，z)特征點(diǎn)在左右傳感器中的圖像坐標(biāo)分別為:ML=(XL，YL)和MR=(XR，YR)，易知YL=YR，則視差D=XL-XR。

圖1 雙OV3640立體視覺(jué)成像模型

圖2 攝像機(jī)坐標(biāo)系

根據(jù)三角幾何關(guān)系，以及基線B、焦距f可求得該特征點(diǎn)在攝像機(jī)坐標(biāo)系下的空間坐標(biāo)(z為距離)為

該坐標(biāo)數(shù)據(jù)隱含視差立體成像的深度信息，可用于快速重建物體表面坐標(biāo)［8-9］，以此驗(yàn)證近景與遠(yuǎn)景的視覺(jué)匹配度，也可為虛擬場(chǎng)景的觸摸操作提供準(zhǔn)確的空間信息。分析重建坐標(biāo)的精度，保證視覺(jué)空間與三維物理坐標(biāo)空間的重合精度，通過(guò)重建過(guò)程中的誤差因素分析，建立三維坐標(biāo)復(fù)現(xiàn)精度模型，并由此來(lái)檢驗(yàn)3D傳感器的光路模型的效果。

2 總體設(shè)計(jì)

2.1 3D傳感器硬件設(shè)計(jì)

3D傳感器在硬件上需滿足嵌入式系統(tǒng)要求，體積小、集成度高。如圖3所示，其外部引腳接口及連接方式如下:IIC_SCL和IIC_SDA是I2C總線的時(shí)鐘和數(shù)據(jù)線;CAM_RST是硬件復(fù)位;CAM_HREF是行掃描信號(hào);CAM_VSYNC是場(chǎng)掃描信號(hào);CAM_CLK是傳感器工作時(shí)鐘;CAM_D［7∶0］是8位數(shù)據(jù)線，即選用傳感器的高8位Y［9∶2］，低2位省去，用作自動(dòng)對(duì)焦功能的電壓及地管腳。在硬件電路上PWDN引腳直接接地，復(fù)位管腳CAM_RST通過(guò)外部連線接3.3 V I/O口高電平。由一片24 MHz晶振直接提供工作時(shí)鐘，不采用系統(tǒng)時(shí)鐘分頻方式，避免軟件帶來(lái)的誤差影響。I2C時(shí)鐘線和數(shù)據(jù)線各接一個(gè)1 kΩ的上拉電阻，采用最高速度400 kHz。為匹配FPGA I/O擴(kuò)展口電平，由電壓調(diào)整器芯片LDO調(diào)整傳感器I/O口電壓DOVDD(2.8 V)，其余兩路工作電壓分別為模擬電壓AVDD(2.8 V)、核心電壓DVDD(1.5 V)。FB為磁珠，可以有效地抑制電磁干擾。

2.2 3D傳感器初始化

寄存器設(shè)置決定了傳感器工作參數(shù)及狀態(tài)，首先將寄存器0X3012［7］位置高進(jìn)行軟件復(fù)位，將傳感器初始化為圖像最大分辨率QXGA(2 048×1 536)、幀率為15 f/s模式。CMOS傳感器中的 0X3100，0X3301，0X3304，0X3400，0X3404寄存器主要用于設(shè)置圖像輸出格式，定義的0X3020～0X3027及0X3088～0X308B等寄存器主要用于圖像輸出分辨率。

左右傳感器使用的是獨(dú)立的I2C協(xié)議，保證了各自傳感器寄存器數(shù)據(jù)正常寫(xiě)入。I2C協(xié)議一次只能發(fā)送8位數(shù)據(jù)，而傳感器的寄存器地址為16位。可在先發(fā)送高8位，緊接著發(fā)送低8位的情況下能將數(shù)據(jù)正確配置到傳感器中的E2PROM，使其正確識(shí)別并工作。一個(gè)完整的32位發(fā)送過(guò)程為:器件ID 0X78+寄存器高8位+寄存器低8位+該寄存器所配數(shù)據(jù)。針對(duì)以上時(shí)序關(guān)系編寫(xiě)I2C發(fā)送程序，在程序下載之前需對(duì)該模塊進(jìn)行軟件仿真，保證程序部分理論上無(wú)誤。如圖4仿真所示，以第一組發(fā)送數(shù)據(jù):0X78301280(iic_dat)為例，首先賦值給中間變量sdo。go信號(hào)啟動(dòng)，隨即sd_count開(kāi)始計(jì)數(shù)，每個(gè)時(shí)鐘sdo向iic_sdat賦值一位bit并產(chǎn)生iic_ clk信號(hào)，直至全部發(fā)送完成END信號(hào)為高。

圖3 3D傳感器硬件接口及連接圖

圖4 MODELSIM仿真圖(截圖)

2.3 立體對(duì)圖像獲取

雙傳感器在完全相同的狀態(tài)下，在同一時(shí)刻對(duì)同一目標(biāo)場(chǎng)景所捕捉到的圖像信息稱為立體對(duì)圖像，包括左右格式和上下格式兩種。假如出現(xiàn)圖像數(shù)據(jù)丟失或非同步，將會(huì)出現(xiàn)重建三維場(chǎng)景所需的坐標(biāo)信息精度低甚至錯(cuò)誤問(wèn)題。本研究采用時(shí)鐘精確時(shí)序控制方式，如圖5所示傳感器正常工作后，以各自像素時(shí)鐘PCLK為主控時(shí)鐘控制圖像采集及轉(zhuǎn)換模塊。為防止左右傳感器圖像數(shù)據(jù)沖突，匹配兩端時(shí)鐘的FIFO各自獨(dú)立，先分別存至兩個(gè)單獨(dú)RAM，通過(guò)行、場(chǎng)掃描信號(hào)控制，先左后右逐行取出并拼接成左右格式立體對(duì)圖像［10-11］。

圖5 立體對(duì)圖像采集框架圖

3 實(shí)驗(yàn)驗(yàn)證

3.1 傳感器工作情況驗(yàn)證

由于本3D傳感器為圖像采集功能，為降低成本沒(méi)有設(shè)計(jì)外部存儲(chǔ)器，驗(yàn)證顯示時(shí)以片內(nèi)資源搭建各存儲(chǔ)器。鑒于此，立體對(duì)圖像以RGB332，分辨率為176×72 (單幅分辨率為88×72)顯示驗(yàn)證。

將傳感器配置為分辨率176×144、圖像輸出格式bgbg…./grgr….排列的Raw、30 fp/s模式，組合曝光、色彩飽和度、清晰度、白平衡等總共182組寄存器按照一定順序依次初始化。輸出的12 MHz像素時(shí)鐘控制圖像格式轉(zhuǎn)換，轉(zhuǎn)換后RGB格式分辨率為88×72。為此對(duì)傳感器的配置過(guò)程、單傳感器行/場(chǎng)控制信號(hào)、3D傳感器的行控制信號(hào)及像素時(shí)鐘信號(hào)一一驗(yàn)證。數(shù)字示波器驗(yàn)證結(jié)果分別如圖6～圖9所示。

圖6 完整的32位數(shù)據(jù)發(fā)送(截圖)

分辨率設(shè)置決定了后續(xù)圖像采集、格式轉(zhuǎn)換、緩存、立體對(duì)圖像拼接的正確性，對(duì)它的驗(yàn)證尤為重要。圖10為Quartus II 9.1內(nèi)置邏輯分析儀Singnal Tap II的在線測(cè)試圖，其中data［7∶0］為8位數(shù)據(jù)輸出，data［10∶8］從低位到高位依次為CAM_VSYNC，CAM_HREF，CAM_ PCLK信號(hào)，分辨率為所設(shè)的176×144(即B0×90)。通過(guò)寄存器0X3600將CAM_VSYNC，CAM_HREF，CAM_ PCLK都設(shè)置成高電平輸出有效。

圖7 HREF/VSYNC信號(hào)(截圖)

圖8 3D傳感器的HREF信號(hào)(截圖)

圖9 3D傳感器的PCLK信號(hào)(截圖)

圖10 Singnal Tap II在線測(cè)試圖(截圖)

3.2 立體對(duì)圖像顯示驗(yàn)證

上述驗(yàn)證皆正確，可進(jìn)行最后拼接輸出實(shí)驗(yàn)。硬件電路板設(shè)計(jì)的RGB332 VGA權(quán)電阻網(wǎng)絡(luò)D/A接口僅用于顯示驗(yàn)證，在數(shù)字模擬轉(zhuǎn)換環(huán)節(jié)分別選取OV3640 RGB字節(jié)的高位比特?cái)?shù)據(jù)，顯示器其他區(qū)域填黑。如圖11所示，為EPCS芯片固化程序后的小分辨率立體對(duì)圖像。S4鍵按下后開(kāi)始圖像的采集及轉(zhuǎn)換，4個(gè)綠色LED燈顯示連續(xù)的行控制信號(hào)計(jì)數(shù)效果，最終會(huì)有一幅分辨率為176×72的立體對(duì)圖像顯示在液晶屏上。最終實(shí)驗(yàn)說(shuō)明3D傳感器工作良好，可精確采集并拼接成左右格式立體對(duì)圖像。

圖11 立體對(duì)圖像VGA顯示

4 小結(jié)

在雙目立體視覺(jué)獲取及重建基本原理基礎(chǔ)上，提出了采用FPGA處理雙CMOS視覺(jué)傳感器的新型仿生3D傳感器硬件實(shí)現(xiàn)方法并通過(guò)軟件驗(yàn)證，為仿生3D傳感器的光路系統(tǒng)的檢驗(yàn)提供精確三維坐標(biāo)信息。使用FPGA易同步雙傳感器之間的數(shù)據(jù)采集、格式轉(zhuǎn)換、緩存拼接等，時(shí)鐘控制各模塊時(shí)序精確進(jìn)行，可達(dá)到對(duì)點(diǎn)像素的操作。最終VGA顯示實(shí)驗(yàn)證明3D傳感器電路板可精確采集左右格式立體對(duì)圖像。

［1］FUKUSHIMA T，TORIIM，UKAIK，et al.The relationship between CA/C ratio and individual differences in dynamic accommodative responseswhile viewing stereoscopic images［J］.Journal of Vision，2009 (9):21-13.

［2］梁發(fā)云，鄧善熙，楊永躍.自由立體顯示器的視覺(jué)特性測(cè)量與研究［J］.儀器儀表學(xué)報(bào)，2006，27(10):1350-1353.

［3］NARUSE T，KANEKO T，YAMASHITA A，et al.3-D measurement of objects in water using fish-eye stereo camera［C］//Proc.19th IEEE International Conference on Image Processing(ICIP).Orlando:IEEE Press，2012:2773-2776.

［4］邸麗霞，張彥軍，洪應(yīng)平.基于FPGA的高速圖像數(shù)據(jù)采集存儲(chǔ)系統(tǒng)設(shè)計(jì)［J］.電視技術(shù)，2013，37(13):49-52.

［5］王香云.基于FPGA的小波去噪的硬件實(shí)現(xiàn)［J］，激光技術(shù)，2013，37(6):786-790.

［6］ZICARIP.Efficient and high performance FPGA-based rectification architecture for stereo vision［J］.Microprocessors and Microsystems，2013(37):1144-1154.

［7］FRANCISCO R M，QIW，QIN Z.Design parameters for adjusting the visual field of binocular stereo cameras［J］.ScienceDirect Biosystems Engineering，2010(105):59-70.

［8］YOSHIDA T，F(xiàn)UKAO T.Dense 3D reconstruction using a rotational stereo camera［C］//Proc.IEEE/SICE International Symposium on System Integration(SII).Kyoto:IEEE Press，2011:985-990.

［9］BATZM，RICHTER T，GARBASJU，etal.High dynamic range video reconstruction from a stereo camera setup［J］.Signal Processing: Image Communication，2014(29):191-202.

［10］梁發(fā)云，鄧善熙，楊永躍.立體圖像視頻格式及其轉(zhuǎn)換技術(shù)研究［J］.儀器儀表學(xué)報(bào)，2005，26(12):1233-1238.

［11］王愛(ài)紅，王瓊?cè)A，李大海.立體顯示中立體深度與視差圖獲取的關(guān)系［J］.光學(xué)精密工程，2009，17(2):433-437.

Design of Biom imetic 3D Vision Sensor Circuit w ith Double CMOS

SHI Jiansheng1，2，LIANG Fayun1，2，HE Hui1，2
(1.3D＆VR Research Centre，Nanchang University，Nanchang 330031，China; 2.Nanchang PROPERASLAOPTOELEC Sci－Tech Dev Co.，Ltd.，Nanchang 330031，China)

In order to solve current problems of 3D camera like too small central figure in the pictures，close shot and distant view are seriousmismatch that caused by lens'and sensors'notmeeting the requirements of bionic vision，a kind ofmethod is put forward that can collect stereo pair format image with biomimetic 3D sensor preciselywhich can provide a good video source for Naked-eye3D display equipment.To better coordinate the 3D sensor pixel synchronization in optical signal processing，field programmable gate array is used to process double OV3640 image sensor's signal，image data is collected and the format conversion，cache，stereo pair format images'mosaic of output image are fufilled after initialization，and output display is validated under the accurate control of the pixel clock.The results show that the 3D sensor is reliable，high integration and small size，which can collect left and right format stereo pair images accurately.

optical signal processing;double CMOS;biomimetic 3D sensor;FPGA;stereo pair images

TP212.9

A

?? 薇

2014-04-22

【本文獻(xiàn)信息】施建盛，梁發(fā)云，何輝.雙CMOS仿生3D視覺(jué)傳感器電路設(shè)計(jì)［J］.電視技術(shù)，2014，38(23).

科技部創(chuàng)新基金項(xiàng)目(13C26213603102);江西省教育廳產(chǎn)學(xué)研項(xiàng)目(GJJ11001)

施建盛(1988—)，碩士研究生，主研3D傳感器、嵌入式系統(tǒng)等;梁發(fā)云(1970—)，博士，副教授，碩士生導(dǎo)師，主研裸眼立體與虛擬現(xiàn)實(shí)技術(shù)。