陳 序, 卿粼波, 何小海

(四川大學(xué)電子信息學(xué)院圖像信息研究所,四川成都610064)

0 引言

圖像采集是圖像處理的基礎(chǔ),隨著圖像采集的幀頻和分辨率越來越高,對(duì)高速圖像處理及顯示的要求也越來越高。大多數(shù)高速攝像頭采用Camera Link接口,Full型Camera Link攝像機(jī)數(shù)據(jù)傳輸率可達(dá)680MB/s,如何設(shè)計(jì)并實(shí)現(xiàn)一個(gè)高速的圖像處理平臺(tái),具有重要意義。多數(shù)針對(duì)圖像處理的平臺(tái)是通過PCI或USB接口將采集到的圖像發(fā)送到PC機(jī)再進(jìn)行圖像處理和顯示,系統(tǒng)體積較大,且成本偏高,受到PC機(jī)處理速度限制,圖像顯示的實(shí)時(shí)性會(huì)受到影響[1]。少數(shù)嵌入式平臺(tái),沒有對(duì)采集到的原始圖像進(jìn)行處理,而直接進(jìn)行顯示,顯示的圖像質(zhì)量會(huì)受到影響,并采用小容量的SDRAM來緩存數(shù)據(jù),不能應(yīng)用到數(shù)據(jù)量大的圖像處理中[2]。

設(shè)計(jì)了一種基于FPGA的高速圖像采集、圖像處理和圖像顯示平臺(tái)。FPGA把采集到的圖像按幀緩存到大容量存儲(chǔ)芯片DDR2 SDRAM中,再從DDR2中讀出每幀圖像進(jìn)行預(yù)處理,DSP對(duì)圖像進(jìn)行復(fù)雜算法處理,FPGA最后把圖像發(fā)送到DVI編碼芯片進(jìn)行顯示。圖像處理的速度快,顯示實(shí)時(shí)性好。實(shí)現(xiàn)了平臺(tái)體積小,成本低,處理數(shù)據(jù)量大,處理速度快,應(yīng)用廣泛的目的。

1 系統(tǒng)硬件設(shè)計(jì)

1.1 硬件架構(gòu)

系統(tǒng)硬件架構(gòu)由Camera Link信號(hào)轉(zhuǎn)換芯片DS90CR288、串口配置芯片、一片F(xiàn)PGA芯片、DVI顯示芯片CH7301C、8片DDR2 SDRAM芯片MT47H64M16、一塊DSP芯片組成。系統(tǒng)的硬件架構(gòu)框圖如圖1所示。

圖1 系統(tǒng)硬件框圖

1.2 主要硬件模塊

FPGA選用Xilinx公司virtex5系列中的lx110t,采用65nm工藝,核心電壓為1.0V,擁有17280個(gè)Slice,BRAM容量為5328KB,16個(gè)GTP模塊,20個(gè) I/O Bank,最大可用I/O數(shù)達(dá)680個(gè)[3]。DVI發(fā)送芯片采用CH7301C,最高顯示分辨率可達(dá)1600×1200,像素時(shí)鐘最大為165M,使用低抖動(dòng)鎖相環(huán),I2C端口編程,并為RGB輸出提供10-bit高速視頻DAC,低電壓接口支持圖形設(shè)備。DDR2 SDRAM 采用MT47H64M16-37E,單片容量為1Gb,構(gòu)成為:8Meg×16×8bank,數(shù)據(jù)速率為533Mhz。設(shè)計(jì)使用4片DDR2組成一個(gè)通道,位寬擴(kuò)展為64bit,8片組成雙通道。DSP芯片采用TI公司的TMS320C6474,集成了3個(gè)1GHz的TMS320C64x+內(nèi)核,具有3GHz的數(shù)字信號(hào)處理性能,數(shù)據(jù)的處理能力為24000 MMACS(16bit)或48000 MMACS(8bit)。

1.3 FPGA外圍接口設(shè)計(jì)

(1)FPGA和DS90CR288的接口設(shè)計(jì)。DS90CR288共有1位時(shí)鐘信號(hào)和28位數(shù)據(jù)信號(hào)連接到FPGA,28位數(shù)據(jù)信號(hào)包含24bit圖像數(shù)據(jù)以及傳輸數(shù)據(jù)需要的幀信號(hào)、行信號(hào)和數(shù)據(jù)有效信號(hào)。

(2)FPGA和DDR2 SDRAM的接口設(shè)計(jì)。MT47H64M16主要有16位數(shù)據(jù)信號(hào)ddr2-dq[15:0],差分?jǐn)?shù)據(jù)脈沖信號(hào)ddr2-dqs、ddr2-dqs-n,地址總線信號(hào)ddr2-address[12:0],行列地址有效信號(hào),片選信號(hào)等。

(3)FPGA和DSP的接口設(shè)計(jì)。通過serial rapidIO接口[4]連接,FPGA用GTP作串并轉(zhuǎn)換,收發(fā)各有一對(duì)差分信號(hào)。

(4)FPGA和CH7301C的接口設(shè)計(jì)。CH7301C主要信號(hào)線包括,I2C信號(hào)線,差分時(shí)鐘信號(hào)對(duì),行信號(hào)線、幀信號(hào)線、數(shù)據(jù)信號(hào)線及使能信號(hào)線。

2 Camera Link圖像采集系統(tǒng)

Camera Link是一種串行通信協(xié)議,設(shè)計(jì)用于點(diǎn)對(duì)點(diǎn)自動(dòng)視覺應(yīng)用。是基于國家半導(dǎo)體公司的通道鏈路接口,經(jīng)過擴(kuò)展可支持通用LVDS數(shù)據(jù)傳輸。Camera Link接口標(biāo)準(zhǔn)有Base,Medium,Full 3種配置模式。Base配置使用了24位像素?cái)?shù)據(jù)(以及3位視頻同步數(shù)據(jù))來實(shí)現(xiàn)最大255 Mbps的數(shù)據(jù)量。Medium配置額外增加了另外24位數(shù)據(jù),實(shí)現(xiàn)最大510 Mbps的數(shù)據(jù)量。Full配置使用64位數(shù)據(jù),實(shí)現(xiàn)最大680 Mbps的數(shù)據(jù)傳輸率。

系統(tǒng)前端圖像采集采用JAI公司的Base型彩色數(shù)字?jǐn)z像機(jī)CV-M71CL,CV-M71CL在全讀取模式下采集分辨率為767*576,幀頻為60Hz。DS90CR288芯片將接收到的camera link信號(hào)轉(zhuǎn)換成28位單端信號(hào)發(fā)送到FPGA,FPGA將接收到的信號(hào)分離成24位RGB信號(hào)、像素有效信號(hào)DVAL、幀信號(hào)FVAL、行信號(hào)LVAL[5],并將它們傳送到圖像處理系統(tǒng)。在圖像采集前,系統(tǒng)中的串口通信模塊,可以發(fā)送串口信號(hào),對(duì)攝像機(jī)進(jìn)行配置。

圖像采集系統(tǒng)和處理系統(tǒng)之間由于時(shí)鐘不匹配,需要連接一個(gè)前端異步FIFO。在向FIFO中傳輸每幀圖像前,處理系統(tǒng)及顯示系統(tǒng)返回的初始化信號(hào)init-done需要有效,保證數(shù)據(jù)位不錯(cuò)亂。

3 FPGA圖像處理系統(tǒng)

系統(tǒng)采用FPGA對(duì)圖像進(jìn)行預(yù)處理,DSP進(jìn)行協(xié)處理。圖像存儲(chǔ)模塊對(duì)每幀圖像進(jìn)行緩存,圖像處理模塊再讀出圖像進(jìn)行處理。處理系統(tǒng)包含多種處理方法,可以對(duì)圖像進(jìn)行濾波,轉(zhuǎn)換,對(duì)比度調(diào)節(jié),亮度增強(qiáng)等操作。應(yīng)用中可以在FPGA中根據(jù)實(shí)際需求設(shè)計(jì)相應(yīng)的處理方法。處理的數(shù)據(jù)可以發(fā)送到DSP作進(jìn)一步的復(fù)雜算法處理,也可以直接發(fā)送到圖像顯示系統(tǒng)進(jìn)行圖像顯示。FPGA圖像處理系統(tǒng)模塊框圖如圖2所示。

3.1 圖像存儲(chǔ)模塊

圖像存儲(chǔ)模塊對(duì)采集到的每幀圖像進(jìn)行緩存。系統(tǒng)使用兩片DDR2 SDRAM進(jìn)行乒乓操作[6]。采集到的第一幀圖像寫入ddr-controller-0,第二幀圖像寫入到ddr-controller-1的同時(shí)去讀取ddr-controller-0中的第一幀圖像,下一幀圖像寫入ddr-controller-0的同時(shí),讀取ddr-controller-1中的圖像,如此循環(huán)下去。FIFO解決采集模塊、存儲(chǔ)模塊、顯示模塊時(shí)鐘域不同的問題,FIFO設(shè)置empty、full標(biāo)志位保證在寫DDR2芯片數(shù)據(jù)時(shí)前端FIFO不為空狀態(tài),讀取DDR2芯片數(shù)據(jù)時(shí)后端FIFO不能為滿狀態(tài)。圖像存儲(chǔ)模塊包含兩個(gè)狀態(tài)機(jī),一個(gè)控制兩片SDRAM的交替讀,另一個(gè)控制SDRAM的交替寫。存儲(chǔ)模塊包含兩個(gè)DDR2 SDRAM控制器,控制器作為DDR2芯片和乒乓操作之間的接口,為乒乓操作模塊提供數(shù)據(jù)總線、地址總線及控制信號(hào)。

圖2 圖像處理系統(tǒng)模塊框圖

寫DDR2狀態(tài)機(jī)如圖3所示。在前端FIFO的front-fifo-full標(biāo)志位為1的時(shí)候,進(jìn)入ddr-controller-0的寫操作等待狀態(tài)c0-wr-wait,ddr-controller-0在c0-wr-en有效時(shí)進(jìn)入c0-wr-idle,前端FIFO的empty標(biāo)志位不為1,則進(jìn)入c0-write狀態(tài)進(jìn)行數(shù)據(jù)寫,否則進(jìn)入c0-wr-idle狀態(tài)等待數(shù)據(jù)到來,直到一幀圖像寫滿。寫滿一幀圖像后進(jìn)入ddr-controller-1的寫等待狀態(tài)c1-w r-wait,同時(shí)使能ddr-controller-0的讀能使標(biāo)志位c0-rd-en。ddr-controller-1的寫操作過程與ddr-controller-0相同。

圖3 DDR2乒乓操作寫狀態(tài)機(jī)

讀DDR2狀態(tài)機(jī)如圖4所示。狀態(tài)機(jī)啟動(dòng)時(shí)處于c0-rd-wait狀態(tài),當(dāng)ddr-controller-0寫滿一幀后,進(jìn)入讀空閑狀態(tài)c0-rd-idle。在后端FIFO的full標(biāo)志位部位1時(shí),不停的讀出數(shù)據(jù)寫入后端FIFO中,直到一幀圖像讀完,然后進(jìn)入ddr-controller-1的寫操作,同時(shí)使能ddr-controller-0的寫使能標(biāo)志位c0-wr-en,告知DDR2寫狀態(tài)機(jī)可以對(duì)ddr-controller-0寫下一幀數(shù)據(jù)。ddr-controller-1的讀操作完成后再進(jìn)入ddr-controller-0的讀操作,如此循環(huán)下去。

圖4 DDR2乒乓操作讀狀態(tài)機(jī)

3.2 圖像處理模塊

圖像在采集、傳輸過程中,由于成像設(shè)備、傳輸介質(zhì)、外界環(huán)境等影響,信號(hào)傳輸會(huì)加入有大量的噪聲,得到圖像的質(zhì)量受到影響。對(duì)圖像進(jìn)行處理可以得到更好的顯示效果和應(yīng)用。FPGA適合在空間域?qū)D像進(jìn)行預(yù)處理[7],DSP則適合圖像壓縮、圖像識(shí)別等復(fù)雜算法的圖像處理。

當(dāng)一幀圖像存儲(chǔ)完成后,啟動(dòng)FPGA圖像處理模塊,將process-start信號(hào)置1,開始對(duì)圖像進(jìn)行預(yù)處理,處理過程中和乒乓操作模塊配合反復(fù)對(duì)DDR2-SDRAM進(jìn)行讀寫,處理完成后讀出圖像發(fā)送到DVI顯示系統(tǒng)中進(jìn)行顯示,最后返回完成信號(hào)process-end給乒乓操作模塊,接下來對(duì)另一塊DDR中的圖像作處理。處理過程中如果需要對(duì)圖像作進(jìn)一步復(fù)雜算法的處理,高速串口模塊通過Serial RapidIO協(xié)議將數(shù)據(jù)傳送到DSP,DSP處理完成后再傳回?cái)?shù)據(jù)。若當(dāng)前幀圖像處理時(shí)間過長,乒乓操作模塊不能寫入下一幀,則丟掉當(dāng)前幀,保證系統(tǒng)穩(wěn)定運(yùn)行。圖像處理模塊工作的狀態(tài)機(jī)如圖5所示。

圖5 圖像處理模塊狀態(tài)機(jī)

4 DVI圖像顯示系統(tǒng)

DVI是基于最小化傳輸差分信號(hào)(Transition Minimized Differential Signaling,TMDS)的數(shù)字信號(hào)傳輸技術(shù)。TMDS可以對(duì)像素?cái)?shù)據(jù)進(jìn)行編碼,然后通過串行接口進(jìn)行傳遞。圖像顯示系統(tǒng)產(chǎn)生的數(shù)字信號(hào)發(fā)送到CH7301C,CH7301C對(duì)信號(hào)按照TMDS協(xié)議編碼后發(fā)送到顯示器。

設(shè)計(jì)采用CH7301C芯片進(jìn)行TMDS信號(hào)的發(fā)送,DVI顯示模塊按照顯示的標(biāo)準(zhǔn)生成差分時(shí)鐘、24位RGB數(shù)據(jù)及數(shù)據(jù)有效信號(hào)、幀信號(hào)、行信號(hào),并發(fā)送到CH7301C[8]。

系統(tǒng)需要通過I2C接口對(duì)CH7301C的寄存器進(jìn)行配置,I2C信號(hào)波形圖如圖6所示。DVI顯示的實(shí)時(shí)信號(hào)波形如圖7所示。

圖6 I2C信號(hào)采集波形圖

圖7 DVI顯示信號(hào)采集波形圖

5 平臺(tái)驗(yàn)證及結(jié)論

平臺(tái)完成了高速圖像的采集、發(fā)送和顯示,能得到穩(wěn)定的圖像。基于FPGA的高速圖像的處理平臺(tái)制作并調(diào)試完成,圖8是高速圖像處理平臺(tái)的電路板,圖9是Camera Link采集和DVI實(shí)時(shí)顯示的效果圖。

圖8 高速圖像處理平臺(tái)電路板

圖9 實(shí)時(shí)采集和顯示的效果圖

文中設(shè)計(jì)的平臺(tái)相比傳統(tǒng)的采集顯示平臺(tái),采集速度更快,最高能達(dá)到680MB/s;顯示分辨率更高,達(dá)到1600×1200,60幀/s;使用FPGA和高性能DSP進(jìn)行圖像處理,處理速度更快,滿足實(shí)時(shí)處理需求;采用8片大容量的DDR2芯片,緩存圖像容量更大。實(shí)現(xiàn)了對(duì)圖像的高速采集、存儲(chǔ)、處理和顯示,并可替代基于專用采集卡和PC機(jī)的數(shù)字圖像處理系統(tǒng),到達(dá)了成本低,體積小,攜帶方便,圖像清晰,應(yīng)用廣泛的目的。

[1] 李寧,汪駿發(fā).基于Camer a Link的高速數(shù)據(jù)采集系統(tǒng)[J].紅外,2005(7):31-39.

[2] 李飛,劉晶紅,李剛,等.基于FPGA的數(shù)字?jǐn)z像機(jī)輸出視頻DVI顯示[J].激光與紅外,2011(11):1258-1261.

[3] Xilinx,Virtex-5 FPGA User Guide,ug190(v5.3)May 17,2010.

[4] LogiCORE IP Serial RapidIO v5.6 User Guide:Inc.XILINX.UG503 July 29,2011.

[5] 王鳴浩,陳濤,吳小霞.基于Camera Link接口的高幀頻數(shù)字圖像采集顯示系統(tǒng)[J].微電子學(xué)與計(jì)算機(jī),2011(3):149-152.

[6] Xuzhi WANG,Yanru MA,Wanggen WAN.Design of DDR2 SDRAM Controller for Video Post Processing Pipeline[J].Wireless Mobile and Computing,2009:117-120.

[7] Rafael C Gonzalez,Richard E woods.阮秋琦,阮宇智譯.數(shù)字圖像處理digital Image Processing(第二版)[M].北京:電子工業(yè)出版社,2010.

[8] 孫志亮,單金山.基于FPGA的DVI顯示在紅外監(jiān)視系統(tǒng)中的應(yīng)用[J].激光與紅外,2008(10):1059-1062.