付深圳，孫運(yùn)強(qiáng)

(中北大學(xué) 儀器科學(xué)與動態(tài)測試教育部重點(diǎn)實(shí)驗(yàn)室，太原 030051)

?

基于FPGA與TW2867的實(shí)時(shí)圖像采集系統(tǒng)設(shè)計(jì)

付深圳，孫運(yùn)強(qiáng)

(中北大學(xué) 儀器科學(xué)與動態(tài)測試教育部重點(diǎn)實(shí)驗(yàn)室，太原 030051)

摘要:核心板主要由FPGA+兩片DDR2構(gòu)成，負(fù)責(zé)實(shí)現(xiàn)視頻圖像處理的核心算法。系統(tǒng)充分利用了FPGA并行處理的能力，加上兩片DDR2構(gòu)建32位總線，整個(gè)系統(tǒng)的帶寬高達(dá)10 Gbps；兩片DDR2容量高達(dá)2 Gb，滿足視頻處理過程中對高緩沖區(qū)的需求。選用的FPGA為Altera公司Cyclone IV系列的EP4CE30F23C6N芯片,針對視頻解碼芯片TW2867、實(shí)現(xiàn)了I2C總線配置、VGA顯示模塊的設(shè)計(jì)。實(shí)驗(yàn)結(jié)果顯示，本設(shè)計(jì)具有成本低、速度高、易于集成的優(yōu)點(diǎn)。

關(guān)鍵詞:CCD攝像頭；FPGA；視頻解碼芯片；視頻采集；實(shí)時(shí)處理

引言

視頻圖像采集系統(tǒng)是多媒體信息處理、視頻監(jiān)控等系統(tǒng)的前端子系統(tǒng)，視頻圖像采集系統(tǒng)的實(shí)現(xiàn)是進(jìn)行數(shù)字圖像處理、多媒體和網(wǎng)絡(luò)傳輸?shù)那疤?，它可以為各種圖像處理算法提供待處理的原始數(shù)字圖像[1]，隨著FPGA性能和集成度的提高，用一片F(xiàn)PGA來實(shí)現(xiàn)整個(gè)系統(tǒng)成為一個(gè)新的發(fā)展方向。本設(shè)計(jì)使用一片F(xiàn)PGA控制視頻解碼芯片TW2867進(jìn)行模擬視頻信號的數(shù)字化，并在FPGA芯片內(nèi)部進(jìn)行視頻圖像采集控制和存儲操作，從而實(shí)現(xiàn)了視頻圖像采集和數(shù)據(jù)處理的連續(xù)性和實(shí)時(shí)性。

1視頻采集系統(tǒng)的基本構(gòu)成

圖1為視頻圖像采集系統(tǒng)構(gòu)成圖，在系統(tǒng)中采用FPGA作為整個(gè)系統(tǒng)的核心控制芯片，其可控制外圍芯片并對采集到的圖像數(shù)據(jù)進(jìn)行處理。系統(tǒng)通過模擬攝像頭獲得前段視頻的采集，把采集到的數(shù)據(jù)送入視頻解碼芯片中，視頻數(shù)據(jù)進(jìn)入TW2867，并經(jīng)過A/D轉(zhuǎn)換器轉(zhuǎn)換為YCbCr 4∶2∶2格式的數(shù)據(jù)，通過FPGA芯片寫入SDRAM中，完成存儲。需要時(shí)再從SDRAM中讀取，并對數(shù)據(jù)進(jìn)行處理，最后通過VGA顯示出來。

圖1　視頻圖像采集系統(tǒng)基本構(gòu)成圖

2硬件設(shè)計(jì)

(1) 模擬攝像頭

采用索尼CCD攝像機(jī)，紅外發(fā)射燈，940 nm波段，人眼不可見。在黑暗的環(huán)境里，也可實(shí)時(shí)視頻監(jiān)控，夜視距離為1～10 m。

(2) 視頻解碼芯片

選用了Techwell公司的TW2867, 可輸入4路復(fù)合視頻信號，PAL/NTSC/SECAM自動識別，輸出BT656，可多路復(fù)用總線，F(xiàn)PGA端解復(fù)用，節(jié)省I/O接口。

(3) FPGA芯片選擇

接口選用Cyclone IV系列的EP4CE30F23C6N器件,采用了與Cyclone系列器件相同的核心架構(gòu)。內(nèi)部有28 848個(gè)LE，內(nèi)含嵌入式存儲器、NiosII處理器、外部存儲I/O口、鎖相環(huán)以及時(shí)鐘管理電路等。

(4) SDRAM選擇

使用MICRON公司的MT47H64M16HR這款DDR2芯片，容量為1 Gb；兩片DDR2構(gòu)建32位總線模式，2G容量，帶寬高達(dá)10 Gb。這樣的配置，可以滿足2路1080p視頻處理的需求。

(5) 視頻D/A轉(zhuǎn)換器

選取ANALOG公司的高速視頻轉(zhuǎn)換芯片ADV7123。芯片集成了3路高速D/A轉(zhuǎn)換器；具有330 Mbps的數(shù)據(jù)吞吐量、80 MHz的流水線、10位數(shù)據(jù)寬度；另外有視頻控制信號復(fù)合同步SYNC和復(fù)合消隱BLAN；D/A轉(zhuǎn)換器送出的模擬視頻信號可直接送至VGA顯示。

3TW2867接口配置

(1) I2C總線的配置

TW2876的I2C總線配置按照I2C總線規(guī)范與標(biāo)準(zhǔn)時(shí)序來進(jìn)行，其時(shí)序關(guān)系如圖2所示。采用硬件描述語言設(shè)計(jì)時(shí)，該接口的功能可以由兩個(gè)模塊來實(shí)現(xiàn)。其中I2C_ctr用來控制產(chǎn)生I2C總線的時(shí)序，I2C_cmd用來配置TW2876的命令參數(shù)的配置。

為了對總線上的設(shè)備進(jìn)行控制，必須制定一個(gè)特定的協(xié)議(I2C總線協(xié)議)。

圖2　I2C總線時(shí)序圖

首先，I2C總線控制器建立一個(gè)數(shù)據(jù)傳輸?shù)拈_始條件：SCLK保持為高，SDATA從高到低轉(zhuǎn)變。外圍設(shè)備監(jiān)控SDATA和SCLK，等待開始條件和正確的傳輸?shù)刂?。開始條件到達(dá)以后，緊接著送出一個(gè)8位的設(shè)備地址，所有的外圍設(shè)備響應(yīng)開始條件并轉(zhuǎn)換下一個(gè)8位寄存器地址(7位地址和1位讀寫信號)。當(dāng)SCLK為高、SDATA從低到高轉(zhuǎn)變時(shí)，表示一次傳輸完成，等待下一次傳輸開始。I2C總線的讀寫時(shí)序如圖2所示。

(2) TW2867寄存器配置

可通過TW2867的內(nèi)部寄存器來設(shè)定、實(shí)現(xiàn)TW2867的各種功能。本設(shè)計(jì)中的TW2867功能是采集PAL制式的模擬信號，并在27 MHz頻率下進(jìn)行模/數(shù)轉(zhuǎn)換，以輸出8位寬、格式為YCbCr 4∶2∶2的數(shù)字信號。寄存器配置如表1所列。I2C_cmd模塊的功能是將表1中需要配置的每一個(gè)寄存器的數(shù)據(jù)以查找表算法給出，并構(gòu)造成符合I2C總線規(guī)范的數(shù)據(jù)結(jié)構(gòu)，再順序送給I2C_ctr模塊。

4數(shù)字圖像采集

攝像頭采集到的視頻數(shù)據(jù)經(jīng)解碼芯片進(jìn)行A/D轉(zhuǎn)換后，得到8位的4∶2∶2視頻數(shù)據(jù)流。ITU656解碼模塊根據(jù)ITU656標(biāo)準(zhǔn)將4∶2∶2的數(shù)據(jù)流解碼成ITU656標(biāo)準(zhǔn)視頻流。ITU656并行接口除了傳輸4∶2∶2的YCbCr視頻流外，還有行、場同步所用的控制信號。PAL制式的圖像一幀有625行，每秒掃描25幀；NTSC制式為一幀525行，每秒掃描30幀，每行數(shù)據(jù)由1728字節(jié)的數(shù)據(jù)塊組成。

表1　TW2867寄存器配置

其中，PAL制式23~311行是偶數(shù)場視頻數(shù)據(jù)，312~552行是奇數(shù)場視頻數(shù)據(jù)，其余為垂直控制信號。NTSC制式20~264行是偶數(shù)場視頻數(shù)據(jù)，283~525行是奇數(shù)場視頻數(shù)據(jù)，其余為垂直控制信號[2]。

圖3為ITU656每行的數(shù)據(jù)結(jié)構(gòu)，每行數(shù)據(jù)包含水平控制信號和YCbCr視頻數(shù)據(jù)信號。視頻數(shù)據(jù)字是以27 mb/s的速率傳送的，其順序是：Cb、Y、Cr、Y、Cb、Y、Cr……其中，Cb、Y、Cr這3個(gè)字指的是同址的亮度和色差信號取樣， 后面的Y字對應(yīng)于下一個(gè)亮度取樣。每行開始的288字節(jié)為行控制信號，開始的4字節(jié)為EAV信號(有效視頻結(jié)束)，緊接著280個(gè)固定填充數(shù)據(jù)，最后是4字節(jié)的SAV信號(有效視頻起始)。

圖3　ITU656每行的數(shù)據(jù)結(jié)構(gòu)

圖4　視頻解碼流程

SAV和EAV信號有3字節(jié)的前導(dǎo)：FF、00、或EAV信號，提取H、F、V信號，然后發(fā)送00；最后1字節(jié)XY表示該行位于整個(gè)數(shù)據(jù)幀的位始命令，同時(shí)開啟行列計(jì)數(shù)器，開始對接下來的位置區(qū)分SAV、EAV。在每個(gè)時(shí)鐘的上升沿圖像數(shù)據(jù)進(jìn)行解碼，讀取從解碼芯片傳來的8位數(shù)據(jù)。若檢測到一行信息，判斷該數(shù)據(jù)為Y、Cr還是Cb，得到數(shù)據(jù)的開始標(biāo)志FF0000XY，從而檢測到SAV信號 Y、Cr、Cb各分量的值[3]。視頻解碼流程如圖4所示。

表2為定時(shí)基準(zhǔn)信號格式。

其中，F(xiàn)為場標(biāo)志位，第一場為“0”，第二場為“1”；V為“0”表示處于有效數(shù)據(jù)期，為“1”表示處于場消隱期；H為“0”，則為SAV信號，表示一個(gè)數(shù)據(jù)塊的開始，為“1”則是EAV信號，指示一個(gè)數(shù)據(jù)塊 的結(jié)束；P2、P1、P0是保護(hù)比特位，其值取決于F、H、V的值。根據(jù)這個(gè)特征，接收模塊可以建立狀態(tài)機(jī)，僅當(dāng)狀態(tài)嚴(yán)格完成FF-00-00的轉(zhuǎn)換才開始采集有效數(shù)據(jù)，送入SDRAM進(jìn)行存儲。

5SDRAM控制工作原理

SDRAM的價(jià)格低、速度快、體積小、容量大，是理想的存儲器件，SDRAM的輸入和輸出緩存電路一般有3種方式：FIFO結(jié)構(gòu)、雙口RAM結(jié)構(gòu)、乒乓存儲結(jié)構(gòu)。如圖5所示，把SDRAM設(shè)置為4個(gè)端口模式，兩個(gè)端口用于把FIFO中的數(shù)據(jù)送入SDRAM，另兩個(gè)讀端口用于把數(shù)據(jù)從SDRAM中讀到FIFO中。讀和寫操作所采用的時(shí)鐘頻率不同，寫用的是解碼芯片的27 MHz時(shí)鐘，而讀出采用VGA的25 MHz時(shí)鐘。

表2　定時(shí)基準(zhǔn)信號格式

FPGA對SDRAM進(jìn)行控制時(shí)，首先是對SDRAM的初始化進(jìn)行配置，也就是寫寄存器，即確定CAS的潛伏期、突發(fā)傳輸模式等；然后經(jīng)過激活命令激活對應(yīng)地址的bank，同時(shí)輸入行地址，最后，通過讀命令或者寫命令輸入列地址，將相應(yīng)數(shù)據(jù)讀出或者寫入到對應(yīng)的地址。操作完成后用相關(guān)命令中止讀或?qū)懖僮鳎琒DRAM啟動時(shí)，第一個(gè)有效命令必須在時(shí)鐘穩(wěn)定100 μs之后給出，然后對所有bank執(zhí)行預(yù)充電，緊接著進(jìn)行第2次刷新。

SDRAM的存儲單元每隔一段時(shí)間需刷新以保持?jǐn)?shù)據(jù)穩(wěn)定，否則數(shù)據(jù)丟失的可能性加大。兩個(gè)SDRAM循環(huán)地讀寫切換，分別為：在一幀時(shí)間內(nèi)顯示器接收的圖像信號，以及顯卡端輸出的RGB信號。Switch是讀寫切換信號，它的產(chǎn)生是在同步信號(即VS，周期是2倍場)經(jīng)過二分頻后，若VS為低電平，向SDRAM1中寫入數(shù)據(jù)，反之則從SDRAM1中讀取數(shù)據(jù)。在完成讀寫地址的信號切換后，數(shù)據(jù)輸出切換也是必須實(shí)現(xiàn)的。

圖5　SDRAM控制器

6VGA顯示模塊

SDRAM中存儲的是4∶2∶2格式的視頻數(shù)據(jù)，由于該格式視頻的每個(gè)像素點(diǎn)不都包含色度分量和亮度分量，從中讀取數(shù)據(jù)后，必須將格式轉(zhuǎn)換成4∶4∶4的視頻數(shù)據(jù)格式，因此轉(zhuǎn)化后Y、Cb、Cr是全面的。為了使得VGA顯示器能夠顯示該視頻，首先VGA使用的是RGB的色彩空間，必須將數(shù)據(jù)經(jīng)過YCbCr到RGB模塊的轉(zhuǎn)換，其次是將之前轉(zhuǎn)換好的YCbCr空間再轉(zhuǎn)換為RGB空間，再次輸出到VGA控制器，在此過程中，輸出24位RGB數(shù)據(jù)到編碼芯片ADV7123，輸出的數(shù)據(jù)還包括VGA的同步信號VGA_HS、VGA_VS[4]。

結(jié)語

參考文獻(xiàn)

[1] 王誠，蔡海寧，吳繼華．Altera FPGA/CPLD 設(shè)計(jì)(基礎(chǔ)篇)[M] ．2版.北京：人民郵電出版社，2011：50-58．

[2] 劉延飛，郭鎖利，王曉戒，等．基于Altera FPGA/CPLD 的電子系統(tǒng)設(shè)計(jì)及工程實(shí)踐[M] ．北京：人民郵電出版社，2009：253-288．

[3] 夏良正．?dāng)?shù)字圖像處理[M] ．南京：東南大學(xué)出版社，1999：154-160．

[4] 夏宇聞．從算法設(shè)計(jì)到硬線邏輯的實(shí)現(xiàn)：實(shí)驗(yàn)練習(xí)與Verilog 語法手冊[M] ．北京：高等教育出版社，2001：112-115．

Real-time Image Acquisition System Based on FPGA and TW2867

Fu Shenzhen,Sun Yunqiang

(Key Laboratory of Instrumentation&Dynamic Measurement,Ministry of Education,North University of China,Taiyuan 030051,China)

Abstract：The core board is composed of FPGA and two pieces of DDR2,which can undertake the core algorithms of the video image processing.The design takes the full advantages of FPGA parallel processing capability,the system bandwidth is up to 10 Gbps by the construction of 32 bit bus with two pieces of DDR2.The capacity of the two pieces of DDR2 is up to 2Gb,that meets the demand for high-buffer of the video processing.The system takes EP4CE30F23C6N of Altera Cyclone IV series as the FPGA chip.The design achieves the I2C bus configuration,VGA display module design for the video decoder chip TW2867.The experiment results show that the design has the advantages of low cost,high speed,easy integration and so on.

Key words:CCD camera;FPGA;video decoder chip;video collection;real-time processing

收稿日期：(責(zé)任編輯：楊迪娜2015-07-22)

中圖分類號:TP332

文獻(xiàn)標(biāo)識碼:A