宋　宇，包文來(lái)

(長(zhǎng)春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院， 吉林 長(zhǎng)春　130012)

?

FPGA圖像采集處理系統(tǒng)

宋宇，包文來(lái)

(長(zhǎng)春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院， 吉林 長(zhǎng)春130012)

FPGA通過(guò)配置CMOS攝像頭獲取圖像信息，對(duì)得到的圖像進(jìn)行預(yù)處理，利用Sobel算子方法對(duì)圖像進(jìn)行邊緣檢測(cè)，并對(duì)處理結(jié)果通過(guò)外置顯示模塊進(jìn)行實(shí)時(shí)顯示。

圖像采集；Sobel邊緣檢測(cè)；FPGA

0　引　言

視頻圖像采集處理系統(tǒng)在許多領(lǐng)域都有著廣泛的應(yīng)用，小到工業(yè)、農(nóng)業(yè)，大到醫(yī)療、軍事都發(fā)揮著舉足輕重的作用。視頻圖像可以傳遞許多信息，如何準(zhǔn)確實(shí)時(shí)地獲取到有用的圖像，并對(duì)圖像進(jìn)行處理分析至關(guān)重要。文中從手勢(shì)識(shí)別技術(shù)角度出發(fā)，設(shè)計(jì)了一種基于FPGA的圖像采集處理系統(tǒng)[1]，對(duì)圖像采集處理快速準(zhǔn)確，并通過(guò)VGA進(jìn)行實(shí)時(shí)顯示。

1　系統(tǒng)總體設(shè)計(jì)

1.1系統(tǒng)結(jié)構(gòu)圖

本設(shè)計(jì)選用CycloneIV系列的EP4CE15E17C8NFPGA為核心處理器，使用QuartusⅡ 作為系統(tǒng)軟件開(kāi)發(fā)工具，并配合Verilog語(yǔ)言編程來(lái)實(shí)現(xiàn)各個(gè)模塊的功能[2]。系統(tǒng)主要由圖像采集、VGA顯示、圖像預(yù)處理、邊緣檢測(cè)等模塊構(gòu)成，系統(tǒng)總體框圖如圖1所示。

圖1　系統(tǒng)總體框圖

1.2系統(tǒng)工作流程

系統(tǒng)上電后，各部件由FPGA完成初始化及配置工作模式[3]，通過(guò)攝像頭采集圖像，并將采集到的圖像通過(guò)視頻解碼芯片傳送給FPGA，F(xiàn)PGA收到信號(hào)后，將圖像數(shù)據(jù)緩存到存儲(chǔ)模塊中，并將圖像發(fā)送到處理模塊，處理模塊對(duì)接收到的圖像進(jìn)行預(yù)處理及邊緣檢測(cè)操作，最后將處理后的圖像通過(guò)VGA顯示模塊實(shí)時(shí)顯示。系統(tǒng)工作流程如圖2所示。

圖2　系統(tǒng)工作流程

2　系統(tǒng)模塊設(shè)計(jì)

2.1圖像采集模塊

模塊通過(guò)攝像頭采集圖像，攝像頭采用OV7725CMOS傳感器，采集到的圖像格式為模擬視頻信號(hào)，F(xiàn)PGA通過(guò)I2C總線(xiàn)配置視頻解碼芯片[4]，將模擬視頻信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)，格式為YUV4∶2∶2，供FPGA內(nèi)部處理模塊使用，文中采取的視頻解碼芯片為T(mén)VP5150。

TVP5150是一款低功耗、支持SECAM、NTSC、PAL等格式的高性能解碼芯片，適用于便攜、高性能的產(chǎn)品設(shè)計(jì)。I2C總線(xiàn)是串行兩線(xiàn)式總線(xiàn)，分別為串行數(shù)據(jù)線(xiàn)和串行時(shí)鐘線(xiàn)，器件被連接在這兩條線(xiàn)之間，通過(guò)這兩條線(xiàn)來(lái)傳遞信息，傳輸起始和停止條件由兩條線(xiàn)之間的電平高低決定。當(dāng)串行時(shí)鐘線(xiàn)是高電平，且串行數(shù)據(jù)線(xiàn)由高電平向低電平轉(zhuǎn)換時(shí)開(kāi)始傳送工作；當(dāng)串行時(shí)鐘線(xiàn)是高電平，且串行數(shù)據(jù)線(xiàn)從低電平向高電平轉(zhuǎn)換時(shí)停止傳送工作。數(shù)據(jù)傳輸時(shí)，串行數(shù)據(jù)線(xiàn)所接收的每個(gè)字節(jié)必須為8位，但可以接收任意數(shù)量的字節(jié)，首先傳輸?shù)氖菙?shù)據(jù)的最高位。數(shù)據(jù)傳輸必須帶響應(yīng)，由主機(jī)產(chǎn)生相關(guān)的響應(yīng)時(shí)鐘脈沖，在傳輸過(guò)程中，如果從機(jī)當(dāng)前處于忙碌狀態(tài)，不能立刻完成傳輸，可以通過(guò)保持串行時(shí)鐘線(xiàn)處于低電平，這時(shí)主機(jī)進(jìn)入數(shù)據(jù)傳輸延遲狀態(tài)，當(dāng)從機(jī)可以進(jìn)行傳輸時(shí)，釋放串行時(shí)鐘線(xiàn)，則開(kāi)始數(shù)據(jù)傳輸。I2C總線(xiàn)的時(shí)序圖如圖3所示。

圖3I2C總線(xiàn)的時(shí)序圖

2.2SDRAM存儲(chǔ)模塊

由于系統(tǒng)采集速度快且數(shù)據(jù)量大，而處理速度遠(yuǎn)不及采集速度，所以需要完成系統(tǒng)相關(guān)數(shù)據(jù)存儲(chǔ)工作，文中采用Hynix的32BitSDRAMHY57V283220T，共有4Banks*1M*32Bit的資源，完成在特定時(shí)間內(nèi)對(duì)已經(jīng)采集到但未經(jīng)處理圖像的緩存，并通過(guò)存儲(chǔ)控制器為SDRAM提供滿(mǎn)足時(shí)序要求的控制信號(hào)輸入[5]。

2.3VGA顯示模塊

設(shè)計(jì)加入了VGA顯示模塊，通過(guò)此模塊可以對(duì)系統(tǒng)處理后的視頻圖像進(jìn)行實(shí)時(shí)顯示。VGA顯示器所能識(shí)別的信號(hào)為RGB格式，被處理后的視頻圖像格式為YUV4∶2∶2數(shù)字信號(hào)，本設(shè)計(jì)采用AVD7123視頻編碼芯片來(lái)實(shí)現(xiàn)圖像格式的轉(zhuǎn)化，ADV7123接收FPGA發(fā)送的數(shù)字圖像信號(hào)以及時(shí)鐘行場(chǎng)同步信號(hào)，并通過(guò)標(biāo)準(zhǔn)的VGA接口輸出來(lái)實(shí)現(xiàn)與VGA顯示器的通信。

3　圖像處理的FPGA實(shí)現(xiàn)

3.1圖像預(yù)處理

圖像采集模塊采集到的視頻圖像會(huì)摻雜許多噪聲，對(duì)后續(xù)處理造成誤導(dǎo)，預(yù)處理的作用就是采用快速中值濾波[6]的方法來(lái)去除圖像噪聲。

快速中值濾波是在中值濾波的基礎(chǔ)上提出來(lái)的一種快速圖像處理方法，通過(guò)對(duì)選取模板區(qū)域內(nèi)各行各列的像素灰度值進(jìn)行降序(或升序)排列，生成新的像素矩陣，然后分別找出新生成像素矩陣第一行的最小值，第二行的中間值，第三行的最大值，并把這3個(gè)數(shù)值組成新的序列，對(duì)新序列再次求取中間值，以此中間值替換原始圖像模板區(qū)域內(nèi)中心位置的像素灰度值，以此類(lèi)推，文中選取3*3區(qū)域模板。

快速中值濾波包括兩部分：一是3*3區(qū)域模板的生成，并獲取區(qū)域內(nèi)所有像素灰度數(shù)據(jù)；二是快速中值濾波算法的實(shí)現(xiàn)。

3.1.1模板生成及獲取像素值

本設(shè)計(jì)選取2個(gè)FIFO存儲(chǔ)器和9個(gè)移位寄存器J1～J9來(lái)實(shí)現(xiàn)3*3模板的生成及模板區(qū)域像素值的提取，如圖4所示。

圖4　模板生成原理圖

每個(gè)移位寄存器存儲(chǔ)一個(gè)像素值，每個(gè)FIFO存儲(chǔ)器存儲(chǔ)一行的像素?cái)?shù)據(jù)，當(dāng)?shù)谌械臄?shù)據(jù)采集完成后，將第三行數(shù)據(jù)和2個(gè)FIFO中的數(shù)據(jù)一起讀出，保證三行數(shù)據(jù)的同步。

3.1.2中值濾波算法硬件實(shí)現(xiàn)

本設(shè)計(jì)通過(guò)7個(gè)三輸入比較器來(lái)實(shí)現(xiàn)， 把7個(gè)比較器分為3組，比較過(guò)程如圖5所示。

圖5　中值濾波算法流程

對(duì)于提取的像素集{X11，X12，…，X33}來(lái)說(shuō)，首先，用第一組3個(gè)比較器分別對(duì)像素點(diǎn)集的每行進(jìn)行比較，完成對(duì)每行像素值的降序排列，然后再用第二組3個(gè)比較器分別對(duì)每行最大、最小及中間值組成序列進(jìn)行比較，完成對(duì)每列像素值的降序排列，最后用一個(gè)比較器對(duì)第二組比較器B4的最小值、B5產(chǎn)生的中值及B6產(chǎn)生的最大值進(jìn)行比較，比較出的中值即為區(qū)域模板內(nèi)像素的中值。

3.2Sobel邊緣檢測(cè)

Sobel邊緣檢測(cè)算法[7-8]的實(shí)現(xiàn)是使用垂直和水平兩個(gè)方向算子，該算子由兩組3*3的矩陣構(gòu)成，分別為橫向及縱向，將之與圖像作卷積運(yùn)算，分別得出相應(yīng)的梯度值分量，再利用梯度值公式求出近似梯度值大小，把計(jì)算結(jié)果與預(yù)先存儲(chǔ)的閾值做對(duì)比，如果小于閾值，則結(jié)果是非邊緣部分。對(duì)于原始圖像A的3*3區(qū)域來(lái)說(shuō)，首先求取方向梯度分量Gx和Gy：

(1)

(2)

然后求取圖像中任意像素的梯度近似值大?。?/p>

(3)

最后通過(guò)比較求取的梯度值與預(yù)先存儲(chǔ)閾值的大小來(lái)確定邊緣檢測(cè)結(jié)果，當(dāng)梯度值小于閾值時(shí)，將原始圖像灰度值置為0，反之則為255，以此類(lèi)推。

4　實(shí)驗(yàn)結(jié)果

為了驗(yàn)證設(shè)計(jì)的合理性，通過(guò)QuartusⅡ軟件進(jìn)行綜合仿真，實(shí)驗(yàn)結(jié)果分別如圖6和圖7所示。

圖6原始圖像和經(jīng)中值濾波后的灰度圖像

圖7　原始圖像和Sobel邊緣檢測(cè)后的圖像

5　結(jié)　語(yǔ)

提出的設(shè)計(jì)方案是以FPGA為核心的圖像采集處理系統(tǒng)，主要由圖像采集、圖像處理、顯示模塊等幾部分模塊組成，系統(tǒng)充分發(fā)揮了FPGA的靈活性和可移植性強(qiáng)等特點(diǎn)，提高了圖像處理速度。實(shí)驗(yàn)證明，本系統(tǒng)可實(shí)現(xiàn)圖像采集、處理及實(shí)時(shí)顯示功能，對(duì)進(jìn)一步研究手勢(shì)識(shí)別、實(shí)時(shí)監(jiān)控及視頻圖像跟蹤技術(shù)打下了堅(jiān)實(shí)基礎(chǔ)。

[1]陳國(guó)柱,劉濤,李元宗.基于FPGA的圖像采集與存儲(chǔ)系統(tǒng)的設(shè)計(jì)[J].機(jī)械工程與自動(dòng)化，2007(4)：44-46.

[2]夏宇聞．Verilog數(shù)字系統(tǒng)設(shè)計(jì)教程[M].2版.北京：北京航空航天大學(xué)出版社，2010:20-300.

[3]吳厚航．深入淺出玩轉(zhuǎn)FPGA[M].北京：北京航空航天大學(xué)出版社，2011：200-202.

[4]劉麗麗．基于FPGA的手勢(shì)識(shí)別技術(shù)研究[D].長(zhǎng)春：長(zhǎng)春理工大學(xué)，2014.

[5]揚(yáng)帆，楊曉慧，黃勇.基于FPGA和USB的圖像傳輸平臺(tái)[J].長(zhǎng)春工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，34(4):397-400.

[6]和妍.基于FPGA的圖像采集處理系統(tǒng)的研究[D].鄭州：河南理工大學(xué)，2010.

[7]郭龍，段哲民．FPGA的視頗實(shí)時(shí)邊緣檢測(cè)系統(tǒng)[J].電子設(shè)計(jì)工程，2014，22(3):173-185.

[8]袁春蘭，熊宗龍，周雪花，等．基于Sobel算子的圖像邊緣檢測(cè)研究[J].激光與紅外，2009，39：85-87.

A FPGA based image acquisition and processing system

SONG Yu，BAO Wenlai

(School of Computer Science & Engineering, Changchun University of Technology, Changchun 130012， China)

WithFPGA,CMOScameraisconfiguredtoobtainimageswhicharepre-processedandthenedgedetectionisperformedbyusingSobeloperator.TheresultcanbedisplayedwithVGAmodule.

imageacquisition;Sobeledgedetection;FPGA.

2015-09-14

教育部“春暉計(jì)劃”基金資助項(xiàng)目(Z2011139)

宋宇(1969-)，男，漢族，吉林長(zhǎng)春人，長(zhǎng)春工業(yè)大學(xué)教授，碩士，主要從事嵌入式系統(tǒng)方向研究,E-mail:songyu@ccut.edu.cn.

10.15923/j.cnki.cn22-1382/t.2016.4.10

TP752.1

A

1674-1374(2016)04-0363-04