白書華（南昌理工學(xué)院，南昌 330044）

?

基于FPGA的實(shí)時(shí)圖像采集和去噪系統(tǒng)設(shè)計(jì)

白書華
（南昌理工學(xué)院，南昌 330044）

摘要：對采集或傳輸過程中受到的噪聲干擾信號(hào)進(jìn)行預(yù)處理，并保持圖像傳輸?shù)膶?shí)時(shí)性，是圖像處理系統(tǒng)需要解決的問題。對于實(shí)時(shí)性要求高的圖像處理系統(tǒng)而言，用軟件來實(shí)現(xiàn)噪聲的預(yù)處理相對來說是比較耗時(shí)的，因此必須尋求其他解決方式。文章設(shè)計(jì)基于FPGA的新型模塊化集成電路來實(shí)現(xiàn)圖像采集和去噪，并通過試驗(yàn)和仿真測試驗(yàn)證了設(shè)計(jì)的實(shí)時(shí)效果。

關(guān)鍵詞：FPGA；圖像采集系統(tǒng)；圖像去噪

http://www.bisee.ac.cnE-mail: htqhjgc@126.comTel:(010)68116407, 68116408, 68116544

0　引言

在當(dāng)今航空航天工程技術(shù)應(yīng)用與研究中，傳統(tǒng)的圖像采集及處理系統(tǒng)有硬件架構(gòu)和軟件架構(gòu)2種?；赑C機(jī)的軟件架構(gòu)圖像處理系統(tǒng)，運(yùn)算靈活，成本較低，但因PC機(jī)是馮·諾依曼結(jié)構(gòu)，無法實(shí)現(xiàn)并行處理，速度較慢，不能滿足圖像處理的實(shí)時(shí)性要求；硬件架構(gòu)的圖像采集及處理系統(tǒng)一般采用專用的集成電路（ASIC）器件實(shí)現(xiàn)，而ASIC常采用具有并行處理能力的哈佛結(jié)構(gòu)，比軟件架構(gòu)的系統(tǒng)速度更快，可以較好地滿足實(shí)時(shí)性要求[1]。ASIC中最為常用的數(shù)字信號(hào)處理芯片DSP具有強(qiáng)大的數(shù)據(jù)處理能力和高速運(yùn)行的特點(diǎn)，并且體積小、功耗低、可靠性強(qiáng)，非常適合應(yīng)用于圖像處理領(lǐng)域。但是，因其電路設(shè)計(jì)復(fù)雜、開發(fā)成本高和無法進(jìn)行二次開發(fā)的缺陷，給設(shè)計(jì)人員帶來了諸多不便。

圖像的采集及傳輸過程中，容易受到空間和外界噪聲源的干擾，使得圖像的質(zhì)量變差或是丟失重要信息[2]。隨著對圖像效果及質(zhì)量要求的提高，人們迫切尋求一種新的系統(tǒng)架構(gòu)。目前，實(shí)時(shí)的圖像采集處理系統(tǒng)的設(shè)計(jì)，已經(jīng)從ARM、DSP平臺(tái)向FPGA平臺(tái)轉(zhuǎn)移。尤其是在近些年，隨著微電子技術(shù)的不斷發(fā)展，現(xiàn)場可編程門陣列FPGA的使用成本大幅降低，性能明顯提升。利用FPGA，用戶不僅可以方便地設(shè)計(jì)出所需的硬件邏輯功能，而且可以實(shí)現(xiàn)系統(tǒng)的重復(fù)編程，實(shí)際的系統(tǒng)設(shè)計(jì)過程就像是用軟件進(jìn)行設(shè)計(jì)一樣方便快捷，從而大大降低了開發(fā)難度，縮短了研發(fā)周期。同時(shí)，F(xiàn)PGA系統(tǒng)能夠?qū)崿F(xiàn)硬件的流水線和并行化，可有效提升系統(tǒng)的運(yùn)行速度；隨著數(shù)字集成技術(shù)的發(fā)展，許多FPGA中已集成了諸如硬件乘法累加器、鎖相環(huán)、RAM、DSP核等硬件資源，更有助于其在實(shí)時(shí)圖像采集及處理方面的應(yīng)用。FPGA已經(jīng)成為了一個(gè)介于軟件和硬件架構(gòu)之間的新的開發(fā)平臺(tái)。

本設(shè)計(jì)的主要工作是用FPGA設(shè)計(jì)了專用的集成電路，用于實(shí)現(xiàn)能滿足航天應(yīng)用要求的圖像實(shí)時(shí)采集及圖像去噪聲處理。

1　圖像采集中的頻域?yàn)V波[3]

圖像增強(qiáng)的方法分為空域法和頻域法：空域法主要是對圖像中的各像素點(diǎn)進(jìn)行操作；頻域法是將圖像進(jìn)行變換（指經(jīng)過傅里葉變換）之后，在變換域中對圖像的變換系數(shù)進(jìn)行處理（濾波）后再進(jìn)行逆變換，獲得濾波后的圖像。采用頻域?yàn)V波來研究圖像采集較為合適。

傅里葉變換的實(shí)質(zhì)就是把圖像從空域變換到頻域。從頻率的角度分析，一幅圖像的細(xì)節(jié)、紋理信息對應(yīng)的是高頻部分；圖像的輪廓信息一般為低頻信號(hào)。如果對一幅精細(xì)的圖像使用低通濾波器，濾波后會(huì)發(fā)現(xiàn)保留下來的圖像只有輪廓。使用頻域?yàn)V波法對圖像進(jìn)行降噪處理，需要合理分析圖像中噪聲信號(hào)的頻譜，如果干擾圖像的噪聲恰好位于某個(gè)特定的頻率范圍內(nèi)，則可根據(jù)噪聲的頻譜范圍去構(gòu)建相應(yīng)的低頻濾波器、高頻濾波器或帶阻濾波器等，從而恢復(fù)出原來的圖像[4]。顯然，當(dāng)噪聲信號(hào)的頻譜和圖像信號(hào)的頻譜有重疊時(shí)，濾除噪聲的同時(shí)也會(huì)丟失相應(yīng)的圖像信息。

2　圖像數(shù)據(jù)中的系統(tǒng)存儲(chǔ)模塊

由于采集到的圖像數(shù)據(jù)的一幀為752×480像素，每個(gè)像素點(diǎn)對應(yīng)的數(shù)據(jù)是10bit，需要440.6kByte的存儲(chǔ)單元來存儲(chǔ)。這么多的存儲(chǔ)單元如果都用FPGA內(nèi)部的RAM來實(shí)現(xiàn)，將嚴(yán)重制約FPGA配置為其他功能電路，因此有必要在FPGA外圍寬展存儲(chǔ)芯片。另外，由于圖像傳感器輸出的數(shù)據(jù)格式問題，還需要設(shè)計(jì)一個(gè)圖像變換模塊，在結(jié)合行、場同步信號(hào)的情況下，對得到的數(shù)字圖像數(shù)據(jù)進(jìn)行變換，進(jìn)而得到標(biāo)準(zhǔn)的RGB格式圖像數(shù)據(jù)，以便于后續(xù)的VGA顯示。同時(shí)可以解決傳感器MT9V032的像素采集速度和VGA的顯示速度不匹配的問題。

系統(tǒng)采用DDR SDRAM作為圖像數(shù)據(jù)的存儲(chǔ)和處理器件。DDR SDRAM及其電路具有接線簡單、穩(wěn)定可靠等特點(diǎn)[5]，多為Bank結(jié)構(gòu)。采用Bank結(jié)構(gòu)的原因是，當(dāng)其中一個(gè)Bank在進(jìn)行預(yù)充電的同時(shí)，另一個(gè)Bank可以馬上實(shí)現(xiàn)讀取，也就是說，進(jìn)行一次讀寫操作后，無須等待，又可以接著對下一個(gè)Bank直接進(jìn)行讀寫操作，從而使存儲(chǔ)器的訪問速度大大提高。

3　圖像處理中MT9V032初始化模塊的設(shè)計(jì)

MT9V032的初始化主要是通過I2C總線對其內(nèi)部寄存器的設(shè)置來實(shí)現(xiàn)的，而實(shí)現(xiàn)數(shù)據(jù)輸出控制的是主控芯片F(xiàn)PGA，換句話說主要是建立一個(gè)I2C接口。

3.1I2C總線簡介

I2C總線由數(shù)據(jù)線SDA和時(shí)鐘SCL構(gòu)成，最高傳送速率100kbit/s。在數(shù)據(jù)傳輸過程中通常有START（開始）、STOP（結(jié)束）、ACK三種類型信號(hào)。當(dāng)SCL為高電平時(shí)，SDA由高電平向低電平跳變，為START信號(hào)，表示數(shù)據(jù)傳輸?shù)拈_始；而SDA由低向高的跳變，表示數(shù)據(jù)傳輸結(jié)束。當(dāng)發(fā)送完一幀數(shù)據(jù)后，需要接收來自數(shù)據(jù)接收方發(fā)回的應(yīng)答信號(hào)ACK[6]。

實(shí)際工作時(shí)，由FPGA控制產(chǎn)生串行時(shí)鐘，從而控制數(shù)據(jù)的傳輸方向，并產(chǎn)生起止條件，控制數(shù)據(jù)的發(fā)送和停止。只有SCL為低電平時(shí)，SDA線上的數(shù)據(jù)狀態(tài)才能進(jìn)行修改；SCL為高電平時(shí)，SDA狀態(tài)可以用來表示開始或結(jié)束。I2C總線的數(shù)據(jù)傳輸時(shí)序如圖1所示。

圖1　I2C總線的數(shù)據(jù)傳輸時(shí)序Fig. 1　The data transmission sequence of I2C bus

3.2I2C接口的設(shè)計(jì)

由于MT9V032內(nèi)部寄存器的值可以通過芯片上提供的 I2C串行控制總線來讀寫，所以，通過對FPGA的I2C接口的設(shè)計(jì)，可以實(shí)現(xiàn)目標(biāo)圖像傳感器的寄存器初始配置[7]。

I2C接口模塊分為I2C控制模塊和ROM模塊。其中I2C控制模塊實(shí)現(xiàn)數(shù)據(jù)及命令的轉(zhuǎn)換，同時(shí)負(fù)責(zé)I2C讀寫時(shí)序的產(chǎn)生；ROM模塊負(fù)責(zé)存儲(chǔ)事先準(zhǔn)備好的MT9V032配置數(shù)據(jù)——當(dāng)I2C總線開始對MT9V032進(jìn)行配置時(shí)，可以直接從ROM中讀取預(yù)配的內(nèi)容。

I2C協(xié)議中規(guī)定，在傳輸總線數(shù)據(jù)時(shí)遵循7位的傳輸格式。在對MT9V032進(jìn)行訪問時(shí)，首先由I2C接口發(fā)出地址信息，MT9V032的7位地址是1011100B，在上述數(shù)據(jù)的最后面應(yīng)加上表示“讀”或“寫”的數(shù)據(jù)位0（寫）或1（讀），從而構(gòu)成8位的地址數(shù)據(jù)0XB8（寫）和0XB9（讀）。

在進(jìn)行“寫”操作時(shí)，首先由FPGA發(fā)送一個(gè)開始信號(hào)，再發(fā)送8位的設(shè)備地址，并等待從機(jī)的應(yīng)答信號(hào)；然后FPGA發(fā)出要訪問的目標(biāo)寄存器的地址，從機(jī)同樣回復(fù)一個(gè)應(yīng)答信號(hào)；之后主機(jī)FPGA發(fā)出待寫入的數(shù)據(jù)，并接收來自從機(jī)的應(yīng)答信號(hào)；最后以停止位表示數(shù)據(jù)傳輸結(jié)束。圖2是向寄存器0X09寫入0X82的時(shí)序圖。

圖2　I2C“寫”時(shí)序圖Fig. 2　I2C “write” sequence diagram

在進(jìn)行“讀”操作時(shí)，也是由FPGA先發(fā)送一個(gè)開始信號(hào)，再發(fā)送設(shè)備地址，并等待應(yīng)答；然后發(fā)出要訪問的目標(biāo)寄存器地址，并等待應(yīng)答；之后自從機(jī)讀取8位數(shù)據(jù)，一個(gè)字節(jié)應(yīng)答一次；最后以停止位提示數(shù)據(jù)傳輸結(jié)束?？梢姟白x”操作比“寫”操作在時(shí)序上要稍復(fù)雜些[8]。

4　系統(tǒng)FPGA功能實(shí)現(xiàn)及仿真

FPGA系統(tǒng)設(shè)計(jì)一般有原理圖輸入方式、波形輸入方式和硬件描述語言輸入方式3種。原理圖輸入方式大多用于對系統(tǒng)各部分電路熟悉的情況下或?qū)ο到y(tǒng)的時(shí)序要求較嚴(yán)格的場合，不適合復(fù)雜系統(tǒng)的設(shè)計(jì)。波形輸入方式通常用于建立和編輯波形設(shè)計(jì)文件或輸入仿真向量，在使用上有一定的局限性。硬件描述語言的輸入方式通常是指行為描述語言VHDL或Verilog等，其語言的公開性和通用性使其更為適合于大規(guī)模系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)。結(jié)合專門的EDA工具，更可以實(shí)現(xiàn)對系統(tǒng)各模塊的仿真及測試。FPGA系統(tǒng)設(shè)計(jì)的流程一般包括10個(gè)步驟，如圖3所示。

圖3　FPGA系統(tǒng)設(shè)計(jì)流程Fig. 3　FPGA system design process

概括起來包含以下5個(gè)部分：

4.1方案設(shè)計(jì)、系統(tǒng)規(guī)劃

方案設(shè)計(jì)、系統(tǒng)規(guī)劃是系統(tǒng)設(shè)計(jì)的第一步，尤其是在采用自頂向下的設(shè)計(jì)方法時(shí)，用于進(jìn)行系統(tǒng)功能的劃分和結(jié)構(gòu)設(shè)計(jì)。

4.2設(shè)計(jì)輸入

設(shè)計(jì)輸入包括VHDL、Verilog等硬件描述語言和原理圖的輸入，用于對系統(tǒng)進(jìn)行描述。本系統(tǒng)采用Verilog語言進(jìn)行設(shè)計(jì)輸入。

4.3功能仿真及綜合[9]

在編譯器驗(yàn)證了設(shè)計(jì)輸入的正確性后，通過邏輯綜合及優(yōu)化工具，生成門級電路網(wǎng)表，進(jìn)行模塊化的功能驗(yàn)證，為硬件電路的轉(zhuǎn)化做準(zhǔn)備。

4.4時(shí)序仿真

結(jié)合具體型號(hào)的FPGA芯片，進(jìn)行具體的仿真，檢查邏輯綜合結(jié)果是否符合設(shè)計(jì)要求。

4.5適配及文件下載

通過適配，將編程數(shù)據(jù)下載到FPGA芯片中，使系統(tǒng)轉(zhuǎn)為具體的物理實(shí)現(xiàn)。

上述的每一個(gè)步驟都是息息相關(guān)的，任何一步出錯(cuò)，都需要進(jìn)行認(rèn)真的檢查或是查看前一步出現(xiàn)的不足。本系統(tǒng)采用了ALAERA公司開發(fā)的Quartus II作為仿真的軟件測試平臺(tái)。

5　模擬濾波算法的FPGA實(shí)現(xiàn)

航天應(yīng)用中的圖像生成和傳輸過程中常受到各種各樣噪聲的影響或干擾，使采集到的圖像細(xì)節(jié)遭到破壞，圖像質(zhì)量下降。通過平滑、濾波操作可以對圖像進(jìn)行降噪，改善圖像質(zhì)量。圖像在各尺度下經(jīng)過小波變換后，信號(hào)和噪聲所對應(yīng)的小波系數(shù)的傳播性會(huì)存在明顯差異。信號(hào)的小波系數(shù)在各尺度間具有較強(qiáng)的關(guān)聯(lián)性，在同一尺度上也具有較好的局部性質(zhì)[10]；而噪聲的小波系數(shù)在各尺度間的相關(guān)性不明顯，大尺度情況下相關(guān)性幾乎消失，其能量只集中在小尺度上。因此，可以通過這種相關(guān)性差異來區(qū)分噪聲和有效信號(hào)，以濾除噪聲。如果將相鄰尺度的小波系數(shù)直接相加，將使得信號(hào)的相關(guān)性更加明顯突出，而噪聲會(huì)變得更小?；谶@個(gè)特點(diǎn)，提出相關(guān)性的小波去噪方法，通過相鄰尺度小波系數(shù)進(jìn)行相關(guān)計(jì)算，在抑制噪聲的同時(shí)使信號(hào)的主要邊緣更加銳化，從而更好地刻畫模擬出有效信號(hào)。

目前大部分基于FPGA實(shí)現(xiàn)的圖像降噪算法都只是應(yīng)用空間域，而在變換域上實(shí)現(xiàn)圖像去噪的較少。本研究基于小波變換的圖像去噪算法，并進(jìn)行一定的改進(jìn)，采用FPGA來完成和實(shí)現(xiàn)圖像采集處理，整個(gè)控制系統(tǒng)由系統(tǒng)接口模塊、控制器模塊2部分組成。而CMD（彩色顯示器）可以是由前級的圖像傳感器控制模塊根據(jù)3個(gè)同步時(shí)鐘確定產(chǎn)生，或由后級的圖像處理控制模塊產(chǎn)生。

5.1系統(tǒng)接口模塊

系統(tǒng)接口模塊主要負(fù)責(zé)系統(tǒng)的初始化和預(yù)處理功能。系統(tǒng)上電后，先進(jìn)行SDRAM的初始化配置工作，完成對所有Bank的預(yù)充，然后完成相應(yīng)的指令模式配置；之后才可接收并分析系統(tǒng)的讀寫信號(hào)和地址信息，并產(chǎn)生對應(yīng)的CMD命令和ADDR地址信息給命令解析模塊。

5.2控制器模塊

控制器模塊由CMD命令解析模塊和命令響應(yīng)模塊組成。整個(gè)控制器主要實(shí)現(xiàn)對前級采樣控制模塊輸出命令和主機(jī)控制信號(hào)的識(shí)別和譯碼，同時(shí)負(fù)責(zé)對SDRAM內(nèi)部控制寄存器的加載，即，將用戶命令轉(zhuǎn)化為控制DDR SDRAM設(shè)備的總線命令。

6　結(jié)束語

在航空航天技術(shù)應(yīng)用中，隨著FPGA技術(shù)的發(fā)展，內(nèi)嵌ARM或DSP內(nèi)核的FPGA芯片已經(jīng)出現(xiàn)。本文設(shè)計(jì)了基于FPGA的圖像采集處理系統(tǒng)，使用CMOS圖像傳感器MT9V032，通過內(nèi)部的A/D轉(zhuǎn)換器，直接輸出數(shù)字化的圖像。MT9V032傳感器的初始化及控制模塊電路采用FPGA來實(shí)現(xiàn)，并采用DDR SDRAM作為圖像數(shù)據(jù)的緩存器，大大提高了數(shù)據(jù)的存儲(chǔ)速度，達(dá)到了實(shí)時(shí)采集的效果。

參考文獻(xiàn)（References）

[1]陳世明. 融合位置集結(jié)與速度同步的群集行為研究[C]// 2008中國控制與決策學(xué)術(shù)年會(huì)論文集. 煙臺(tái), 2008: 43-45

[2] Tian Yuping, Liu Chenglin. Robust consensus of multi-agent systems with diverse input delays and asymmetric interconnection perturbations[J]. Automatic, 2009, 45(5): 1347-1353

[3]朱猛. PLD的設(shè)計(jì)過程和方法淺析[J]. 光盤技術(shù), 2006(5): 42-44 Zhu Meng. Exploratory analysis of design process and method of PLD[J]. CD Technology, 2006(5): 42-44

[4]楊楓. 加速傳感器在手機(jī)中的應(yīng)用及其攝像頭替代技術(shù)研究[D]. 上海: 上海交通大學(xué), 2013: 12-15

[5]褚振勇, 翁木云. FPGA設(shè)計(jì)及應(yīng)用[M]. 西安: 西安電子科技大學(xué)出版社, 2003: 13-17

[6]楊自恒, 王強(qiáng), 李博, 等. 基于混沌加密的小波域數(shù)字圖像水印算法[J]. 電子測量技術(shù), 2009, 32(2): 131-134 Yang Ziheng, Wang Qiang, Li Bo, et al. Digital watermarking algorithm based on chaos encryption and wavelet domain[J]. Electronic Measurement Technology, 2009, 32(2): 131-134

[7]單家凌. 一種基于目標(biāo)域的車牌圖像混合壓縮方法[J].微型機(jī)與應(yīng)用, 2010, 29(24): 49-52 Shan Jialing. A kind of the license plate image mix compression method based on target domain[J]. Microcomputer & Its Applications, 2010, 29(24): 49-52

[8]金革. 可編程邏輯陣列FPGA與EPLD[M]. 合肥: 中國科學(xué)技術(shù)大學(xué)出版社, 2002: 117-119

[9]吳繼華, 王誠. Altera FPGACPLD 設(shè)計(jì)（基礎(chǔ)篇）[M].北京: 人民郵電出版社, 2014: 5-8

[10]林東. 基于FIFO 幀存儲(chǔ)的任意視頻圖像信號(hào)發(fā)生器[J].福州大學(xué)學(xué)報(bào): 自然科學(xué)版, 2003, 31(1): 23-27 Lin Dong. Arbitrary video signal generator based on FIFO frame memories[J]. Journal of Fuzhou University: Natural Science Edition, 2003, 31(1): 23-27

（編輯：閆德葵）

Design of real-time image acquisition and denoising based on FPGA

Bai Shuhua

(Nanchang Institute of Technology, Nanchang 330044, China)

Abstract:In the image acquisition process in space applications, the image signal may undergo all kinds of noise signal interferences to greatly impair the visual effect of the image. For a data processing system with a high requirement of real time operation, it is time–consuming to realize pre-denoising with software. In this paper, a specified novel modelized IC based on FPGA is designed to realize the image acquisition and denoising. Experimenal and simulation tests show that the desirable results can be achieved.

Key words:FPGA; image acquisition system; image denoising

作者簡介：白書華（1982—），男，碩士學(xué)位，主要研究方向?yàn)殡娮优c信息科學(xué)和信號(hào)與信息處理。E-mail: 270239343@qq.com。

基金項(xiàng)目：江西省2014年度省教育廳科學(xué)技術(shù)研究基金項(xiàng)目（編號(hào)：GJJ14768）

收稿日期：2015-06-24；修回日期：2016-03-16

DOI:10.3969/j.issn.1673-1379.2016.02.009

中圖分類號(hào)：TN919.23

文獻(xiàn)標(biāo)志碼：B

文章編號(hào)：1673-1379(2016)02-0163-04