李曉磊，張明明，王磊，陳玉民

（1.河北工業(yè)大學(xué)電子信息工程學(xué)院，天津 300401；2.廊坊職業(yè)技術(shù)學(xué)院電氣工程系，河北廊坊 065000；3.河北工業(yè)大學(xué)電氣工程學(xué)院，天津 300130）

基于雙芯片DM642的Bayer格式圖像修復(fù)系統(tǒng)

李曉磊1,2，張明明2，王磊2，陳玉民3

（1.河北工業(yè)大學(xué)電子信息工程學(xué)院，天津 300401；2.廊坊職業(yè)技術(shù)學(xué)院電氣工程系，河北廊坊 065000；3.河北工業(yè)大學(xué)電氣工程學(xué)院，天津 300130）

提出了一種基于數(shù)字信號(hào)處理器（DM642）和可編程邏輯門陣列（FPGA）架構(gòu)的Bayer格式圖像修復(fù)系統(tǒng)，可應(yīng)用于高速圖像采集和實(shí)時(shí)處理．該系統(tǒng)采用雙處理器流水線體系結(jié)構(gòu)，DM642計(jì)算出改進(jìn)的四點(diǎn)像素Bayer格式圖像校正參數(shù)，F(xiàn)PGA根據(jù)校正后的參數(shù)對(duì)失去的像素進(jìn)行恢復(fù)，再按一定的數(shù)據(jù)格式打包傳給DM642進(jìn)行雙線性插值運(yùn)算．實(shí)驗(yàn)結(jié)果表明：該系統(tǒng)修復(fù)一幅大小為752×480像素的Bayer圖像大約需要15 ms，完全可以滿足實(shí)時(shí)性的要求，解決了采用傳統(tǒng)的Bayer圖像恢復(fù)算法所產(chǎn)生的邊界模糊以及局部圖像有團(tuán)塊等問題．

DM 642；FPGA；CMOS圖像傳感器；雙線性插值

在煤礦中，為保證安全生產(chǎn)，在各主要部門和生產(chǎn)環(huán)節(jié)都架設(shè)了視頻監(jiān)控系統(tǒng)．以我國(guó)最常見的深井綜采為例，在地面上，需要將地面變電站、井口人工進(jìn)口和物料進(jìn)口等主要部門的生產(chǎn)環(huán)節(jié)進(jìn)行實(shí)時(shí)監(jiān)控．在綜采井底，需要對(duì)罐籠人員和物料的出口、井下中央變電站、水泵房、采掘面供配電硐室等重要生產(chǎn)環(huán)節(jié)進(jìn)行視頻監(jiān)控．而后將地面和地底所有的監(jiān)控信號(hào)實(shí)時(shí)傳至地面中央集控室，進(jìn)行統(tǒng)一管理．在各主要環(huán)節(jié)的視頻信號(hào)的實(shí)時(shí)監(jiān)控是煤礦安全生產(chǎn)的一個(gè)主要的保障措施．

高精度圖像實(shí)時(shí)處理技術(shù)在機(jī)器視覺、通信、醫(yī)學(xué)、雷達(dá)成像、紅外探測(cè)、航天航空等領(lǐng)域得到越來越多的應(yīng)用．由于圖像傳輸數(shù)據(jù)量大，數(shù)據(jù)處理實(shí)時(shí)性要求高，這就需要運(yùn)算和處理速度快的中心處理系統(tǒng)．這里提出了一種針對(duì)工業(yè)質(zhì)量檢測(cè)中CMOS傳感器Bayer格式圖像進(jìn)行像素修復(fù)和轉(zhuǎn)換為RGB格式的圖像進(jìn)行實(shí)時(shí)處理的解決方案：數(shù)據(jù)處理模塊主要以數(shù)字信號(hào)處理器（DM642）和可編程邏輯控制器（FPGA）為主要處理芯片，極大地提高了Bayer格式數(shù)字圖像變換的精度，提高了系統(tǒng)設(shè)計(jì)的靈活性和運(yùn)算速度，降低了系統(tǒng)設(shè)計(jì)和制造成本．

1 Bayer圖像格式

市場(chǎng)上所售的CMOS圖像傳感器大多是由Bayer濾光片組成，該濾光片把外界照射的光信號(hào)分解成RGB 3種基色，一個(gè)像素點(diǎn)代表一種顏色的亮度．本系統(tǒng)中所使用的CMOS圖像傳感器，最大能輸出752×480 ×8 bit的Bayer圖像數(shù)據(jù)（由于輸出圖像本身就是數(shù)字圖像，故無需對(duì)圖像進(jìn)行模數(shù)轉(zhuǎn)換），Bayer格式圖像數(shù)據(jù)如圖1所示，其代表一幅圖像的數(shù)據(jù)量，由縱橫排列的小方格表示，其中每個(gè)小方格都代表一個(gè)像素，并且是3種顏色分量中的一種，奇數(shù)行由G、R偶數(shù)行由B、G交替進(jìn)行，通過觀察，可以看到含有G分量的綠色像素越多，大約占據(jù)總量的一半，而R分量和B分量一共占據(jù)了剩下的一半，即紅色和藍(lán)色各占了1/4．由于人眼對(duì)綠色最敏感，所以綠色像素占的比例稍大．為了得到更加逼真的彩色圖像，采用插值方法是一個(gè)不錯(cuò)的選擇，通過運(yùn)算可以恢復(fù)另外兩個(gè)丟失的顏色分量，稱這種插值方法為彩色插值(Color Interpolation)．在插值方法的選擇中，G分量所使用的插值方法作用重大．效率較好的G分量插值法不僅能提高G像素分量的恢復(fù)質(zhì)量，而且也使R和B像素分量的質(zhì)量恢復(fù)的效率大大提高．DM642接口數(shù)據(jù)總線采用8位，F(xiàn)PGA先將輸出的圖像數(shù)據(jù)按每4個(gè)像素提取出一個(gè)通道數(shù)據(jù)包，分別取出R、G、G、B 4個(gè)通道數(shù)據(jù)，然后打包后傳送給DM642進(jìn)行雙線性插值算法，最后得到的是一片被恢復(fù)轉(zhuǎn)換為24位的RGB彩色圖像．

圖1 Bayer彩色濾光陣列Fig.1Bayer color filtering array

2 Bayer圖像處理算法

2.1 Bayer圖像數(shù)據(jù)的傳統(tǒng)處理算法

物體被光照射會(huì)吸收一定的溫度，從而發(fā)出不同的光線，此光線既包含了亮度成份又包含了顏色成分．當(dāng)色溫高時(shí)，藍(lán)色成分較多，圖像偏藍(lán)；相反，色溫低時(shí)，紅色成分較多，圖像偏紅．因此，物體反映出的色彩會(huì)隨著照射物體的光線變化而發(fā)生變化，從而影響到后期算法處理的結(jié)果．此時(shí)，需要對(duì)數(shù)據(jù)圖像進(jìn)行像素修正，相關(guān)插值算法是經(jīng)常采用的算法，可以分為以下兩類：

1）單通道獨(dú)立插值算法：紅、綠、藍(lán)通道分量值（其中紅、綠、藍(lán)的分量值未知）直接由相應(yīng)的已知像素值進(jìn)行估算而不考慮它們之間的相關(guān)性，如雙線性法．由于忽略各通道間的相關(guān)性以及邊緣區(qū)像素的方向性，容易造成一定程度的邊緣模糊．

2）信號(hào)相關(guān)插值算法：考慮多通道的相關(guān)性及圖像細(xì)節(jié)而進(jìn)行插值運(yùn)算，但算法比較繁瑣，需要消耗很多的硬件資源，而且此種算法大都是串行執(zhí)行，實(shí)時(shí)處理效果不佳．

針對(duì)以上兩種算法的不足，采用4點(diǎn)像素修復(fù)法．即，將一幀大小為752×480的圖像數(shù)據(jù)按照上下左右4點(diǎn)數(shù)據(jù)的關(guān)系按式(1)進(jìn)行修正，然后提取出各1/4幀數(shù)據(jù)大小的r、g1、g2、b四個(gè)通道數(shù)據(jù)進(jìn)行處理．

2.2 Bayer格式圖像的改進(jìn)處理算法

Bayer圖像數(shù)據(jù)格式的組成中，其圖像的一半像素分給G通道的亮度信號(hào)，另一半像素分給R通道和B通道的色度信號(hào)．所謂格式轉(zhuǎn)換就是將經(jīng)過彩色濾光陣列（CFA）得到的Bayer格式圖像進(jìn)行像素復(fù)原，并轉(zhuǎn)換為24位RGB格式的彩色圖像的過程，即是上面提到的彩色插值的過程．如圖2所示，修正后的Bayer格式數(shù)據(jù)采取一種改進(jìn)的線性插值算法，分兩步進(jìn)行．

1）邊緣像素點(diǎn)即圖像周圍兩圈的像素的插值

以上是對(duì)左上角第一個(gè)2×2區(qū)域內(nèi)的像素處理方法，其它周圍兩圈像素的求取依此法類推．

2）剩余像素點(diǎn)的插值

即在2x2區(qū)域內(nèi)對(duì)相鄰對(duì)應(yīng)元素求平均值．

類似于紅色分量，也可以得出藍(lán)色分量的計(jì)算式．

圖2 修正后的Bayer陣列Fig.2Modified Bayer array

圖3 系統(tǒng)總體結(jié)構(gòu)圖Fig.3Structure of system

3 系統(tǒng)的硬件實(shí)現(xiàn)

基于DM642的Bayer格式圖像恢復(fù)系統(tǒng)由CMOS圖像傳感器、DM642、FPGA、FLASH存儲(chǔ)器、SDRAM可擴(kuò)展內(nèi)存和EMAC組成，系統(tǒng)總體結(jié)構(gòu)如圖3所示．

該系統(tǒng)是以DM642和FPGA為結(jié)構(gòu)組成的Bayer圖像處理系統(tǒng)，工作流程如圖4所示．電源開啟后，第1步：通過上位機(jī)PC網(wǎng)絡(luò)配置其傳感器參數(shù)，采集一幀圖像原始數(shù)據(jù)，F(xiàn)PGA將數(shù)據(jù)傳輸通道切換到到DM642的VP0口，將數(shù)據(jù)傳遞給DM642．DM642對(duì)采集出來的第一張圖像進(jìn)行核心算法計(jì)算，得出算法參數(shù)（公式(1)中的參數(shù)矩陣數(shù)據(jù)）；第2步：通過串行外設(shè)接口SPI總線傳回FPGA參數(shù)配置寫入Flash存儲(chǔ)器中．系統(tǒng)重新上電后，F(xiàn)PGA按最新算法參數(shù)對(duì)圖像數(shù)據(jù)進(jìn)行r、g1、g2、b通道提取數(shù)據(jù)．這樣，利用1/4原始數(shù)據(jù)幀，就可以重新組成一幀大小為752x480規(guī)格的數(shù)據(jù)包發(fā)送到DM642的VP1口．DM642通過增強(qiáng)型直接內(nèi)存存取(EDMA)完成RGGB 4通道數(shù)據(jù)的轉(zhuǎn)移；第3步：將各個(gè)數(shù)據(jù)通道分別傳到算法線程接口，運(yùn)行雙線性插值算法，將其轉(zhuǎn)換成一幀24位的RGB圖像，通過以太網(wǎng)接口按照TCP/IP協(xié)議將其傳輸?shù)缴衔粰C(jī)進(jìn)行PC圖像實(shí)時(shí)顯示和后續(xù)算法的處理．

圖4 系統(tǒng)工作流程圖Fig.4Flowchart of system

4 實(shí)驗(yàn)結(jié)果

4.1 傳統(tǒng)算法和改進(jìn)算法處理圖像效果的比較

實(shí)驗(yàn)使用MT9V024傳感器采集Raw格式圖像，大小為752×480像素，如圖5a）所示．傳統(tǒng)的單通道獨(dú)立插值算法處理圖像如圖5b）所示．采用改進(jìn)的雙線性插值算法處理圖像如圖5c）所示．改進(jìn)算法處理后的圖像不但增加了亮度，而且對(duì)比度也明顯提高，邊界也更加突出，避免了使用傳統(tǒng)算法處理所出現(xiàn)的紅格現(xiàn)象．

4.2 算法實(shí)時(shí)性分析

在DM642上運(yùn)行圖像處理算法時(shí)，為確保數(shù)據(jù)的準(zhǔn)確性，必須使FPGA數(shù)據(jù)傳入的頻率是DM642的計(jì)算頻率的1/2倍（FPGA會(huì)同時(shí)采集相鄰上下兩行的數(shù)據(jù)），以確保圖像數(shù)據(jù)恢復(fù)的準(zhǔn)確性．以實(shí)驗(yàn)所采用的CMOSMT9V024為例，本文選取3幅大小均為752×480的圖像，分別用傳統(tǒng)的雙線性插值算法和改進(jìn)的雙線性插值算法進(jìn)行恢復(fù)，試驗(yàn)結(jié)果如表1所示．

圖5 兩種算法處理圖像效果的比較Fig.5Comparison between two methods of image processing

表1 時(shí)間比較Tab.1Running time by two methods

顯然，改進(jìn)算法與傳統(tǒng)算法相比較，處理速度得到了提高（其處理速度達(dá)到60 fps以上）．實(shí)驗(yàn)結(jié)果表明：改進(jìn)算法在硬件上的處理速度足以滿足實(shí)時(shí)性的要求．

5 結(jié)論

本文提出了基于DM642的Bayer圖像恢復(fù)系統(tǒng)，F(xiàn)PGA可以高速、實(shí)時(shí)地對(duì)MT9V024 CMOS圖像傳感器采集的Bayer格式原始圖像進(jìn)行預(yù)處理，抽取各像素通道值進(jìn)行打包發(fā)送給DM642，減少了DM642運(yùn)行改進(jìn)的雙線性插值算法的運(yùn)算量，整個(gè)數(shù)據(jù)傳輸處理的準(zhǔn)確度和實(shí)時(shí)性得到了改進(jìn)，系統(tǒng)開發(fā)的周期也變短，該系統(tǒng)已經(jīng)成功運(yùn)用到煤礦生產(chǎn)綜采視頻監(jiān)控系統(tǒng)中．此外，該系統(tǒng)較容易進(jìn)行更新和擴(kuò)展，性價(jià)比很高，具有廣泛的應(yīng)用前景．

[1]TMS320DM642 Video/Imaging Fixed-Point Digital Signal Processor（Literature Number：SPRS200J）[R]．Texas Instruments，2005．

[2]黃文增，孫錦杏，蔡政翰，等．高品質(zhì)和快速彩色影像內(nèi)插算法之設(shè)計(jì)[J]．臺(tái)北科技大學(xué)學(xué)報(bào)，2007，40（2）：13-25．

[3]Vega M，Molina R，Katsaggelos A K．Bayesian Reconstruction of Color Images Acquired with a Single CCD[M]．LNCS：Springer Berlin/ Heidlberg，2005，343-350．

[4]ZhouY，WeiP A．Real-timeImageCorrelatingSpeedometerBasedonFPGAParallelProcessing[J]．OpticalTechnique，2006，32（1）：108-110．

[5]張雄偉，陳亮，徐光輝．DSP芯片的原理與開發(fā)應(yīng)用[M]．北京：電子工業(yè)出版社，2004．

[6]徐欣，于紅旗，盧啟中，等．基于FPGA的嵌入式系統(tǒng)設(shè)計(jì)[M]．北京：電子工業(yè)出版社，2004．

[7]Dierichx B，Meynants G．Missing Pixel Correction Algorithm for Image Sensors．SPIE，1998，34（10）：200-300．

[8]楊莉珺，劉鐵根．基于CMOS圖像傳感器的嵌入式圖像采集與格式轉(zhuǎn)化[J]．電子產(chǎn)品世界，2008，6：96-98．

[9]陳春寧，王延杰．基于TMS320DM642 BAYER格式圖像色彩復(fù)原[D]．長(zhǎng)春：中國(guó)科學(xué)院研究生院，2007．

[10]張變蓮．一種基于邊緣信息的貝爾模板彩色插值方法[J]．科學(xué)技術(shù)與工程，2009，9（11）：1671-1819．

[11]MT9V024 1/3-Wide-VGA Digital Image Sensor Table of Contents[R]．Mickon．2009．

[12]卞紅雨，紀(jì)祥春．TMS320C6000系列DSP的CPU與外設(shè)[M]．北京：清華大學(xué)出版社，2007．

[責(zé)任編輯 代俊秋]

A Bayer image restoration system based on double chips DM642

LI Xiaolei1,2，ZHANG Mingming2，WANG Lei2，CHEN Yumin3

(1.SchoolofElectronicEngineering,HebeiUniversityofTechnology,Tianjin300401,China；2.DepartmentofElectricalEngineering, Langfang Polytechnic Institute,Hebei 065000,China;3.School of Electrical Engineering,Hebei University of Technology,Tianjin 300130,China)

This paper presents a Bayer image restoration system with the architecture of dual-processor pipelines:digital signalprocessor(DSP)and fieldprogrammable gate array(FPGA),which canbe appliedto high-speedimageacquisition and data processing.Firstly,the DM642 executed core processing algorithm and returned it to the FPGA for data preprocessing to recover the lost pixels.Then,an image in a certain format was packaged and transferred to the DM642 for the bilinear interpolation operation.The results showthat the systemcan process a Bayer image of752×480pixels within 15 ms,and can solve traditional problems such as edge blurring and lumps in images.

DM642;FPGA;CMOS Image Sensor;Bi-linear Interpolation

TP338.6

A

1007-2373(2015)04-0018-04

10.14081/j.cnki.hgdxb.2015.04.004

2015-03-10

河北省高等學(xué)?？茖W(xué)技術(shù)研究項(xiàng)目（ZD2014026）

李曉磊（1983-），男（漢族），助教．

數(shù)字出版日期：2015-08-06

數(shù)字出版網(wǎng)址：http://www.cnki.net/kcms/detail/13.1208.T.20150906.1535.006.html