劉亞亞

(商洛學(xué)院 數(shù)學(xué)與計(jì)算機(jī)應(yīng)用學(xué)院， 陜西 商洛　726000)

?

基于FPGA硬件的彩色圖像恢復(fù)系統(tǒng)設(shè)計(jì)

劉亞亞

(商洛學(xué)院 數(shù)學(xué)與計(jì)算機(jī)應(yīng)用學(xué)院， 陜西 商洛726000)

摘要：為實(shí)現(xiàn)數(shù)字圖像的實(shí)時處理，在FPGA上應(yīng)用硬件描述語言實(shí)現(xiàn)功能模塊的方法，利用FPGA技術(shù)，在數(shù)碼攝影系統(tǒng)前端對Bayer格式圖像進(jìn)行實(shí)時彩色復(fù)原，并對系統(tǒng)進(jìn)行調(diào)試.選用四合一簡單算法處理Bayer圖像，使其恢復(fù)成全彩色圖像，并用MATLAB軟件先驗(yàn)證算法的正確性與可靠性，最后在ISE上進(jìn)行工程仿真.仿真實(shí)驗(yàn)表明，系統(tǒng)工作實(shí)時、正確、可靠.

關(guān)鍵詞：Bayer格式圖像；插值算法；FPGA

0引言

隨著大規(guī)模/超大規(guī)模集成電路以及大規(guī)?？删幊踢壿嬈骷?Field Programmable Gate Array,FPGA)的高速發(fā)展和廣泛應(yīng)用，實(shí)時圖像處理得到了非常迅速的發(fā)展.為了提高圖像處理的速度，滿足系統(tǒng)實(shí)時要求，可以用硬件來實(shí)現(xiàn)對圖像的處理，F(xiàn)PGA芯片便是目標(biāo)硬件的理想選擇之一.同時，F(xiàn)PGA的應(yīng)用也為提高圖像處理速度提供了新的思路和解決方法[1].在實(shí)時圖像處理中，圖像重建必須充分考慮人眼視覺特性和數(shù)碼相機(jī)拍照對外界響應(yīng)的差異，通過一些特定的算法進(jìn)行調(diào)整，使得到的照片能夠真實(shí)重現(xiàn)客觀世界的細(xì)節(jié)，這些調(diào)整包括Gamma校正、白平衡調(diào)整等[2].由于目前集成電路的限制，大部分傳感器在每一像素上只能記錄一種顏色光的強(qiáng)度，所以在圖像重建的過程中必須用到插值算法來恢復(fù)全彩色圖像.基于此，本研究提出采用簡單實(shí)用的四合一算法，實(shí)現(xiàn)了彩色圖像恢復(fù).

1設(shè)計(jì)原理

1.1Bayer格式的圖像簡介

Bayer格式圖像是伊士曼·柯達(dá)公司的科學(xué)家Bryce Bayer發(fā)明的，是相機(jī)內(nèi)部的原始圖像，一般后綴名為.raw，圖像陣列中每行和每列只有2種顏色分量，且在每個像素的位置上只獲得1種顏色分量，整個圖像G分量是R和B的2倍.G分量的采樣率高，原因是人眼的亮度響應(yīng)曲線峰值更接近綠色頻率范圍(波長550 mm附近)，通過G通道可得到亮度信息.一般的Bayer格式圖像內(nèi)部存儲方式為列數(shù)是2的倍數(shù)，行數(shù)是4的倍數(shù).

1.2Bayer格式圖像的彩色圖像恢復(fù)原理

Bayer圖像的每個像素位置上只有1種彩色信息，如果要恢復(fù)成全彩色圖像，就需要借助算法對它進(jìn)行填充，使其成為1幅高清全彩色圖像.彩色圖像恢復(fù)的算法有很多：一類是單個顏色通道獨(dú)立的插值算法，包括鄰域插值法、雙線性插值法和卷積插值法等，但這些算法在高頻區(qū)域的邊界區(qū)域失真明顯；另一類利用多通道相關(guān)性插值算法，包括基于邊界的算法、加權(quán)系數(shù)法、交互式插值法及傅里葉變換等，通常能得到比較滿意的效果，但往往算法過于復(fù)雜[3-6].基于此，本研究采用一種簡單的四合一算法，該算法把每4個像素合并為1個像素，算法原理與像素值的變化如圖1所示， 合并之后綠色分量變

圖1四合一Bayer算法原理

為原來的2個綠色分量之和的二分之一.將Bayer格式圖像中每4個像素合并為1個像素，這樣，這個像素就有了紅綠藍(lán)3色分量，算法對Bayer格式圖像這樣簡單處理后，就獲取了全彩色圖像.

2系統(tǒng)實(shí)現(xiàn)

本系統(tǒng)最關(guān)鍵的部件之一FPGA，其作為系統(tǒng)的大腦中樞起著十分重要的作用，控制著整個系統(tǒng)的工作.在ISE仿真之前先用MATLAB進(jìn)行仿真，檢測系統(tǒng)的可行性.

2.1MATLAB仿真結(jié)果

MATLAB仿真結(jié)果如圖2所示.仿真檢測結(jié)果顯示得到了清楚的恢復(fù)后的圖像，但是，這樣簡單的處理算法也存在比較大的弊端，圖像的分辨率僅變?yōu)樵瓉淼乃姆种?，相?dāng)于丟失了四分之三的圖像信息量.

圖2MATLAB仿真結(jié)果

2.2系統(tǒng)的實(shí)現(xiàn)過程

四合一彩色恢復(fù)算法的實(shí)現(xiàn)過程如圖3所示.當(dāng)輸入數(shù)據(jù)有效時， Bayer格式圖像數(shù)據(jù)依次通過

圖3簡單合并Bayer算法硬件系統(tǒng)實(shí)現(xiàn)原理圖

Line Buffer1(緩沖寄存器)，R1-C1，R1-C0，Line Buffer2，R0-C1，R0-C0，緩存送進(jìn)單元MUX，得到最終的RGB數(shù)據(jù).其中，Line Buffer1和Line Buffer2的長度為1行圖像的長度，R1-C1，R1-C0，R0-C1，R0-C0為4個D觸發(fā)器.通過計(jì)數(shù)器來控制MUX的功能，這個計(jì)數(shù)器是從圖像捕捉模塊的行像素計(jì)數(shù)和列像素計(jì)數(shù)的最低位得來的.當(dāng)列計(jì)數(shù)和行計(jì)數(shù)最低位是0時，寄存器R0-C1、R0-C0、R1-C0、R1-C1中的數(shù)據(jù)依次是分量R，G1，B，G2，則這時4個寄存器數(shù)據(jù)計(jì)算輸出MUX中的RGB數(shù)據(jù)分別為R0-C1，(R0-C0+R1-C1)/2，R1-C0.當(dāng)列計(jì)數(shù)和行計(jì)數(shù)的最低位是別的組合時，數(shù)據(jù)的輸出無效.通過這樣的方法，即使得到每個像素的RGB數(shù)據(jù)，圖像分辨率卻變成原來的1/4，即2048×2048變?yōu)榱?024×1024.

為了檢測算法硬件實(shí)現(xiàn)的可行性，本研究設(shè)計(jì)了幾種顏色進(jìn)行仿真實(shí)驗(yàn).圖4為經(jīng)過顏色插值后的實(shí)際輸出，發(fā)現(xiàn)處理過的圖像(每個像素有G、B、R 3種顏色分量)分辨率變?yōu)樵瓉淼乃姆种?，也就是說行數(shù)變?yōu)樵瓉淼亩种唬袛?shù)也變?yōu)樵瓉淼亩种?通過與經(jīng)過顏色插值后的預(yù)期輸出比較發(fā)現(xiàn)，二者完全一致，說明該模塊設(shè)計(jì)正確，達(dá)到了預(yù)期目的.

圖4經(jīng)過顏色插值后的實(shí)驗(yàn)輸出結(jié)果

3結(jié)語

實(shí)驗(yàn)圖像采用標(biāo)準(zhǔn)的Bayer圖像，對圖像進(jìn)行四合一算法恢復(fù), 結(jié)果顯示從人眼視覺效果看出圖片非常清晰.程序在ISE10.1軟件環(huán)境中進(jìn)行前仿真和后仿真，前仿真也稱功能仿真，采用波形編輯器和HDL等創(chuàng)建波形文件、測試向量，仿真完成后將會生成報(bào)告文件并輸出仿真信號的波形.從輸出的波形中可以觀察到各個節(jié)點(diǎn)信號的變化，若發(fā)現(xiàn)錯誤，則返回修改邏輯設(shè)計(jì)，最后進(jìn)行芯片的編程與調(diào)試，即由位數(shù)據(jù)流生成數(shù)據(jù)文件為準(zhǔn)，并在FPGA芯片中將編程的數(shù)據(jù)下載并存儲，以便后期進(jìn)行硬件調(diào)試、驗(yàn)證.燒錄器將程序燒寫到FPGA中，F(xiàn)PGA加點(diǎn)電工作.本研究的算法設(shè)計(jì)靈活，硬件設(shè)計(jì)簡單，具有較好的通用性.

參考文獻(xiàn)：

[1]朱波,汶德勝,王飛.改進(jìn)的Bayer插值算法及其硬件實(shí)現(xiàn)[J].光電子(激光),2013,24(6):1211-1218.

[2]彭俊,高偉.基于FPGA的彩色恢復(fù)系統(tǒng)的研究[D].西安:西安光學(xué)精密研究所,2007.

[3]Adams J E.DesignofpracticalcolorfilterarrayinterpolationalgorithmsforDigitalcameras[C]//1998InternationalConferenceonImageProcessing.Chicago,IL:IEEE Press,1998:488-492.

[4]Lu W M,Tan Y P.Colorfilterarraydemosaicking:newmethodandperformancemeasures[J].IEEE Trans Image Proc，2003,12(10):1194-1210.

[5]Gunturk B K.Yucelaltunbasak,russellm,mersereau,colorplanerojections[J].IEEE Trans Image Proc，2002,11(9):997-1013.

[6]Zhang L,Li X,Zhang D.ImagedenoisingandzoomingundertheLMMSEframework[J].IEEE Trans Image Proc,2012,6(3):273-283.

Color Image Restoration Design Based on FPGA

LIUYaya

(College of Mathematics and Computer Application, Shangluo University, Shangluo 726000, China)

Abstract:In order to achieve the real-time processing of digital image,hardware description language is applied to realize FPGA functional modules.Then,FPGA technology is utilized.Real-time color image restoration is done for Bayer pattern image at the front end of the digital photography system.And finally,the system is debugged.This paper chooses a four in one simple algorithm to process Bayer image in order to restore the perfect color images.Then,MATLAB software is used to test the validity and reliability of the algorithm.Finally,engineering simulation is done on ISE.The method used is simple,and has strong operability.Experiments show that the system works in a real-time,accurate and reliable way.

Key words:Bayer pattern image;interpolation algorithm;FPGA

文章編號：1004-5422(2016)02-0159-03

收稿日期：2016-03-07.

基金項(xiàng)目:陜西省教育廳科研計(jì)劃(2013JK0597)資助項(xiàng)目.

作者簡介：劉亞亞(1981 — )， 女， 碩士， 講師， 從事計(jì)算機(jī)智能與模式識別技術(shù)研究.

中圖分類號：TP391.41；TN79+1

文獻(xiàn)標(biāo)志碼：A