陳 瑩，朱 明

(1.中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所航空光學(xué)成像與測量中國科學(xué)院重點實驗室，吉林長春130033;2.中國科學(xué)院大學(xué)北京100049)

1 引言

微光夜視系統(tǒng)在軍事和民用方面都有很重要的用途，微光圖像的對比度低，并且灰度級范圍集中，圖像的質(zhì)量嚴(yán)重影響對目標(biāo)的識別，圖像增強(qiáng)技術(shù)在其中起著至關(guān)重要的作用。圖像增強(qiáng)方法基本上可分成兩大類:頻率域法和空間域法。直方圖均衡［1］(空間域法)處理技術(shù)是最簡單、最有效的處理手段之一，但是，傳統(tǒng)的直方圖均衡會產(chǎn)生過度增強(qiáng)和放大噪聲的現(xiàn)象。因此，學(xué)者們陸續(xù)提出了很多基于直方圖均衡的改進(jìn)算法，例如:動態(tài)直方圖均衡［2］，其思想是動態(tài)尋找閾值(極小值或極大值)，分割直方圖后再分別均衡化，此算法自適應(yīng)性強(qiáng)，能有效拉伸過于集中的灰度級。但是，該算法復(fù)雜，極小值檢測容易出錯。此外，學(xué)者們還陸續(xù)提出了多峰值圖像直方圖均衡算法［3］、基于高斯混合模型的直方圖均衡算法［4］等。許多學(xué)者也開始研究局部增強(qiáng)算法，提出了許多新的技術(shù)，如暗背景下局部直方圖增強(qiáng)、區(qū)間可變的直方圖均衡化算法、基于直方圖互確認(rèn)的圖像閾值化分割算法、子圖均衡算法、亮度保持直方圖均衡處理等［5-9］。局部增強(qiáng)算法由于重疊度高，算法都比較復(fù)雜，處理時延長。

圖像增強(qiáng)技術(shù)在實際應(yīng)用中需要保持實時性，所以，圖像增強(qiáng)系統(tǒng)要優(yōu)先考慮時延?，F(xiàn)場可編程門陣列(FPGA)靈活性好，集成度高，同時開發(fā)周期短，擴(kuò)展能力強(qiáng)，處理數(shù)據(jù)速度快，適合實時的信號處理。

本文提出了一種多子直方圖均衡算法，首先將直方圖按面積平均分割成4個子直方圖，利用平均像素數(shù)量作為閾值切割直方圖降低過度增強(qiáng)的現(xiàn)象，然后加入尺度因子對動態(tài)范圍進(jìn)行調(diào)整，最后分別對子直方圖均衡得到增強(qiáng)效果。圖像經(jīng)處理后，灰度級動態(tài)范圍分區(qū)更加合理，改進(jìn)算法在硬件上實現(xiàn)，并由主客觀評價表明，它對微光圖像的增強(qiáng)效果很好，滿足實時性要求。

2 直方圖均衡算法

2.1 傳統(tǒng)直方圖均衡(Histogram Equalization，HE)

數(shù)字圖像直方圖灰度范圍是［0，L－1］。它是一個頻率分布函數(shù)，首先，計算出每個灰度級的像素數(shù)量。

式中，k=0，1，2，……，L－1;Xk表示輸入第k個灰度級;nk是圖像中第k灰度級對應(yīng)的像素數(shù)量。

其次，計算出圖像每個灰度級的概率密度函數(shù)P(Xk):

由式(3)可推導(dǎo)出CDF(XL－1)=1，由此可以看出，直方圖均衡就是將圖像的灰度值平均分配到整個動態(tài)范圍內(nèi)。用傳遞函數(shù)來表示輸入像素的傳遞函數(shù):

式中，Xk是輸入的第k灰度級;XL－1代表最大灰度值。

2.2 動態(tài)直方圖均衡(Dynamic Histogram E-qualization，DHE)

DHE首先要用一個1×3的平滑濾波器去掉直方圖中不重要的極小值，然后對平滑后的直方圖取極小值作為分區(qū)點，把原直方圖分成幾個子直方圖。其次，在每個子直方圖中計算均值u，標(biāo)準(zhǔn)差σ。如果子直方圖在(μ－σ)～(μ+σ)范圍內(nèi)的灰度級占據(jù)子直方圖整體灰度級的68.3%以上，那么就認(rèn)為它是一個正態(tài)分布，不受其它灰

式中，n表示圖像的總像素數(shù);k=0，1，2，……，L－1。

然后，由式(2)的統(tǒng)計結(jié)果計算圖像灰度級的累積概率密度函(Cumulate Density Function，CDF):度級影響;否則，就不是正態(tài)分布，需要重新劃分區(qū)域，在子直方圖中以(μ－σ)和(μ+σ)為分割點，分為3個更小的子直方圖，再進(jìn)行檢驗，直到所有子直方圖都符合正態(tài)分布為止。

再次是分區(qū)，分區(qū)后第i個子直方圖的動態(tài)范圍由下式?jīng)Q定:

每個子直方圖要根據(jù)所占據(jù)整體動態(tài)范圍的比例來確定輸出的灰度級范圍，表達(dá)式如下:

式中，L表示最大灰度級。

最后，對每個子直方圖應(yīng)用HE，其映射灰度值只能在指定分配的灰度級范圍內(nèi)。

2.3 改進(jìn)的直方圖均衡算法

經(jīng)HE處理后，圖像的對比度得到明顯提高，但處理后的圖像有過亮或過暗的地方，增強(qiáng)結(jié)果不易控制，不能把較小的細(xì)節(jié)部分很好的增強(qiáng)。DHE算法較傳統(tǒng)HE算法效果好一些，但是，檢測極小值算法復(fù)雜且容易出錯，因此，在保證效果和復(fù)雜度的前提下提出了改進(jìn)的直方圖均衡算法。

改進(jìn)的算法包括5個過程:(1)直方圖分區(qū);(2)剪切;(3)灰度級范圍分配;(4)動態(tài)范圍調(diào)整;(5)直方圖均衡化。

(1)直方圖分區(qū)

微光圖像的灰度級比較集中，包含的灰度級數(shù)量少，采用每個子直方圖有相同數(shù)目的像素數(shù)量的分割方法，能有效地將灰度級分隔開，避免了傳統(tǒng)峰值分割時出現(xiàn)的分割不理想或者無分割現(xiàn)象。

利用輸入圖像的直方圖的強(qiáng)度中值來分區(qū)，將其按照像素數(shù)量等分為4個子直方圖，最低和最高的灰度級設(shè)置為分區(qū)端點。

使用式(7)計算出每個分離點:

式中，m1、m2和m3分別是輸入圖像直方圖中總像素數(shù)量的0.25、0.50和0.75的灰度級。Iwidth和Iheight分別是輸入圖像的寬度和高度。

(2)裁剪

圖1 多子直方圖均衡算法處理過程Fig.1 Processes of multiple sub-histogram equalization algorithm

增加裁剪過程可以控制均衡化的增強(qiáng)度。學(xué)者們也提出了一些裁剪過程的方法，例如，自動裁剪過程——自適應(yīng)閾值直方圖均衡化(SAPHE)［10］由王等人提出，然而，此方法中局部峰值檢測容易判斷錯誤而產(chǎn)生誤峰值，導(dǎo)致圖像不自然柔和。繼而由趙等人提出自適應(yīng)閾值用加權(quán)來優(yōu)化直方圖［11］——SAPHE 的改進(jìn)技術(shù)，以直方圖非空處的值作為裁剪閾值，計算過程復(fù)雜。本文中，為了優(yōu)化算法，選擇所有灰度級像素數(shù)量的平均值作為閾值Tc［12］，Tc=總像素數(shù)量n/灰度級數(shù)L。裁剪過程如圖1(b)和圖1(c)所示，對于大于閾值的值由閾值本身所取代，如圖1(c)所示，圖1(d)為子直方圖均衡過程。

(3)灰度級范圍分配

為了平衡每個子直方圖的提升空間，優(yōu)化算法根據(jù)灰度級范圍所占的比例為子直方圖分配灰度級動態(tài)范圍，這個過程描述如下:

式(8)中，spani是輸入直方圖的第i個子直方圖的灰度級范圍;mi是第i個分區(qū)點;rangei是輸出直方圖中每個子直方圖的動態(tài)范圍。用式(9)來分配灰度級的動態(tài)范圍。

(4)動態(tài)范圍調(diào)整

微光圖像的灰度級比較集中，目標(biāo)與背景難區(qū)分。因此，保留圖像細(xì)節(jié)尤為重要。子直方圖均衡后，像素數(shù)量少的灰度級會產(chǎn)生合并，從而導(dǎo)致細(xì)節(jié)減少。為了克服這種缺點，引進(jìn)了尺度因子r，適當(dāng)調(diào)整拉伸范圍，防止動態(tài)范圍的過度壓縮或過度拉伸，它可用來擴(kuò)大可擴(kuò)展的動態(tài)范圍。合理調(diào)整子直方圖的動態(tài)范圍，才能達(dá)到更好的效果。r定義如下:

式中，L是最大灰度級;k是分區(qū)的份數(shù)(k=4)。子直方圖調(diào)整灰度范圍aspan的定義:

式中，α是在0和1之間的尺度因子。

圖2是當(dāng)算法有4個分離級別和尺度因子α=0.5時，4個子直方圖span的調(diào)整結(jié)果。

圖2 k=4，α=0.5時，改進(jìn)算法動態(tài)范圍調(diào)整后aspan示意圖Fig.2 When k=4，α =0.5，schematic diagram of aspan after adjustment

第i個子直方圖的新的動態(tài)范圍被分配到［istart，iend］內(nèi)，定義為式(11)和式(12):

第一個istart值和最后一個iend值分別是分配后動態(tài)范圍中最小和最大的灰度值，圖1(d)中顯示出直方圖新分配的動態(tài)范圍。

(5)直方圖均衡化

在所有子直方圖的新動態(tài)范圍確定后，算法的最后一步是獨立的對每個子直方圖均衡化。如果第i個子直方圖的分配范圍是［istart，iend］，那么，均衡化后子直方圖要完全分配在這個分區(qū)內(nèi)，這部分的y(x)可使用式(14)傳遞映射函數(shù)確定。

3 基于FPGA的硬件實現(xiàn)

3.1 系統(tǒng)硬件結(jié)構(gòu)

采用 Altera公司的 DE2-70 FPGA開發(fā)板，F(xiàn)PGA芯片是Cyclone II系列的EP2C70F896C6N。

此開發(fā)板有以下主要資源［13］:68416LEs(邏輯單元)，16×2 LCD模塊，150嵌入式乘法器，1個2 Mbyte SSRAM，1個8 Mbyte Flash內(nèi)存，2個32 Mbyte SDRAM，1個 50 MHz振蕩器，1個28.63 MHz振蕩器，3個10 bit高速數(shù)字模擬轉(zhuǎn)換(DAC)，采用ADV7123 140-MHz作為3個10 bit高速視頻數(shù)/模轉(zhuǎn)換器，支持100 Hz刷新率時的高達(dá)1 600×1 200的分辨率，采用ADV7180多格式SDTV視頻解碼器，支持世界范圍內(nèi)的NTFC/PAL/SECAM制式，開發(fā)板正常工作電壓為12 V。本文應(yīng)用Verilog HDL硬件描述語言，在DE2-70開發(fā)板上實現(xiàn)改進(jìn)的直方圖均衡增強(qiáng)算法，采用以下硬件結(jié)構(gòu):

圖3 DE2-70 FPGA開發(fā)板Fig.3 DE2-70 FPGA board

圖4 改進(jìn)的直方圖均衡算法硬件結(jié)構(gòu)Fig.4 Hardware structure of optimized algorithm

3.2 系統(tǒng)工作原理

在開發(fā)板上連接兩個SRAM，采用“乒乓工作模式”，在讀入一幀圖像時，時鐘上升沿SRAM1進(jìn)行直方圖統(tǒng)計及找分區(qū)點工作;在時鐘下降沿，利用SRAM2進(jìn)行直方圖均衡處理運(yùn)算［14］。乒乓操作的最大特點是通過“輸入數(shù)據(jù)流選擇單元”和“輸出數(shù)據(jù)流選擇單元”的互相配合，可將經(jīng)過緩存的數(shù)據(jù)流沒有時間停頓地送到下一級處理單元中［15］利用資源，處理速度快。將增強(qiáng)算法模塊加載到這個系統(tǒng)之中就可實現(xiàn)算法。在實時處理視頻時，用前一幀的計算結(jié)果處理后一幀圖像，這樣省去了等待時間。

在算法復(fù)雜度上，傳統(tǒng)直方圖均衡算法分為直方圖統(tǒng)計和傳遞函數(shù)兩部分，在硬件上將時鐘4倍頻，每個時鐘讀入一個像素，即可處理完成。優(yōu)化算法中，在閾值計算部分，只需要一步除法即可求出，在處理視頻圖像時，由于圖像大小是固定的，只需要對第一幀圖像求閾值，之后可直接應(yīng)用，免去了重新計算過程。在分配動態(tài)范圍時加入的尺度因子也是固定值，即灰度級范圍的1/4。根據(jù)尺度因子公式，每一幀圖像增加的只有8次加法，4次乘法。閾值和尺度因子都可以存儲到SRAM中，應(yīng)用時可直接讀取，從而降低算法的復(fù)雜度。

4 結(jié)果及分析

在開發(fā)板上實現(xiàn)改進(jìn)的直方圖均衡算法，圖5(a)為夜晚黑暗條件下拍攝的飲料盒圖片，實驗結(jié)果如圖5(b)所示，圖像處理時間為一幀圖像大小加上一個像素處理時間再除以時鐘頻率［16-21］，實驗所用的時鐘頻率為 50 MHz，假設(shè)圖像大小為128×128，通過公式計算時延約為

從圖5中可以看到，原始圖像中目標(biāo)被淹沒，肉眼難以發(fā)現(xiàn)，整體對比度很低，經(jīng)過增強(qiáng)后的圖像，噪聲和過度增強(qiáng)現(xiàn)象得到抑制，目標(biāo)變得清晰。在FPGA上可以滿足實時處理要求。

為了說明本文算法的優(yōu)越性，分別用傳統(tǒng)直方圖均衡技術(shù)(HE)、動態(tài)直方圖均衡(DHE)及改進(jìn)的直方圖均衡算法基于Matlab對微光圖像做了大量實驗，并比較上述各種算法的增強(qiáng)結(jié)果。對于圖像增強(qiáng)質(zhì)量評價，采用圖像熵結(jié)合主觀評價共同評測。這里用離散熵作為定量評價。

由直方圖可以得出:

式中，p(xk)是第k灰度級的概率。由熵的定義可知，熵值較高說明圖像帶來的信息量較多。

實驗選用的是微光條件下海底拍攝的魚的圖像，如圖6所示。圖6(a)是原不清晰圖像，整體偏暗色，魚的身體及周邊的小石子都不清晰。HE處理后的圖像，即圖6(b)，圖像整體變得偏白，魚的身體可以分辨出來，說明成功的提高了圖像的對比度，但是，圖像過于明亮，看起來有“過增強(qiáng)”現(xiàn)象。DHE處理后的圖像，即圖6(c)，能較好的分辨出魚身和周邊小石子，但圖像還是過亮，一些區(qū)域出現(xiàn)強(qiáng)度飽和的問題，比如身下的小石子。以上方法可以明顯增強(qiáng)對比度，但是，對突出圖像的細(xì)節(jié)方面較弱，這點可以在實驗的直方圖中看出。第一組實驗中改進(jìn)的算法使圖像色彩更柔和自然，提高了對比度，產(chǎn)生了更好、更清晰的圖像，噪聲也成功的被抑制了，此外，在細(xì)節(jié)方面也保留的很好。從直方圖中也可以看出，直方圖被拉伸的很均勻。

以下是多組圖像實驗的增強(qiáng)結(jié)果。圖片分別為微光環(huán)境下房子圖像、路燈光下人的圖像和微光圖像下坦克的圖像。

圖6 第一組實驗結(jié)果Fig.6 Experiment results of group 1

圖7 第一組實驗直方圖Fig.7 Experiment histograms of group 1

離散熵的計算結(jié)果列于表1。其中自適應(yīng)分割直方圖均衡算法產(chǎn)生了最高的熵，這足以說明改進(jìn)的算法在突出圖像細(xì)節(jié)方面做得很好。此外，由主觀分析也可以看出改進(jìn)的算法能產(chǎn)生更柔和自然的圖像?？傮w而言，上述提到的改進(jìn)直方圖均衡算法在上述增強(qiáng)圖像算法中效果是最佳的。綜上所述，在上述介紹的3種算法中，在客觀和主觀上，都能說明改進(jìn)的算法產(chǎn)生了更好、更清晰的圖像，滿足了圖像增強(qiáng)的兩種要求:增強(qiáng)圖像的局部對比度，調(diào)節(jié)圖像灰度級的動態(tài)范圍。

圖8 第二組實驗結(jié)果Fig.8 Experiment results of group 2

圖9 第三組實驗結(jié)果Fig.9 Experiment results of group 3

圖10 第四組實驗結(jié)果Fig.10 Experiment results of group 4

表1 多種增強(qiáng)算法的圖像熵值Tab.1 Entropy of enhanced images by different algorithm

5 結(jié)論

本文以提高微光圖像的對比度為目的，針對一般直方圖均衡算法過度增強(qiáng)、噪聲放大、丟失細(xì)節(jié)的缺點，提出了多子直方圖均衡增強(qiáng)算法，利用閾值抑制過度的增強(qiáng)，分區(qū)后進(jìn)行動態(tài)范圍調(diào)整也保證了此算法對圖像細(xì)節(jié)部分的提取能力，不會產(chǎn)生飽和、噪聲放大現(xiàn)象，克服了傳統(tǒng)直方圖均衡的缺點，通過定性和定量評價都得到最佳性能。在FPGA上實現(xiàn)此算法，一幀圖像約為0.45 ms，在硬件上能夠有效的實現(xiàn)預(yù)期的增強(qiáng)效果，滿足實時性要求。

［1］ 蔡式東，楊芳.基于直方圖修正的圖像增強(qiáng)算法［J］.光電子技術(shù)，2012，32(3):155-159.

CAI SH D，YANG F.Image enhancement based on histogram modification［J］.Optoelectronic Technology，2012，32(3):155-159.(in Chinese)

［2］ ABDULLAH-AL-WADUD M，HASANUL KABIR M，ALI AKBER DEWAN M，et al..A dynamic histogram equalization for image contrast enhancement［J］.IEEE Transactions on Consumer Electronics，2007，53(2):593-601.

［3］ YANG F，WU J.An improved image contrast enhancement in multiple-peak images based on histogram equalization［J］.IEEE Conference Publications，2010，1:346-349.

［4］ CELIK T，TJAHJADI T.Automatic image equalization and contrast enhancement using gaussian mixture modeling［J］.IEEE Transactions on Image Processing，2012，21(1):145-156.

［5］ 范永杰，張亞萍，陳華.平臺直方圖均衡算法實現(xiàn)的存儲優(yōu)化方法［J］.激光與紅外，2013，5:522-525.

FAN Y J，ZHANG Y P，CHEN H.Realizing，memory optimization to plateau histogram［J］.Lasers and Infrared，2013，5:522-525.(in Chinese)

［6］ 吳成茂.可調(diào)直方圖均衡化的正則解釋及其改進(jìn)［J］.電子學(xué)報，2011，39(6):1278-1284.

WU CH M.Regularization explanation of adjustable histogram equalization and its improvement［J］.Acta Electronic Sinica，2011，39(6):1278-1284.(in Chinese)

［7］ 吳強(qiáng)，王新賽，賀明，等.一種結(jié)合小波分析與直方圖的紅外圖像增強(qiáng)方法［J］.應(yīng)用光學(xué)，2011，32(3):464-467.

WU Q，WANG X R，HE M，et al..Infrared image enhancement based on wavelet analysis and histogram［J］.J.Appl.Optics，2011，32(3):464-467.(in Chinese)

［8］ 黃梅，吳志勇，梁敏華，等.暗背景下低灰度圖像的實時增強(qiáng)［J］.液晶與顯示，2011，26(3):374-378.

HUANG M，WU ZH Y，LIANG M H，et al..Real-time enhancement method of low gray image under dark background［J］.Chinese J.Liquid Crystals and Displays，2011，26(3):374-378.(in Chinese)

［9］ WELLING P，KIM S H，CHO S B.Brightness preserving contrast enhancement using polynomial histogram amendment［C］.IEEE Soc Design Conference，Jeju Island，Korea，4-7 November，2012.

［10］ CHEN H O，KONG N S P，IBRAHIM H.Bi-histogram equalization with a plateau limit for digital image enhancement［J］.IEEE Consumer Elevtronics，2009，55(4):2072-2087.

［11］ GAN C，YE Z.Brightness preserving histogram equalization with maximum entropy:a variational perspective［J］.IEEE Transactions on Consumer Electronics，2005，51(4):1326-1334.

［12］ 孫海江，王延杰，劉偉寧.基于自適應(yīng)平臺閾值和拉普拉斯變換的紅外圖像增強(qiáng)［J］.中國光學(xué)，2011，4(5):474-479.

SUN H J，WANG Y J，LIU W N.Enhancement of infrared images based on adaptive platform threshold and laplace transformation［J］.Chinese Optics，2011，4(5):474-479.(in Chinese)

［13］ 王靜軒，尹傳歷.基于DSP和FPGA的嵌入式實時圖像增強(qiáng)系統(tǒng)［J］.液晶與顯示，2013，28(3):459-463.

WANG J X，YIN CH L.Embedded color image enhancement system based on DSP and FPGA［J］.Chinese J.Liquid Crystals and Displays，2013，28(3):459-463.(in Chinese)

［14］ 吳家偉，武春風(fēng)，庹文波.紅外圖像實時顯示增強(qiáng)系統(tǒng)設(shè)計［J］.光學(xué) 精密工程，2009，17(10):2612-2619.

WU J W，WU CH F，YU W B.Design of real-time infrared image enhancement system［J］.Opt.Precision Eng.，2009，17(10):2612-2619.(in Chinese)

［15］ 李強(qiáng)，龔俊亮.基于FPGA的實時紅外圖像采集與預(yù)處理系統(tǒng)［J］.紅外，2012，33(10):21-24.

LI Q，GONG J L.Design of real-time infrared image acquisition and pre-process system based on FPGA［J］.Infrared，2012，33(10):21-24.(in Chinese)

［16］ 姜文濤，陳衛(wèi)東，錢鈞，等.基于FPGA的實時圖像增強(qiáng)設(shè)計［J］.應(yīng)用光學(xué)，2010，31(6):965-968.JIANG W T，CHEN W D，QIAN J，et al..Real-time image enhancement based on FPGA［J］.J.Appl.Optics，2010，31(6):965-968.(in Chinese)

［17］ 韓希珍，趙建.結(jié)合偏微分方程增強(qiáng)圖像紋理及對比度［J］.光學(xué) 精密工程，2012，20(6):1382-1388.

HAN X ZH，ZHAO J.Enhancement of image texture and contrast combined with partial differential equation［J］.Opt.Precision Eng.，2012，20(6):1382-1388.(in Chinese)

［18］ 張超，李洪文，賈建祿，等.高幀頻多通道圖像采集與顯示［J］.液晶與顯示，2013，28(4):593-597.

ZHANG CH，LI H W，JIA J L，et al..High frame rate and multiple channels digital image acquisition and display［J］.Chinese J.Liquid Crystals and Displays，2013，28(4):593-597.(in Chinese)

［19］ 賀柏根，劉劍，馬天瑋.基于DSP+FPGA的實時圖像去霧增強(qiáng)系統(tǒng)設(shè)計［J］.液晶與顯示，2013，28(6):968-972.

HE B G，LIU J，MA T W.Real-time image defogging and enhanced system designed based on DSP+FPGA［J］.Chinese J.Liquid Crystals and Displays，2013，28(6):968-972.(in Chinese)

［20］ 尹傳歷，王嘯哲.機(jī)載嵌入式圖像增強(qiáng)系統(tǒng)設(shè)計與實現(xiàn)［J］.液晶與顯示，2013，28(4):604-607.

YIN CH L，WANG X ZH.Design and realization of airborne embedded image enhancement system［J］.Chinese J.Liquid Crystals and Displays，2013，28(4):604-607.(in Chinese)

［21］ 孫玉勝，白克.基于小波變換與加權(quán)濾波的電機(jī)紅外圖像增強(qiáng)［J］.液晶與顯示，2010，25(3):439-443.

SUN Y SH，BAI K.Enhancement of motor infrared image based on wavelet transform and weighted filtering［J］.Chinese J.Liquid Crystals and Displays，2010，25(3):439-443.(in Chinese)