孔 壯，何衡湘，代 俊，孫 彬，朱建坤

(1.電子科技大學(xué)，四川 成都 611731;2.西南技術(shù)物理研究所，四川 成都 610041)

高分辨率視頻圖像實時增強系統(tǒng)的設(shè)計

孔 壯1，何衡湘2，代 俊2，孫 彬1，朱建坤1

(1.電子科技大學(xué)，四川 成都 611731;2.西南技術(shù)物理研究所，四川 成都 610041)

霧霾天氣情況下，視頻成像跟蹤系統(tǒng)采集到的圖像往往呈現(xiàn)對比度低、灰度分布集中的特點，地面的軍事人員很難準確、快速地識別跟蹤目標，為了解決這一問題，本文以Xilinx公司的Spartan 3AN系列低成本FPGA芯片為核心，設(shè)計了高分辨率(1 004×1 004)視頻圖像實時增強系統(tǒng)，主要工作為系統(tǒng)硬件平臺的設(shè)計和限制對比度直方圖自適應(yīng)均衡(Contrast Limited Adaptive Histogram Equalization-CLAHE)算法的FPGA實現(xiàn)。通過實際系統(tǒng)測試，設(shè)計滿足實時性的要求，同時增強效果明顯，可以清晰地識別目標。該系統(tǒng)可用于醫(yī)學(xué)圖像增強、交通檢測及航空航天等多個領(lǐng)域，具有較高的實用價值。

圖像增強；實時處理；CLAHE；FPGA

在霧霾天氣下，從物體反射的光線在大氣中傳播時受到懸浮的霧霾顆粒的散射影響，以及霧霾顆粒本身作為光源的環(huán)境光影響，造成入射到觀察者或CCD的光線發(fā)生衰減，形成的圖像對比度低、層次不豐富[1]。近些年來，針對霧霾天圖像增強算法的研究，一直是國內(nèi)外的研究熱點，根據(jù)處理方式不同可以將增強算法分為基于物理模型的方法和基于非物理模型的方法[2]。其中基于直方圖均衡的CLAHE算法[3]增強效果明顯，計算量適中，適合并行實現(xiàn)。

現(xiàn)場可編程邏輯門陣列(FPGA)基于查找表的架構(gòu)以及豐富的寄存器資源可以靈活地實現(xiàn)流水線設(shè)計，極大地提高系統(tǒng)的數(shù)據(jù)吞吐量和最大工作頻率。另外FPGA內(nèi)部豐富的邏輯資源、塊存儲資源以及專用IP核資源可以方便地實現(xiàn)數(shù)據(jù)的并行計算，非常適合圖像處理領(lǐng)域。本文對CLAHE算法的實現(xiàn)流程和數(shù)據(jù)處理進行多個改進，在Xilinx推出的低成本Spartan-3AN系列XC3S1400AN型號FPGA實現(xiàn)了高分辨率視頻圖像的實時增強，并完成了硬件平臺的設(shè)計。

1 限制對比度自適應(yīng)直方圖均衡算法

數(shù)字圖像直方圖信息表示圖像各個灰度級出現(xiàn)的次數(shù)或頻率，其數(shù)學(xué)意義為各灰度級的概率分布函數(shù)。霧天圖像的對比度低，直方圖中像素集中分布在少數(shù)的灰度級上，為了達到圖像增強的目的，可以通過直方圖均衡的方法，即將直方圖近似于均勻分布。通過離散形式的累積分布函數(shù)作為直方圖變換函數(shù)，就可以實現(xiàn)直方圖的均勻擴展，累積分布函數(shù)相當(dāng)于圖像原始灰度和增強后像素灰度的一種映射關(guān)系，如

(1)

式中：L表示圖像灰度級總數(shù)；rk為直方圖中某個灰度級，0≤k≤L-1；N為圖像總的像素數(shù)量；nk代表灰度級rk的像素的數(shù)量；sk為rk灰度級增強后對應(yīng)新的灰度級。全局直方圖均衡(ImageHistogramEqualization)算法即為對圖像所有像素通過式(1)的映射進行增強，該算法對整幅圖像進行統(tǒng)一的變換計算簡單，但存在細節(jié)損失、過度增強等問題。

為了解決全局直方圖均衡算法的缺陷，Zuiderveld等人提出限制對比度的自適應(yīng)直方圖均衡(CLAHE)算法[3]。首先，對圖像進行分塊，具體子圖塊的個數(shù)N需要根據(jù)圖像大小以及實際需要確定。然后統(tǒng)計每個子塊的直方圖，根據(jù)判決門限β對直方圖進行削峰，把多余的像素個數(shù)累加到超出門限像素變量Excess中，遍歷整個直方圖灰度級以后，需要將Excess重新分配到小于判決門限β直方圖灰度級上，該操作需要多次重復(fù)，直到變量Excess為0。再根據(jù)重分布后新的直方圖按式(1)對每個子塊的直方圖進行均衡映射，得到N個子圖塊的直方圖映射函數(shù)。最后，對整個圖像的像素點進行線性加權(quán)重構(gòu)[4]，將重構(gòu)的像素點重新連接，即為CLAHE算法處理后的圖像。

2 圖像實時增強系統(tǒng)硬件設(shè)計

視頻圖像由高分辨數(shù)字CCD采集，通過CameraLink接口[5]輸入到硬件處理平臺，在FPGA內(nèi)部完成圖像增強，裁剪門限β的值可通過RS-422接口實時改變，然后通過VGA接口輸出到顯示器上顯示，系統(tǒng)框圖如圖1所示。

圖1 系統(tǒng)硬件框圖

系統(tǒng)采用ADIMEC-1000md型號CCD工業(yè)相機采集視頻圖像，圖像分辨為1 004×1 004，數(shù)據(jù)時鐘為40 MHz，幀頻為30.5 f/s，雙通道8 bit數(shù)據(jù)輸出模式。數(shù)據(jù)由CameraLink接口傳輸?shù)接布脚_，5對LVDS圖像數(shù)據(jù)進入芯片DS90CR288A進行CMOS/TTL電平轉(zhuǎn)換，其中4對轉(zhuǎn)換成28 bit的圖像信息，包括24 bit的圖像數(shù)據(jù)信號、相機的場同步、數(shù)據(jù)同步和行同步信號；另外1對信號轉(zhuǎn)換成時鐘信號。針對本系統(tǒng)因為相機采用雙通道數(shù)據(jù)輸出模式，所以只需要使用CameraLink中的A、B口就可以。

FPGA產(chǎn)生相機的控制信號需要經(jīng)過差分驅(qū)動芯片DS90LV047A，通過CameraLink接口傳到相機。異步串行通信部分包括2對差分信號，其中一對是由相機到FPGA通信信號，另一對是FPGA到相機的通信信號，系統(tǒng)選用差分收發(fā)芯片DS90LV019用來對這兩對信號進行電平轉(zhuǎn)換。

經(jīng)過FPGA圖像增強算法后的圖像數(shù)據(jù)需要實時地在顯示器顯示，供軍事人員監(jiān)視跟蹤目標，本系統(tǒng)采用的視頻輸出接口為VGA接口[6]，采用Analog Devices公司的ADV7123視頻數(shù)模轉(zhuǎn)換芯片進行視頻數(shù)模轉(zhuǎn)換，圖像數(shù)據(jù)作為ADV7123的高8位，后面兩位補0處理。

VGA接口的行、場同步信號需要根據(jù)VGA時序以及不同分辨率和刷新頻率的時序要求產(chǎn)生，本系統(tǒng)采用分辨率為1 280×1 024、刷新頻率為60 Hz的時序要求如表1所示，VGA時序如圖2所示。在FPGA內(nèi)部使用兩個計數(shù)器，根據(jù)表1的時序要求，生成行、場同步信號連接到VGA接口。

圖2 VGA時序圖

符號參數(shù)場同步信號/行行同步信號/像素時鐘Ts同步脈沖10661688Tdisp顯示時間10241280Tpw脈沖寬度3112Tfp前沿148Tbp后沿38248

3 FPGA實現(xiàn)CLAHE增強算法

3.1 算法實現(xiàn)優(yōu)化

CLAHE算法的FPGA的實現(xiàn)流程主要有直方圖統(tǒng)計、直方圖重分配、直方圖均衡以及線性加權(quán)計算像素重構(gòu)[7]。其中直方圖統(tǒng)計與像素重構(gòu)根據(jù)圖像像素的灰度值，所以需要在場同步信號有效時并行執(zhí)行；所有子圖塊直方圖重分配和直方圖均衡計算過程可以在場消隱期間并行完成。

1)時鐘管理以及子區(qū)域劃分

通過Xilinx FPGA特有的時鐘管理器(DCM)對PCLK進行2倍頻PCLK_2X，然后以PCLK_2X作為像素時鐘將輸入的雙通道圖像數(shù)據(jù)拆分成單獨的像素灰度數(shù)據(jù)(IMGDAT)。同時根據(jù)像素時鐘和行同步信號作為計數(shù)信號，可以得到像素的水平和垂直坐標。

子圖塊與子區(qū)域劃分的方法如圖3所示，在像素重構(gòu)線性計算中可以使用移位運算代替除法運算。

圖3 像素子區(qū)域的劃分

2)直方圖統(tǒng)計

圖像直方圖相當(dāng)于存儲圖像每個灰度級出現(xiàn)個數(shù)的存儲器，所以這里使用FPGA內(nèi)部專用的塊RAM(Block RAM)資源生成的雙口RAM來完成直方圖統(tǒng)計。裁剪門限β可以由上位機通過RS-422接口傳輸?shù)紽PGA，根據(jù)β對直方圖削峰以及統(tǒng)計Excess。

以像素數(shù)據(jù)作為直方圖統(tǒng)計雙口RAM的讀寫地址，讀出數(shù)據(jù)dout與裁剪門限β比較，等于β時寫入RAM的數(shù)據(jù)din=β，超出門限累加變量Excess加1；小于β時，寫入RAM的數(shù)據(jù)din=dout+1。

3)直方圖重分配

在場同步低電平(場消隱)期間，設(shè)計以PCLK_2X上升沿計數(shù)器，用于生成直方圖統(tǒng)計RAM的讀寫地址，按圖4所示流程[8]依次對直方圖RAM中灰度級的數(shù)據(jù)重分配，重復(fù)3次上述流程完成直方圖重分配操作。

圖4 直方圖重分配流程圖

4)直方圖均衡

直方圖重分配完以后，根據(jù)式(1)進行直方圖均衡，該過程相當(dāng)于原始圖像灰度與增強后圖像灰度的一種映射關(guān)系，同樣可以使用雙口RAM來實現(xiàn)，稱為直方圖查找RAM。FPGA內(nèi)部沒有專用的除法器，需要消耗大量的邏輯資源完成除法運算，可以利用專用乘法器與FPGA移位運算解決這一問題，對式(1)進行改進，子圖塊的大小為251×251，灰度級數(shù)L=256，比例系數(shù)P=255×2512/2562取近似值為267，某灰度級rk的直方圖累加值為ACC，則該灰度級的直方圖均衡映射灰度級sk可以由公式(2)計算。在完成上述操作以后，需要對直方圖統(tǒng)計RAM清零。

sk=(ACC×P)?16bit

(2)

5)像素線性加權(quán)重構(gòu)

CLAHE算法流程最后一步像素灰度值重構(gòu)的計算，需要根據(jù)原始圖像各個像素位置以及子圖塊直方圖均衡映射函數(shù)來完成。利用視頻圖像兩幀圖像的高度相似性，以前一場的直方圖均衡映射函數(shù)作為當(dāng)前場圖像數(shù)據(jù)的依據(jù)。

在前一場視頻圖像的消隱期間，獲得了16個子圖塊的直方圖均衡后像素映射查找表RAM，以行、場同步復(fù)合信號為使能，以輸入像素數(shù)據(jù)IMGDAT為地址，同時讀出16個直方圖查找表RAM中對應(yīng)的像素映射灰度值，根據(jù)屬于的子區(qū)域從16個像素映射灰度值取F1(Iold)、F2(Iold)、F3(Iold)和F4(Iold)。式(3)中線性加權(quán)參數(shù)r和x在根據(jù)像素的坐標來確定，在一個周期能通過專用乘法器的乘法運算以及移位運算就能得到像素重構(gòu)的結(jié)果Inew。

Inew= F1(Iold)+r·x·(F1(Iold)+F4(Iold)-

F2(Iold)-F3(Iold))/256+x·(F2(Iold)-

F1(Iold))/256+r·(F3(Iold)-F1(Iold))/256

(3)

3.2 FPGA資源消耗及時序分析

CLAHE算法FPGA實現(xiàn)資源消耗情況如表2所示，其中16個Block RAM用作直方圖統(tǒng)計RAM剩下的16個用作直方圖查找RAM。32個專用乘法器(MULT)16個用于直方圖均衡計算，4個用于像素重構(gòu)計算。消耗2個時鐘管理器DCM和7個全局布線資源GCLK，用來產(chǎn)生算法所需的控制時鐘。

表2 CLAHE算法FPGA實現(xiàn)資源消耗

LogicUtilizationUsedAvailableUtilization/%NumberofSlices26841126423NumberofSliceFlipFlops1220225285Numberof4inputLUTs48972252821NumberofbondedIOBs195023NumberofBRAMs3232100NumberofMULT18X18SIOs203262NumberofGCLKs72429NumberofDCMs2825

圖像增強系統(tǒng)的原始輸入信號為30 Hz灰度數(shù)字視頻，雙通道像素時鐘為40 MHz，每場視頻圖像所占用的時間為33.4 ms，單場視頻圖像共有1 736行，每行像素個數(shù)為1 536，場正程時間ttrace和場消隱時間tfblank的計算如式(4)和(5)所示

ttrace=1 004×1 536/(80×106)≈19.27 ms

(4)

tfblank=(1 736-1 004)×1 536/(80×106)≈14.06 ms

(5)

直方圖統(tǒng)計以及像素重構(gòu)以行、場同步復(fù)合信號為使能并行執(zhí)行，需要的時間tcomplex計算為式(6)。直方圖重分配、直方圖均衡和統(tǒng)計RAM清零操作在場消隱期間順序執(zhí)行，需要計數(shù)器產(chǎn)生讀取和寫入地址和使能，所以消耗的時間可以由采用的計數(shù)器總的時間tcount計算，如式(7)所示，由計算結(jié)果可知，tfblank遠遠大于tcount，所以系統(tǒng)能在場消隱實時處理前一幀圖像的直方圖數(shù)據(jù)，為下一幀圖像的重構(gòu)準備。

tcomplex=1 004×1 004/(80×106)≈12.55 ms

(6)

tcount= (1 000+400)/(80×106)+

400/(40×106)=27.5 μs

(7)

4 系統(tǒng)實驗測試結(jié)果

CCD相機采集的視頻數(shù)據(jù)分成兩路，一路經(jīng)過圖像采集卡保存到PC機硬盤上，另一路通過CameraLink接口進入FPGA進行圖像增強，硬件平臺預(yù)留測試接口，將圖像增強后的數(shù)據(jù)經(jīng)過圖像采集卡保存到另一臺PC機中。系統(tǒng)外場試驗采集到的原圖像和增強后圖像對比如圖5所示。本文采用對比度、有效灰度級和圖像熵作為圖像增強的客觀評價參數(shù)，圖5中的圖像客觀評價結(jié)果如表3。

圖5 外場試驗圖像效果對比

圖像參數(shù)對比度有效灰度值熵圖像a046615853481圖像b0667512458056圖像c052155954421圖像d0823113360069

對比圖5a和圖5b、圖5c和圖5d以及表3中的客觀評價指標，原圖像畫面非常模糊，很難識別跟蹤目標(圖中白色亮點)，經(jīng)過系統(tǒng)增強后的圖像對比度得到增強，圖像層次感更強烈，細節(jié)更豐富，目標(圖中白色亮點)清晰明顯，說明系統(tǒng)滿足實際要求，具有較強的應(yīng)用性。

5 結(jié)論

為了解決霧天情況下視頻成像跟蹤系統(tǒng)采集到圖像模糊不清目標難以分辨的問題，本文采用低成本FPGA為核心設(shè)計高分辨率視頻圖像實時增強系統(tǒng)硬件平臺，并在FPGA內(nèi)部實現(xiàn)了限制對比度直方圖均衡算法(CLAHE)，經(jīng)過試驗測試，系統(tǒng)在滿足實時性的同時，圖像對比度明顯增強，地面軍事人員可以清晰地監(jiān)視跟蹤目標。該系統(tǒng)還可以用于民用室外監(jiān)控、航天測控等領(lǐng)域，實際應(yīng)用價值較高。

[1] 王欣威,李穎,董慧穎.基于大氣模型的天氣退化圖像復(fù)原方法及應(yīng)用[J].沈陽理工大學(xué)學(xué)報，2005，24(01)：36-39.

[2] 郭蟠,蔡自興,謝斌.圖像去霧技術(shù)研究綜述與展望[J].計算機應(yīng)用，2010，30(9)：2417-2421.

[3] ZUIDERVELD K. Contrast limited adaptive histogram equalization[M]. Cambridge：MA Academic Press，1994.

[4] 周衛(wèi)星,廖歡.基于高頻強調(diào)濾波和CLAHE的霧天圖像增強算法[J].電視技術(shù)，2010，34(7)：38-40.

[5] 馬利剛,馬鐵華.基于FPGA的實時圖像采集系統(tǒng)設(shè)計[J].計量與測試技術(shù)，2009，36(4)：51-56.

[6] 孫艷.基于FPGA的VGA顯示控制器的實現(xiàn)[J].自動化與儀器儀表，2008(6)：106-107.

[7] 楊光,李晶,吳鐘建，等.基于FPGA的實時視頻增強[J].電視技術(shù)，2013，37(19)：19-23.

[8] REZA A M. Realization of the contrast limited adaptive histogram equalization for real-time image enhancement[J].Journal of VLSI Signal Processing，2004(38)：35-44.

責(zé)任編輯：許 盈

Design of High Resolution Video Image Real-time Enhancement System

KONG Zhuang1, HE Hengxiang2, DAI Jun2, SUN Bin1, ZHU Jiankun1

(1.University of Electronic Science and Technology of China,Chengdu 611731, China; 2. Southwest Institute of Technical Physics,Chengdu 610041,China)

Under fog and haze weather condition, the images collected by real-time video imaging and tracking system often appear with characteristics of low contrast and centered gray distribution, the target is difficult to be accurately and quickly identified and tracked by military personnel on the ground. In order to solve this problem, the high resolution (1 004×1 004) video image real-time enhancement system, taking the low cost FPGA chip of Spartan 3AN serial of Xilinx company is designed in this paper, the main work includes the system hardware platform is designed and contrast limited adaptive histogram equalization (CLAHE) enhancement algorithm is implemented in FPGA. The practical system tests prove that the design meets real-time requirements, enhancement effect is obvious, and the target can be clearly identified. The system can be used for medical image enhancement, traffic detection, aerospace and other fields, it has high practical value.

image enhancement; real-time processing; CLAHE; FPGA

TP391.41

A

10.16280/j.videoe.2015.20.027

2015-03-30

【本文獻信息】孔壯，何衡湘，代俊，等.高分辨率視頻圖像實時增強系統(tǒng)的設(shè)計[J].電視技術(shù),2015，39(20).