曹亞輝，劉 峰

(南京郵電大學(xué) 圖像處理與圖像通信江蘇省重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210003)

?

基于FPGA的高清實(shí)時(shí)視頻去霧系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

曹亞輝，劉 峰

(南京郵電大學(xué) 圖像處理與圖像通信江蘇省重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210003)

實(shí)現(xiàn)了基于Xilinx XC6SLX45 FPGA的高清實(shí)時(shí)視頻去霧系統(tǒng)，詳細(xì)介紹了系統(tǒng)的邏輯框架及主要的算法實(shí)現(xiàn)。首先，介紹了整個(gè)系統(tǒng)的硬件框架及FPGA內(nèi)部的邏輯框架；其次，描述了改進(jìn)的暗原色先驗(yàn)去霧算法，給出了在FPGA中的算法實(shí)現(xiàn)過程；最后，對(duì)系統(tǒng)進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)實(shí)現(xiàn)了預(yù)期的高清視頻實(shí)時(shí)去霧，并具有自適應(yīng)功能，去霧效果良好。

高清；實(shí)時(shí)；暗原色先驗(yàn)；視頻去霧；FPGA

近年來環(huán)境的惡化導(dǎo)致霧霾天氣增多，圖像去霧的研究漸成熱點(diǎn)。尤其是戶外場(chǎng)景的視頻監(jiān)控更需要實(shí)時(shí)地對(duì)采集的視頻圖像去霧。同時(shí)，視頻監(jiān)控的高清化對(duì)視頻去霧系統(tǒng)提出了更高的實(shí)時(shí)要求。文獻(xiàn)[1]實(shí)現(xiàn)了PAL視頻尺寸的實(shí)時(shí)去霧，但其沒有考慮到色度信號(hào)的信息，還有一定可優(yōu)化的空間。文獻(xiàn)[2]通過利用GPU實(shí)現(xiàn)了圖像去霧算法，但其目前主要應(yīng)用于通用PC機(jī)平臺(tái)，沒有考慮到小型嵌入式系統(tǒng)的應(yīng)用。文獻(xiàn)[3]實(shí)現(xiàn)了基于暗原色先驗(yàn)[4]的PAL制視頻去霧，但暫不支持高清視頻去霧。文獻(xiàn)[5]實(shí)現(xiàn)了基于DSP+FPGA高清實(shí)時(shí)視頻去霧，但其不適用于低成本設(shè)備。本文采用了一種FPGA實(shí)時(shí)視頻處理框架，并基于暗原色先驗(yàn)去霧算法，實(shí)現(xiàn)了720p視頻60 Hz實(shí)時(shí)視頻去霧，并具有自適應(yīng)功能，系統(tǒng)成本低，且具有良好的擴(kuò)展性，非常容易向1 080p視頻去霧系統(tǒng)升級(jí)。

1 視頻處理框架及系統(tǒng)資源

1.1 視頻處理框架

視頻處理的實(shí)時(shí)性以及高分辨率特點(diǎn)對(duì)整個(gè)視頻處理系統(tǒng)的時(shí)延和帶寬都提出了較高的要求，因此高效的視頻處理框架是系統(tǒng)邏輯設(shè)計(jì)的關(guān)鍵之一。本系統(tǒng)的視頻處理框架如圖1所示，整個(gè)視頻處理框架基于ARM AMBA AXI4[6]協(xié)議，使得整個(gè)框架具有高帶寬、低時(shí)延、擴(kuò)展性好等特點(diǎn)。首先貫穿整個(gè)處理框架的是AXI4 Stream[7]協(xié)議，它無需傳輸?shù)刂?，并且具有無限長(zhǎng)突發(fā)傳輸特點(diǎn)，適宜于寬帶信號(hào)互聯(lián)。同時(shí)該框架采用AXI4映射的外部?jī)?nèi)存幀緩沖進(jìn)行輸入輸出時(shí)鐘域的同步。最后FPGA內(nèi)部還綜合出一個(gè)MicroBlaze軟核，通過AXI4-Lite協(xié)議配置IP的寄存器并提供額外的運(yùn)算能力現(xiàn)了圖像去霧IP核，具體內(nèi)容將在下一節(jié)介紹。

1.2 系統(tǒng)資源

本視頻去霧系統(tǒng)以Xilinx 的低成本Spartan 6 LX45為核心，內(nèi)部集成了43 661個(gè)邏輯單元，2 088 kbit RAM，58個(gè)DSP Slice，并且還集成了內(nèi)存控制器硬核，最大支持800 Mbit/s速率、12.8 Gbit/s峰值帶寬，為高清視頻處理提供了足夠帶寬。整個(gè)系統(tǒng)的輸入輸出基于HDMI接口，采用TI的TMDS141作為驅(qū)動(dòng)器，兼容HDMI 1.3a標(biāo)準(zhǔn)，最高支持1 080p分辨率。

圖1 視頻處理框架

2 基于暗原色先驗(yàn)的去霧算法及其FPGA實(shí)現(xiàn)

本系統(tǒng)實(shí)現(xiàn)的FPGA去霧算法主要參考文獻(xiàn)[5]基于暗原色先驗(yàn)的方法，同時(shí)為了實(shí)現(xiàn)高清實(shí)時(shí)視頻去霧，在去霧的效果和系統(tǒng)性能上做了一些折中。另外，本系統(tǒng)還借助于視頻處理框架中的MicroBlaze軟核實(shí)現(xiàn)了自適應(yīng)算法，提高了去霧視頻的用戶體驗(yàn)。

2.1 邏輯設(shè)計(jì)

去霧算法的邏輯實(shí)現(xiàn)如圖2所示。整個(gè)去霧分成3個(gè)模塊實(shí)現(xiàn)，輸入圖像依次經(jīng)過暗通道圖像計(jì)算模塊A、霧天透射率計(jì)算模塊B和無霧圖像生成模塊C，最后完成圖像去霧后輸出。為了實(shí)現(xiàn)圖像處理的流水線操作，整個(gè)圖像處理IP基于像素流，即所有的像素都是串行地依次經(jīng)過模塊A、B、C并輸出，從而每一個(gè)模塊都是基于逐個(gè)像素進(jìn)行處理，并配合FIFO進(jìn)行各個(gè)模塊之間緩沖，有利于實(shí)現(xiàn)高帶寬、低時(shí)延的IP核。下面依次介紹各個(gè)模塊的實(shí)現(xiàn)。

圖2 算法邏輯框圖

1) 暗通道圖像計(jì)算模塊

暗原色先驗(yàn)是針對(duì)戶外無霧圖像統(tǒng)計(jì)得出的規(guī)律，即在絕大部分非天空局部區(qū)域中，每個(gè)像素至少會(huì)有一個(gè)通道具有極低的密度。由該密度值組成的圖像稱為暗通道圖像，因此圖像中被濃霧覆蓋區(qū)域的暗通道往往具有較高的強(qiáng)度值。暗通道圖像可以近似地估計(jì)出圖像透射率，即為模塊B霧天透射率計(jì)算模塊所用。

暗通道的數(shù)學(xué)模型定義為

(1)

式中：Jc是J的一個(gè)顏色通道；Ω(x)是以x為中心的區(qū)域。

為了便于實(shí)現(xiàn)基于逐個(gè)像素處理的IP核，本文將中心區(qū)域定為單像素區(qū)域，即直接求取每個(gè)像素的RGB三通道的最小值。雖然這樣在效果上存在一定程度的損失，但是換取了運(yùn)算速度性能的極大提高。為了快速地求取最小值，利用2個(gè)數(shù)字比較器實(shí)現(xiàn)了RGB最小值求取運(yùn)算，具體實(shí)現(xiàn)如圖3所示。

圖3 暗通道圖像邏輯實(shí)現(xiàn)框圖

2) 霧天透射率計(jì)算模塊

霧天透射率即霧天圖像的傳輸函數(shù)，由該傳輸函數(shù)即可從有霧圖像恢復(fù)出原圖。傳輸?shù)臄?shù)學(xué)模型定義為

(2)

透射率模塊的實(shí)現(xiàn)借助于Spartan 6的DSP Slice實(shí)現(xiàn)了流水線乘加運(yùn)算。由于求取大氣光強(qiáng)度A需要遍歷圖像所有的像素點(diǎn)，嚴(yán)重影響圖像的實(shí)時(shí)性，并且考慮到實(shí)際視頻中的亮度特性，于是系統(tǒng)將大氣光求取的運(yùn)算留給了MicroBlaze軟核，由軟核負(fù)責(zé)遍歷圖像求取大氣光亮度并更新參數(shù)A。同時(shí)為了增加更多的靈活性，增加保留遠(yuǎn)處霧氣的參數(shù)ω也通過軟核配置更新。最后為了使去霧后的天空區(qū)域更加真實(shí)，有必要給透射率設(shè)置下限R并通過軟核配置更新，以上涉及到的參數(shù)均通過AXI4-Lite映射到MicroBlaze地址空間，從而能夠直接訪問。

3) 無霧圖像生成模塊

無霧圖像生成模塊的主要功能是利用得到的透射率圖像以及輸入的有霧圖像計(jì)算出無霧圖像。數(shù)學(xué)模型定義為

(3)

該模塊首先將原圖與大氣光相減，為了避免負(fù)數(shù)出現(xiàn)，實(shí)際的運(yùn)算中首先判斷I(x)與A的大小，若I(x)>A，則采用式(3)計(jì)算，若I(x)

(4)

除法運(yùn)算的實(shí)現(xiàn)借助于Spartan 6的DSP Slice實(shí)現(xiàn)的高速除法器進(jìn)行。同時(shí)為了實(shí)現(xiàn)除法器的流水化，需要進(jìn)行邏輯上的優(yōu)化。這里的大氣光A參數(shù)同樣通過MicroBlaze軟核配置更新，具體實(shí)現(xiàn)如圖4所示。

圖4 無霧圖像生成模塊邏輯實(shí)現(xiàn)框圖

2.2 軟件設(shè)計(jì)

本系統(tǒng)綜合出的MicroBlaze軟核為32位MPU，工作頻率50 MHz，除了進(jìn)行IP核工作方式的配置外還能輔助去霧IP進(jìn)行去霧參數(shù)的動(dòng)態(tài)調(diào)整。

1) 大氣光參數(shù)計(jì)算

經(jīng)過實(shí)驗(yàn)證明，大氣光參數(shù)A的變化對(duì)去霧后視頻的影響較小。同時(shí)對(duì)于戶外拍攝的視頻而言，圖像亮度變化較為緩慢，從而大氣光參數(shù)A會(huì)在較長(zhǎng)的一段時(shí)間范圍內(nèi)保持不變，綜合以上兩點(diǎn)特性，可以使用運(yùn)算能力較低的MicroBlaze進(jìn)行霧天圖像的遍歷來求取并更新大氣光參數(shù)A。為了簡(jiǎn)化算法，取每個(gè)像素的RGB通道的平均作為像素的亮度值，算法流程圖如圖5所示。

圖5 大氣光參數(shù)求取算法流程圖

2) 去霧圖像亮度調(diào)節(jié)

通常圖像去霧后往往伴隨著亮度的降低，然而圖像亮度的降低程度因不同的圖片而異，這會(huì)導(dǎo)致去霧后的視頻時(shí)亮?xí)r暗，給用戶造成了一定的視覺疲勞。實(shí)際上，拍攝視頻的亮度一般較為固定，考慮到這個(gè)特性，本文利用MicroBlaze求取有霧圖像以及去霧圖像后的平均亮度，估計(jì)出去霧前后視頻的整體亮度差，并動(dòng)態(tài)地調(diào)節(jié)參數(shù)ω(ω用于指示去霧程度)，可以使去霧后視頻的亮度保持穩(wěn)定。算法流程圖如圖6所示。

圖6 去霧圖像亮度調(diào)節(jié)算法流程圖

3 實(shí)驗(yàn)結(jié)果

為了測(cè)試本系統(tǒng)的高清實(shí)時(shí)視頻去霧的顯示效果，搭建了基于HDMI輸入輸出的測(cè)試環(huán)境，將預(yù)先拍攝好的有霧視頻通過帶有HDMI接口的高清視頻源輸出連接至FPGA高清視頻去霧系統(tǒng)的輸入接口，同時(shí)該視頻源也通過分量信號(hào)接口輸出視頻至LG 43 in(1 in=2.54 cm)大屏幕高清電視機(jī)，再將該系統(tǒng)的輸出連接至另一臺(tái)LG 43 in電視機(jī)作為高清顯示的測(cè)試工具并進(jìn)行前后對(duì)。經(jīng)驗(yàn)證，系統(tǒng)能實(shí)時(shí)處理1 280×720分辨率且刷新率為60 Hz的視頻，整個(gè)視頻去霧系統(tǒng)占用FPGA資源情況如表1所示。實(shí)驗(yàn)處理視頻為720p霧天彩色圖像，視頻截圖效果如圖7～8所示。

表1 FPGA資源占用情況

圖7 去霧效果圖

圖8 固定參數(shù)下的去霧圖(失真嚴(yán)重)

4 結(jié)論

本文提出了一種基于FPGA的高清實(shí)時(shí)視頻去霧系統(tǒng)。首先描述了該系統(tǒng)的總體硬件結(jié)構(gòu)以及視頻去霧系統(tǒng)的邏輯框架，然后介紹了基于暗原色先驗(yàn)理論的圖像去霧算法及其FPGA的高速實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明，本系統(tǒng)能夠?qū)崿F(xiàn)720p 60 Hz視頻的實(shí)時(shí)去霧，去霧效果良好，且系統(tǒng)設(shè)計(jì)簡(jiǎn)單、成本較低，并具有自適應(yīng)功能，可以改善去霧后視頻亮度突變等問題。

[1]龔亮，孫俊喜，顧播宇，等.基于FPGA的視頻圖像去霧系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電視技術(shù)，2013，37(7)：6-8.

[2]劉曉光.基于OpenCL的圖像去霧算法研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2013.

[3]韓子奇.基于FPGA的視頻霧場(chǎng)景去除算法研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2013.

[4]HE K， SUN J， TANG X.Single image haze removal using dark channel prior[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2011，33(12)：2341-2353.

[5]賀柏根，劉劍，馬天瑋.基于DSP+FPGA的實(shí)時(shí)圖像去霧增強(qiáng)系統(tǒng)設(shè)計(jì)[J].液晶與顯示，2013(6)：968-972.

[6]AMR.AMBA AXI and ACE Protocol Specification[EB/OL].[2014-10-06].http：//www.arm.com/zh/products/system-ip/amba/amba-open-specifications.php.

[7]AMR.AMBA 4 AXI4-Stream Protocol Specification[EB/OL].[2014-10-06].http：//infocenter.arm.com/help/index.jsp?topic=/com.arm.doc.ihi0051a/index.html.

Design and Implementation of High-definition Real-time Video Dehazing System Based on FPGA

CAO Yahui, LIU Feng

(JiangsuKeyLaboratoryofImageProcessing&Communication,NanjingUniversityofPostsandTelecommunications,Nanjing210003,China)

Design and implementation of high-definition real-time video dehazing system based on Xilinx XC6SLX45 FPGA are introduced in this paper.The overall architecture of the system and algorithm are described in detail.At first, hardware architecture of the system and logic architecture inside FPGA are introduced.Secondly, improved dark channel prior haze removal algorithm is contributed with the algorithm implementation in the FPGA.Finally, the result shows that the system works as expected with the adaptive function.The system has good real-time performance and dehazing effect for high-definition haze video.

high-definition; real-time; dark channel prior; video dehazing; FPGA

江蘇省高校自然科學(xué)研究項(xiàng)目(13KJA510004；12KJB510019)；廣州市軟件和信息服務(wù)業(yè)發(fā)展專項(xiàng)資金項(xiàng)目(2060404)

TN911.73

A

10.16280/j.videoe.2015.07.011

2014-10-07

【本文獻(xiàn)信息】曹亞輝，劉峰.基于FPGA的高清實(shí)時(shí)視頻去霧系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電視技術(shù),2015，39(7).

曹亞輝(1990— )，碩士生，主研圖像處理與多媒體通信；

劉 峰(1964— )，博士，教授，博士生導(dǎo)師，主研圖像處理與多媒體通信、高速 DSP 與嵌入式系統(tǒng)。

責(zé)任編輯：閆雯雯