徐 山，伍世虔

(武漢科技大學(xué)信息科學(xué)與工程學(xué)院，機(jī)器人與智能系統(tǒng)研究院，湖北武漢 430000)

0 引言

目前智慧交通、無(wú)人駕駛等領(lǐng)域迎來(lái)了發(fā)展浪潮，對(duì)室外場(chǎng)景應(yīng)用下的機(jī)器視覺(jué)系統(tǒng)提出了更高的要求。而室外環(huán)境中圖像質(zhì)量嚴(yán)重受天氣影響，特別是霧、霾和雨等惡劣情況，會(huì)造成光線的散射和吸收[1]，使得采集的視頻流圖像質(zhì)量較差，最終導(dǎo)致高層視覺(jué)處理任務(wù)的精度下降。針對(duì)這些問(wèn)題，本文對(duì)視頻流霧天圖像清晰化處理進(jìn)行深入研究。

早在20世紀(jì)初，就有學(xué)者對(duì)霧天圖像清晰化算法進(jìn)行研究；理論研究發(fā)展至今，衍生出了基于圖像增強(qiáng)、物理模型恢復(fù)和神經(jīng)網(wǎng)絡(luò)等3類(lèi)去霧算法，如局部直方圖增強(qiáng)算法[2]，暗通道先驗(yàn)算法[3]和多尺度增強(qiáng)去霧網(wǎng)絡(luò)[4]等。雖然這些算法在單幅霧天圖像恢復(fù)的細(xì)節(jié)、色彩和可視性等方面有著較好的效果，但其時(shí)間和空間復(fù)雜度較高，在無(wú)人駕駛等嵌入式應(yīng)用中就會(huì)導(dǎo)致成本高、實(shí)時(shí)性不足、靈活性低和功耗大等問(wèn)題。

為了在保持去霧效果的同時(shí)解決上述應(yīng)用中存在的問(wèn)題，部分學(xué)者轉(zhuǎn)向了硬件加速的去霧算法研究。文獻(xiàn)[5]采用FPGA實(shí)現(xiàn)了高效的圖像去霧，但它所提出的硬件架構(gòu)時(shí)間復(fù)雜度較高，幀間依賴(lài)性較高，導(dǎo)致其靈活性較低，資源利用率低，存在較大的優(yōu)化空間；文獻(xiàn)[6]通過(guò)設(shè)計(jì)特定的硬件架構(gòu)，使其在處理較低圖像分辨率時(shí)，可以達(dá)到極高的實(shí)時(shí)性，但該架構(gòu)的處理速度和效果會(huì)隨著分辨率的增加而減少。

本文綜合考慮時(shí)間、空間和硬件架構(gòu)的復(fù)雜度關(guān)系，提出了一種硬件優(yōu)化的視頻圖像去霧架構(gòu)。該架構(gòu)對(duì)環(huán)境光值和大氣光值的計(jì)算方式進(jìn)行硬件優(yōu)化設(shè)計(jì)，通過(guò)簡(jiǎn)化算法和優(yōu)化硬件架構(gòu)，從而降低了計(jì)算復(fù)雜度，在保證去霧效果的同時(shí)，又能提高處理速度。

1 去霧算法及實(shí)現(xiàn)

1.1 霧天圖像退化物理模型

通過(guò)對(duì)霧天圖像退化的根本原因進(jìn)行研究，文獻(xiàn)[7]提出了大氣物理散射模型，其表達(dá)式為

I(x)=J(x)e-rd(x)+A[1-e-rd(x)]

(1)

式中：x為圖像像素的坐標(biāo)位置；I為霧天退化圖像；J為未退化的無(wú)霧圖像；A為大氣光值；r為大氣散射系數(shù)；d為景物深度。

該模型解釋了霧天圖像失真是由場(chǎng)景光線的衰減和環(huán)境光的疊加造成的，為了簡(jiǎn)化模型，一般記為[8]

t(x)=e-rd(x)

(2)

L(x)=A[1-t(x)]

(3)

式中：t(x)為透射率；L(x)為環(huán)境光值，與景物深度有著相似的變化趨勢(shì)。

將式(2)和式(3)帶入式(1)可得

(4)

此時(shí)對(duì)無(wú)霧圖像的求解過(guò)程，變成對(duì)環(huán)境光L(x)和大氣光值A(chǔ)的求解。

1.2 簡(jiǎn)化的算法設(shè)計(jì)

根據(jù)暗通道先驗(yàn)知識(shí)可知，絕大多數(shù)無(wú)霧彩色圖像的RGB三通道內(nèi)至少有一個(gè)通道值無(wú)限趨近于零，其數(shù)學(xué)表達(dá)式為

(5)

式中：Ω(x)為以x為中心的像素窗口；Jo為無(wú)霧的彩色圖像；Idark為無(wú)霧圖像的暗通道數(shù)據(jù)。

將式(5)與式(3)結(jié)合得

(6)

(7)

根據(jù)文獻(xiàn)[9]采用均值濾波近似估計(jì)透射率，并增設(shè)偏移項(xiàng)來(lái)彌補(bǔ)誤差的方法，可以得到簡(jiǎn)化的透射率計(jì)算公式[9]為

(8)

式中：α為可調(diào)節(jié)參數(shù)，用于平衡圖像亮度和去霧效果；mave為所有暗通道數(shù)據(jù)的平均值；Mave為暗通道值均值濾波后的數(shù)據(jù)。

聯(lián)合式(3)、式(6)和式(8)，可得簡(jiǎn)化的環(huán)境光值計(jì)算公式為

L(x)=min[αmaveMave(x),Jdark(x)]

(9)

因?yàn)榫禐V波屬于線性濾波器，它使得輸出的環(huán)境光值與輸入的暗通道數(shù)據(jù)有著唯一且確定的傳遞函數(shù)，所以保證了L(x)與d變化的一致性。

本文采用原圖像像素最大值和暗通道數(shù)據(jù)最大值的均值來(lái)估計(jì)大氣光值A(chǔ)。考慮到實(shí)際室外場(chǎng)景應(yīng)用中，彩色圖像通道值的最大值多數(shù)情況都為255(像素為24位RGB)，所以大氣光值的簡(jiǎn)化計(jì)算公式為

(10)

通過(guò)式(9)和式(10)即可完成對(duì)環(huán)境光值和大氣光值的估計(jì)，再將其帶入到式(4)中即可得到恢復(fù)的無(wú)霧圖像。

2 去霧算法的硬件優(yōu)化設(shè)計(jì)

2.1 算法整體結(jié)構(gòu)概述

算法架構(gòu)被分為環(huán)境光值估計(jì)模塊、大氣光值估計(jì)模塊和圖像恢復(fù)模塊。通過(guò)對(duì)算法設(shè)計(jì)的公式分析，發(fā)現(xiàn)其主要的計(jì)算步驟有：求最小值、求最大值、均值濾波、求全局平均值和乘除運(yùn)算等操作，且這些操作中有著許多相似的計(jì)算過(guò)程，例如：求最大最小值都是對(duì)數(shù)據(jù)進(jìn)行排序；求平均值和均值濾波都有對(duì)數(shù)據(jù)累加的過(guò)程。所以在硬件架構(gòu)設(shè)計(jì)時(shí)，可以將其合并到同一電路模塊中進(jìn)行優(yōu)化，即減少了架構(gòu)的空間復(fù)雜度，又減少了不必要的時(shí)鐘開(kāi)銷(xiāo)。

圖1 去霧算法整體硬件架構(gòu)圖

圖1將整個(gè)架構(gòu)按功能拆分成排序?yàn)V波模塊、均值模塊、求全局最大值模塊以及計(jì)算公式模塊。該架構(gòu)工作時(shí)呈流水線式，即圖像數(shù)據(jù)在輸入的同時(shí)就已完成對(duì)上一刻數(shù)據(jù)的處理，不需要先存儲(chǔ)再處理，減少了FPGA內(nèi)部處理模塊與外部存儲(chǔ)設(shè)備之間的數(shù)據(jù)交互，具有較低的時(shí)延[10]。圖1中的箭頭方向代表著像素?cái)?shù)據(jù)的流向，每個(gè)模塊都由同一個(gè)本地時(shí)鐘進(jìn)行全局驅(qū)動(dòng)同步運(yùn)行；當(dāng)一幀像素?cái)?shù)據(jù)在像素時(shí)鐘的驅(qū)動(dòng)下輸入時(shí)，所有模塊并行工作完成對(duì)數(shù)據(jù)的處理。

2.2 排序?yàn)V波器模塊的硬件優(yōu)化設(shè)計(jì)

2.2.1 并行全比較器結(jié)構(gòu)

環(huán)境光值和大氣光值計(jì)算模塊的輸入數(shù)據(jù)，都是對(duì)原始圖像像素進(jìn)行非線性濾波得到的，但前者以最小值為輸出目標(biāo)，后者以最大值為輸出目標(biāo)。不同于常用的排序算法，比如冒泡排序法、希爾排序法和計(jì)數(shù)排序法等，本文采用時(shí)間復(fù)雜度最低的并行全比較排序算法[11]。該算法將所有數(shù)據(jù)在同一時(shí)刻進(jìn)行相互比較，并將比較結(jié)果進(jìn)行累加，則累加和的排序順序即為數(shù)據(jù)的大小順序。因此，該算法僅在一個(gè)時(shí)鐘內(nèi)即可完成所有數(shù)據(jù)的排序工作。且FPGA本身就是并行運(yùn)行的，使用并行全比較算法十分符合FPGA硬件設(shè)計(jì)原則。以3個(gè)數(shù)據(jù)為例，其硬件架構(gòu)如圖2所示。

圖2 并行全比較器電路架構(gòu)圖

對(duì)數(shù)據(jù)0、數(shù)據(jù)1和數(shù)據(jù)2進(jìn)行時(shí)序?qū)R后，在一個(gè)時(shí)鐘內(nèi)得到所有數(shù)據(jù)相互之間的比較結(jié)果c(x,y)，其中x為當(dāng)前數(shù)據(jù)序號(hào)，y為其他數(shù)據(jù)的序號(hào)；接著將每個(gè)數(shù)據(jù)的比較結(jié)果進(jìn)行累加賦給sum并存入寄存器中，在下一個(gè)時(shí)鐘將其與設(shè)定的輸出序列號(hào)進(jìn)行比較，從而輸出所需的最大值、中值或最小值。由于流水線式的設(shè)計(jì)導(dǎo)致數(shù)據(jù)具有易失性，所以需要對(duì)輸入的數(shù)據(jù)進(jìn)行緩存用于輸出。

為了保證具有唯一性，做出以下規(guī)定：

(1)數(shù)據(jù)0大于數(shù)據(jù)1或數(shù)據(jù)2時(shí)，結(jié)果記為1，小于或等于時(shí)記為0；

(2)數(shù)據(jù)1大于等于數(shù)據(jù)2時(shí)，結(jié)果記為1，小于時(shí)記為0。

依據(jù)該規(guī)則，使得不同時(shí)刻數(shù)據(jù)的優(yōu)先級(jí)不同，即使存在相同的數(shù)據(jù)，不同數(shù)據(jù)的比較結(jié)果之和也具有唯一性。

該電路架構(gòu)在FPGA中體現(xiàn)的是以面積換速度的思想方式，即綜合考慮資源和速度的關(guān)系，在可接受范圍內(nèi)消耗少量額外的資源來(lái)?yè)Q取速度的提升。

sigma^2 estimated as 11186: log likelihood = -6660.35,aic = 13340.6 9

2.2.2 二維快速統(tǒng)計(jì)排序?yàn)V波模塊設(shè)計(jì)

由式(7)可知，暗通道數(shù)據(jù)求取的是以x為半徑的窗口中所有像素的RGB三通道的最小值，結(jié)合前文所述的并行全比較器電路和設(shè)計(jì)思路，以3×3大小的窗口為例，設(shè)計(jì)了如圖3所示的硬件優(yōu)化的二維快速統(tǒng)計(jì)排序?yàn)V波器。

圖3 二維快速統(tǒng)計(jì)排序?yàn)V波器架構(gòu)圖

圖3中，原始圖像數(shù)據(jù)I(x)通過(guò)行緩存器實(shí)現(xiàn)串行轉(zhuǎn)并行，并完成數(shù)據(jù)時(shí)序?qū)R，形成n×3行數(shù)據(jù)。數(shù)據(jù)對(duì)齊后進(jìn)行3個(gè)通道值的并行全比較，值得注意的是此時(shí)的數(shù)據(jù)已失去時(shí)間的特性，不滿足本文2.2.1節(jié)中所制定的規(guī)則(1)和(2)，針對(duì)該情況做出以下補(bǔ)充：

(1)R通道的值大于等于B通道或G通道的值時(shí)，結(jié)果記為1，小于時(shí)記為0；

(2)G通道的值大于等于B通道的值時(shí)，結(jié)果記為1，小于時(shí)記為0。

該電路共用6個(gè)時(shí)鐘完成對(duì)窗口內(nèi)像素的暗通道值求取。第1個(gè)時(shí)鐘完成對(duì)3行1列數(shù)據(jù)的RGB三通道值的拆分；第2個(gè)時(shí)鐘完成對(duì)每個(gè)像素RGB三通道值的最小值和最大值的求?。坏?個(gè)時(shí)鐘完成對(duì)3行1列像素?cái)?shù)據(jù)三通道值的最小值的求取，并將第2個(gè)時(shí)鐘求取的最大值輸出到下個(gè)模塊；接著采用增量更新的方式，在第4、5個(gè)時(shí)鐘對(duì)計(jì)算得到的最小值延時(shí)2拍，形成3列1行的最小值數(shù)據(jù)，從而形成窗口數(shù)據(jù)的形式；第6個(gè)時(shí)鐘完成對(duì)3列1行數(shù)據(jù)最小值的求取，即暗通道數(shù)據(jù)的求取。所以隨著像素半徑的增加，該架構(gòu)的時(shí)鐘開(kāi)銷(xiāo)并不會(huì)增加，即從數(shù)據(jù)的輸入到處理結(jié)果的輸出時(shí)延僅為6個(gè)時(shí)鐘。

2.3 環(huán)境光值計(jì)算模塊的硬件優(yōu)化

2.3.1 均值模塊

均值模塊是環(huán)境光值計(jì)算模塊中最重要的一環(huán)，其主要功能包括對(duì)暗通道數(shù)據(jù)的均值濾波和求所有數(shù)據(jù)平均值。依據(jù)2.1節(jié)中的設(shè)計(jì)思路和方法，該模塊主體電路由均值濾波器窗口大小決定，所以首先采用行緩存器和增量更新的方式完成對(duì)n×n窗口數(shù)據(jù)的求和，然后經(jīng)由不同邏輯電路得到均值濾波輸出數(shù)據(jù)和平均值輸出數(shù)據(jù)。這里以3×3的均值濾波器為例，設(shè)計(jì)了如圖4所示的均值模塊硬件電路。

圖4 均值模塊電路架構(gòu)圖

圖4中串行的暗通道數(shù)據(jù)(Idark)經(jīng)由2個(gè)行緩存器變成3行并行數(shù)據(jù)結(jié)構(gòu)，完成數(shù)據(jù)的開(kāi)窗以及對(duì)齊；在同一時(shí)鐘的驅(qū)動(dòng)下，該電路先完成排在首列3個(gè)數(shù)據(jù)的相加并賦值給寄存器(Reg)，之后在每個(gè)時(shí)鐘到來(lái)時(shí)完成數(shù)據(jù)的更新和相加；相加后的數(shù)據(jù)再經(jīng)由另外2個(gè)寄存器延時(shí)2拍后，形成3個(gè)列向量和并相加，從而完成3×3窗口數(shù)據(jù)的相加；最后經(jīng)由除法電路得到均值Mave。

與均值濾波不同，平均值的求取會(huì)受增量更新影響，對(duì)數(shù)據(jù)進(jìn)行重復(fù)性累加，從而造成輸出誤差。因此需要對(duì)平均值累加進(jìn)行邏輯判斷：當(dāng)場(chǎng)信號(hào)(vsync)無(wú)效時(shí)，可以判斷一幀圖像數(shù)據(jù)已完成求和，此時(shí)除法電路的數(shù)據(jù)之和才有效，否則為0。

在進(jìn)行除法運(yùn)算的映射時(shí)，常見(jiàn)的方式是調(diào)用除法器IP核，但這樣會(huì)消耗更多的邏輯資源或更稀少的計(jì)算單元。由算法原理可知，均值濾波算子窗口大小以及像素總個(gè)數(shù)是確定的，所以該除法電路可以被視為定常數(shù)除法。綜合考慮系統(tǒng)架構(gòu)邏輯資源占用率、最高工作時(shí)鐘頻率和計(jì)算精度之間的平衡，本文采用定常數(shù)轉(zhuǎn)換的思想，將除法電路中的定常數(shù)除法轉(zhuǎn)換為FPGA所擅長(zhǎng)的移位和加法運(yùn)算，從而降低系統(tǒng)的時(shí)間復(fù)雜度和資源的占用率。

這里以窗口的均值濾波除法電路為例，其除法運(yùn)算的定常數(shù)為9，采用泰勒近似的方式完成定常數(shù)轉(zhuǎn)換，即

(11)

在工程應(yīng)用中，當(dāng)量化的誤差小于最小精度的一半時(shí)，可稱(chēng)為無(wú)損誤差。其誤差為

(12)

根據(jù)上述思想，設(shè)計(jì)了如圖5所示的均值濾波器除法電路。數(shù)據(jù)(sum_3×3)輸入到除法電路后，經(jīng)由多個(gè)移位操作同時(shí)處理后相加賦值給寄存器，將相加結(jié)果延時(shí)一個(gè)時(shí)鐘周期防止出現(xiàn)冒險(xiǎn)與競(jìng)爭(zhēng)，然后再進(jìn)行左移操作來(lái)完成整個(gè)除法動(dòng)作。該電路僅消耗1個(gè)加法器和1個(gè)寄存器，又因?yàn)樵贔PGA中移位操作不消耗時(shí)鐘周期，所以該電路僅開(kāi)銷(xiāo)1個(gè)時(shí)鐘。求平均值的除法電路與上述設(shè)計(jì)思想相同。

圖5 均值濾波器除法電路架構(gòu)圖

2.3.2 環(huán)境光值計(jì)算模塊

由式(9)可知環(huán)境光值的計(jì)算原理，為了避免進(jìn)行冗余的計(jì)算，可以將設(shè)定的偏移值α放大2n倍，然后進(jìn)行定常數(shù)轉(zhuǎn)換來(lái)避免進(jìn)行浮點(diǎn)運(yùn)算，進(jìn)而使用無(wú)時(shí)鐘消耗的移位運(yùn)算。

考慮到本文是基于視頻流的處理，幀間具有相似性[12]，且在幀率較高的情況下圖像的變化較慢。所以本文采用上一幀的計(jì)算參數(shù)來(lái)處理當(dāng)前幀的圖像，計(jì)算結(jié)果可能存在一定的誤差，但極大地減少了資源的消耗，從而降低該架構(gòu)的空間復(fù)雜度，提高了算法的運(yùn)行速度。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 去霧效果比較與分析

圖6顯示了文獻(xiàn)[7]和本文硬件去霧的處理結(jié)果。本文所提出的架構(gòu)雖然對(duì)許多步驟進(jìn)行了硬件優(yōu)化，但從主觀上來(lái)看，兩者視覺(jué)效果相當(dāng)。

圖6 去霧效果比較

為了客觀地評(píng)價(jià)實(shí)驗(yàn)結(jié)果，本文選擇峰值信噪比[13](peak signal to noise ratio,PSNR)和結(jié)構(gòu)相似性[14](structural similarity,SSIM)來(lái)作為評(píng)價(jià)標(biāo)準(zhǔn)。PSNR是基于誤差敏感的圖像客觀評(píng)價(jià)標(biāo)準(zhǔn)，其值越大，則處理后圖像失真越小；SSIM是衡量2幅圖像相似度的指標(biāo)，其值越大，則處理后的圖像與原圖結(jié)構(gòu)越相似。具體客觀評(píng)價(jià)指標(biāo)結(jié)果如表1和表2所示。

表1 客觀評(píng)價(jià)指標(biāo)PSNR結(jié)果

表2 客觀評(píng)價(jià)指標(biāo)SSIM結(jié)果

從表1和表2數(shù)據(jù)可以看出，本文從算法原理上進(jìn)行簡(jiǎn)化并沒(méi)有減損去霧效果質(zhì)量，與文獻(xiàn)[7]中的算法處理效果相當(dāng)。

3.2 運(yùn)行速度比較

由于本文硬件架構(gòu)是受文獻(xiàn)[7]的啟發(fā)而提出，且文獻(xiàn)[15]是將文獻(xiàn)[7]中的算法用FPGA進(jìn)行的硬件實(shí)現(xiàn)，所以這里選取文獻(xiàn)[7]和文獻(xiàn)[15]進(jìn)行去霧處理速度的對(duì)比。

表3中的數(shù)據(jù)來(lái)源于文獻(xiàn)[7]和文獻(xiàn)[15]原文。文獻(xiàn)[7]通過(guò)Matlab7.11得到，運(yùn)行環(huán)境為：2.33 GHz的IntelCore2(Q8200)CPU；文獻(xiàn)[15]運(yùn)行在cyclone Ⅳ系列的EP4CE10F17芯片開(kāi)發(fā)板上；本文硬件去霧架構(gòu)運(yùn)行平臺(tái)與文獻(xiàn)[15]相同，但運(yùn)行速度是文獻(xiàn)[7]的約11倍，是文獻(xiàn)[15]的約2倍。

表3 算法運(yùn)行時(shí)間比較 ms

表4為不同硬件加速方案的比較，可以看到本文所提架構(gòu)的數(shù)據(jù)處理速度高達(dá)100.8 Mpixel/s，是文獻(xiàn)[16]的3倍，與文獻(xiàn)[6]相當(dāng)，對(duì)1 200×960 pixel的視頻圖像去霧處理可以以60 fps的速度穩(wěn)定運(yùn)行。且通過(guò)軟件分析可知，該架構(gòu)實(shí)現(xiàn)的功耗為2.14 W。

表4 不同加速方案比較

4 結(jié)束語(yǔ)

本文將去霧算法進(jìn)行簡(jiǎn)化，提出了一種視頻流的實(shí)時(shí)去霧硬件架構(gòu)。該架構(gòu)具有低功耗、結(jié)構(gòu)簡(jiǎn)單、實(shí)時(shí)性高和計(jì)算復(fù)雜度低等優(yōu)點(diǎn)，在全局時(shí)鐘的驅(qū)動(dòng)下工作，呈流水線式。采用硬件優(yōu)化的方法簡(jiǎn)化FPGA中環(huán)境光值和大氣光值的計(jì)算步驟，降低了算法的計(jì)算復(fù)雜度，增加了硬件資源的重復(fù)利用率，提高了硬件架構(gòu)的處理速度。各模塊架構(gòu)經(jīng)功能性驗(yàn)證后，在Cyclone Ⅳ系列的EP4CE10F17芯片上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本文設(shè)計(jì)的硬件架構(gòu)在保證去霧效果的同時(shí)，完全可以滿足當(dāng)前工業(yè)應(yīng)用的要求，具有較高的應(yīng)用價(jià)值。