曾浩洋，張紅英,2

1(西南科技大學 信息工程學院,四川 綿陽 621010) 2(特殊環(huán)境機器人技術(shù)四川省重點實驗室,四川 綿陽 621010)

1 引 言

在一些霧、霾天氣下，天空中存在的大氣粒子在光傳播過程中會發(fā)生散射，使得到的圖像降質(zhì)、模糊不清，嚴重影響人類視覺觀察和相關(guān)視覺算法的處理效果.圖像去霧能明顯提升圖像的清晰度和復原由于霧、霾導致的色彩失真，因此對圖像去霧具有很好的應用前景.

近年來，國內(nèi)外研究者提出了很多圖像去霧算法，例如Tan[1]等人觀察到有霧的圖片比無霧圖片有著更高的對比度，提出了最大化圖像局部對比度的去霧算法，但該算法恢復后的圖像易導致色調(diào)發(fā)生偏移；Fattal[2]等人則是設想光的傳播與物體目標表面投影是不相關(guān)，進而估算出場景物體反射率在推導場景投射率的方法，其算法很大程度上依賴于輸入數(shù)據(jù)的統(tǒng)計特征，對于霧氣較濃的圖像去霧會導致較大失真；He[3]等人提出基于暗原色先驗的單幅圖像去霧技術(shù)，并采用軟摳圖技術(shù)精細化透射率，圖像復原效果更加自然.但該方法在對含有大面積天空區(qū)域圖像處理時，會產(chǎn)生光暈偽影和色彩失真等狀況，同時軟摳圖技術(shù)導致整個算法時間復雜度較高.為提高去霧效果和算法效率，許多改進的算法被提出[4,5].He[4]等人又提出了使用導向濾波來替換軟摳圖方法，有效的縮短了算法運行時間.然而它處理一副 400×300 大小的圖像還需要10-20s，仍難以滿足實時的需求.刑曉敏等人[5]則是對圖像分割出天空區(qū)域進而估算大氣光值，從而改進場景透射率，使得復原的圖像真是自然，但是分割算法均過于復雜，消耗時間過長，不能滿足實時需要；劉哲[6]等人提出使用改進的雙邊濾波代替軟摳圖算法，使用暗通道圖和原圖最亮值的均值做大氣光值.雖然有效的降低了濾波的時間復雜度，但在大氣光值方面又增加了計算，且又是在CPU上運行，同樣不能達到實時處理的要求.

隨著CUDA 和OPENCL等并行架構(gòu)的使用，GPU 已不僅僅是只用來對圖像顯示加速，更多的是把GPU當做一種協(xié)處理器對數(shù)據(jù)的計算進行加速，目前很多領(lǐng)域的算法已使用GPU加速且得到了較為滿意的效果.Xue[7]等人基于CUDA并行處理可以有效的提高算法效率，其實驗結(jié)果表明，處理

1024×767大小的圖片僅需要200ms，然而仍不能達到實時的效果.本文在Xue的方法基礎上，提出了一種基于天空分割并使用導向濾波優(yōu)化透射率的去霧方法.該方法能夠很好的對含有天空區(qū)域的圖像去霧，結(jié)合CUDA并行處理 ，針對高清圖像基本做到了實時去霧.

2 背 景

2.1 霧天圖像退化模型

在霧天取景時，天空中的一些成分會對取像造成影響,如：空氣中微小粒子的散射現(xiàn)象，會導致從物體反射的入射光產(chǎn)生衰減；大氣粒子產(chǎn)生的散射作用，會使自然光一起參與圖像成像，造成霧天的取像整體偏向于灰白色.在圖像處理領(lǐng)域中，多采用如下模型來描述霧天圖像成像的物理模型[7].

I(x)=J(x)t(x)+A(1-t(x))

(1)

其中：I(x)為觀測點收到的光強，J(x)是場景點反射出去的光強，t(x)為光線傳播圖，t(x)=e-βd(x)，d(x)為觀測點距場景點的間隔，β為大氣光的散射系數(shù)，β在可見光范圍內(nèi)視作常數(shù)，J(x)t(x)項即為場景反射(發(fā)射)光衰減模型；A是大氣光值，A(1-t(x))項即為大氣光成像模型.

2.2 暗原色先驗理論

暗原色先驗算法[3,4]的基本思想是對多幅無霧圖像觀察發(fā)現(xiàn)：大多數(shù)不含有明亮區(qū)域的圖像中，某一些像素最少會有RGB通道中的一種是接近于0的值，進而得出，暗通道先驗規(guī)律，即無霧圖像的暗通道像素亮度很小，接近于零.根據(jù)該規(guī)律，提出了基于暗原色先驗的去霧算法.

其暗通道可以用公式(2)表達：

(2)

式中Jc表示彩色圖像的單個通道，Ω(x)表示以像素點a為中心的一個區(qū)域.

對公式(2)兩邊進行取最小值，然后通過對3個顏色通道中取最小值.即可得到

Jdark→0

(3)

3 基于天空區(qū)域分割的去霧算法

由暗原色先驗的統(tǒng)計規(guī)律可知，He的算法對諸如天空等沒有暗原色的較亮區(qū)域，復原效果會產(chǎn)生色彩失真和光暈效應，為克服這一問題提出天空區(qū)域分割的方法，將對天空區(qū)域計算平均強度值作為新的大氣光值，在通過雙邊濾波進一步的優(yōu)化透射率.實驗證明此方法對含有較多天空區(qū)域或含有較亮區(qū)域的霧天圖像可以做到很好的還原.其算法的流程如圖1所示.

圖1 去霧流程圖Fig.1 Defogging flow chart

3.1 天空區(qū)域分割算法

因為霧天圖像表現(xiàn)為灰白色，對比度與亮度的變化較為平緩.圖片中物體多是彩色的，而背景尤其是天空區(qū)域，則表現(xiàn)為接近于白色.霧天圖像偏白會導致和天空區(qū)域的連接較為緊密，通過邊緣檢測分割圖像，我們會得到不連續(xù)，信息不完全的圖像.

深度學習的圖像分割算法可以得到比較理想的效果，但是其數(shù)據(jù)較多，計算較為復雜，需要的時間較長，不適用于實時處理.而大津法(OTSU)閾值分割[8]復雜度較低，且運算時間較短.符合本文并行去霧縮短去霧時間的思想.分割的圖像如圖2所示.

(a) 有霧圖像 (b) 非天空區(qū)域 (c) 天空區(qū)域

圖2 基于OTSU的天空區(qū)域分割圖
Fig.2 Sky zone segmentation based on OTSU

OTSU是一種基于全局的二值化算法，對于一副圖像I(x,y)的灰度圖，根據(jù)閾值T可以把圖像分為前景(非天空區(qū)域)和背景(天空區(qū)域).閾值的最佳取值是在前后景差別最大時，其算法的最佳評價標準是最大類間方差.具體算法步如下：

1)計算0-255個灰度級中所有的像素點數(shù)量，然后把他們存儲到一個數(shù)組中，數(shù)組的下標是對應的每一級的灰度，儲存的內(nèi)容是每一級灰度中的像素點個數(shù).

2)求背景中的平均灰度和背景含有的像素點個數(shù)在背景圖像中的概率.

3)求前景中的灰度均值和前景含有的像素點個數(shù)在前景圖像中的概率.

4)遍歷0-255個灰度級，求并得到所需要類間方差的最大值.

前景(非天空區(qū)域)的像素點數(shù)占原始圖像像素點數(shù)的比例為k0，灰度均值記為μF.背景(天空區(qū)域)的像素點個數(shù)占原始圖像像素點數(shù)的比例為k1，其灰度均值為μB.原始圖像的灰度均值為μ，所求的類間方差值記為σ2.圖像的大小記為X×Y，前景中的像素點數(shù)記為Y0,背景中的像素個數(shù)記為Y1.

(4)

(5)

Y0+Y1=X×Y

(6)

k0+k1=1

(7)

μ=k0×μF+k1×μB

(8)

σ2=k0(μF-μ)2+k1(μB-μ)2

(9)

公式(10)帶入(11)即可得到

σ2=k0k1(μF-μB)2

(10)

使用遍歷的方法獲得最大的σ2就是所要求的閾值T.

3.2 初始透射率

在暗原色先驗算法中是選取暗圖中最亮值的前0.1%的像素點，在找出這些像素對應在霧天圖像中的最大的值作為大氣光值A.可以看出這是選取某一點的像素值強度作為A值，若選取某一點的值作為大氣光值，可能會導致選擇的A值是接近于最大像素值255.這樣會使圖像去霧后圖像有失真或斑塊產(chǎn)生.由此可知暗原色先驗算法不適用于有天空的圖像，本文選擇對霧天圖像分割得到其天空區(qū)域圖.選擇對天空區(qū)域計算其強度均值記為大氣光值.由于天空區(qū)域的景深可以看做是無窮遠.所以有公式(1)可知:

t(x)=e-βd(x)≈0

(11)

I(x)≈A

(12)

即A值可以看做是是含有霧圖像的最亮點的值.故將天空區(qū)域的強度均值記為A值是合理的.即：

(13)

(14)

在實際成像過程中，即便是無霧條件下，空氣也含有微小的顆粒，所以，觀看遠處的景象還會有不清楚的感覺，所以存在一定量的霧，會使我們感覺圖像更加的真實.故

(15)

經(jīng)過大量的實驗表明ω在0.7-0.95之間去霧的效果較好，本文選擇為0.9.

3.3 精細化透射率及還原

He在濾波時選擇的是軟摳圖算法.軟摳圖算法的數(shù)據(jù)多，計算量較大，耗時.后來HE又提出導向濾波代替軟摳圖算法，導向濾波可以大幅度提高去霧算法運算效率，且對霧天圖像的還原效果更好.故本文選擇導向濾波精細化透射率.在得到大氣光值A和優(yōu)化后的透射率t(x)后，由式(1)可得最后的還原公式為

(16)

4 去霧算法的并行加速及優(yōu)化

4.1 并行性分析

由暗原色先驗算法可知暗原色去霧可以分為5個步驟，根據(jù)每個步驟中數(shù)據(jù)的關(guān)聯(lián)性，可分析出算法的最大并行效率，對一幅X×Y的圖像，分析其并行[9-12]化結(jié)果如表1所示.

表1 暗原色算法并行度分析Table 1 Dark color algorithm parallel degree analysis

由表1可以看出，暗原色先驗算法適用于并行計算.有3個過程可以達到像素點數(shù)的并行效率.求大氣光值的數(shù)據(jù)通過分析其并行度則可以達到分割出的天空圖像中的像素點數(shù).Xue的大氣光值的并行度則為Log2(X×Y×0.001)，對比可以發(fā)現(xiàn)本文的方法有更高的效率.優(yōu)化透射率本文使用導向濾波，對Xue提出的并行累加保留累加中間結(jié)果的方法改進，可以有更高的并行度，進一步的提高并行效率.

4.2 計算暗原色

如圖3(a)所示在一副圖像中以線程Thread對應的點為中心選取15×15的窗口，對于邊緣的點通過擴展補充形成窗口[10].所有的像素點都能夠通過擴展得到一個暗原色值.在并行化中對每一個像素值分配一個線程.對每一個像素的窗口函數(shù)內(nèi)求最小值，即像素點的暗原色值.

(a) 像素點對應的線程 (b)像素點的暗原色值圖3 暗原色求解Fig.3 Dark color solution window

由圖3(b)求一個像素點的暗原色值(黑色方塊：(0，0)、(1，2))可以看出，計算暗原色時，對每一個像素點值都需要多次讀取，可以利用寄存器存儲數(shù)據(jù).但是寄存器的線程是私有的不能共享，且存儲空間有限，不同線程之間有數(shù)據(jù)的重復調(diào)用，可以使用共享內(nèi)存，減少線程間的通信時間.

4.3 求大氣光值

Xue是使用傳統(tǒng)的方法求大氣光值，求最大值是通過排序的方法，由于排序存在時序問題，所有并行化不高，耗時較長.本文使用的是分割后的天空圖，求其強度均值作為大氣光值.其并行度為天空區(qū)域的像素點數(shù).可以用歸約的方法求和后再求平均值.可以有效的提高算法效率.本文方法如圖4所示.

圖4 歸并法求和Fig.4 Merging method summation

4.4 計算初始透射率

圖5 kernel合并Fig.5 kernel merge

由于第1個和第3個Kernel函數(shù)的計算量較少，可以將其合并到第2個Kernel函數(shù)，合并后可以改變存儲方式，由原來的全局內(nèi)存變?yōu)楣蚕韮?nèi)存，可以減少數(shù)據(jù)的訪存時間達到優(yōu)化代碼的效果.具體如圖5所示.

4.5 精細化透射率及還原

本文使用導向濾波[4]精細化透射率，在這一計算過程中多次使用中值濾波函數(shù)box_filter,對其核函數(shù)進合并，可以看為有兩個kernel函數(shù)在并行.一個是求行累加，另一個是求列累加，還有一些其他的矩陣運算[11].累加的方法如圖6所示.

圖6 并行累加Fig.6 Parallel accumulation

由圖6可知導向濾波在做累加是保留中間結(jié)果的累加方法，如果使用傳統(tǒng)的方法，需要大量的計算步驟，且需要多次分配內(nèi)存.而使用圖6的方式可以有效的減少計算次數(shù)，在調(diào)用數(shù)據(jù)時使用共享內(nèi)存，也可以提高數(shù)據(jù)的使用效率.如a0+a1+a2+a3這個存儲空間可以多次調(diào)用，且不用多次分配內(nèi)存.

(a) 霧天圖像 (b) He的去霧圖 (c) 劉的去霧圖 (d) 本文去霧圖

圖7 去霧算法對圖
Fig.7 Defogging algorithm comparison chart

由于需要多次調(diào)用box_filter，使用上圖法已經(jīng)大幅度優(yōu)化了累加的時間，但是每次調(diào)用的數(shù)據(jù)不一樣，數(shù)據(jù)之間有四則運算，結(jié)果之間也有四則運算，根據(jù)這些不同，可使用一個kernel函數(shù)多次調(diào)用即可.其余的矩陣運算使用另一個kernel函數(shù)既可以.

由公式(16)可知，在去霧這一過程中只涉及到簡單的四則運算，故可以調(diào)用精細化透射率中的kernel函數(shù).

5 實驗結(jié)果與分析

5.1 去霧效果比較

本文方法是在VS2013平臺上使用opencv3.1和CUDA7.5，進行C、CUDA C編程實現(xiàn)的.硬件配置環(huán)境為：顯卡(NVIDIA GeForce GTX 1080Ti),CPU(Inter Core i7700k) 內(nèi)存(16GB ).

圖7給出了本文算法和He算法的對比效果，其中(a)為有霧圖像，(b)為He方法去霧的圖像，(c)為文獻[6]劉的去霧圖，(d)為本文方法去霧的圖像.從這些對比圖像可以觀察到，He方法在對天空區(qū)域去霧時出現(xiàn)了光暈現(xiàn)象和色彩失真，而本文方法所恢復的圖像更加自然真實.

5.2 去霧速度比較

我們選擇1280×720的圖片，分別對去霧過程中的每一個步驟進行時間統(tǒng)計并與Xue的算法進行對比，其結(jié)果如表2所示.

表2 去霧各步驟的運行時間Table 2 Timing of the defogging steps 單位：ms

從表2可以看出，針對高清圖像，本文的并行優(yōu)化算法較只用CPU實現(xiàn)，其速度提升了75倍，與Xue的并行加速算法相比，其速度提升了近3倍，基本達到了對高清圖像的實時處理.圖8給出了本文CPU版本與Xue方法和本文GPU方法去霧過程中各步驟的時間對比.

圖8 CPU版與Xue方法和本文方法的時間比Fig.8 CPU time compared to the method of Xue and this method

由于Xue的方法沒有分割故不與CPU版做對比，去霧這一步驟時間相同也不與CPU版作對比.本文方法的并行加速效果更加明顯，在整個加速過程中可以看出在暗原色、大氣光值、初始透射率和去霧上加速比較大，是因為這3個步驟并行度高都是一些簡單的四則運算，在優(yōu)化透射率加速比小是因為此步驟有大量的kernel函數(shù).數(shù)據(jù)訪存較多，所以較慢.在分割過程中存在時序問題，所以圖像的并行度不高，速度沒有得到較高的提升.在處理大小為1280×720圖像的不計算讀寫速度可以達到50ms，即每秒20幀的處理速度.基本可以滿足這類圖像的實時去霧效果.通過與Xue 的算法對比可以看出本文的加速效果更好.由于Xue的算法是在HE的算法基礎上只進行算法的并行優(yōu)化，其去霧效果同HE的去霧效果一樣.通過對比本文的去霧效果更好，時間也更短，更適用于一些視頻的實時去霧.

表3分別給出了針對不同大小的圖片去霧的時間統(tǒng)計.

表3 去霧時間對比 Table 3 Defogging time comparison 單位：ms

6 總 結(jié)

本文對He和劉的去霧算法進行了實驗觀察，此算法對霧天圖像可以實現(xiàn)去霧.但在處理含有天空的霧天圖像還有一些缺陷.本文在保證去霧效果前提下，提出了基于天空區(qū)域分割的改進的暗原色先驗的去霧算法.解決了對天空區(qū)域去霧出現(xiàn)的失真、塊效應的情況.為了提升去霧算法的效率，本文將整個去霧算法并行化，使用CUDA實現(xiàn).并對Xue的方法進行了改進，在求大氣光值時有更高的并行度，進一步提升了運算速率.本文算法在快速去霧的基礎上，同時達到了天空區(qū)域去霧不失真的效果.但是在霧氣較濃的圖像中，天空分割的效果并不好，大氣光值就不準確，會影響天空區(qū)域的去霧效果.

基于霧天退化模型的去霧算法，大氣光值和透射率是去霧的關(guān)鍵.對于霧氣較濃的圖像，天空分割的效果并不好，解決濃霧下的天空分割和透射率進一步優(yōu)化是我們下一步的研究工作.