陸士猛,劉昌錦
?
無人機偵察圖像快速去霧算法
陸士猛,劉昌錦
(陸軍軍官學(xué)院,安徽 合肥 230031)
無人機在進行情報偵察時,容易受到不良天候條件的影響,使得偵察圖像模糊不清,對比度下降,但是現(xiàn)有較多算法解決此類問題的實時性較差,所以本文提出了基于暗通道原理的無人機偵察圖像快速去霧算法。首先對圖像進行降采樣,根據(jù)大氣物理模型和暗通道原理,利用最小值濾波和均值濾波分析出透射率和大氣光強的求解方法并進行優(yōu)化,最后求解出去霧圖像。通過實驗驗證,本文算法簡單有效,實時性極高,可以用于工程實現(xiàn)。而且算法對圖像的亮度也有一定的調(diào)整功能,具有較強的魯棒性。
無人機偵察;圖像去霧;大氣物理模型;暗通道;均值濾波
當(dāng)前無人機在進行偵察時由于受到不良天候條件下的影響,偵察圖像會變得模糊不清。特別是在霧霾天氣環(huán)境下,由于空氣中的氣溶膠、粉塵、顆粒物對光線的吸收、散射等影響,使“透過光”強度衰減,從而使得光電偵察設(shè)備接收到的光強度發(fā)生了改變,直接導(dǎo)致圖像對比度降低,清晰度不夠;這種環(huán)境下許多目標(biāo)特征被覆蓋,圖像細節(jié)不明顯,信息的可辨識度大大降低。因此研究圖像去霧算法對于無人機偵察具有很重要的意義,尤其是在提高算法的實時性方面顯得極為重要。
從近幾年國內(nèi)外對圖像去霧處理的研究來看,圖像去霧算法主要基于2個方面:一是基于圖像增強[1]的處理方法,一是基于物理模型的復(fù)原方法。霧天圖像的增強方法主要從空間域和頻率域兩個方面進行處理,其中空間域技術(shù)是以對圖像像素的直接處理為基礎(chǔ)的,而頻率域技術(shù)是以修改圖像的傅里葉變換為基礎(chǔ)的。霧天圖像復(fù)原是研究霧天圖像降質(zhì)的物理過程,并建立霧天圖像退化模型,反演退化過程,補償退化過程造成的失真,以便獲得未經(jīng)干擾退化的無霧圖像或無霧圖像的最優(yōu)估計值,從而改善霧天圖像質(zhì)量。這種方法針對性強,得到的去霧效果自然,一般不會有信息損失。
本文主要從圖像復(fù)原的角度來研究無人機偵察圖像的去霧算法,因為不同的圖像有不同的特點,無人機偵察圖像的去霧算法也是基于單幅圖像來研究的,而“Single Image Haze Removal Using Dark Channel Prior”[2]一文在大氣物理模型的基礎(chǔ)上,提出了暗通道原理,并將其用于圖像去霧,取得了非常好的效果,但是該算法在去霧過程中,引入了軟摳圖算法,影響了算法的執(zhí)行速度。文獻[3]引入了導(dǎo)向濾波代替軟摳圖,使得算法的運行效率大大提高,但是還不能達到工程實現(xiàn)的要求;禹晶[4]等人在暗通道原理的基礎(chǔ)上,利用雙邊濾波代替軟摳圖算法,有效恢復(fù)了場景的對比度和顏色,但對白色物體以及濃霧圖像的恢復(fù)效果不理想。文獻[5]通過對霧天圖像退化物理模型的分析,利用均值濾波,來估計透射率和全局大氣光,在執(zhí)行速度上得到了很大提高,而且去霧效果也保持的很好,但是理論支撐不足。
本文即是在文獻[2]和文獻[5]的基礎(chǔ)上對算法進行的改進。首先對原圖像進行降采樣,在暗通道原理的基礎(chǔ)上,使用最小值濾波和均值濾波,求解透射圖,給出透射率和全局大氣光的估計方式,較之于原算法,其運行時間有了極大的提高,但去霧效果并沒有降低,可以達到工程應(yīng)用的實時性要求,并且本算法可以根據(jù)不同的霧天圖像,調(diào)節(jié)去霧后圖像的亮度,防止圖像出現(xiàn)過度偏暗或偏亮的情況。
無人機偵察圖像的成像原理同普通圖像是一致的,而且也適用于目前通用的大氣物理模型[6],該模型是由McCartney提出的,主要揭示了大氣光照條件下的目標(biāo)成像原因,如圖1所示。
由圖1可以看出大氣光照模型包含兩部分,第一部分稱為直接衰減項(Direct transmission),第二部分稱為大氣光照(Air light),用公式可以表示如下:
()=()()+(1-()) (1)
式中:是觀測到的有霧圖像;是景物反射光強度(也就是待恢復(fù)的無霧圖像);是全局大氣光照強度;是透射率,用來描述光線通過介質(zhì)透射到成像設(shè)備過程中沒有被散射的部分。去霧的目標(biāo)就是從中復(fù)原,也就是要通過求和。
暗通道原理的提出是基于以下對清晰的戶外圖像觀察的事實:對于圖像的很多非天空場景區(qū)域,在某些像素點上至少存在一個色彩通道的亮度非常低。換句話說,這些區(qū)域的最小亮度應(yīng)該有非常低的值。形式上,對于一幅圖片,定義:
式中:J是圖片的一個顏色通道(即、、三顏色中的一種);()是中心在處的一個局部圖像模塊。文獻[1]提到對于一幅沒有霧霾的戶外景物圖像,除了天空區(qū)域,dark的亮度非常小,經(jīng)常趨于零。因此,稱dark為圖像的暗原色通道,并且稱以上的統(tǒng)計觀察知識為暗通道原理。用公式可以表示如下:
dark()?0 (3)
對大氣物理模型進行變換,可得下式:
對方程(4)兩邊進行兩次最小值濾波,可以得到:
根據(jù)暗通道原理,結(jié)合方程(2)、(3)、(5),可得:
圖1 大氣物理模型示意圖
Fig.1 The schematic diagram of atmospheric physics model
這就是通過暗通道原理求出的透射率的粗略值。
根據(jù)暗通道原理求取原圖像的透射圖使用的是最小值濾波,但是最小值濾波并不符合霧氣在大部分區(qū)域連續(xù)均勻分布的特征,也不利于對景物深度變化較大的邊緣透射率進行區(qū)分。而均值濾波恰好能夠符合霧氣在同一深度均勻分布這一特征,所以本文采用均值濾波求取霧天圖像的暗通道圖。
首先,利用最小值濾波求取原圖像的最小通道圖,設(shè)為(),則有:
其次,對最小通道圖進行均值濾波,設(shè)為ave(),則有:
式中:d表示均值濾波窗口的尺寸,則經(jīng)過均值濾波后得到的透射率公式如下:
實際上,根據(jù)方程(1)求得的真實透射率應(yīng)該為:
故:
所以:
min()≥average() (13)
所以為了使利用均值濾波得到的透射率更加接近于真實透射率,則必須引入一個參數(shù),即:
式中:0≤≤1,下面對的取值進行分析,在實際去霧過程中,的取值對圖像的去霧效果會產(chǎn)生一定的影響,如果取值較小,則透射率的結(jié)果較大,最后恢復(fù)出的圖像殘留霧氣較多,圖像整體變白;如果取值較大,則透射率的結(jié)果較小,最后恢復(fù)出的圖像整體較為暗淡。為了防止去霧后的圖像出現(xiàn)整體畫面過于偏暗或過于偏亮的情況,這里設(shè)置:
=ave(15)
式中:為可調(diào)節(jié)的參數(shù)且0≤≤1/ave,ave是()中所有元素的均值,由于ave的取值與原圖像整體灰度的分布相關(guān),使得具有自動調(diào)節(jié)去霧后圖像整體亮度的作用。原圖像越暗,ave值越低,透射率相應(yīng)增大,這使得去霧后的圖像亮度不會過于暗淡,反之亦然。這里需要對的上限進行設(shè)置,上限設(shè)定為0.95,則:
=min(ave, 0.95) (16)
基于此,我們可以求出霧圖的透射率,該透射率能夠較為精確地反應(yīng)出圖像的透過光強度,并且能夠自動地調(diào)節(jié)圖像的亮度,具有較強的魯棒性。對天空區(qū)域也有一定的適應(yīng)能力。下面就對大氣光強度進行求取。
對于大氣光值的選取,許多文獻給出了不同的處理方法,也各有優(yōu)缺點。其中文獻[2]在暗通道去霧中首先選取最亮的0.1%比例的像素,然后在原輸入圖像中找出對應(yīng)像素所具有的最大灰度值作為全局大氣光,這種處理方式更為合理有效,但暗通道的獲取過程較為耗時;文獻[7]中選取輸入圖像中亮度最大的點的灰度值作為全局大氣光,雖然步驟簡單但不合理,本文將采取以下方式來估計全局大氣光。
對最小通道圖進行均值濾波后獲得ave(),通過求取ave()中的最大值作為大氣光強,即:
=max(ave()) (18)
利用此方法求得的大氣光強相比于文獻[7]具有更高的精度,相比于文獻[2]具有更快的速度,因此更適合于本文算法。
在求得透射率和大氣光強后,利用大氣物理模型結(jié)合方程(17),(18)即可求得去霧后的圖像,用公式表示如下:
關(guān)于上式中0的取值,針對不同的圖像應(yīng)該有所不同,文獻[8]中將0設(shè)定為自適應(yīng)參數(shù),在場景圖像具有大面積天空區(qū)域或者出現(xiàn)大范圍的白色物體時較為適用,但是卻犧牲了一定程度的透霧效果,就無人機偵察圖像而言,因是從天空拍攝地面的場景,所以這樣設(shè)定0并不是十分合理,而且也在一定程度上增加了算法的時間消耗,故本文仍將0設(shè)定為0.1。既為了給遠景圖像一點霧氣,保留圖像的真實感,也簡化了計算,避免了分母為0。
為了進一步提高算法的執(zhí)行速度,在不影響圖像去霧效果的前提下,本文對算法進行了進一步優(yōu)化,在求取透射率的時候不是對原圖進行求取,而是先對原圖進行下采樣,計算出小圖的透射率,之后再通過插值的方式獲取原圖大概的透射率。實驗證明,這種方式在一定程度上提高了算法的執(zhí)行速度,而且效果和原始的方案基本一致。但是,需要合理選擇這個下采樣率,因為如果縮小系數(shù)較小,比如采樣率選擇1/2倍,可能兩次縮放所用的耗時還抵消了計算小圖的透射率圖所換來的盈利;反之,如果采樣率過大,也會對圖像的去霧效果造成嚴(yán)重影響?;诖?,經(jīng)過實驗驗證,本算法中,統(tǒng)一采用1/9的縮放。
方程(15)中的取值也很關(guān)鍵,因為參數(shù)與圖像的去霧能力相關(guān),取值越大,去霧能力越強,霧氣就越少,圖像越顯得暗;取值越小,去霧能力減弱,圖像偏白,霧氣越濃。但是如何選取值才能獲得最佳效果,這個并沒有理論依據(jù),需要根據(jù)具體圖像進行測試,通過實驗驗證,一般取1.2到1.5之間,這樣既能綜合去霧,也能保持圖像清晰。
綜上所述,本算法的流程如圖2所示。
為了驗證算法的有效性和實時性,本文利用Matlab R2013a在主頻2.4GHz,內(nèi)存2G的臺式機上進行了實驗。并將本文算法與文獻[2]和文獻[3]進行了對比分析,測試圖像分別采用大小為690×517、640×480和320×240的,實驗結(jié)果如下:
通過比較分析可以看出,文獻[2]采用的算法在去霧效果可視性方面比文獻[3]和本文算法要好一些,尤其是在細節(jié)處理方面顯得更加細膩和平滑,本文算法和文獻[3]比較來看,區(qū)別不是很大。在色彩亮度方面,本文算法要好于文獻[3]。從整體上看,3種算法都能較好地達到去霧的效果,基本上不影響對目標(biāo)特征的判斷。
圖2 本算法的流程圖
Fig.2 Flow chart of algorithm
圖3 結(jié)果對比
Fig.3 Comparison of results
從表1中可以看出文獻[2]的算法時間復(fù)雜度最高,其次是文獻[3]的算法,本文算法的時間復(fù)雜度最低,通過對比分析時間比例,可以得出本文算法只是文獻[2]算法的1/500左右,是文獻[3]算法的1/20左右,所以實驗證明本文算法的實時性得到了非常高的提升。如果再對算法和程序進行進一步優(yōu)化,完全可以達到工程應(yīng)用的實時性要求。
表1 不同算法運行時間比較
本文算法是在大氣物理模型的基礎(chǔ)上,結(jié)合文獻[2]和文獻[5]進行的改進算法,通過與已有的單幅圖像去霧算法相比,本文算法在執(zhí)行時間上有了極大的提高,而且并沒有影響圖像的去霧效果,達到了工程應(yīng)用的實時性要求,不僅可以用于靜態(tài)圖像的去霧,而且可以用于視頻去霧,具有廣泛的應(yīng)用前景。
[1] 岡薩雷斯. 數(shù)字圖像處理[M].2版,阮秋琦, 阮宇智, 等, 譯.北京: 電子工業(yè)出版社, 2010.
[2] He Kaiming, Sun Jian,Tang Xiaoou. Sing Image Haze Removal Using Dark Channel Prior[C]//, 2009: 1956-1963.
[3] He Kaiming, Sun Jian, Tang Xiaoou. Guided image filtering[J]., 2013, 35(6): 1397-1409.
[4] 禹晶, 李大鵬, 廖慶敏. 基于物理模型的快速單幅圖像去霧方法[J]. 自動化學(xué)報, 2011, 37(2): 143-149.
[5] 劉倩, 陳茂銀, 周東華. 基于單幅圖像的快速去霧算法[C]//25th, 2013: 3780-3785.
[6] McCartney E J.[M]. New York: John Wiley and Sons, 1976.
[7] R.T. Tan. Visibility in Bad Weather from a Single Image[C]//2008: 1-8.
[8] 吳笑天, 魯劍鋒, 賀柏根,等. 霧天降質(zhì)圖像的快速復(fù)原[J]. 中國光學(xué), 2013, 6(6):892-899
The Fast Haze Removal Algorithm for UAV Reconnaissance Image
LU Shi-meng,LIU Chang-jin
(,230031,)
When the UAV is processing the intelligence and surveillance, it is easily affected by the bad weather, leading to the decrease of image definition and contrast. This paper raises the fast haze removal algorithm based on the dark channel of UAV reconnaissance image. Firstly, down-sampling the image and according to the physical model of atmosphere and the dark channel theory, the algorithm analyzes the method that how to do with the transmissivity and the intensity of the atmospheric light by the mini-value filtering and average filtering, and then optimizes the method. At last it receives the de-hazing image. It is proved that the algorithm is simple and effective and has the high real-time performance by a lot of experiments. It can be used for the project realization. And to a certain extent it is able to adjust the brightness of the image and is with strong robustness.
UAV reconnaissance,haze removal,the physical model of atmosphere,darkchannel,average filter
TP391. 4
A
1001-8891(2015)10-0847-05
2015-06-15;
2015-09-24.
陸士猛(1985-),男,安徽六安人,碩士,研究方向為計算機視覺和圖像處理等。