張 玲,吳發(fā)輝,余文森,向益峰

(1. 武夷學院信息技術(shù)與實驗室管理中心,福建 南平 354300;2. 武夷學院數(shù)學與計算機學院,福建 南平 354300;3. 福建師范大學光電與信息工程學院,福建 福州 350117)

1 引言

圖像在成像過程中,如遇到敏感天氣環(huán)境,常會受到拍攝設備光學成像原理的影響,在成像時觸碰大氣中微小粒子對光線產(chǎn)生散射現(xiàn)場,使圖像對比度、可見度和清晰度等均發(fā)生不同程度的下降,影響圖像質(zhì)量,使圖像看起來不夠清晰。在日常生活中攝影、監(jiān)控等都需要清晰有價值的圖像,因此在這種情況下,復原圖像的清晰度和對比度是有必要的。

針對圖像的復原,陶鏞澤等人[1]研究出一種矩形納米復原方法,通過納米光柵計量器獲取圖像分辨率,分析出圖像特征間的幾何量參數(shù),通過神經(jīng)網(wǎng)絡標定圖像特征參數(shù),經(jīng)過膨脹仿真,最終完成圖像復原;曹學影等人[2]研究的自適應雙刃邊復原法,針對圖像中相位一致的頻域,進行邊緣特征提取,自適應調(diào)整最優(yōu)角度,擬合圖像中不清晰部分,建立點擴散函數(shù)對圖像暗色進行先驗,實現(xiàn)模糊圖像的清晰度復原。但上述兩種方法在完成圖像復原的過程中,并未考慮到透射率對去霧的影響,因此最終的復原效果具有一定的局限性,損失了部分有效信息。

本文在研究圖像清晰度復原方法時,考慮到多個色彩通道下圖像的呈現(xiàn)效果,建立多通道視覺注意力模型,分析圖像信息權(quán)重,根據(jù)圖像細節(jié)特征生成視覺注意類信號,在圖像信息權(quán)重的輔助下,得到視覺通道中的每個視覺信號,在高斯濾波函數(shù)下完成圖像卷積計算,最終實現(xiàn)圖像的清晰度復原。經(jīng)實驗驗證,證明所提方法在圖像復原方面具有較好的呈現(xiàn)效果。

2 多通道視覺注意力模型

利用多通道視覺注意力卷積神經(jīng)網(wǎng)絡,提取圖像中特征,設定特征V的空間向量[3]為L×D,圖像信息分布在L個空間區(qū)域內(nèi),每個圖像區(qū)域?qū)狣維個向量,具體可表示為

V={V1,V2,…VL},Vi∈RD

(1)

式中,RD表示D空間維度,Vi為第i個圖像空間區(qū)域,視覺注意力的多通道分配函數(shù)[4]主要根據(jù)圖像特征,結(jié)合圖像視覺注意力模型生成的視覺信號,生成的圖像信息權(quán)重[5]

(2)

對式(1)進行歸一化處理可得

(3)

(4)

(5)

對式(5)進行歸一化處理可得

(6)

(7)

將圖像通道視覺狀態(tài)Tatt的維度轉(zhuǎn)換成Tlstm,并與視覺特征Vatt合并傳入長短期記憶網(wǎng)絡[7],隨機生成視覺信息元素

W=LSTM(Vatt,Tlstm,ht-1)

(8)

針對圖像中的視覺狀態(tài)和視覺信號,利用D空間維度范圍內(nèi)的獨熱碼[8,9]向量來表示,視覺標簽用維度為Z×D的向量T來表示

T={T1,T2,…,Tn},Ti∈RD

(9)

式中,Z表示視覺標簽的空間長度,圖像生成的多通道特征用維度為C×D的向量W表示

W={w1,w2,…,wc},wi∈RD

(10)

式中,C表示在C×D維度下生成的視覺標簽長度。

3 暗原色先驗算法

在復原圖像清晰度時,首先要考慮圖像受到環(huán)境光散射的影響程度,圖像反射出的自然光線通過大氣微粒的散射作用,最終到達拍攝設備鏡頭前。大氣自然光的物理模型可以表示為

K(x,y)=R(x,y)t(x,y)+A(1-t(x,y))

(11)

式中,A表示自然光向量,K(x,y)表示不清晰拍攝圖像,R(x,y)表示清晰化圖像,二者之間受到自然光向量和透射率[10]t(x,y)的影響,R,G,B表示圖像內(nèi)三原色像素值。透射率的具體計算過程如下

(12)

式中,AC表示自然光向量A的正值變形向量。設定R(x,y)屬于非天空區(qū)域圖像,此時圖像范圍內(nèi)的暗通道值[11]相對較低,甚至有可能接近于0,表示為

Rdark(x,y)→0 了

(13)

上式即為暗通道先驗模型,其中的像素值非常低,主要成因包括陰影、彩色成像物表面和較暗成像物,這三種情況均會在成像時,在圖像的暗通道中產(chǎn)生較低的像素值。

為了方便研究將自然光向量A的值假定為給定值,此時可將公式變形表示為

(14)

每個顏色對應的通道互相之間保持獨立,假設光照透射率t(x,y)在固定區(qū)域Ω(x,y)內(nèi)保持不變,此時在該區(qū)域內(nèi)透射率可表征為t1(x,y),通過上述條件設定完成對圖像暗通道的計算:

(15)

由于圖像R(x,y)的暗通道相對較低且接近于0,因此

(16)

這時可以深度計算得到圖像透射率t1(x,y)的最終值

(17)

若圖像中存在天空區(qū)域景象,其顏色與自然光非常接近,又由于其距離過遠,透射率基本接近于0,因此先對天空區(qū)域作出可行假設

(18)

若將圖像中影響清晰度的霧氣全部清除,可能會使圖像表現(xiàn)不自然,這時為了使遠距離成像體能夠達到清晰可見的效果,加入調(diào)節(jié)參數(shù)[12]ω0,將其調(diào)節(jié)平均值設定在0.95,此時可得到遠距離成像物的透射率

(9)

通過軟對比獲取天空區(qū)域的透射率為tb(x.y),可以結(jié)合上式列出函數(shù)等式關(guān)系

(L+λU)tb(x,y)=λta(x,y)

(20)

其中,U和L均表示單位矩陣,λ表示暗原色計算函數(shù)的參考變量。

4 考慮透射率的圖像復原實現(xiàn)

利用異型高斯濾波調(diào)整圖像色調(diào),達到優(yōu)化透射率的目的。根據(jù)圖像視覺注意力可以判斷,自然光向量A、K(x,y)二者與清晰化圖像R(x,y)之間存在幾何相關(guān)性,圖像的光線透射率表示兩條矢量線[13]的真實比率。通過自適應各種類型的異型高斯濾波[14]達到優(yōu)化圖像透射率的作用,圖像的長軸尺度可表示為

(21)

式中,δu表示長軸長度。通過長軸尺寸可以有效判斷出圖像內(nèi)光線的短軸尺寸為δv,此時可以通過圖像中給定的灰度方差計算出圖像透射率具體的平滑程度

(22)

R=K+Q

(23)

式中,K表示長短軸之間的比例參數(shù),此時短軸尺寸可具體表示為:

δv=R×δu

(24)

通過自適應高斯濾波函數(shù)確定圖像信息卷積方向[15]θ,同時計算出方向角度θ和K之間的比值參數(shù),變換方向θ的垂直角度,利用高斯函數(shù)計算推導水平方向和垂直方向的參數(shù)[16],完成不清晰圖像的卷積,此時可得到不清晰圖像在坐標(x,y)處的與垂直方向的夾角θ′,具體的計算過程如下所示

(25)

(26)

θ′(x,y)=arctg[Ey(x,y)/Ex(x,y)]

(27)

式中,ξ表示圖像像素在坐標上卷積參數(shù),卷積方向角度θ與對應的垂直角度θ′之間存在如下關(guān)聯(lián)關(guān)系

θ=θ′+90

(28)

利用高斯濾波函數(shù)模型轉(zhuǎn)換圖像投影時[17],將式(28)代入到其中可得

(29)

經(jīng)過反復計算得到K=20時,圖像的透射率可達到最佳效果,此時根據(jù)自然光的透射率可以通過圖像復原得到清晰化的圖像可表示為

(30)

其中,t0表示下限值,經(jīng)過反復計算確定其最佳結(jié)果應為0.1。

5 仿真研究

為了能夠有效驗證本文所研究的圖像清晰度復原方法的可行性和應用性能,本文將在計算機設備Matlab7以及奔騰(R)D,E6700,8GB處理器上進行圖像的復原實驗,實驗過程中利用文獻[1]提出的矩形納米復原法、文獻[2]提出的自適應雙刃邊復原法作為實對照組,分別對模糊圖像進行去霧和增強透射率等清晰化處理,選擇圖1作為圖像復原實驗對象,利用三種方法對圖1進行去霧處理,結(jié)果分別如圖2～圖4所示。

圖1 原始圖像

圖2 矩形納米復原法去霧后圖像

圖3 自適應雙刃邊復原法去霧后圖像

圖4 本文方法去霧后圖像

從圖2～圖4中可以看出,通過比較可以看出,本文方法下圖像的霧氣幾乎消除,圖像中數(shù)目草叢的邊緣輪廓得到恢復,不存在色彩偏移的現(xiàn)象,圖像細節(jié)得到有效地增強。

經(jīng)過圖像去霧處理后,通過三種不同方法分別對圖像進行進一步的透射率調(diào)整,完成最終的圖像清晰度復原處理,結(jié)果分別如圖5～圖7所示。

圖5 矩形納米復原法復原后圖像

圖6 自適應雙刃邊復原法復原后圖像

圖7 本文方法復原后圖像

比較圖5～圖7可以看出,文獻方法應用后圖像的透射問題改善效果并不顯著,在兩幅圖像的上半部分,建筑物的輪廓和細節(jié)均較為模糊,影響圖像整體的清晰度,而經(jīng)過本文方法復原后的圖像透射率高,圖像畫質(zhì)和分辨率都較為清晰,復原效果較好。

為了更加客觀的評估本文方法在圖像復原方面的性能,通過圖像信息熵來評估圖像復原后的信息包含量,圖像信息熵越大,證明圖像經(jīng)過清晰度復原后包含的信息更加清晰飽滿,已知圖像信息熵保持在6以上圖像才相對清晰,將本文方法下得到的復原圖像信息熵與矩形納米復原法和自適應雙刃邊復原法對比,結(jié)果如圖8所示。

圖8 復原后圖像信息熵結(jié)果對比

從圖8中可以看出,文獻方法下信息熵均能達到6以上,證明這兩種圖像復原方法均有效,但通過對比可知,本文方法下復原的圖像,其信息熵明顯高于前兩種方法,圖像中包含的信息量更高,證明本文方法的圖像清晰度復原效果更好。

6 結(jié)論

經(jīng)過仿真可以證明基于多通道視覺注意力下的圖像清晰度復原方法可以有效地完成圖像去霧處理,提高圖像透射率,經(jīng)過清晰度復原后的圖像,包含的信息含量較高,細節(jié)清晰可見,大氣光線呈現(xiàn)自然,證明本文方法復原效果好。