韓 博 孫忠貴

(聊城大學 數(shù)學科學學院，山東 聊城 252059)

0 引言

信息社會，數(shù)字圖像的應(yīng)用已滲透到交通運輸，城市安防，醫(yī)療診斷，工業(yè)檢測，航空航天，氣象預測等人類生產(chǎn)生活的各個領(lǐng)域.然而，由于成像設(shè)備，環(huán)境和傳輸條件的限制，現(xiàn)有圖像獲取過程難免會受到噪聲，光照，天氣，遮擋等因素的影響，從而造成成像質(zhì)量下降，并給后續(xù)圖像分析，檢測，識別等任務(wù)帶來較大困難和挑戰(zhàn).圖像濾波則是改善數(shù)字圖像質(zhì)量的一種重要技術(shù)手段.給定一幅待處理的目標圖像，根據(jù)濾波過程中有無引導圖像的參與，可以將現(xiàn)有濾波算法大致分成兩類，即自引導濾波與(他)引導濾波.

所謂自引導濾波，即在對目標圖像進行處理的過程中僅依賴其自身結(jié)構(gòu)信息的一類方法.比較有代表性算法包括雙邊濾波(Bilateral filtering，BF)[1]，非局部均值(Non-local means，NLM)[2]濾波，區(qū)域協(xié)方差(Region covariance，RC)濾波[3]，如全變分(Total variation，TV)[4]，加權(quán)最小二乘(Weighted least square，WLS)[5]，L0范數(shù)梯度最小化(L0 gradient minimization，L0GM)[6]，相對全變分(Relative total variation，RTV)[7]等.其中，BF，NLM，RC通過加權(quán)均值的方式完成對目標圖像的處理; TV，WLS，L0GM，RTV分別通過優(yōu)化采用1范數(shù)，2范數(shù)，0范數(shù)和加權(quán)1范數(shù)對濾波輸出的梯度進行約束的目標函數(shù)完成處理過程.盡管這些方法在圖像去噪[1,2,4]，去紋理[5-7]，細節(jié)增強[5,6]等任務(wù)中有著廣泛的應(yīng)用，然而，它們通常也存在著對噪聲不夠魯棒，濾波輸出過光滑，不易加速等缺陷[8].此外，在現(xiàn)實生活中，受諸多因素的干擾，目標圖像自身往往不能提供準確可靠的結(jié)構(gòu)信息.這無疑給上述自引導濾波方法的應(yīng)用帶來了較大限制.自然地，借助一幅相對可靠的引導圖像的結(jié)構(gòu)信息指導對目標圖像進行處理的方法，即引導濾波(或稱聯(lián)合濾波)引起了研究者的廣泛關(guān)注.

在引導濾波方法中，一個代表性算法為Petschnigg等人提出的聯(lián)合雙邊濾波(Joint bilateral filtering，JBF)[9]和He等人提出的引導圖像濾波(Guided image filtering，GIF)[10].從某種意義上說，JBF是對BF的直接推廣，它將BF從目標圖像自身獲取權(quán)重的方式轉(zhuǎn)向從引導圖像獲取.這一思想首先在閃光燈-非閃光燈圖像去噪[9]任務(wù)中獲得了巨大成功，隨后被廣泛應(yīng)用于彩色-近紅外圖像增強[11]，彩色-深度圖像超分辨[12]等任務(wù).然而，由于其非線性性，JBF不僅具有較高的計算復雜度，也容易導致濾波輸出邊緣處產(chǎn)生亮暗交替現(xiàn)象，即梯度反轉(zhuǎn)(Gradient reversal)[5,10].與此相反，GIF假定濾波輸出與引導圖像成局部線性關(guān)系，確保了圖像濾波前后梯度方向的一致性，克服了JBF面臨的梯度反轉(zhuǎn).此外，GIF的計算復雜度與濾波窗口半徑無關(guān)，這也使它成為了當前最為高效的圖像濾波算法之一.最近，Li等人提出的加權(quán)引導圖像濾波(Weighted guided image filtering，WGIF)[13]對GIF進行了改進.具體來說，通過引入邊緣感知權(quán)重，WGIF能夠?qū)IF中的正則化參數(shù)進行自適應(yīng)調(diào)整，在抑制光暈的同時實現(xiàn)銳化邊緣的更好保護.

需要指出的是，上述引導濾波算法均假設(shè)引導圖像與目標圖像的結(jié)構(gòu)一致.然而，這一假設(shè)在實際應(yīng)用中并不總是成立，尤其當這兩幅圖像是由不同傳感器或在不同條件下獲得時.一旦引導圖像包含了未出現(xiàn)在目標圖像中的結(jié)構(gòu)，這些結(jié)構(gòu)極易被錯誤傳遞到濾波輸出，從而導致紋理復制(Texture copy)的缺陷[14,15]，并不可避免會對后續(xù)的圖像處理任務(wù)造成干擾.

為解決這一問題，本文首先提出了結(jié)構(gòu)相似性感知(Structure similarity aware，SSA)，以準確刻畫引導圖像與目標圖像結(jié)構(gòu)差異，繼而提出一種改進的引導濾波方法，即基于結(jié)構(gòu)相似性感知的引導圖像濾波(Guided image filtering based on structure similarity aware，SSA-GIF).為驗證所提方法的有效性，本文在彩色-深度圖像數(shù)據(jù)集[16]進行了一系列實驗.結(jié)果表明，相對現(xiàn)有算法，SSA-GIF有效避免了濾波輸出中的紋理復制缺陷.

1 聯(lián)合雙邊濾波與引導圖像濾波

1.1 聯(lián)合雙邊濾波(Joint bilateral filtering，JBF)

給定一對配準后的圖像，包含待處理的目標圖像I和引導圖像G，對其中任意像素i，JBF[9]與BF[1]一樣將其濾波輸出表示為以i為中心，半徑為r的局部窗口ωi內(nèi)像素灰度值的加權(quán)平均，即

(1)

其中Ki=∑j∈ωiSijRij為歸一化常數(shù);Sij和Rij分別度量像素i和j之間的空間相似性和灰度相似性，通常被稱為空間核和值域核，數(shù)學表達如

(2)

這里xi和xj分別為像素i和j的空間坐標，Gi，Gj為引導圖像G在像素i和j的灰度值;σs和σr為兩個可調(diào)整的平滑參數(shù).

1.2 引導圖像濾波(Guided image filtering，GIF)

不同于JBF[9]的非線性模型，GIF[10]假定目標圖像I的濾波輸出q與引導圖像G在局部窗口中成局部線性關(guān)系，即

qi=akGi+bk,?i∈ωk，

(3)

其中ak，bk為線性系數(shù)，在濾波窗口ωk中為常數(shù)，通過最小化如下目標函數(shù)求解

(4)

這里ε是正則化參數(shù)，用于對較大的ak施加懲罰.令上述目標函數(shù)對ak，bk的偏導數(shù)為零，可得

(5)

(6)

(7)

(8)

(9)

其中|ω|為ωk中的像素個數(shù).

需指出，由于濾波窗口重疊，即像素i通常被包含在多個窗口中.故，通過公式(3)將得到多個濾波輸出.為解決這一問題，GIF將i所有可能的濾波輸出的平均值作為其最終濾波輸出，即

(10)

根據(jù)窗口的對稱性[10]，公式(10)可以重寫為

(11)

(12)

2 基于結(jié)構(gòu)相似性感知的引導圖像濾波

在現(xiàn)實生活中，引導圖像G和目標圖像I通常是由不同成像設(shè)備或傳感器在不同成像條件下獲得，因此，這兩幅圖像通常存在著較大的結(jié)構(gòu)差異，如圖1所示的彩色圖像(a)比其深度圖像(b)包含更豐富的紋理信息.由于忽略了兩圖像的間結(jié)構(gòu)差異，JBF[9]和GIF[10]直接采用彩色圖像的結(jié)構(gòu)指導對深度圖像進行濾波的過程，使得原本未出現(xiàn)在深度圖像的結(jié)構(gòu)出現(xiàn)在了其濾波輸出中，即紋理復制現(xiàn)象，如(g),(h)中黑色矩形區(qū)域所示.本文旨在克服JBF與GIF的這一缺陷.為此，首先提出了一種能夠更加精確度量引導圖像與目標圖像的結(jié)構(gòu)差異的指標.

2.1 結(jié)構(gòu)相似性感知

給定一半徑為r中心像素為k的局部濾波窗口ωk，現(xiàn)存常用度量引導圖像G和目標圖像I在ωk的結(jié)構(gòu)關(guān)系的指標為歸一化交叉相關(guān)(Normalized cross correlation，NCC)[17]，即

(13)

(14)

2.2 目標函數(shù)

與JBF和GIF不同，本文遵循不完全依賴引導圖像結(jié)構(gòu)的準則，在結(jié)構(gòu)相似性感知λ的幫助下，假設(shè)引導圖像G，待濾波的目標圖像I及其濾波輸出q成如下線性關(guān)系

qi=ak(λkGi+(1-λk)Ii)+bk,?i∈ωk,

(15)

其中ak，bk為ωk中的線性系數(shù).相應(yīng)地，為最小化如下目標函數(shù)

(16)

并分別對ak，bk求導并令其導數(shù)為零可得

(17)

(18)

類似于GIF，為解決窗口重疊，最終濾波輸出qi有如下形式

(19)

(20)

為方便起見，本文將這種改進后的方法稱之為基于結(jié)構(gòu)相似性感知的引導圖像濾波(Guided image filtering based on structure similarity aware，SSA-GIF).事實上，若G和I在ωk中的結(jié)構(gòu)不一致，即λk=0，由公式(15)(17)(18)可得

(21)

它們均與引導圖像G無關(guān),此即SSA-GIF對目標圖像I執(zhí)行自引導濾波過程; 若其結(jié)構(gòu)一致，即λk=1，則

(22)

這時SSA-GIF對I執(zhí)行傳統(tǒng)引導濾波過程.因此，SSA-GIF能夠自適應(yīng)選擇引導圖像中與目標圖像相一致結(jié)構(gòu)用于對其濾波過程的指導，從而在去除圖像噪聲，恢復圖像邊緣的過程中避免JBF和GIF面臨的紋理復制，如圖1(i)所示.

算法1基于結(jié)構(gòu)相似性感知的引導圖像濾波

算法1給出了本文所提改進算法SSA-GIF實現(xiàn)的偽代碼.由于該過程中的每一步計算均可通過具有O(N)復雜度的盒子濾波(Box filtering)[10]快速實現(xiàn)，因此，SSA-GIF與GIF一樣，計算復雜度仍為O(N).在運行時間方面，對一幅大小為370×463的圖像，JBF，GIF和SSA-GIF完成其處理過程分別約需1.78秒，0.06 s和0.15 s.可見,SAA-GIF是一個十分高效的改進方法，有利于實際推廣應(yīng)用.

3 實驗

2.1中圖1呈現(xiàn)的濾波輸出及相應(yīng)放大結(jié)果已初步表明所提算法SSA-GIF能夠有效避免紋理復制.為進一步對其有效性進行驗證，本文在彩色-深度圖像數(shù)據(jù)集[16]進行了一系列實驗(其中深度圖像含有均值為零方差為10的高斯白噪聲)，并將其與JBF[9]，GIF[10]和近年提出的WGIF[13]的濾波輸出進行比較.為保證實驗的公平，分別從主觀視覺效果與客觀峰值信噪比(Peak Signal to Noise Ration，PSNR)兩方面對實驗結(jié)果進行評價.所有算法均在MATLAB R2017a中實現(xiàn)，并在一臺配置為Intel(R) Core(TM) i5-7200U CPU @2.50GHz 2.70 GHz，內(nèi)存為8GB的PC中執(zhí)行，且各算法中的參數(shù)均調(diào)到最優(yōu)水平，如表1所示.此外，在實驗過程中，多通道圖像被分開處理，且每個通道中的像素灰度被歸整為[0,1]的范圍內(nèi).

表1 不同引導濾波方法中的參數(shù)設(shè)置

如圖2，圖3(d),(e),(f) 中的黑色矩形框區(qū)域所示，由于忽略了圖像間的結(jié)構(gòu)差異，JBF，GIF和WGIF將彩色圖像中未出現(xiàn)在深度圖像中的結(jié)構(gòu)傳遞到了濾波輸出中，使其存在著紋理復制.與此相反，如圖2，圖3(g)所示，本文所提算法SSA-GIF在結(jié)構(gòu)相似性感知的幫助下能夠自適應(yīng)篩選與深度圖像相一致的彩色圖像結(jié)構(gòu)對其進行指導，從而避免了紋理復制.此外，濾波輸出的PSNR指標也表明SSA-GIF在比較算法中取得了最好的去噪效果.

4 結(jié)論

為克服聯(lián)合雙邊濾波，引導圖像濾波等現(xiàn)有引導濾波方法所面臨的紋理復制缺陷，本文通過充分考慮兩圖像結(jié)構(gòu)差異，提出了一個新的濾波方法，即基于結(jié)構(gòu)相似性感知的引導圖像濾波.相比現(xiàn)有算法，本文所設(shè)計的濾波器能夠根據(jù)圖像間的結(jié)構(gòu)相似性，自適應(yīng)地選擇引導圖像中的結(jié)構(gòu)信息進行引導濾波，從而有效避免了現(xiàn)有引導濾波器中的紋理復制缺陷.