孫夢迪，孫忠貴，孔 旭，韓紅燕

（聊城大學(xué) 數(shù)學(xué)科學(xué)學(xué)院，山東 聊城 252000）

0 引言

作為一種傳統(tǒng)的非線性方法，數(shù)學(xué)形態(tài)學(xué)（Mathematical Morphology，MM）［1］建立在嚴謹?shù)母裾摵屯負鋵W(xué)理論基礎(chǔ)之上，并在圖像處理領(lǐng)域有著廣泛應(yīng)用［2-3］。形態(tài)學(xué)算子起初主要針對二值圖像設(shè)計，后逐漸被拓展至灰度圖像、彩色圖像等應(yīng)用場景［4］。這些算子主要通過一個被稱為結(jié)構(gòu)元素的信息子集對輸入圖像進行探測。腐蝕和膨脹是兩個最基本的形態(tài)學(xué)算子，其他算子，如開、閉運算等往往可由二者組合而成［5］。

傳統(tǒng)數(shù)學(xué)形態(tài)學(xué)（Traditional Mathematical Morphology，TMM）所使用的結(jié)構(gòu)元素具有空間不變性，即圖像中所有像素的結(jié)構(gòu)元素形狀和大小完全相同。這意味著，TMM 的結(jié)構(gòu)元素由先驗確定，并獨立于圖像內(nèi)容。這種不變性使得形態(tài)學(xué)算子在具備優(yōu)異計算效率的同時，還能保持一些重要的數(shù)學(xué)性質(zhì)，如保序性、附益性等［6-7］；然而，這種不變性也不可避免會帶來非自適應(yīng)性的缺陷，即固定的結(jié)構(gòu)元素往往不能與圖像不同區(qū)域的具體特征相適應(yīng)。

為克服傳統(tǒng)數(shù)學(xué)形態(tài)學(xué)中結(jié)構(gòu)元素不變性所帶來的缺陷，近年來，自適應(yīng)形態(tài)學(xué)的相關(guān)研究引起了廣泛關(guān)注［8］?，F(xiàn)有工作主要通過考慮輸入圖像的不同屬性，如灰度值（亮度、對比度）、空間距離、噪聲等來實現(xiàn)結(jié)構(gòu)元素的自適應(yīng)性，使其能夠應(yīng)用于不同圖像內(nèi)容。文獻［9］中提出了一種基于同質(zhì)區(qū)域的自適應(yīng)形態(tài)學(xué)方法，通過包含結(jié)構(gòu)元素原點的連通分量獲取空間自適應(yīng)結(jié)構(gòu)元素。著名的形態(tài)學(xué)變形蟲算法［10］則是基于測地線距離來確定結(jié)構(gòu)元素，能夠同時兼顧當(dāng)前像素點與其結(jié)構(gòu)元素成員的空間距離和灰度差異。文獻［11］在文獻［10］的基礎(chǔ)上通過修正測地線距離度量，對形態(tài)學(xué)變形蟲算法做了進一步推廣。通過在結(jié)構(gòu)元素的構(gòu)建過程中引入排序策略，文獻［12］中實現(xiàn)了一個魯棒自適應(yīng)形態(tài)學(xué)（Robust Adaptive Mathematical Morphology，RAMM）并取得了較好效果。

需注意，由于圖像在實際獲取或傳輸過程中不可避免會受到噪聲影響，故基于圖像內(nèi)容的自適應(yīng)算法通常對噪聲并不魯棒［13］。為解決這一問題，基于多模態(tài)場景的濾波算法在近年成為圖像處理領(lǐng)域的一個研究熱點。與僅依賴于單幅輸入圖像的傳統(tǒng)方法不同，多模態(tài)方法往往借助不同模態(tài)且更為可靠的引導(dǎo)圖像進行濾波設(shè)計。這一類型的濾波器也被稱為引導(dǎo)濾波器，其典型代表有聯(lián)合雙邊濾波［14］、引導(dǎo)濾波［15］及一些改進算法［16-18］等。與傳統(tǒng)濾波算法相比，這類濾波器依然把輸入圖像中像素的相應(yīng)輸出表示為鄰域像素灰度值的加權(quán)平均。然而，其權(quán)值大小主要取決于引導(dǎo)圖像（或引導(dǎo)圖像與輸入圖像的結(jié)合）。受益于引導(dǎo)圖像的可靠性，這類引導(dǎo)濾波器算法通常較單模態(tài)方法具有更強的抗噪性與更好的濾波輸出。

基于上述認識，本文提出了一個自適應(yīng)引導(dǎo)形態(tài)學(xué)（Guided Adaptive Mathematical Morphology，GAMM），相較于傳統(tǒng)的單模態(tài)方法，本文借助一幅相對可靠的引導(dǎo)圖像定義結(jié)構(gòu)元素，成員更為可信，從而提高了相應(yīng)算子對噪聲的魯棒性，并最終達到提升算法性能的目標(biāo)。GAMM 的設(shè)計過程主要關(guān)注以下3 個方面：1）為了實現(xiàn)形態(tài)學(xué)算子對噪聲的魯棒性，充分考慮輸入圖像與引導(dǎo)圖像的聯(lián)合信息進行結(jié)構(gòu)元素定義；2）為了使算子對不同圖像內(nèi)容具有自適應(yīng)性，借助3σ 原則［19］來動態(tài)定義結(jié)構(gòu)元素成員；3）通過對結(jié)構(gòu)元素施加對稱性約束，從理論上保證了本文形態(tài)學(xué)算子繼承了傳統(tǒng)數(shù)學(xué)形態(tài)學(xué)的一些重要數(shù)學(xué)性質(zhì)，從而使它依然具有嚴格的理論基礎(chǔ)。在跨模態(tài)圖像去噪、閃光燈圖像修復(fù)等多個場景的實驗均表明了本文算法的有效性。

1 形態(tài)學(xué)基本理論

1.1 形態(tài)學(xué)基本概念

一幅圖像f在數(shù)學(xué)上可看成一個由定義域E到值域T 上的映射函數(shù)。對于灰度圖像而言，E是離散空間Zn的一個子集（n=2），即像素的坐標(biāo)空間；T 則是相應(yīng)的灰度空間。具體到灰度圖像f，可表示為f：E→T，f∈F(E，T)。其 中F(E，T)是由E映射到T 的所有函數(shù)的集合。即f把每個像素x∈E（x=(x1，y1)）映射到灰度值t∈T：f(x)=t。又由于灰度值的大小關(guān)系為偏序關(guān)系，故F(E，T) 構(gòu)成一個完備格［20］。

在形態(tài)學(xué)中，結(jié)構(gòu)元素B可以被看作是用于探測圖像的“窗口”。其形狀和大小根據(jù)特定的任務(wù)確定，因此需要謹慎設(shè)計。事實上，結(jié)構(gòu)元素也可被看作是一個映射函數(shù)b∈F(E，T)。根據(jù)函數(shù)值的不同，可被分為非平坦結(jié)構(gòu)元素和平坦結(jié)構(gòu)元素兩類。相對于非平坦結(jié)構(gòu)元素中b(x)不能恒為常數(shù)，平坦結(jié)構(gòu)元素的函數(shù)值在任意像素坐標(biāo)均為0，即b(x) ≡0，完全由相應(yīng)空間范圍（定義域）所定義。因此，在不引起混淆的前提下，平坦結(jié)構(gòu)元素B往往也可代指其相應(yīng)定義域。由于平坦結(jié)構(gòu)元素所定義的形態(tài)學(xué)算子，能有效避免空間范圍與灰度值不同量綱間的混和計算，在實踐中被廣泛應(yīng)用［5，7］。本文的形態(tài)學(xué)設(shè)計也是基于平坦結(jié)構(gòu)元素展開的。

傳統(tǒng)數(shù)學(xué)形態(tài)學(xué)中的兩個最基本的操作算子，即膨脹（δ）和腐蝕（ε），由結(jié)構(gòu)元素所確定的鄰域像素的灰度最大值和最小值分別定義：

其中B(x)表示以x為原點的結(jié)構(gòu)元素。

其他一些在實際應(yīng)用中經(jīng)常使用的形態(tài)學(xué)算子，如開運算（γ）、閉運算（ψ），往往可看由上述兩個基本算子的不同組合進行定義：

1.2 形態(tài)學(xué)重要性質(zhì)

數(shù)學(xué)形態(tài)學(xué)建立在嚴格的理論基礎(chǔ)上，故具有許多良好的數(shù)學(xué)性質(zhì)，其中保序性和附益性尤為重要［7，21-22］。

保序性是指用結(jié)構(gòu)元素B對圖像f的腐蝕結(jié)果小于等于用同一結(jié)構(gòu)元素所得到的膨脹結(jié)果。特別地，若像素x包含在以它原點的結(jié)構(gòu)元素B(x)中，則保序性描述［5］如下：

進一步，基于保序性可進行圖像的形態(tài)學(xué)梯度定義：

梯度ρ可用于邊緣提取，在實際中具有重要作用［23-25］。

完備格上的附益性理論在數(shù)學(xué)形態(tài)學(xué)中起著舉足輕重的作用［26］。膨脹算子δ和腐蝕算子ε滿足附益性是指：

式（7）表明，對于給定的一個膨脹算子，有且僅有唯一的一個腐蝕算子與其相對應(yīng)［27］。事實上，附益性是驗證腐蝕和膨脹算子是否被正確定義的常用手段，也是開閉算子具有冪等性的重要理論保證［8］。

2 引導(dǎo)形態(tài)學(xué)算子

2.1 算法提出

由于成像設(shè)備或成像場景的差異，由同一目標(biāo)所獲得的圖像往往展現(xiàn)出不同模式，稱之為多模態(tài)圖像。常見的多模態(tài)圖像有可見光圖像、近紅外圖像、深度圖像、閃光燈圖像、非閃光燈圖像等。由于不同模態(tài)的圖像通常具有不同的圖像信息，將其結(jié)合使用能夠得到更為豐富有用的圖像信息，從而有利于后續(xù)的圖像處理任務(wù)。以閃光燈-非閃光燈圖像修復(fù)任務(wù)為例，圖1 給出了本文所提自適應(yīng)引導(dǎo)形態(tài)學(xué)（GAMM）的算法流程。設(shè)計思想主要體現(xiàn)在多模態(tài)輸入、自適應(yīng)結(jié)構(gòu)元素構(gòu)建以及對稱性約束三個方面，分別說明如下。

圖1 自適應(yīng)引導(dǎo)形態(tài)學(xué)算法流程Fig.1 Flowchart for GAMM

1）多模態(tài)輸入：受傳統(tǒng)引導(dǎo)濾波算法的啟發(fā)，為使GAMM 中算子對噪聲具有魯棒性，本文在進行結(jié)構(gòu)元素構(gòu)建時，不但考慮輸入圖像（非閃光燈圖像f），還考慮噪聲較少結(jié)構(gòu)信息更為可靠的引導(dǎo)圖像（閃光燈圖像g）。

2）自適應(yīng)結(jié)構(gòu)元素構(gòu)建：本文借助3σ 原則［19］來分別定義不同模態(tài)的結(jié)構(gòu)元素成員，從而使其對圖像內(nèi)容具備自適應(yīng)性。

假設(shè)傳統(tǒng)數(shù)學(xué)形態(tài)學(xué)的結(jié)構(gòu)元素（濾波窗口）中灰度值服從正態(tài)分布，結(jié)合形態(tài)學(xué)結(jié)構(gòu)元素設(shè)計的具體實際，引入經(jīng)驗參數(shù)λ，并用當(dāng)前像素的灰度值代替分布期望，分別得到在兩個不同模態(tài)上的自適應(yīng)結(jié)構(gòu)元素：

其中：wf(x)和wg(x)為圖像f和g上以當(dāng)前像素x為中心且半徑為r的矩形濾波窗口；σ為不同濾波窗w(x)中灰度值的標(biāo)準(zhǔn)方差。由于不同濾波窗口中的像素往往具有不同的灰度方差，故不同濾波窗中結(jié)構(gòu)元素成員的選取閾值也會有所不同，從而使結(jié)構(gòu)元素的構(gòu)建具備了自適應(yīng)性。不同的λ取值會使整個結(jié)構(gòu)體的構(gòu)建對噪聲展現(xiàn)出不同的魯棒性。

將上述兩個結(jié)構(gòu)元素取交集，得到本文跨模態(tài)結(jié)構(gòu)元素(x)的一個初步形式（后將對其施加對稱性約束）：

需注意，為使形態(tài)學(xué)算子具備好的數(shù)學(xué)性質(zhì)，其結(jié)構(gòu)元素的構(gòu)建往往需滿足如下兩條規(guī)則：

①具體像素點的結(jié)構(gòu)元素一旦確定，就不能改變［6-7］；

②任何像素點的結(jié)構(gòu)元素其成員均須滿足對稱性［7，21］：

由于本文結(jié)構(gòu)元素的定義僅依賴于原始輸入圖像與引導(dǎo)圖像，其顯然滿足第①個規(guī)則。然而，由于不同濾波窗w(x)的方差σ往往不同，這意味著，由式（10）所定義的初步形式(x)尚不能滿足第②個規(guī)則。

3）對稱性約束：本文借助稀疏矩陣的哈達瑪積對式（10）所定義結(jié)構(gòu)元素的初步形式(x)施加對稱性約束［7］。

假設(shè)單幅圖像的像素總數(shù)為n，則所有以像素xi(i=1，2，…，n) 為中心的自適應(yīng)結(jié)構(gòu)元素(xi)的成員xj(j=1，2，…，n)可用一個n×n的稀疏矩陣W存儲：

其中：WT為W的轉(zhuǎn)置，?表示哈達瑪積。則由所確定的GAMM 的最終結(jié)構(gòu)元素B如下：

由的定義可知，B滿足對稱性，即

同時，由式（8）（9）中兩個單模態(tài)結(jié)構(gòu)元素的初始定義可知，B也滿足自包含性，即

算法1 簡要給出了本文GAMM 的結(jié)構(gòu)元素構(gòu)建過程：

算法1 GAMM 的結(jié)構(gòu)元素構(gòu)建。

輸入 輸入圖像f；引導(dǎo)圖像g。

參數(shù) 濾波窗口半徑r；經(jīng)驗參數(shù)λ。

輸出 結(jié)構(gòu)元素B。

在上述構(gòu)建的結(jié)構(gòu)元素B的基礎(chǔ)上，得到本文自適應(yīng)引導(dǎo)形態(tài)學(xué)（GAMM）的膨脹、腐蝕算子：

類似于傳統(tǒng)數(shù)學(xué)形態(tài)學(xué)，由其復(fù)合可進一步定義開、閉運算等其他算子。限于篇幅，此處不再贅述。

2.2 性質(zhì)證明

由其定義過程顯然能夠看出GAMM 的腐蝕和膨脹算子具有跨模態(tài)的自適應(yīng)性。下面定理1 和定理2，則進一步表明這兩個算子也同時具備了與傳統(tǒng)形態(tài)學(xué)算子所具備的保序性與附益性。為使理論敘述相對完整，我們給出了這兩個定理的相應(yīng)證明。

定理1保序性。

εB(f) ≤f≤δB(f)；?f∈F(E，T)

證明

類似可證，f≥εB(f)，?x∈E也成立。

故εB(f) ≤f≤δB(f)，?f∈F(E，T)。證畢。

定理2附益性。

3 GAMM算子的性質(zhì)驗證和實驗比較及分析

除了上述理論證明，本章對GAMM 算子的數(shù)學(xué)性質(zhì)還進行了仿真驗證。在3 個不同應(yīng)用場景，將其與傳統(tǒng)數(shù)學(xué)形態(tài)學(xué)（TMM）以及文獻［12］所提出的魯棒自適應(yīng)形態(tài)學(xué)（RAMM）進行實驗效果比較。

3.1 GAMM算子的性質(zhì)驗證

為驗證保序性，與文獻［21-22］類似，本文采用形態(tài)學(xué)梯度（即膨脹和腐蝕之間算術(shù)差）進行邊緣檢測實驗。通常情況，保序性能夠使檢測出的邊緣較為合理。此處采用文獻［14］所提供的圖像，如圖2 所示，在引導(dǎo)圖像（b）的幫助下，對原始圖像（a）分別進行膨脹（c）和腐蝕（d）操作，從而計算得到形態(tài)學(xué)梯度（e）。從主觀視覺上可以明顯看出物體的邊緣。

圖2 性質(zhì)驗證Fig.2 Verification of properties

對于附益性的驗證，本文也采用類似文獻［21-22］中的方法，通過開運算和閉運算的冪等性進行驗證，其理論基礎(chǔ)是：腐蝕、膨脹算子的附益性是開、閉運算滿足冪等性的充分條件［8］。相應(yīng)的視覺效果見圖2（f）～（i）。顯然，圖像經(jīng)過1次開、閉運算和10 次開、閉運算在視覺上并無差異。除了視覺效果，式（19）（20）中歐幾里得范數(shù)度量的差異為0，也從數(shù)值上表明了GAMM 的開、閉運算具有冪等性。

3.2 不同場景的比較實驗

3.2.1 彩色圖像-深度圖像去噪

本文選取了3 個不同的應(yīng)用場景，對本文所提的GAMM與TMM 以及RAMM［12］進行對比實驗。具體場景分別為彩色圖像-深度圖像去噪、閃光燈-非閃光燈圖像修復(fù)和近紅外圖像-彩色圖像去噪。在參數(shù)設(shè)置上，為了能夠較為全面地進行比較，對于所有的形態(tài)學(xué)算子，均選取了3 個不同大小的濾波窗口半徑，即r=1，2，3。對GAMM，本文經(jīng)驗地設(shè)置其參數(shù)λ=2。而RAMM 中的參數(shù)均采用了原文獻［12］的推薦值。在具體的濾波算子上，3 個形態(tài)學(xué)均采用實際中常用的OCCO（Open Close-Close Open）方法［28］，即取開閉運算和閉開運算的平均作為最終濾波輸出。

本文采用文獻［29］所提供的圖像集進行實驗，具體包括6 組常用的彩色-深度圖像對（圖3）。為了模擬深度退化，比較不同噪聲對算法的影響，對原始深度模態(tài)分別添加方差δ=10，30，50 的高斯白噪聲作為輸入圖像，并將噪聲較少相對可靠的彩色模態(tài)作為引導(dǎo)圖像。

圖3 彩色圖像-深度圖像測試集Fig.3 RGB-depth image test set

表1 和表2 分別給出了不同噪聲水平的6 幅深度圖像去噪結(jié)果的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似性度（Structural SIMilarity，SSIM）的量化指標(biāo)。對TMM，當(dāng)結(jié)構(gòu)元素大小為3×3 時，取得了此場景下的自身最優(yōu)去噪性能。隨著結(jié)構(gòu)元素的增大，其PSNR 和SSIM 值明顯下降。通過引入自適應(yīng)性和魯棒性，RAMM 取得了相對較好的去噪效果。PSNR 和SSIM 指標(biāo)除結(jié)構(gòu)元素為3×3 時略低于TMM，在另外兩個大小不同（即5×5 和7×7）的結(jié)構(gòu)元素上，量化指標(biāo)均略優(yōu)于TMM。通過引入跨模態(tài)方法，本文GAMM 能夠很好地借助引導(dǎo)圖像的可靠性優(yōu)勢，且其算子同時具備自適應(yīng)、魯棒性以及良好的數(shù)學(xué)性質(zhì)，從而在不同的濾波窗大小，GAMM 較TMM 和RAMM 均能夠取得最好的去噪結(jié)果，且對不同大小的噪聲具有魯棒性。

表1 彩色圖像-深度圖像去噪的PSNR結(jié)果 單位：dBTab.1 Results of PSNR in RGB-depth image denoising unit：dB

以一幅經(jīng)典Art 圖像為例，修復(fù)后的視覺效果如圖4 所示。對于TMM（圖3（b）～（d）），即使是使用大小為3×3 的最小結(jié)構(gòu)元素，依然會對圖像的細小結(jié)構(gòu)造成破壞；且隨著結(jié)構(gòu)元素的增大，TMM 輸出的破壞程度更加明顯。對于RAMM，盡管其在理論上較TMM 具有自適應(yīng)性和魯棒性，但如圖3（e）～（g）所示，但其主觀視覺的去噪效果提升并不十分明顯。對于本文所提出的GAMM，圖3（h）～（j）給出了在使用3 個不同大小濾波窗口情況下的去噪效果，其在主觀視覺上均展示出較好的處理結(jié)果。甚至當(dāng)使用大小為7×7 的濾波窗口時，一些細節(jié)結(jié)構(gòu)也會得到較好保持。為便于視覺比較，相應(yīng)局部放大圖放置于圖像左下角。

圖4 彩色圖像-深度圖像去噪的視覺效果Fig.4 Visual effect of RGB-depth image denoising

3.2.2 閃光燈-非閃光燈圖像修復(fù)

如圖5 所示，本文選取一個常用的閃光燈-非閃光燈場景［14］進行圖像修復(fù)實驗。用閃光燈圖像（圖5（b））作為引導(dǎo)圖像對非閃光燈圖像（圖5（a））修復(fù)。從主觀視覺上可以看出，對于TMM（圖5（c）～（e）），由于其結(jié)構(gòu)元素固定，不能對不同的圖像結(jié)構(gòu)進行自適應(yīng)感知，使其在一些邊緣區(qū)域出現(xiàn)過光滑現(xiàn)象，甚至完全模糊。圖5（f）～（h）展示了RAMM 的圖像修復(fù)結(jié)果，由于其較好的自適應(yīng)性和魯棒性，取得了優(yōu)于TMM 的視覺效果。得益于引導(dǎo)圖像的可靠性，本文提出的GAMM 在3 個不同形態(tài)學(xué)中依然取得了最好的圖像修復(fù)效果，具體如圖5（i）～（k）所示，相應(yīng)局部放大圖見圖像右下角。

圖5 閃光燈-非閃光燈圖像修復(fù)的視覺效果Fig.5 Visual effect of flash-flash-free image restoration

3.2.3 彩色圖像-近紅外圖像去噪

在彩色圖像-近紅外圖像去噪場景［30］下，本文將近紅外圖像（圖6（b））作為引導(dǎo)，對帶有噪聲的彩色輸入圖像（圖6（a））進行去噪實驗，如圖6 所示。不同于TMM（圖6（c）～（e））所使用的固定結(jié)構(gòu)元素，RAMM（圖6（f）～（h））能夠根據(jù)圖像內(nèi)容改變結(jié)構(gòu)元素的形狀，并展現(xiàn)出一定的魯棒性，從視覺效果上可以看出，其結(jié)構(gòu)保持性能較TMM 有所提升。借助引導(dǎo)圖像的可靠信息，本文所提GAMM 在性能上進一步提升。如圖6（i）～（k）所示，在所有實驗算法中取得了最好的視覺效果。為便于比較，局部放大圖也相應(yīng)給出。

圖6 近紅外圖像-彩色圖像去噪的視覺效果Fig.6 Visual effect of NIR-RGB image denoising

4 結(jié)語

本文提出一個針對多模態(tài)圖像的自適應(yīng)引導(dǎo)形態(tài)學(xué)，即GAMM。首先，通過采用輸入圖像和引導(dǎo)圖像的聯(lián)合信息進行結(jié)構(gòu)元素構(gòu)建，使其算子具有更強的可靠性。其次，類似3σ 原則選取與中心像素點相似的像素作為結(jié)構(gòu)元素成員，使結(jié)構(gòu)元素對不同圖像內(nèi)容具有自適應(yīng)性。最后，通過對結(jié)構(gòu)元素施加對稱性約束，嚴謹?shù)臄?shù)學(xué)證明和仿真實驗均表明，它能夠繼承傳統(tǒng)數(shù)學(xué)形態(tài)學(xué)好的數(shù)學(xué)性質(zhì)，從而具有了堅實的理論基礎(chǔ)。不同多模態(tài)場景下的比較實驗，均表明了GAMM 的優(yōu)越性能。