王晨昊, 沙 欣, 陳 丹

(1.陜西省交通規(guī)劃設(shè)計研究院 智能交通工程設(shè)計研究所， 陜西 西安 710065；2.西安理工大學(xué) 自動化與信息工程學(xué)院， 陜西 西安 710065)

在同一場景中，對不同對象進(jìn)行單獨聚焦拍攝，再將得到的不同聚焦對象融合在一起的技術(shù)就是多聚焦圖像融合技術(shù)。小波變換作為多聚焦圖像融合中的一種常用技術(shù)，近年來取得了諸多進(jìn)展。文獻(xiàn)[1]利用多尺度小波變換和稀疏表示相結(jié)合的方式，分別研究了多聚焦圖像、醫(yī)療圖像、紅外圖像的融合性能；文獻(xiàn)[2]將小波變換和彩色空間變換結(jié)合在一起，實現(xiàn)彩色多聚焦圖像融合質(zhì)量的提升，原圖像經(jīng)小波變換后得到低、高頻系數(shù);文獻(xiàn)[3]改進(jìn)了高頻融合規(guī)則，以基于區(qū)域特征的融合算法對高頻系數(shù)進(jìn)行處理；文獻(xiàn)[4]利用分步稀疏表示和小波變換相結(jié)合的方法研究了全色多尺度光譜圖像的融合。但是小波變換分解原圖像的過程，實際上是對原圖像中蘊(yùn)含信息的一系列濾波[5]。在這一過程中，蘊(yùn)含圖像大部分邊緣信息的低頻系數(shù)，往往沒有得到足夠的細(xì)化，導(dǎo)致融合圖像的邊緣細(xì)節(jié)不夠突出[6]。針對這一問題，本文將Canny邊緣檢測算法與小波變換相結(jié)合，利用Canny邊緣檢測算法提取經(jīng)小波分解后低頻系數(shù)中的邊緣信息，將這部分信息與代表圖像細(xì)節(jié)的高頻部分以絕大值法處理，低頻部分以平均數(shù)法處理，最后經(jīng)過仿真實驗，從信息熵、平均梯度、標(biāo)準(zhǔn)差、空間頻率等方面對其融合效果性能做出評價。

1 小波變換圖像融合的影響因素

基于小波變換圖像融合的步驟如下：

(1)選擇小波基對原圖像進(jìn)行小波變換，得到代表原圖像輪廓信息的低頻系數(shù)和代表原圖像細(xì)節(jié)信息的高頻系數(shù)；

(2)選取融合規(guī)則對低、高頻系數(shù)進(jìn)行處理，獲得不同成分的子系數(shù)；

(3)對子系數(shù)以小波逆變換處理，得到融合圖像。

在上述過程中，小波基的選擇是決定圖像融合效果的重要因素之一。針對這一因素，本文設(shè)計了如下仿真實驗。仿真中小波分解層數(shù)統(tǒng)一為3層，使用平均數(shù)法作為低頻融合算法，絕對值后取最大值作為高頻融合算法。選取信息熵、平均梯度、標(biāo)準(zhǔn)差和空間頻率作為評價標(biāo)準(zhǔn)[7]，融合結(jié)果如圖1所示。

圖1 采用不同小波基的融合結(jié)果圖像

不同小波基的融合圖像結(jié)果評價見表1，其中信息熵表示圖像蘊(yùn)含信息的多少，信息熵越高，圖像蘊(yùn)含的信息越多[8]。平均梯度通過衡量融合圖像的細(xì)節(jié)變化評價融合圖像的清晰度[9]，平均梯度越高，圖像對細(xì)節(jié)對比的表達(dá)能力越強(qiáng)，圖像也就越清晰。標(biāo)準(zhǔn)差的大小與圖像質(zhì)量相關(guān)，相當(dāng)于圖像分辨率，標(biāo)準(zhǔn)差越大，表示圖像灰度級分布越分散，圖像的有用信息就越多。而空間頻率則反映了一幅圖像在空間域的活躍程度[10]，一幅圖像的空間頻率越高，則其融合效果越好。從表1中的數(shù)據(jù)可以看出，Db4小波與Haar小波相比，僅在空間頻率上略低，其余各項均優(yōu)于Haar小波。而相比于Bior2.4、Bior4.4兩種小波，Db4小波各項數(shù)據(jù)均占優(yōu)勢。故本文使用Db4小波作為小波基。

表1 不同小波基的融合圖像結(jié)果評價

2 基于邊緣檢測的小波變換圖像融合

基于小波變換的多聚焦圖像融合是通過小波變換將原圖像分解為一個低頻系數(shù)和多個高頻系數(shù)，對不同頻段系數(shù)使用不同的融合規(guī)則進(jìn)行處理后，再通過小波逆變換得到融合圖像。在這一過程中，小波變換分解原圖像得到的高頻系數(shù)沒有進(jìn)一步的細(xì)分和量化，丟失了原圖像中的一部分細(xì)節(jié)信息[5]。而低頻系數(shù)包含原圖像大部分信息，可以表征原圖像的邊緣輪廓。因此，本文通過Canny邊緣檢測算法提取低頻系數(shù)中的邊緣圖像，再通過絕大值系數(shù)法與高頻系數(shù)內(nèi)相應(yīng)分辨率的圖像融合，達(dá)到提升融合圖像質(zhì)量的目的。

2.1 Canny邊緣檢測算法

常用的一階梯度算子有Roberts、Prewitt、Sobel，這些算子雖然容易實現(xiàn)，但去噪能力較差，容易出現(xiàn)偽邊緣且檢測精度不高[5]。John Canny提出的Canny算子是一種含有很強(qiáng)的去噪能力和較高的檢測精度的算子，并且成為了評價其他邊緣檢測方法的標(biāo)準(zhǔn)。Canny邊緣檢測算法主要包括以下4個步驟：

(1)設(shè)原始圖像為f(x,y)，原圖像經(jīng)高斯濾波器平滑處理后的圖像G(x,y)表示為

G(x,y)=f(x,y)*H(x,y),

(1)

(2)利用Sobel算子模板：

計算得到G(x,y)梯度的幅值φ(x,y)和θφ方向：

(3)對計算得到的梯度幅值φ(x,y)進(jìn)行非極大值抑制，保留φ(x,y)內(nèi)不同范圍梯度幅值最大的點φm(x,y)，細(xì)化邊界信息。

(4)對φm(x,y)選取兩個閾值TH和TL，TL/TH=1/2。將φm(x,y)中梯度幅值小于TL的點置0，梯度幅值大于TH的點置1，即可提取出完整邊緣。

2.2 基于邊緣檢測的小波變換圖像融合

通過小波變換將多聚焦原圖像分解為低頻系數(shù)和高頻系數(shù)，使用Canny邊緣檢測算法提取低頻系數(shù)中包含的邊緣輪廓細(xì)節(jié)后，對低頻系數(shù)以平均數(shù)法進(jìn)行處理，再將提取出的邊緣輪廓細(xì)節(jié)與高頻系數(shù)內(nèi)相應(yīng)分辨率的點通過絕大值系數(shù)法進(jìn)行處理，最后通過小波逆變換得到融合圖像。

低頻系數(shù)平均數(shù)法表示為

其中f1(m,n)、f2(m,n)表示原圖像分解后在對應(yīng)的(m,n)上的小波系數(shù)，f3(m,n)表示結(jié)果圖像在(m,n)上的小波系數(shù)。

高頻系數(shù)絕大值法表示為

圖2是基于邊緣檢測的小波變換圖像融合方法流程圖。

圖2 圖像融合方法流程圖

3 仿真結(jié)果與分析

仿真中使用兩種算法對多聚焦圖像進(jìn)行融合，小波基統(tǒng)一選擇Db4，分解層數(shù)為3層。算法1使用小波變換分解原圖像，對分解后得到的低頻系數(shù)以平均數(shù)法進(jìn)行處理，對高頻系數(shù)以絕大值法進(jìn)行處理。算法2為本文所述算法。仿真結(jié)果如圖3所示。

表2是對圖3中(c)、(d)兩幅融合結(jié)果的評價，從數(shù)據(jù)可知圖3(d)的評價結(jié)果均優(yōu)于圖3(c)。同時，通過人眼的主觀評價可以觀察到圖3(d)中圖像的邊緣和輪廓比圖3(c)中更為清晰。

圖3 部分模糊的實際拍攝景物圖像及融合結(jié)果

融合結(jié)果信息熵平均梯度標(biāo)準(zhǔn)差空間頻率算法17.352 86.542 144.715 620.122 5算法27.391 47.744 247.740 925.080 0

由于人臉包含著非常豐富的輪廓信息和細(xì)節(jié)，如人的臉型、眼睛的形狀、眉毛和胡茬的清晰度等，在圖像融合的過程中更能體現(xiàn)所使用方法的優(yōu)越性，因此選用如圖4中(a)、(b)所示的不同位置模糊的彩色人臉圖像，通過仿真實驗體現(xiàn)本文使用的算法在融合結(jié)果中對原圖像細(xì)節(jié)信息的提升。

圖4 部分模糊的人臉圖像及融合結(jié)果

如表3所示，在上述算例中，使用本方法得到的融合結(jié)果圖像，從信息熵、平均梯度、標(biāo)準(zhǔn)差、空間頻率等4個方面均優(yōu)于使用傳統(tǒng)小波變換圖像融合方法后得到的結(jié)果圖像。同時，在主觀評價(即人眼)中，本方法的結(jié)果圖像，尤其是在圈出內(nèi)的人眼及眉毛部分，如圖4(d)的圈內(nèi)部分，相比于使用算法1的結(jié)果圖像(圖4(c)的圈內(nèi)部分)，圖4(d)有著更加清晰的邊緣和輪廓。此外，通過觀察給出的兩種圖像中兩種方法的結(jié)果圖像圖4(e)、(f)，可以發(fā)現(xiàn)在使用傳統(tǒng)方法的結(jié)果圖像中，出現(xiàn)了噪聲點，而在本方法的結(jié)果圖像中，沒有噪聲點，造成這一結(jié)果的原因為經(jīng)邊緣檢測提取到的邊緣信息在與高頻分量以絕大值法處理的過程中，噪聲點得以過濾。同時，在邊緣檢測提取邊緣信息的過程中，Canny邊緣檢測算子可以被看作一個基于梯度的濾波器，在濾出邊緣點的過程中，噪聲點也會被過濾。

表3 評價參數(shù)的對比

4 總 結(jié)

本文所使用的融合方法對原圖像經(jīng)過小波分解后，得到的低頻分量進(jìn)行了邊緣檢測，將提取的邊緣信息與高頻分類以絕大值法進(jìn)行處理，低頻分量以平均數(shù)法進(jìn)行處理，因此本方法在處理包含較多細(xì)節(jié)信息的彩色圖像上，相比于同類算法，可以有效提高融合后圖像細(xì)節(jié)的清晰度，具有算法結(jié)構(gòu)簡單、易于實現(xiàn)的特點。同時，由于邊緣檢測這一處理過程，可以在一定程度上減少融合結(jié)果圖像的噪聲點，具有獨特的優(yōu)越性。