王晨昊, 沙 欣, 陳 丹

(1.陜西省交通規(guī)劃設(shè)計(jì)研究院 智能交通工程設(shè)計(jì)研究所， 陜西 西安 710065；2.西安理工大學(xué) 自動(dòng)化與信息工程學(xué)院， 陜西 西安 710065)

在同一場(chǎng)景中，對(duì)不同對(duì)象進(jìn)行單獨(dú)聚焦拍攝，再將得到的不同聚焦對(duì)象融合在一起的技術(shù)就是多聚焦圖像融合技術(shù)。小波變換作為多聚焦圖像融合中的一種常用技術(shù)，近年來(lái)取得了諸多進(jìn)展。文獻(xiàn)[1]利用多尺度小波變換和稀疏表示相結(jié)合的方式，分別研究了多聚焦圖像、醫(yī)療圖像、紅外圖像的融合性能；文獻(xiàn)[2]將小波變換和彩色空間變換結(jié)合在一起，實(shí)現(xiàn)彩色多聚焦圖像融合質(zhì)量的提升，原圖像經(jīng)小波變換后得到低、高頻系數(shù);文獻(xiàn)[3]改進(jìn)了高頻融合規(guī)則，以基于區(qū)域特征的融合算法對(duì)高頻系數(shù)進(jìn)行處理；文獻(xiàn)[4]利用分步稀疏表示和小波變換相結(jié)合的方法研究了全色多尺度光譜圖像的融合。但是小波變換分解原圖像的過(guò)程，實(shí)際上是對(duì)原圖像中蘊(yùn)含信息的一系列濾波[5]。在這一過(guò)程中，蘊(yùn)含圖像大部分邊緣信息的低頻系數(shù)，往往沒(méi)有得到足夠的細(xì)化，導(dǎo)致融合圖像的邊緣細(xì)節(jié)不夠突出[6]。針對(duì)這一問(wèn)題，本文將Canny邊緣檢測(cè)算法與小波變換相結(jié)合，利用Canny邊緣檢測(cè)算法提取經(jīng)小波分解后低頻系數(shù)中的邊緣信息，將這部分信息與代表圖像細(xì)節(jié)的高頻部分以絕大值法處理，低頻部分以平均數(shù)法處理，最后經(jīng)過(guò)仿真實(shí)驗(yàn)，從信息熵、平均梯度、標(biāo)準(zhǔn)差、空間頻率等方面對(duì)其融合效果性能做出評(píng)價(jià)。

1 小波變換圖像融合的影響因素

基于小波變換圖像融合的步驟如下：

(1)選擇小波基對(duì)原圖像進(jìn)行小波變換，得到代表原圖像輪廓信息的低頻系數(shù)和代表原圖像細(xì)節(jié)信息的高頻系數(shù)；

(2)選取融合規(guī)則對(duì)低、高頻系數(shù)進(jìn)行處理，獲得不同成分的子系數(shù)；

(3)對(duì)子系數(shù)以小波逆變換處理，得到融合圖像。

在上述過(guò)程中，小波基的選擇是決定圖像融合效果的重要因素之一。針對(duì)這一因素，本文設(shè)計(jì)了如下仿真實(shí)驗(yàn)。仿真中小波分解層數(shù)統(tǒng)一為3層，使用平均數(shù)法作為低頻融合算法，絕對(duì)值后取最大值作為高頻融合算法。選取信息熵、平均梯度、標(biāo)準(zhǔn)差和空間頻率作為評(píng)價(jià)標(biāo)準(zhǔn)[7]，融合結(jié)果如圖1所示。

圖1 采用不同小波基的融合結(jié)果圖像

不同小波基的融合圖像結(jié)果評(píng)價(jià)見(jiàn)表1，其中信息熵表示圖像蘊(yùn)含信息的多少，信息熵越高，圖像蘊(yùn)含的信息越多[8]。平均梯度通過(guò)衡量融合圖像的細(xì)節(jié)變化評(píng)價(jià)融合圖像的清晰度[9]，平均梯度越高，圖像對(duì)細(xì)節(jié)對(duì)比的表達(dá)能力越強(qiáng)，圖像也就越清晰。標(biāo)準(zhǔn)差的大小與圖像質(zhì)量相關(guān)，相當(dāng)于圖像分辨率，標(biāo)準(zhǔn)差越大，表示圖像灰度級(jí)分布越分散，圖像的有用信息就越多。而空間頻率則反映了一幅圖像在空間域的活躍程度[10]，一幅圖像的空間頻率越高，則其融合效果越好。從表1中的數(shù)據(jù)可以看出，Db4小波與Haar小波相比，僅在空間頻率上略低，其余各項(xiàng)均優(yōu)于Haar小波。而相比于Bior2.4、Bior4.4兩種小波，Db4小波各項(xiàng)數(shù)據(jù)均占優(yōu)勢(shì)。故本文使用Db4小波作為小波基。

表1 不同小波基的融合圖像結(jié)果評(píng)價(jià)

2 基于邊緣檢測(cè)的小波變換圖像融合

基于小波變換的多聚焦圖像融合是通過(guò)小波變換將原圖像分解為一個(gè)低頻系數(shù)和多個(gè)高頻系數(shù)，對(duì)不同頻段系數(shù)使用不同的融合規(guī)則進(jìn)行處理后，再通過(guò)小波逆變換得到融合圖像。在這一過(guò)程中，小波變換分解原圖像得到的高頻系數(shù)沒(méi)有進(jìn)一步的細(xì)分和量化，丟失了原圖像中的一部分細(xì)節(jié)信息[5]。而低頻系數(shù)包含原圖像大部分信息，可以表征原圖像的邊緣輪廓。因此，本文通過(guò)Canny邊緣檢測(cè)算法提取低頻系數(shù)中的邊緣圖像，再通過(guò)絕大值系數(shù)法與高頻系數(shù)內(nèi)相應(yīng)分辨率的圖像融合，達(dá)到提升融合圖像質(zhì)量的目的。

2.1 Canny邊緣檢測(cè)算法

常用的一階梯度算子有Roberts、Prewitt、Sobel，這些算子雖然容易實(shí)現(xiàn)，但去噪能力較差，容易出現(xiàn)偽邊緣且檢測(cè)精度不高[5]。John Canny提出的Canny算子是一種含有很強(qiáng)的去噪能力和較高的檢測(cè)精度的算子，并且成為了評(píng)價(jià)其他邊緣檢測(cè)方法的標(biāo)準(zhǔn)。Canny邊緣檢測(cè)算法主要包括以下4個(gè)步驟：

(1)設(shè)原始圖像為f(x,y)，原圖像經(jīng)高斯濾波器平滑處理后的圖像G(x,y)表示為

G(x,y)=f(x,y)*H(x,y),

(1)

(2)利用Sobel算子模板：

計(jì)算得到G(x,y)梯度的幅值φ(x,y)和θφ方向：

(3)對(duì)計(jì)算得到的梯度幅值φ(x,y)進(jìn)行非極大值抑制，保留φ(x,y)內(nèi)不同范圍梯度幅值最大的點(diǎn)φm(x,y)，細(xì)化邊界信息。

(4)對(duì)φm(x,y)選取兩個(gè)閾值TH和TL，TL/TH=1/2。將φm(x,y)中梯度幅值小于TL的點(diǎn)置0，梯度幅值大于TH的點(diǎn)置1，即可提取出完整邊緣。

2.2 基于邊緣檢測(cè)的小波變換圖像融合

通過(guò)小波變換將多聚焦原圖像分解為低頻系數(shù)和高頻系數(shù)，使用Canny邊緣檢測(cè)算法提取低頻系數(shù)中包含的邊緣輪廓細(xì)節(jié)后，對(duì)低頻系數(shù)以平均數(shù)法進(jìn)行處理，再將提取出的邊緣輪廓細(xì)節(jié)與高頻系數(shù)內(nèi)相應(yīng)分辨率的點(diǎn)通過(guò)絕大值系數(shù)法進(jìn)行處理，最后通過(guò)小波逆變換得到融合圖像。

低頻系數(shù)平均數(shù)法表示為

其中f1(m,n)、f2(m,n)表示原圖像分解后在對(duì)應(yīng)的(m,n)上的小波系數(shù)，f3(m,n)表示結(jié)果圖像在(m,n)上的小波系數(shù)。

高頻系數(shù)絕大值法表示為

圖2是基于邊緣檢測(cè)的小波變換圖像融合方法流程圖。

圖2 圖像融合方法流程圖

3 仿真結(jié)果與分析

仿真中使用兩種算法對(duì)多聚焦圖像進(jìn)行融合，小波基統(tǒng)一選擇Db4，分解層數(shù)為3層。算法1使用小波變換分解原圖像，對(duì)分解后得到的低頻系數(shù)以平均數(shù)法進(jìn)行處理，對(duì)高頻系數(shù)以絕大值法進(jìn)行處理。算法2為本文所述算法。仿真結(jié)果如圖3所示。

表2是對(duì)圖3中(c)、(d)兩幅融合結(jié)果的評(píng)價(jià)，從數(shù)據(jù)可知圖3(d)的評(píng)價(jià)結(jié)果均優(yōu)于圖3(c)。同時(shí)，通過(guò)人眼的主觀評(píng)價(jià)可以觀察到圖3(d)中圖像的邊緣和輪廓比圖3(c)中更為清晰。

圖3 部分模糊的實(shí)際拍攝景物圖像及融合結(jié)果

融合結(jié)果信息熵平均梯度標(biāo)準(zhǔn)差空間頻率算法17.352 86.542 144.715 620.122 5算法27.391 47.744 247.740 925.080 0

由于人臉包含著非常豐富的輪廓信息和細(xì)節(jié)，如人的臉型、眼睛的形狀、眉毛和胡茬的清晰度等，在圖像融合的過(guò)程中更能體現(xiàn)所使用方法的優(yōu)越性，因此選用如圖4中(a)、(b)所示的不同位置模糊的彩色人臉圖像，通過(guò)仿真實(shí)驗(yàn)體現(xiàn)本文使用的算法在融合結(jié)果中對(duì)原圖像細(xì)節(jié)信息的提升。

圖4 部分模糊的人臉圖像及融合結(jié)果

如表3所示，在上述算例中，使用本方法得到的融合結(jié)果圖像，從信息熵、平均梯度、標(biāo)準(zhǔn)差、空間頻率等4個(gè)方面均優(yōu)于使用傳統(tǒng)小波變換圖像融合方法后得到的結(jié)果圖像。同時(shí)，在主觀評(píng)價(jià)(即人眼)中，本方法的結(jié)果圖像，尤其是在圈出內(nèi)的人眼及眉毛部分，如圖4(d)的圈內(nèi)部分，相比于使用算法1的結(jié)果圖像(圖4(c)的圈內(nèi)部分)，圖4(d)有著更加清晰的邊緣和輪廓。此外，通過(guò)觀察給出的兩種圖像中兩種方法的結(jié)果圖像圖4(e)、(f)，可以發(fā)現(xiàn)在使用傳統(tǒng)方法的結(jié)果圖像中，出現(xiàn)了噪聲點(diǎn)，而在本方法的結(jié)果圖像中，沒(méi)有噪聲點(diǎn)，造成這一結(jié)果的原因?yàn)榻?jīng)邊緣檢測(cè)提取到的邊緣信息在與高頻分量以絕大值法處理的過(guò)程中，噪聲點(diǎn)得以過(guò)濾。同時(shí)，在邊緣檢測(cè)提取邊緣信息的過(guò)程中，Canny邊緣檢測(cè)算子可以被看作一個(gè)基于梯度的濾波器，在濾出邊緣點(diǎn)的過(guò)程中，噪聲點(diǎn)也會(huì)被過(guò)濾。

表3 評(píng)價(jià)參數(shù)的對(duì)比

4 總 結(jié)

本文所使用的融合方法對(duì)原圖像經(jīng)過(guò)小波分解后，得到的低頻分量進(jìn)行了邊緣檢測(cè)，將提取的邊緣信息與高頻分類以絕大值法進(jìn)行處理，低頻分量以平均數(shù)法進(jìn)行處理，因此本方法在處理包含較多細(xì)節(jié)信息的彩色圖像上，相比于同類算法，可以有效提高融合后圖像細(xì)節(jié)的清晰度，具有算法結(jié)構(gòu)簡(jiǎn)單、易于實(shí)現(xiàn)的特點(diǎn)。同時(shí)，由于邊緣檢測(cè)這一處理過(guò)程，可以在一定程度上減少融合結(jié)果圖像的噪聲點(diǎn)，具有獨(dú)特的優(yōu)越性。