樊東燕，蔡 宇

?

基于變換域邊緣檢測(cè)的雙源交通圖像融合方法研究

樊東燕1，蔡 宇2

（1. 山西大學(xué) 商務(wù)學(xué)院信息學(xué)院，太原 030031；2. 山西大學(xué) 物理電子工程學(xué)院，太原 030006）

針對(duì)交通圖像在惡劣天氣及夜間成像質(zhì)量較差的問(wèn)題，通過(guò)研究紅外傳感器和可見(jiàn)光傳感器的成像原理，設(shè)計(jì)了一種基于變換域邊緣檢測(cè)的雙源交通圖像融合方法。首先將紅外源圖像與可見(jiàn)光源圖像利用小波變換分別進(jìn)行分解，再對(duì)所得結(jié)果中的高頻成分邊緣檢測(cè)，通過(guò)設(shè)計(jì)不同的融合規(guī)則對(duì)變換域不同頻率子圖像分別進(jìn)行融合處理，然后通過(guò)逆變換得到特征信息豐富的融合圖像。

雙源交通圖像；融合規(guī)則；邊緣檢測(cè)；小波變換；圖像融合

0 引言

隨著經(jīng)濟(jì)的發(fā)展，道路上的車(chē)輛數(shù)量與日俱增，行駛速度也越來(lái)越快，交通監(jiān)控技術(shù)亟待改進(jìn)，智能交通系統(tǒng)（intelligent traffic system，ITS）技術(shù)應(yīng)運(yùn)而生。ITS主要基于視頻圖像實(shí)現(xiàn)目標(biāo)檢測(cè)，其中涉及到的視頻車(chē)輛檢測(cè)技術(shù)是以攝像機(jī)作為檢測(cè)裝置，基于計(jì)算機(jī)視覺(jué)技術(shù)從視頻序列中提取運(yùn)動(dòng)的車(chē)輛對(duì)象，從而進(jìn)行車(chē)輛信息檢測(cè)[1]。近年來(lái)，隨著模式識(shí)別技術(shù)的快速發(fā)展，基于計(jì)算機(jī)圖像處理技術(shù)的ITS視頻車(chē)輛檢測(cè)系統(tǒng)成為了研究熱點(diǎn)[2]。在ITS的視頻檢測(cè)系統(tǒng)中，可以利用數(shù)字圖像處理技術(shù)，把來(lái)源于不同傳感器采集的多路圖像信號(hào)通過(guò)融合處理，進(jìn)而消除冗余、增加互補(bǔ)、降低不確定性、提高信息的可靠度[3]。

多源圖像融合（multi-source image fusion）是近些年新興的圖像處理研究方向，主要針對(duì)多聚焦圖像或多傳感器獲得的圖像進(jìn)行融合[4]。利用設(shè)計(jì)融合算法提取多源圖像的特征信息，通過(guò)對(duì)不同的特征信息進(jìn)行有機(jī)合成后得到信息全面、準(zhǔn)確的融合圖像[5]。在多源圖像融合技術(shù)的研究中，嘗試將圖像分解到具有多尺度性質(zhì)的變換域中進(jìn)行融合處理是國(guó)內(nèi)外相關(guān)學(xué)者的研究熱點(diǎn)[6]。隨著小波變換（wavelet transform，WT）數(shù)學(xué)理論在信號(hào)處理領(lǐng)域的興起，其在多源圖像融合中作為一種多尺度分解算法扮演著重要的角色[7]。

可見(jiàn)光成像傳感器和紅外成像傳感器是ITS中較常用的成像設(shè)備[8]，其中可見(jiàn)光成像傳感器的工作波長(zhǎng)范圍是380～780nm，與人眼可識(shí)別的波段相同，能夠獲取場(chǎng)景中的反射信息，其圖像的特點(diǎn)是能夠提供清晰的細(xì)節(jié)，含有豐富的顏色，圖像含有大量信息，具有較高的時(shí)空分辨率，有利于人眼對(duì)整個(gè)場(chǎng)景及重要目標(biāo)的認(rèn)知[9]。但這種傳感器抗干擾性差，在惡劣天氣及夜間成像能力較差。紅外成像傳感器將物體輻射的熱紅外功率信號(hào)形成的紅外輻射圖樣轉(zhuǎn)換成人眼可識(shí)別的熱像圖[10]。由于紅外線具有穿透性，因而傳感器可發(fā)現(xiàn)煙霧遮擋的目標(biāo)或在樹(shù)木后的車(chē)輛等。因此在夜間，人眼不能很好地辨別場(chǎng)景中的目標(biāo)時(shí)，利用不同景物之間存在著一定的溫度差，可以利用紅外傳感器來(lái)進(jìn)行探測(cè)。但這樣所成的圖像不利于人眼判讀[11]。因此在原來(lái)的道路監(jiān)控?cái)z像機(jī)旁新增一個(gè)紅外攝像機(jī)，調(diào)整其拍攝角度與CCD攝像機(jī)保持一致，這樣就可同時(shí)獲得拍攝目標(biāo)相同的紅外與可見(jiàn)光源圖像[12]。然后將兩路源圖像進(jìn)行融合，可以有效地提高系統(tǒng)的工作效率?；谏鲜鲅芯勘疚脑O(shè)計(jì)了一種基于邊緣檢測(cè)與小波變換相結(jié)合的雙路傳感器交通圖像融合方法。

1 雙路傳感器交通圖像融合方法設(shè)計(jì)

1.1 小波圖像融合的處理流程

二維小波變換是一種圖像的多尺度分解，而且小波分解是非冗余的。圖1通過(guò)圖示描述了小波圖像融合的處理流程[13]。

1.2 源圖像的轉(zhuǎn)換

在不影響圖像識(shí)別的前提下，為了減少圖像處理的運(yùn)算量，通常在小波分解之前需要先將源圖像轉(zhuǎn)換為灰度圖像[14]。首先計(jì)算源圖像中每個(gè)像素點(diǎn)的亮度值，然后把亮度值進(jìn)行量化，表示成0～255的灰度等級(jí)，通過(guò)匹配像素亮度值將源圖像轉(zhuǎn)換為灰度圖像。

1.3 設(shè)計(jì)圖像融合規(guī)則

源圖像經(jīng)過(guò)小波分解后得到一系列不同分辨率（頻率）的子圖像。其中高頻子圖像反應(yīng)的是諸如圖像的邊緣、區(qū)域邊界等細(xì)節(jié)特性；低頻子圖像是能量集中的主要部分，表現(xiàn)的是圖像的概貌和平均特性[15]。因此對(duì)于低頻子圖像的融合通常應(yīng)用加權(quán)平均法，即低頻融合小波系數(shù)可由所有低頻系數(shù)進(jìn)行加權(quán)平均后得到。由于邊緣是圖像很重要的部分，雖然邊緣像素很少卻包含著很多信息，因此先對(duì)圖像的高頻部分進(jìn)行邊緣檢測(cè)，然后再融合[16]。

圖像邊緣的檢測(cè)一直是圖像融合的研究熱點(diǎn)，Canny算子被認(rèn)為是比較好的邊緣檢測(cè)方法[17]。這種方法不僅能夠檢測(cè)出圖像中真正的弱邊緣，而且抗噪聲干擾能力較強(qiáng)，因此可以在圖像處理過(guò)程中在檢測(cè)邊緣與抑制噪聲之間的此消彼長(zhǎng)中取得最佳平衡狀態(tài)，檢測(cè)得到較完整的邊緣，減少模板檢測(cè)中邊緣出現(xiàn)中斷的情況[18]。所以本文對(duì)高頻子圖像的邊緣檢測(cè)采用最佳邊緣檢測(cè)算子Canny算子進(jìn)行邊緣檢測(cè)[19]。算法設(shè)計(jì)流程為：

第1步：設(shè)A、B分別為可見(jiàn)光圖像和已配準(zhǔn)的紅外圖像，對(duì)其分別進(jìn)行小波變換，得到各自的分解結(jié)構(gòu)：低頻成分AL、BL；高頻成分AHh1、AHv1、AHd1、BHh1、BHv1、BHd1。

第2步：對(duì)分解后得到的A、B圖像的低頻近似分量AL、BL，取加權(quán)平均值后作為融合圖像的低頻分量。融合結(jié)果為：

(,)＝1×AL(,)＋2×BL(,) (1)

式中：1、2為權(quán)值，且1＋2＝1。由于傳感器位置相近且針對(duì)同一目標(biāo)，所以?xún)煞鶊D像低頻部分所含信息量相差不是很多，因此本文中取1、2都為0.5。即：

(,)＝0.5×[AL(,)＋BL(,)] (2)

第3步：對(duì)高頻子圖像在對(duì)應(yīng)的垂直、水平、對(duì)角線方向上分別進(jìn)行邊緣檢測(cè)，得到對(duì)應(yīng)方向高頻子圖像的邊緣圖像，用AHh2、AHv2、AHd2、BHh2、BHv2、BHd2表示。

第4步：設(shè)計(jì)高頻子圖像的融合算法：由于傳統(tǒng)的高頻子圖像的融合規(guī)則是采用系數(shù)絕對(duì)值取大的方法，其算法為：

從式(3)可以看出：這種基于單獨(dú)像素點(diǎn)度量細(xì)節(jié)信息強(qiáng)度的方法是不穩(wěn)定的，特別是當(dāng)多尺度變換缺乏平移不變性時(shí)，由于源圖像的平移、旋轉(zhuǎn)等規(guī)則變化會(huì)導(dǎo)致分解系數(shù)的能量發(fā)生劇烈的不規(guī)則變化，使得融合后的圖像缺乏一致性。而且在融合過(guò)程中會(huì)傳遞并放大源圖像中的噪聲和死點(diǎn)。

Fig.1 The process of image fusion based on wavelet

因此本文設(shè)計(jì)了一種采用基于局部方差的方法來(lái)得到融合系數(shù)，以(,)點(diǎn)為中心，取大小為×的鄰域，文中具體設(shè)置為3×3的方陣區(qū)域。定義點(diǎn)(,)的局部方差：

式中：為點(diǎn)為中心時(shí)各點(diǎn)對(duì)應(yīng)權(quán)值，權(quán)值可通過(guò)行和列的高斯分布加權(quán)相加而得。離點(diǎn)越近，其對(duì)應(yīng)權(quán)值越大。

定義兩幅高頻子圖對(duì)應(yīng)區(qū)域匹配度1,2(,)：

設(shè)閾值為0.5，當(dāng)匹配度小于閾值時(shí)，融合圖像的分解系數(shù)取區(qū)域方差大的相應(yīng)點(diǎn)的分解系數(shù)：當(dāng)圖A區(qū)域方差大于圖B區(qū)域方差時(shí)，(,)＝AH(,)；否則，當(dāng)圖A區(qū)域方差小于圖B區(qū)域方差時(shí)，(,)＝BH(,)。

若匹配度大于閾值，則采取加權(quán)平均方法得出相應(yīng)的分解系數(shù)：當(dāng)圖A區(qū)域方差大于圖B區(qū)域方差時(shí)：

(,)＝×AH(,)＋×BH(,)

否則，當(dāng)圖A區(qū)域方差小于圖B區(qū)域方差時(shí)：

(,)＝×AH(,)＋×BH(,)

第5步：對(duì)通過(guò)上述步驟得到的低頻子圖像和3個(gè)方向的高頻子圖像實(shí)施小波逆變換，具體流程如圖1所示，即可獲得理想的融合圖像F。

2 仿真實(shí)驗(yàn)

為了驗(yàn)證該算法的融合效果，本文以MATLAB為平臺(tái)，選取小波函數(shù)bd6進(jìn)行小波分解，分別對(duì)3對(duì)不同尺寸已經(jīng)配準(zhǔn)的可見(jiàn)光圖像和紅外圖像進(jìn)行了測(cè)試。

測(cè)試1：圖2為第1對(duì)圖像融合測(cè)試結(jié)果。其中(a)圖為可見(jiàn)光圖像，(b)圖為紅外圖像。應(yīng)用算法融合后的圖像如(c)圖所示?？梢?jiàn)，圖2中(a)圖環(huán)境光線較暗，肉眼看不清楚人站的具體位置。(b)圖由于人體熱量高，人能很清楚地成像。融合圖像(c)圖綜合了(a)圖、(b)圖的特點(diǎn)，能比較全面的看到整幅圖像。

測(cè)試2：圖3為第2對(duì)圖像融合測(cè)試結(jié)果。其中(a)圖為可見(jiàn)光圖像，(b)圖為紅外圖像；應(yīng)用算法融合后的圖像如(c)圖所示?？梢?jiàn)，圖3中(a)圖中飛機(jī)的大部分輪廓清晰可見(jiàn)，但周?chē)臉?shù)木卻看不清。(b)圖恰恰相反。(c)圖所示的融合圖像綜合了(a)圖、(b)圖的特點(diǎn)，既能基本看清飛機(jī)，又能看到旁邊的樹(shù)木，具有很好的融合效果。

測(cè)試3：圖4為第3對(duì)圖像融合測(cè)試結(jié)果。其中(a)圖為可見(jiàn)光圖像，(b)圖為紅外圖像；應(yīng)用算法融合后的圖像如(c)圖所示。

圖2 圖像融合測(cè)試1

圖3 圖像融合測(cè)試2

Fig.3 Image fusion test 2

圖4 圖像融合測(cè)試3

Fig.4 Image fusion test 3

可見(jiàn)，圖4(a)中可見(jiàn)光圖像中道路標(biāo)線清晰可見(jiàn)，但部分車(chē)輛看不清楚。圖4(b)圖紅外圖像中看不到路面標(biāo)線，車(chē)輛外形卻能大致看到。圖4(c)圖所示的融合圖像綜合了二者各自的特點(diǎn)，包含了兩幅圖像的信息量，達(dá)到了較好的融合效果。

3 融合圖像質(zhì)量的比較與評(píng)價(jià)

通常從主觀和客觀兩個(gè)角度分別對(duì)融合圖像評(píng)價(jià)，因此作者分別對(duì)圖像采用傳統(tǒng)的小波變換融合算法和本文設(shè)計(jì)的融合算法進(jìn)行了對(duì)比。其仿真結(jié)果如圖5所示。

1）主觀評(píng)價(jià)

事先給予觀察者一定的評(píng)價(jià)尺度或者給出參考圖像，然后由觀察者直接來(lái)判斷融合圖像的品質(zhì)。圖6給出了國(guó)際上通用的五分制主觀評(píng)價(jià)體系。根據(jù)其評(píng)價(jià)尺度表，從圖5可以明顯看出，左側(cè)圖像（圖5(a)、圖5(c)、圖5(e)）得分明顯高于右側(cè)圖像（圖5(b)、圖5(d)、圖5(f)）。即本文設(shè)計(jì)的融合規(guī)則明顯優(yōu)于傳統(tǒng)的小波變換通和規(guī)則。但是主觀評(píng)價(jià)的結(jié)果帶有觀察者的主觀性和不確定性，因此，只采用主觀方法進(jìn)行融合算法優(yōu)劣性能的比較是不合適的。

圖6 主觀評(píng)價(jià)體系

Fig.6 Subjective evaluation system

2）客觀評(píng)價(jià)

為了客觀、定量的評(píng)價(jià)融合圖像的效果，采用了目前通常采用的3類(lèi)評(píng)價(jià)指標(biāo)即信息熵、平均梯度和標(biāo)準(zhǔn)差[20]。通過(guò)計(jì)算兩種融合圖像的不同的統(tǒng)計(jì)參數(shù)，比較來(lái)判斷融合算法的效果。表1給出了3個(gè)傳統(tǒng)客觀評(píng)價(jià)指標(biāo)得出的結(jié)果。

表1 客觀評(píng)價(jià)參數(shù)表

其中：

①信息熵()：反映了圖像攜帶信息量的多少，當(dāng)熵值越大時(shí)，則表示包含的信息就越多，融合效果就越好。

式中：p()為圖像中像素灰度值為的概率，通常取灰度為的像素?cái)?shù)與總像素?cái)?shù)之比；為圖像灰度級(jí)數(shù)。

式中：?(,)、?(,)分別為(,)分沿和方向的差分。

③標(biāo)準(zhǔn)差：是表征圖像各像素灰度值相對(duì)于平均灰度值的離散情況的參數(shù)，當(dāng)的值越大時(shí)圖像的灰度級(jí)分布越分散，則對(duì)應(yīng)的圖像融合效果越好。

表1中圖5(a)、圖5(c)和圖5(e)是采用本文算法，即小波變換結(jié)合邊緣檢測(cè)，高頻融合采用系數(shù)絕對(duì)值取大的方法得到的結(jié)果；圖5(b)、圖5(d)和圖5(f)為對(duì)應(yīng)圖像用小波變換得到的融合圖像。從表1可以看出本文所用圖像融合方法與傳統(tǒng)小波變換融合方法比較有一定優(yōu)勢(shì)，融合效果比較理想。

4 結(jié)論

通過(guò)上述實(shí)驗(yàn)數(shù)據(jù)可以證明本文設(shè)計(jì)的融合算法對(duì)ITS視頻檢測(cè)系統(tǒng)中的紅外圖像與可見(jiàn)光圖像具有較好的融合效果，特別是光線較暗的可見(jiàn)光圖像和其對(duì)應(yīng)紅外圖像。此方法基于小波變換，對(duì)不同分辨率下的圖像的低頻和高頻分量分別進(jìn)行融合。在進(jìn)行高頻分量融合時(shí)，首先對(duì)高頻部分采用最佳邊緣檢測(cè)算子Canny算子進(jìn)行邊緣檢測(cè)，然后采用基于局部方差的方法得到融合系數(shù)，因此最終應(yīng)用小波逆變換重構(gòu)獲得的融合圖像，不僅涵蓋了可見(jiàn)光和紅外圖像的有效特征信息，而且由于融合算法中對(duì)邊緣處理的改進(jìn)，提高了圖像信息的表述和重構(gòu)質(zhì)量，使得融合圖像信息量增大，分辨效果增強(qiáng)，提升了ITS視頻檢測(cè)系統(tǒng)對(duì)交通車(chē)輛場(chǎng)景目標(biāo)的識(shí)別和處理能力。

[1] 程英蕾, 趙榮椿, 李衛(wèi)華, 等. 基于像素級(jí)的圖像融合方法研究[J]. 計(jì)算機(jī)應(yīng)用研究, 2004(5): 169-172.

[2] 劉建偉, 郭平. 一種基于邊緣檢測(cè)的圖像融合新方法[J]. 北京師范大學(xué)學(xué)報(bào):自然科學(xué)版, 2007(5): 518-521.

[3] 李茜, 郭佳, 郭小云. 基于邊緣檢測(cè)小波變換的紅外與可見(jiàn)光圖像融合方法[J]. 光學(xué)儀器, 2013(1):18-21.

[4] 劉倩, 杜宏, 薛慶增. 一種基于小波變換的可見(jiàn)光與紅外圖像融合算法研究[J]. 車(chē)輛與動(dòng)力技術(shù), 2011(3): 48-51.

[5] 李偉林. 結(jié)合方向邊緣檢測(cè)的紅外與可見(jiàn)光圖像融合算法[J]. 激光與紅外, 2014(6): 682-686.

[6] Sumeet Dua, U.Rajendra Acharya, Pradeep Chowriappa, et al. Wavelet- based energy features for glaucomatous image classification[J]., 2012, 16(1): 80-87.

[7] 李洋. 紅外圖像與可見(jiàn)光圖像融合研究[D]. 哈爾濱: 哈爾濱工程大學(xué), 2013: 19-23.

[8] 李佳奇. 圖像融合在視頻交通信息檢測(cè)中的應(yīng)用研究[D]. 天津: 天津大學(xué), 2009: 36-43.

[9] 孔韋韋, 雷英杰, 雷陽(yáng), 等. 基于改進(jìn)型NSCT變換的灰度可見(jiàn)光與紅外圖像融合方法[J]. 控制與決策, 2010(11): 1607-1612.

[10] 陳木生. 基于Contourlet變換和模糊理論的圖像融合算法[J]. 激光與紅外, 2012(6): 695-698.

[11] NannanYu, TianshuangQiu, FengBi, et al. Image features extraction and fusion based on joint sparse representation[J]., 2011(5): 1074-1082.

[12] YANG B, LI S. Multifocus image fusion and restoration with sparse representation[J]., 2010, 59(4): 884-892.

[13] 艾超. 基于方向小波變換的圖像邊緣檢測(cè)算子研究[D]. 西安: 西安電子科技大學(xué), 2013: 47-5 8.

[14] 趙青, 何建華, 溫鵬. 基于平均梯度和方向?qū)Ρ榷鹊膱D像融合方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2012, 48(24): 165-168.

[15] 徐萌萌. 基于小波變換的圖像融合算法研究[D]. 哈爾濱: 哈爾濱理工大學(xué), 2014: 1-17.

[16] Li Shu-tao, Yang Bin, Hu Jian-wen. Performance comparison of different multi-resolution transforms for image fusion[J]., 2011, 12(2): 74-84.

[17] 許宏科, 秦嚴(yán)嚴(yán), 陳會(huì)茹. 一種基于改進(jìn)Canny的邊緣檢測(cè)算法[J].紅外技術(shù), 2014, 36(3): 210-214.

[18] 徐萌兮. 紅外與可見(jiàn)光數(shù)字圖像融合技術(shù)研究[D]. 南京: 南京理工大學(xué), 2014: 1-27.

[19] Li Shutao, Yin Haitao, Fang Leyuan. Remote sensing image fusion via sparse representations over learned dictionaries[J]., 2013, 51(9): 4779-4789.

[20] 王宇慶, 王索建. 紅外與可見(jiàn)光融合圖像的質(zhì)量評(píng)價(jià)[J]. 中國(guó)光學(xué), 2014, 7(3): 396-401.

Research on the Fusion of Dual-source Traffic Image Based on Transform Domain and Edge Detection

FAN Dong-yan1，CAI Yu2

(1.,030031,; 2.;030006,)

The paper puts forward a kind of image fusion method of infrared image and visible light image based on wavelet transform and edge detection, which is through study the imaging principle of infrared sensor and visible light sensors to solve the traffic image quality problems which get in bad weather or at night. First the image is decomposed by wavelet transform, and then high frequency components are edge detected, and the low frequency and high frequency parts are fused through the different image fusion rules respectively. Finally, the fused image is obtained through inverse wavelet transform.

dual-source traffic image，fuse rules，edge detection，wavelet transform，image fusion

TN911.73

A

1001-8891(2015)09-0740-06

2015-03-02；

2015-04-17.

樊東燕（1965-），女，山西太原人，教授，主要研究方向?yàn)閳D像處理。

山西省科技廳基礎(chǔ)研究項(xiàng)目，編號(hào)：2014011018-1；山西大學(xué)商務(wù)學(xué)院科研基金項(xiàng)目，編號(hào)：2012013。