白 皓，郭全民，柴改霞

(西安工業(yè)大學(xué) 電子信息工程學(xué)院，西安710021)

隨著科技的發(fā)展，綜合利用多傳感器圖像進(jìn)行數(shù)據(jù)提取和分析已經(jīng)成為一種重要的獲取信息的方法，其中多傳感器圖像融合技術(shù)由于可將被攝物體不同的物理屬性顯示在一張圖像上而備受學(xué)者關(guān)注，而圖像融合的前提就是圖像配準(zhǔn)。影響兩幅圖像配準(zhǔn)效果的因素除了圖像配準(zhǔn)算法外還有待配準(zhǔn)圖像的質(zhì)量，因為紅外圖像傳感器與可見光圖像傳感器的成像原理不同，當(dāng)光線充足時，配準(zhǔn)紅外圖像和可見光圖像需要解決兩幅圖像的像素值無線性關(guān)系的問題；當(dāng)光線黯淡時，可見光圖像的對比度低、亮度暗，而紅外圖像不受影響，配準(zhǔn)這樣兩幅圖像不僅要解決紅外與可見光傳感器的成像原理的差異，還要面對可見光圖像質(zhì)量差的問題。文獻(xiàn)[1]提出了基于對齊度準(zhǔn)則的高對比度、高亮度待配準(zhǔn)圖像配準(zhǔn)方法,該方法不需要兩幅圖像的灰度值有線性關(guān)系,且不受兩幅圖像灰度屬性差異的影響。文獻(xiàn)[2]利用對齊度準(zhǔn)則對待配準(zhǔn)的兩幅邊緣圖像進(jìn)行匹配點對的確定,在得到最大對齊度的過程中,由于需要在整幅邊緣圖像中分別對3個方向進(jìn)行搜索,因而計算量較大。文獻(xiàn)[3]利用兩幅圖像的邊緣特征點對進(jìn)行配準(zhǔn)具有計算量小、匹配精度高和抗噪性強(qiáng)的優(yōu)點。當(dāng)兩幅待配準(zhǔn)圖像的對比度低、圖像內(nèi)容模糊時，直接用基于灰度值的圖像配準(zhǔn)算法或者尺度不變特征變換(Scale Invariant Feature Transform,SIFT)算法配準(zhǔn)時,紅外與可見光圖像均難以取得較好的配準(zhǔn)效果[4]。

文中提出了全天候紅外與可見光圖像互信息最大化配準(zhǔn)方法，采用圖像客觀評價指標(biāo)對配準(zhǔn)圖像進(jìn)行評價，并和傳統(tǒng)圖像配準(zhǔn)方法進(jìn)行對比，為低對比度紅外與可見光圖像配準(zhǔn)提供了新途徑。

1 配準(zhǔn)方法

1.1 灰度變換

特征點少、不易配準(zhǔn)的圖像亮度低，對比度低；因此采用直方圖均衡技術(shù)[5]拓展原圖像的像素寬度，增強(qiáng)原圖像的對比度，提高原圖像的平均亮度。圖1(a)為低亮度、低對比度圖像，經(jīng)過直方圖均衡技術(shù)處理后，結(jié)果如圖1(b)所示。對比圖1(a)、圖1(b)中石頭的花紋、植物的枝干及草坪的層次感，直方圖均衡技術(shù)明顯增強(qiáng)了圖1(a)中圖像的清晰度、亮度以及對比度。

圖2(a)為原圖像的像素直方圖，經(jīng)過直方圖均衡技術(shù)處理后得到的像素直方圖，如圖2(b)所示。圖2(a)中像素的像素值分布在區(qū)間[0,200],并呈指數(shù)分布；圖2(b)中像素的像素值分布在區(qū)間[0,200],并呈均勻分布。與圖2(a)對比可看出圖2(b)中像素值在[0,50]之間的像素個數(shù)明顯減少，像素值在[50,200]之間的像素個數(shù)明顯增多。

圖1 圖像直方圖均衡處理

圖2 像素直方圖

1.2 圖像邊緣提取

不同傳感器圖像反映物體不同的物理特性,對于待配準(zhǔn)的可見光與紅外圖像,在可見光圖像中出現(xiàn)的色彩信息在紅外圖像中未必會出現(xiàn),在進(jìn)行圖像配準(zhǔn)時需要依靠兩幅圖像的共有特征,且共有特征越多圖像配準(zhǔn)精度越高。通過觀察大量紅外與可見光圖像發(fā)現(xiàn)在同一物體的可見光和紅外圖像中總會有一些對應(yīng)的邊緣同時出現(xiàn)，因此圖像邊緣是紅外與可見光圖像中比較固定的共有特征。本文根據(jù)邊緣檢測算子提取紅外與可見光圖像的邊緣信息，目前成熟的邊緣檢測算子有Canny算子[6]、Sobel算子和Roberts算子等。

對Canny算子、Sobel算子和Roberts算子進(jìn)行邊緣檢測能力測試，如圖3所示。其中圖3(a)為原圖；通過Sobel 算子檢測原圖的圖像邊緣，結(jié)果如圖3(b)所示；通過 Roberts 算子檢測原圖的圖像邊緣，結(jié)果如圖3(c)所示；通過Canny算子檢測原圖的圖像邊緣，結(jié)果如圖3(d)所示。從圖3可以看出，Sobel 算子檢測出來的邊緣不連續(xù)，無法判斷出圖像的邊緣；Roberts算子檢測出來的邊緣具有一些斷裂現(xiàn)象，造成邊緣信息的缺失；而Canny算子檢測出來的邊緣具有很好的連續(xù)性且細(xì)節(jié)較清晰。測試結(jié)果表明Canny邊緣檢測算法的圖像邊緣檢測質(zhì)量較好，因此本文采用Canny算子檢測圖像邊緣。

圖3 邊緣檢測

1.2.1 圖像互信息量計算

圖像互信息量是指兩幅圖像中的共有信息量，當(dāng)兩幅圖像實現(xiàn)了正確匹配的時候，他們的互信息量最大，可使用兩幅圖像的互信息量作為圖像配準(zhǔn)的依據(jù)。兩幅圖像的互信息量計算步驟如下：① 計算待配準(zhǔn)圖像X中像素灰度值為x的像素點的頻率px。計算浮動圖像Y中像素灰度值為y的像素點的頻率py。計算待配準(zhǔn)圖像X的熵H(X)和浮動圖像Y的熵H(Y)。計算待配準(zhǔn)圖像X和浮動圖像Y的聯(lián)合概率分布[7-9]

pXY(x,y)=h(x,y)/∑h(x,y)

式中：h(x,y)為兩幅圖像重疊部分像素灰度坐標(biāo)值為(x,y)的像素個數(shù)；∑h(x,y)為兩幅圖像重疊部分的總像素數(shù)。

② 計算待配準(zhǔn)圖像X和浮動圖像Y的聯(lián)合熵

③ 計算兩幅圖像的互信息量

I(X,Y)=H(X)+H(Y)-H(X,Y)

1.2.2 配準(zhǔn)矩陣計算

通過最大化待配準(zhǔn)圖像和浮動圖像的互信息量，計算待配準(zhǔn)圖像和浮動圖像的最優(yōu)配準(zhǔn)矩陣為

(1)

為了縮短圖像配準(zhǔn)所需的時間，采用最優(yōu)化算法[10-14]減小計算量，本文采用梯度下降法確定待配準(zhǔn)圖像X和浮動圖像Y之間的互信息極大值的搜索方向。梯度下降法的優(yōu)點是收斂速度快、計算量?。蝗秉c是易收斂到局部極大值。配準(zhǔn)矩陣迭代方程為

(2)

式中：Tk為迭代k次后的配準(zhǔn)矩陣；Tk+1為迭代k+1次后的配準(zhǔn)矩陣；λ為學(xué)習(xí)速率；I為互信息量；k為迭代次數(shù)。

1.3 圖像配準(zhǔn)

圖像配準(zhǔn)過程如下：① 分別計算待配準(zhǔn)圖像和浮動圖像的平均像素值。② 判斷計算出的平均像素點灰度值是否大于閾值100，若大于100，使用Canny算子提取圖像邊緣并保存。否則使用直方圖均衡技術(shù)增強(qiáng)圖像的質(zhì)量并保存。③ 初始化優(yōu)化器的最小步長L、最大迭代次數(shù)M和程序截止閾值ε，設(shè)定當(dāng)前迭代次數(shù)k=1，并計算兩幅邊緣圖像的互信息量。④ 計算兩幅邊緣圖像最大互信息量的搜索方向向量。⑤ 計算迭代k+1次后的配準(zhǔn)矩陣以及待配準(zhǔn)圖像和浮動圖像迭代前后互信息量的差值δ，判斷程序是否滿足截止條件δ<ε或k+1>M。⑥ 若程序滿足截止條件，進(jìn)入步驟7,否則返回步驟4。⑦ 采用計算出的配準(zhǔn)矩陣配準(zhǔn)原圖像，若原圖像經(jīng)過直方圖均衡技術(shù)的處理，用處理后的圖像替換原圖像。⑧ 輸出配準(zhǔn)后的圖像，程序結(jié)束。

2 實驗分析

為了驗證本文算法的配準(zhǔn)效果，進(jìn)行了實驗驗證。處理器選用Intel(R)Core(TM) i7-7700HQ芯片；內(nèi)存為 8 GB；操作系統(tǒng)選用64 位 Windows系統(tǒng)。實驗平臺采用MatlabR2016b軟件。通用串行總線(Universal Serial Bus,USB)可見光攝像頭、USB主動紅外攝像頭各一個。圖4為下午14時拍攝的涼亭圖像，圖4(a)為可見光圖像，其像素灰度均值為202.780 5；圖4(b)為紅外圖像，其像素灰度均值為185.662 3。利用Canny算子對圖4(a)和4(b)進(jìn)行邊緣檢測并保存邊緣圖像，如圖4(c)和4(d)所示。

圖4 涼亭圖像邊緣檢測

計算圖4(c)與圖4(d)的最大互信息量并得到配準(zhǔn)矩陣T，采用配準(zhǔn)矩陣T配準(zhǔn)原圖像。圖5(a)是兩幅原圖像的重疊圖像，配準(zhǔn)的原圖像如圖5(b)所示。圖6(a)和6(b)分別為晚上23時拍攝的涼亭可見光圖像和紅外圖像，圖6(a)的像素灰度均值為7.392 5；圖6(b)的像素灰度均值為8.810 5。對圖6(a)和6(b)進(jìn)行直方圖均衡處理得到圖6(c)和圖6(d)；用Canny邊緣檢測算子對圖6(c)和圖6(d)分別進(jìn)行邊緣檢測，得到邊緣圖像分別為圖6(e)和圖6(f)；計算圖6(e)和圖6(f)的最大互信息值并輸出其配準(zhǔn)矩陣T；采用配準(zhǔn)矩陣T配準(zhǔn)圖6(c)和圖6(d)，配準(zhǔn)后的圖像為圖6(h)。

圖5 圖像配準(zhǔn)

圖6 涼亭可見光圖像和紅外圖像的配準(zhǔn)

將本文算法與傳統(tǒng)的互信息最大化配準(zhǔn)算法進(jìn)行對比，對夜晚拍攝的亭子圖像(如圖6(a)和6(b)所示)分別使用傳統(tǒng)的互信息最大化算法和本文算法進(jìn)行配準(zhǔn)，圖像配準(zhǔn)結(jié)果如圖7(a)和7(b)所示，對午后拍攝的亭子圖像(如圖4(a)和4(b)所示)分別使用傳統(tǒng)的互信息最大化算法和本文算法進(jìn)行配準(zhǔn)，圖像配準(zhǔn)結(jié)果如圖8(a)和8(b)所示。采用圖像的空間頻率、標(biāo)準(zhǔn)差和平均梯度對配準(zhǔn)圖像進(jìn)行評價。

對圖7～8所示圖像進(jìn)行客觀評價，結(jié)果見表1。由表1可知，在夜晚拍攝條件下，采用本文算法配準(zhǔn)后圖像的空間頻率指標(biāo)值高于傳統(tǒng)配準(zhǔn)算法19.7%；采用本文算法配準(zhǔn)后圖像的標(biāo)準(zhǔn)差高于傳統(tǒng)配準(zhǔn)算法43.7%；采用本文算法配準(zhǔn)后圖像的平均梯度高于傳統(tǒng)算法79.2%。在午后拍攝條件下，采用本文算法配準(zhǔn)后圖像的空間頻率高于傳統(tǒng)算法25.7%；采用本文算法配準(zhǔn)后圖像的標(biāo)準(zhǔn)差高于傳統(tǒng)算法7.7%；采用本文算法配準(zhǔn)后圖像的平均梯度高于傳統(tǒng)算法21.1%。

圖7 配準(zhǔn)后圖像(夜晚拍攝的亭子圖像)

圖8 配準(zhǔn)后圖像(午后拍攝的亭子圖像)

表1配準(zhǔn)后圖像客觀評價

Tab.1 Objective evaluation of the registered images

配準(zhǔn)后圖像客觀評價指標(biāo)傳統(tǒng)算法本文算法夜晚拍攝的配準(zhǔn)后圖像空間頻率13.530 116.194 6標(biāo)準(zhǔn)差20.911 330.058 6平均梯度2.882 85.165 9午后拍攝的配準(zhǔn)后圖像空間頻率14.385 818.076 7標(biāo)準(zhǔn)差43.696 647.049 9平均梯度4.869 55.897 5

3 結(jié) 論

1) 通過提取圖像邊緣信息作為紅外與可見光圖像的共同信息，實現(xiàn)了異源傳感器圖像的配準(zhǔn)，不需要圖像之間的灰度具有相關(guān)性。

2) 圖像像素灰度均值小于100時，本文算法得到的配準(zhǔn)圖像質(zhì)量遠(yuǎn)高于傳統(tǒng)配準(zhǔn)算法得到的配準(zhǔn)圖像的質(zhì)量。圖像像素灰度均值大于100時，本文算法得到的配準(zhǔn)圖像的質(zhì)量略高于傳統(tǒng)配準(zhǔn)算法得到的配準(zhǔn)圖像的質(zhì)量。

3) 文中依據(jù)待配準(zhǔn)圖像像素均值是否小于閾值100來決定是否對待配準(zhǔn)圖像進(jìn)行直方圖均衡，未實現(xiàn)根據(jù)待配準(zhǔn)圖像的像素值自適應(yīng)設(shè)定閾值，需在今后的工作中進(jìn)一步開展研究。