夏英杰，李金屏，陳 瑞

(1.濟(jì)南大學(xué)信息科學(xué)與工程學(xué)院，濟(jì)南250022;2.濟(jì)南大學(xué)山東省網(wǎng)絡(luò)環(huán)境智能計算技術(shù)重點實驗室，濟(jì)南250022;3.中國兵器工業(yè)集團(tuán)第53研究所仿真與信息中心，濟(jì)南250032)

當(dāng)前國內(nèi)外有很多對于多模態(tài)圖像配準(zhǔn)技術(shù)的研究，在相關(guān)文獻(xiàn)中也提出了很多配準(zhǔn)方法。Woods在配準(zhǔn)MRI－PET圖像時提出了劃分強(qiáng)度一致性(PIU)測度［1］，但是PIU測度沒有考慮圖像間像素灰度值之間的相關(guān)性;文獻(xiàn)［2］對PIU測度進(jìn)行了改進(jìn)。Collignon等［3］和Viola等［4］分別獨立地將互信息引入圖像配準(zhǔn)領(lǐng)域，該方法在醫(yī)學(xué)圖像處理方面引起了人們廣泛的研究興趣［5－6］，是目前使用最廣泛的多模態(tài)圖像配準(zhǔn)方法之一。2003年，王東峰等［7］提出基于對齊度準(zhǔn)則的配準(zhǔn)方法，在多模態(tài)醫(yī)學(xué)圖像和遙感圖像的配準(zhǔn)方面引起了人們的關(guān)注［8－9］。對齊度方法無需定義特征點，可以解決灰度非線性相關(guān)、灰度直方圖差異很大的兩幅圖像的配準(zhǔn)。此外，還有其他的一些配準(zhǔn)方法和測度，例如基于算術(shù)－幾何均值距離的配準(zhǔn)測度［10］、基于Cauchy－Schwarz距離的配準(zhǔn)測度［11］等。但這些方法和測度大都是針對某種特定的應(yīng)用而獨立進(jìn)行研究的，因此配準(zhǔn)方法雖然較多，但卻不成體系，沒有絕對的評價標(biāo)準(zhǔn)，很難評價配準(zhǔn)方法之間的優(yōu)劣關(guān)系。文獻(xiàn)［12］提出了一種基于動態(tài)可信度的集成配準(zhǔn)方法，但主要是針對尺寸相同或接近相同的紅外圖像和相應(yīng)的可見光圖像。

本文在文獻(xiàn)［12］方法的基礎(chǔ)上，提出了一種新的多模態(tài)圖像的自動集成配準(zhǔn)方法。實驗結(jié)果證明，該方法能實現(xiàn)不同尺寸的多模態(tài)圖像的自動配準(zhǔn)，且速度較快，準(zhǔn)確性高，魯棒性強(qiáng)。

1 算法思路

實驗圖像采用變電站巡檢機(jī)器人采集到的紅外圖像和相應(yīng)的可見光圖像，但其分辨率不同，尺寸也不一致。紅外圖像中的全部場景信息僅是可見光圖像中的一部分，但圖像尺寸比可見光圖像大。為了提高配準(zhǔn)速度，首先對采集到的每組圖像進(jìn)行小波分解。以分解后得到的概貌圖像為待配準(zhǔn)的圖像，以文獻(xiàn)［12］中的六種方法為適應(yīng)度函數(shù)，分別利用遺傳算法進(jìn)行搜索，尋找兩幅多模態(tài)圖像的最佳配準(zhǔn)位置，最后利用動態(tài)可信度方法進(jìn)行集成。

2 小波變換

為了提高配準(zhǔn)速度，首先對采集到的圖像進(jìn)行小波分解。小波分解后，保留了配準(zhǔn)圖像的主要信息，而寬度和高度縮為原來的1/2，大大提高了配準(zhǔn)速度。本文使用db1小波對紅外圖像和相應(yīng)的可見光圖像進(jìn)行db1小波分解，結(jié)果如圖1所示。

圖1(a)是可見光圖像的小波分解結(jié)果，圖1 (b)是紅外圖像的分解結(jié)果。

圖1 小波分解結(jié)果Fig.1 Result of wavelet decom position

3 配準(zhǔn)方法

3.1 基于互信息的多模圖像配準(zhǔn)

基于互信息的多模圖像配準(zhǔn)方法需要首先計算兩幅對應(yīng)圖像的熵和聯(lián)合熵。主要公式如下

兩幅圖像的互信息為

3.2 基于對齊度的多模圖像配準(zhǔn)

假設(shè)給定兩幅進(jìn)行配準(zhǔn)的圖像I1(x，y)和I(x，y)，其中I1(x，y)為配準(zhǔn)圖像，I(x，y)為待配準(zhǔn)圖像。I1(x，y)經(jīng)過尺寸調(diào)整后，其大小為M× N。在配準(zhǔn)時，以I1(x，y)左下角頂點為基準(zhǔn)，在I(x，y)中進(jìn)行移動。設(shè)I1(x，y)在I(x，y)中移動時對應(yīng)的圖像塊為I2(x，y)，計算I1(x，y)與相應(yīng)圖像塊I2(x，y)的對齊度。算法主要公式如下

P2(n)，E21(n)(n)同理可得。式中: H1(n)和H2(n)是兩幅圖像的灰度級統(tǒng)計;P1(n)和P2(n)是灰度n在圖像中出現(xiàn)的比率;和是兩幅圖像的像素灰度方差;E12(n)(E21(n))和(n)((n))是兩幅圖像中一幅圖像相對于另一幅圖像灰度值為n的對應(yīng)像素集合的灰度均值和方差是以比率P1(n)(P2(n))對方差(n)((n))進(jìn)行加權(quán)平均得到的期望方差;CI是兩幅圖像的交互方差，對齊度AM是CI的倒數(shù)。

3.3 基于動態(tài)可信度的集成配準(zhǔn)方法

實驗發(fā)現(xiàn)，采用單一的圖像配準(zhǔn)方法配準(zhǔn)準(zhǔn)確率不高。而各種方法配準(zhǔn)錯誤的圖像又不完全相同，因而具有一定的互補(bǔ)性。如果能將各種方法結(jié)合起來集成考慮，則可大大提高配準(zhǔn)的準(zhǔn)確率。本文以互信息與對齊度的方法為基礎(chǔ)，加入邊緣檢測和均衡化技術(shù)，得到了互信息直接配準(zhǔn)、邊緣檢測后互信息配準(zhǔn)、均衡化后互信息配準(zhǔn)、對齊度直接配準(zhǔn)、邊緣檢測后對齊度配準(zhǔn)、均衡化后對齊度配準(zhǔn)六種配準(zhǔn)方法。為了衡量不同方法在集成時的重要性，本文使用了文獻(xiàn)［12］中提出的動態(tài)可信度的概念。

式中:Ci是第i種方法的可信度;pi是用該方法對多組多模圖像進(jìn)行配準(zhǔn)后所得到的配準(zhǔn)錯誤率，i的取值為1至6。各種方法的可信度是隨著使用該方法進(jìn)行圖像配準(zhǔn)而動態(tài)變化的，即每組多模圖像配準(zhǔn)后，就重新計算各種方法的可信度，使其更趨于一般性和穩(wěn)定性。在實驗時將這六種方法的初始可信度都置為1/6，然后利用這六種方法分別對多組多模圖像進(jìn)行配準(zhǔn)，再計算各種方法的錯誤率，并不斷修正其可信度。

在使用集成配準(zhǔn)方法時，首先利用以上六種方法對多模圖像進(jìn)行配準(zhǔn)。當(dāng)六種配準(zhǔn)方法的結(jié)果不完全一致時，使用少數(shù)服從多數(shù)的原則，將結(jié)果相同的方法的可信度累加，認(rèn)為可信度之和大的配準(zhǔn)結(jié)果為正確的配準(zhǔn)結(jié)果。

4 遺傳算法

變電站巡檢機(jī)器人采集到的紅外圖像和相應(yīng)的可見光圖像分辨率不同，尺寸不一致。紅外圖像包含場景信息少，但圖像尺寸比可見光圖像大。因此，假設(shè)兩幅圖像之間存在一個旋轉(zhuǎn)平移縮放變換T(Tx，Ty，Txs，Tys，Tθ)。由于實際拍攝的圖像基本沒有旋轉(zhuǎn)變換，或旋轉(zhuǎn)基本可忽略不計，又因為互信息和對齊度配準(zhǔn)是一種按像素順序進(jìn)行的窮舉式搜索，所以不必考慮平移變換，因此，變換T簡化為T(Txs，Tys)。在本方法中，以六種方法作為適應(yīng)度函數(shù)，遺傳算法采用浮點數(shù)編碼，通過多次迭代得到最優(yōu)解T，即最合適的參數(shù)Txs和Tys，使一幅圖像經(jīng)過變換T(Txs，Tys)后得到的圖像與另一幅圖像的相似度最大。

在遺傳算法迭代中，設(shè)定種群規(guī)模為50，交叉率初始值為0.2，變異率初始值為0.002，迭代結(jié)束條件為連續(xù)幾代的最優(yōu)解相同。選擇操作采用輪盤賭方式，交叉操作采用單點交叉，變異操作按下式進(jìn)行:

5 實驗結(jié)果分析

本文對紅外圖像和相應(yīng)的可見光圖像進(jìn)行配準(zhǔn)，其中可見光圖像為待配準(zhǔn)圖像，紅外圖像為配準(zhǔn)圖像，紅外圖像的尺寸均為128×100像素，可見光圖像的尺寸均為217×188像素。實驗用計算機(jī)的配置是Pentium(R)Core i5 CPU 3.2 GHz，內(nèi)存4 GB。在基本沒有旋轉(zhuǎn)變換和較大形變的情況下，采用以上六種方法和集成配準(zhǔn)方法，對隨機(jī)選擇的70組紅外圖像和可見光圖像進(jìn)行了配準(zhǔn)。各種方法配準(zhǔn)結(jié)果的準(zhǔn)確率如表1所示。

表1 各種方法配準(zhǔn)結(jié)果準(zhǔn)確率的比較Table 1 The com parison of the success ratio at the different registration methods

由表1可見，采用動態(tài)可信度的集成配準(zhǔn)方法，比任意單一的配準(zhǔn)方法準(zhǔn)確率都高，并且隨著集成配準(zhǔn)方法配準(zhǔn)次數(shù)的增加，結(jié)果的準(zhǔn)確率將趨于穩(wěn)定。

圖2給出了一組紅外圖像和相應(yīng)的可見光圖像的六種方法的配準(zhǔn)結(jié)果。圖2(a)為直接互信息配準(zhǔn)，圖2(b)為邊緣檢測后互信息配準(zhǔn)，圖2(c)為均衡化后互信息配準(zhǔn)，圖2(d)為直接對齊度配準(zhǔn)，圖2(e)為邊緣檢測后對齊度配準(zhǔn)，圖2(f)為均衡化后對齊度配準(zhǔn)。出現(xiàn)的錯誤配準(zhǔn)，主要是因為部分紅外圖像有些模糊，灰度層次上有比較接近的區(qū)域。

圖2 六種配準(zhǔn)方法的結(jié)果Fig.2 Results of six registration methods

6 結(jié)束語

本文將采集到的紅外圖像和相應(yīng)的可見光圖像進(jìn)行小波分解的結(jié)果作為待配準(zhǔn)圖像，使用六種配準(zhǔn)方法，結(jié)合遺傳算法，分別對其進(jìn)行配準(zhǔn)，然后利用動態(tài)可信度將配準(zhǔn)結(jié)果進(jìn)行集成。實驗結(jié)果證明，該方法準(zhǔn)確率高，魯棒性強(qiáng)，可信度可動態(tài)變化，適應(yīng)性強(qiáng)。實驗中使用的圖像尺寸不大，但大尺寸圖像同樣可以使用該方法進(jìn)行處理，只不過小波分解的次數(shù)增加，使用遺傳算法配準(zhǔn)后需進(jìn)一步計算精確的配準(zhǔn)位置。當(dāng)然，實驗方法也存在著不足之處，例如實驗圖像基本沒有旋轉(zhuǎn)和較大的形變，情況相對比較簡單。今后將對這些問題進(jìn)行更深入的研究。

［1］Woods R P，Mazziotta JC，Cherry SR.MRI－PET registration with automated algorithm［J］.Journal of Computer Assisted Tomography，1993，17(4):536－546.

［2］時永剛，劉小軍，王東峰，等.多模態(tài)圖像配準(zhǔn)的配準(zhǔn)測度和性能分析［J］.電子與信息學(xué)報，2004，26 (11):1706－1713.

Shi Yong－gang，Liu Xiao－jun，Wang Dong－feng，et al. Performance analysis of registration measures formultimodal image registration［J］.Journal of Electronics and Information Technology，2004，26(11):1706－1713.

［3］Collignon A，Maes F，Delaere D，etal.Automated multimodality image registration based on information theory［C］//Proc.of the Information Processing in Medical Imaging Conference，1995:263－274.

［4］Viola P A，Wells W M III.Alignment by maximization ofmutual information［J］.International Journalof Computer Vision，1997，24(2):137－154.

［5］Pluim JPW，Maintz JB A，Viergever M A.Image registration by maximization of combined mutual information and gradient information［J］.IEEE Transactions on Medical Imaging，2000，19(8):809－814.

［6］張二虎，卞正中.基于最大熵和互信息最大化的特征點配準(zhǔn)算法［J］.計算機(jī)研究與發(fā)展，2004，41(7): 1194－1199.

Zhang Er－h(huán)u，Bian Zheng－zhong.A new robust point registration algorithm by maximization of entropy and mutual information［J］.Journal of Computer Research and Development，2004，41(7):1194－1199.

［7］王東峰，鄒謀炎.基于最大化對齊度的多模態(tài)圖像自動配準(zhǔn)［J］.電子與信息學(xué)報，2003，25(6):755－762.

Wang Dong－feng，Zou Mou－yan.Automatic registration ofmulti－modal images based on themaximization of the alignmentmetric［J］.Journal of Electronics and Information Technology，2003，25(6):755－762.

［8］葛永新，楊丹，張小洪.基于邊緣特征點對對齊度的圖像配準(zhǔn)方法［J］.中國圖象圖形學(xué)報，2007，12 (7):1291－1295.

Ge Yong－xin，Yang Dan，Zhang Xiao－h(huán)ong.A new method for image registration based on alignmentmetric of edge feature points［J］.Journal of Image and Graphics，2007，12(7):1291－1295.

［9］Xia Ying－jie，Yin Jian－qin，Chen Rui.An automatic registrationmethod formulti－modal images based on alignmentmetric［C］//The 3rd International Conference on Computer Design and Applications，2011:181－184.

［10］時永剛，鄒謀炎.基于算術(shù)－幾何均值距離的多模態(tài)圖像配準(zhǔn)［J］.光學(xué)技術(shù)，2004，30(4):409－412，416.

Shi Yong－gang，Zou Mou－yan.Novel similaritymeasure based on arithmetic－geometric mean distance formultimodal image registration［J］.Optical Technique，2004，30(4):409－412，416.

［11］時永剛.新的Cauchy－Schwarz距離函數(shù)與多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)［J］.光學(xué)技術(shù)，2005，31(5):684－697，690.

Shi Yong－gang.Novel divergence measure based on Cauchy－Schwarz formultimodalmedical image registration［J］.Optical Technique，2005，31(5):684－697，690.

［12］Xia Ying－jie，Chang Xiao－li，Chen Rui，etal.A synthetic registrationmethod formulti－modal images based on dynamic credibility［C］//International Conference on Computer Application and System Modeling，2010:140－144.