王小平，靜大海

（河海大學(xué) 計(jì)算機(jī)與信息學(xué)院，江蘇 南京 211110）

圖像配準(zhǔn)目前一直是圖像處理和計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)基本問題，如何度量兩幅圖像是否真正配準(zhǔn)是圖像配準(zhǔn)的一個(gè)核心問題，直接決定了是否可以進(jìn)行全自動(dòng)配準(zhǔn)。

由于圖像是來自多種成像設(shè)備，所以多模態(tài)圖像的結(jié)構(gòu)信息比單模態(tài)圖像更加豐富和全面[1]。但是在各種因素的影響下，使得精確配準(zhǔn)多模態(tài)圖像變得十分困難。近年來，一些學(xué)者利用互信息方法把小波分解后剩余圖像進(jìn)行配準(zhǔn)，得到了較好的效果[2-4]。局域波分解是基于信號(hào)局部特征的分解，與小波分解相比局域波分解有更優(yōu)的分解能力。另外角點(diǎn)是圖像中像素灰度值在各個(gè)方向變化非常高的點(diǎn)[5]，它是描述圖像的一個(gè)重要點(diǎn)特征。因此角點(diǎn)檢測(cè)是多模態(tài)圖像配準(zhǔn)的優(yōu)越算法，本文利用局域波分解后的剩余圖像，并以角點(diǎn)檢測(cè)作為圖像配準(zhǔn)的測(cè)度，提出一種基于剩余圖像和角點(diǎn)檢測(cè)的自動(dòng)點(diǎn)匹配的多模態(tài)圖像配準(zhǔn)方法。以下將首先要描述角點(diǎn)檢測(cè)理論，二維局域波分解方法，然后將二者結(jié)合起來產(chǎn)生多模態(tài)圖像配準(zhǔn)的新方法。

1 多模態(tài)圖像配準(zhǔn)方法

1.1 基于角點(diǎn)檢測(cè)的自動(dòng)點(diǎn)配準(zhǔn)方法

圖像進(jìn)行角點(diǎn)匹配首先要利用Harris算子進(jìn)行檢測(cè)。Harris[5]算子是Harris C和Stephens M J提出的一種基于信號(hào)的點(diǎn)特征提取算子，是一種有效的點(diǎn)特征提取算子，在圖像處理中它對(duì)圖像旋轉(zhuǎn)、灰度變化、噪聲影響和視點(diǎn)變換不敏感，因此它也是比較穩(wěn)定的一種點(diǎn)特征提取算子。

利用Harris算子對(duì)兩幅圖像進(jìn)行檢測(cè)，檢測(cè)結(jié)果為2個(gè)角點(diǎn)集合，這兩個(gè)集合角點(diǎn)之間是多對(duì)多匹配的。這是一個(gè)初始匹配點(diǎn)集。利用互相關(guān)的方法來度量圖像A中角點(diǎn)p和圖像B中角點(diǎn)q的相似程度，其表達(dá)式為：

式中，μ1（μ2）是圖像 A（B）在點(diǎn) p（q）附近的局部均值；δ1（δ2）是圖像 A（B）在點(diǎn) p（q）附近的方差，r為角點(diǎn)鄰域半徑。IA與IB分別為圖像A與B的亮度函數(shù)。

為保證計(jì)算精確度的同時(shí)提高搜索速度，圖像A中的角點(diǎn)p取以p為中心，以為半徑的圓域?yàn)猷徲?。在圖像B中找到一矩形搜索區(qū)域，該搜索區(qū)域的中心與A中p點(diǎn)具有相同坐標(biāo)值。尺寸為2du×2dv。如圖1所示。利用式（5）計(jì)算矩形搜索區(qū)中每一角點(diǎn)q與圖像A中角點(diǎn)p的相似度。

圖1 互相關(guān)匹配中兩圖搜索區(qū)域Fig.1 Searching area of two pictures in cross-correlation

1.2 二維局域波分解

局域波分解[6]是把信號(hào)進(jìn)行平穩(wěn)化處理，產(chǎn)生了一系列具有不同特征尺度的數(shù)據(jù)序列——內(nèi)稟模式函數(shù)（Intrinsic Mode Function，IMF）和一個(gè)剩余量，目前一維局域波分解方法包含了小波變換的多分辨率的優(yōu)勢(shì)，同時(shí)又克服了小波變換需要選取小波基的困難，從信號(hào)本身的尺度特征出發(fā)對(duì)信號(hào)進(jìn)行分解。鑒于一維局域波分解的成功應(yīng)用，文中將它推廣到二維，提出了二維局域波分解并把它用于圖像處理中。

假設(shè)待處理的圖像為 F（x，y），對(duì)其進(jìn)行局域波分解，首先利用形態(tài)學(xué)的方法對(duì)圖像進(jìn)行濾波重建[7]，用連通結(jié)構(gòu)元對(duì)圖像進(jìn)行腐蝕，對(duì)那些沒有被完全腐蝕掉的部分進(jìn)行重建恢復(fù)，對(duì)圖像進(jìn)行求極值處理，然后將圖像兩個(gè)極值利用徑向基函數(shù)進(jìn)行插值，生成極大包絡(luò)曲面和極小包絡(luò)曲面，對(duì)極大包絡(luò)曲面和極小包絡(luò)曲面求代數(shù)均值m（x，y），從圖像中減去極大極小包絡(luò)的代數(shù)均值，得到它們的差值，即：

但由于包絡(luò)均值這樣的近似，這一過程可被重復(fù)多次，第二次篩選是需要以h1（x，y）作為待處理數(shù)據(jù)：

當(dāng)進(jìn)行到第 k 次，于是:h1（k-1）（x，y）-m1k（x，y）=h1k（x，y）=D1（x，y）。

式中D1（x，y）就是從原始信號(hào)中獲得的第一個(gè)局域波分量。如果 2 個(gè)連續(xù)分解向量 h1k（x，y）與 h1（k-1）（x，y）之差小于一定閾值則可停止分解:

總的來說，D1（x，y）中應(yīng)包含原始信號(hào)中最短的周期分量，即信號(hào)尺度最小的部分。把從原始圖像信號(hào)F（x，y）中分離出的信號(hào)R1（x，y）作為新數(shù)據(jù)進(jìn)行處理，其中:

顯然，R1（x，y）中包含信號(hào)中較大尺度的部分，依次繼續(xù)篩選下去

這時(shí)就有

式中：Di（x，y）是第 i個(gè) IMF（細(xì)節(jié)圖像），Rn（x，y）是 n 次分解后所得的剩余圖像。Di（x，y）是尺度分離后得到的尺度由小到大的較小尺度細(xì)節(jié)信息，Rn（x，y）則包含了原圖像的輪廓部分，它表達(dá)了圖像的基本結(jié)構(gòu)、基本變化趨勢(shì)部分。

1.3 基于局域波和角點(diǎn)檢測(cè)的配準(zhǔn)方法

1.3.1 算法的理論解析和論證

文中首先得到兩幅圖像的初始匹配點(diǎn)對(duì)，用（pAi，qBj）表示這些匹配點(diǎn)，其中pAi表示A圖像上的第i角點(diǎn)，qBj表示B圖像的第j角點(diǎn)，接著，以點(diǎn)pAi和qBj為中心，R為半徑，定義2個(gè)鄰域 N（pAi）和 N（qBj）。 如果匹配點(diǎn)對(duì)（pAi，qBj）是正確并且唯一的。 那么就有更多的匹配點(diǎn)對(duì)（nˉAk，nˉBl）出現(xiàn)在這兩個(gè)鄰域中，其中nˉAk∈N（pAi），nˉBl∈N（qBj），且點(diǎn)nˉAk與點(diǎn) pAi的位置關(guān)系應(yīng)相似于點(diǎn)nˉBl和 qBj點(diǎn)的位置關(guān)系；如果（pAi，qBj）不匹配，那么領(lǐng)域 N（pAi）和點(diǎn) N（qBj）只有很少的匹配點(diǎn)存在，甚至沒有。根據(jù)以上的匹配理論，為了得到精確的匹配結(jié)果，本文用支持強(qiáng)度來描述匹配過程，其表達(dá)式為：

式中 cij為匹配點(diǎn)對(duì)（pAi，qBj）相關(guān)匹配值，ckl為（nˉAk，nˉBl）相關(guān)匹配值。利用式（1）計(jì)算出相關(guān)匹配系數(shù)，用dist定義這2個(gè)點(diǎn)對(duì)的平均距離：

式中 d（p，nˉ）是在歐式空間下點(diǎn) p 與nˉ的距離。 式中 ρ的表達(dá)式為：

εγ為距離偏差閾值的相對(duì)值，利用式（6）可將任意一個(gè)初始匹配點(diǎn)的匹配強(qiáng)度計(jì)算出來。但是，這種方法會(huì)有一個(gè)強(qiáng)度不對(duì)稱的問題出現(xiàn)，即 sup（pAi，qBj）≠sup（qBj，pAi）。 比如，在領(lǐng)域N（pAi）存在多個(gè)角點(diǎn)與領(lǐng)域 N（qBj）內(nèi)的某一個(gè)角點(diǎn)匹配，則不對(duì)稱問題就會(huì)出現(xiàn)，因此要采用雙向匹配以提高配準(zhǔn)精度。

式中γ是2個(gè)點(diǎn)的距離偏差相對(duì)值，其表達(dá)式為

1.3.2 算法的流程

利用上面所述方法，對(duì)兩幅圖像初始匹配點(diǎn)對(duì)的匹配強(qiáng)度進(jìn)行計(jì)算。具體方法及實(shí)現(xiàn)步驟為：1）定義兩個(gè)變量currentnum和next-num來判斷循環(huán)條件；2）先設(shè)current-num=nextnum；3）定義一個(gè)結(jié)構(gòu)類數(shù)組match-array，這個(gè)結(jié)構(gòu)類中包括索引index和值value 2個(gè)變量。再定義一個(gè)變量first-maxsum，把初始匹配點(diǎn)集中的索引值和first-maxsum保存在結(jié)構(gòu)數(shù)組match-array中；4）定義另一個(gè)變量second-maxsum，令

把sum-second值和這時(shí)的索引值保存在一個(gè)與matcharray一樣的數(shù)組unam-match的value中；5）如果first-maxsum的值大于0，則轉(zhuǎn)向步驟3）和4）執(zhí)行，此時(shí)，最大強(qiáng)度匹配點(diǎn)必須從初始匹配點(diǎn)集中分離出來。6）此時(shí)，數(shù)組array-match和unam-match就包含了圖像的匹配點(diǎn)對(duì)的索引和匹配強(qiáng)度。數(shù)組array-match中的value值是從小到大的順序排列的，但數(shù)組unam-match不是這樣，因此必須對(duì)它進(jìn)行從新排列，按從大到小的順序；7）截取數(shù)組array-match和unammatch得到新的數(shù)組。匹配這兩個(gè)新數(shù)組，如果發(fā)現(xiàn)在arraymatch中的某個(gè)索引在與unam-match中的索引相等的情況一次，在數(shù)組believe-match中保存該索引對(duì)應(yīng)的初始匹配點(diǎn)，并將current-num值加1；8）比較next-num與current-num，如果next-num小于current-num，則轉(zhuǎn)向步驟2）～7）。通過以上計(jì)算，最終可以將一一對(duì)應(yīng)的匹配點(diǎn)對(duì)從初始匹配點(diǎn)中提取出來。

2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證文中所提出的配準(zhǔn)方法，對(duì)典型的多模態(tài)圖像進(jìn)行了實(shí)驗(yàn)。以下給出實(shí)驗(yàn)示例。

實(shí)驗(yàn)1：圖2是紅外圖像與可見光圖像的配準(zhǔn)實(shí)驗(yàn)。圖2（a）是可見光圖像，其尺寸為300×300，即圖像每行有300個(gè)像素點(diǎn)，共有 300行；圖 2（b）是紅外圖像，其尺寸為 233×233；（a）、（b）之間的變換參數(shù)是已知的，旋轉(zhuǎn)參數(shù)是 20°，縮放參數(shù)是0.6。以圖2（b）為參考圖像進(jìn)行配準(zhǔn)，得到的配準(zhǔn)結(jié)果如圖 2（c）所示。

表1 各階段角點(diǎn)數(shù)目表Tab.1 Number of corner points at every stage

圖2 紅外與可見光圖像的配準(zhǔn)實(shí)驗(yàn)Fig.2 Matching experiment of infrared and visible light picture

3 結(jié) 論

文中利用局域波圖像分解后的剩余圖像，提出了一種基于剩余圖像和角點(diǎn)檢測(cè)的自動(dòng)點(diǎn)匹配的多模態(tài)配準(zhǔn)方法，在整個(gè)點(diǎn)匹配算法中不同階段采取不同策略，縮短運(yùn)行時(shí)間，保證計(jì)算精度。算法充分利用了剩余圖像的灰度信息和角點(diǎn)位置信息，但沒有利用到形狀等區(qū)域信息和光譜信息，因此，存在大范圍噪聲的圖像對(duì)本文的計(jì)算有一定的干擾，會(huì)增加計(jì)算量。在以后的工作中需要改進(jìn)以進(jìn)一步提高運(yùn)算速度和準(zhǔn)確率。

[1]倪國強(qiáng)，劉瓊.多源圖像配準(zhǔn)技術(shù)分析與展望[J].光電工程，2004，31（9）:1-6.

NI Guo-qiang，LIU Qiong.Analysis and prospect of multisource image registration techniques[J].Opto-Electronic Engineering，2004，31（9）:1-6.

[2]Quddus A，Basir O.Wavelet-based medical image registration for retrieval applications[J].Proceeding of IEEE International Conference on BioMedical Engineering and Informatics，2008，2（5）:301-305.

[3]劉丁，劉涵，王飛.基于最小二乘支持向量機(jī)的圖像配準(zhǔn)研究[J].儀器儀表學(xué)報(bào)，2008，29（1）:124-129.LIU Ding，LIU Han，WANG Fei.Image registration based on least square support vector machine[J].Chinese Journal of Scientific Instrument，2008，29（1）:124-129.

[4]姜曉彤，羅立民，趙正旭.一種改進(jìn)的基于互信息和梯度特征的圖像配準(zhǔn)方法的研究[J].儀器儀表學(xué)報(bào)，2006，27（9）:1141-1146.

JIANG Xiao-tong，LUO Li-min，ZHAO Zheng-xu.Improved image registration by combining mutual information and gradient information[J].Chinese Journal of Scientific Instrument，2006，27（9）:1141-1146.

[5]Harris C，Stephens M.A combined corner and edge detector[C]//Proceedings of the 4th Alvey Vision Conference，1988:147-151.

[6]ZHAO Jun-long，MA Xiao-jiang，BIE Feng-feng.Fault early diagnosis of rolling element bearing based on local wave method and cyclostationarity analysis[C]//7th International Symposium on Test and Measurement，2007:3922-3925.

[7]辜小花，龔衛(wèi)國，楊利平，等.核保局鑒別人臉識(shí)別算法[J].儀器儀表學(xué)報(bào)，2010，31（9）：2016-2021.

GU Xiao-hua，GONG Wei-guo，YANG Li-ping，et al.Kernel locality preserving discrim inant analysis for face recognition[J].Chinese Journal of Scientific Instrument，2010，31 （9）:2016-2021.

[8]Kern J，Pattichis M.Robust multispectral image registration using mutual information models[J].IEEE Transactions on Geoscience and Remote Sensing，2007，45（5）:1494-1505.

[9]王富治，黃大貴.基于圖像差分的精密畸變校正研究[J].儀器儀表學(xué)報(bào)，2010，31（2）：377-382.

WANG Fu-zhi，HUANG Da-gui.Accurate distortion correction studybaseondifferentialimages[J].ChineseJournalofScientificInstrument，2010，31（2）:377-382.