汪道寅,胡訪宇

(中國科學(xué)技術(shù)大學(xué),安徽合肥230027)

0 引言

圖像配準(zhǔn)技術(shù)是圖像融合和圖像重建等應(yīng)用的前提,是不可缺少的關(guān)鍵步驟。圖像配準(zhǔn)可分為基于特征和基于區(qū)域的配準(zhǔn),其基本步驟為特征檢測、特征匹配、匹配函數(shù)設(shè)計(jì)和圖像的變換及重采樣[1]。圖像配準(zhǔn)在醫(yī)學(xué)、遙感和目標(biāo)識別等眾多圖像分析領(lǐng)域得到了廣泛地應(yīng)用,是圖像處理領(lǐng)域中研究的熱點(diǎn)。

尺度不變特征SIFT是由David Lowe于1999年提出,并于2004年總結(jié)完善[2]。SIFT匹配算法主要可分為特征檢測、特征描述和特征匹配3個部分。Mikolajczyk和 Schmid通過對比 SIFT、PCA-SIFT、Steerable Filter和Moment Invariants等數(shù)10種特征描述后指出[3],SIFT是目前最為有效地特征檢測算子。SIFT算法存在需要完善的地方,如匹配部分的部分閾值參數(shù)不具有普遍適用性,并且誤配點(diǎn)沒有得到有效的剔除。針對以上問題提出相應(yīng)改進(jìn),并將其應(yīng)用到視頻序列圖像的配準(zhǔn)當(dāng)中。實(shí)驗(yàn)表明,改進(jìn)算法實(shí)現(xiàn)了更有效的配準(zhǔn)。

1 SIFT算子

1.1 檢測尺度空間的特征點(diǎn)

圖像在尺度空間中表示為圖像和可變高斯核函數(shù)的卷積,LoG(Laplacian of Gaussian)算子表達(dá)式為:

對相鄰層的卷積結(jié)果進(jìn)行差值,得到差分金字塔DoG(Difference of Gaussian),DoG算子是對LoG算子的近似,其表達(dá)式為:

式中,因子k滿足k=21/S;D(x,y,σ)在尺度空間中的極值點(diǎn)作為候選特征點(diǎn)。

1.2 精確定位特征點(diǎn)的位置

差分金字塔DoG的泰勒展開式為:

式中,X=(x,y,σ)T為包含特征點(diǎn)位置和尺度信息的向量。通過D(X)的幅值大小及其曲率來篩選特征點(diǎn),D(X)的曲率特性通過其二階微分組成的Hessian矩陣來度量。

1.3 確定特征點(diǎn)的主方向

點(diǎn)坐標(biāo)為(x,y)處的梯度幅值和方向?yàn)?

在以特征點(diǎn)為中心的鄰域內(nèi)用梯度方向直方圖來統(tǒng)計(jì)鄰域像素的梯度方向。梯度方向直方圖的峰值代表了該特征點(diǎn)處鄰域梯度的主方向,即作為該特征點(diǎn)的主方向。

1.4 生成特征描述符

以特征點(diǎn)為中心取16×16的方格,每個小格代表特征點(diǎn)鄰域所在尺度空間的一個像素。在4×4的圖像小塊上計(jì)算8個方向的梯度方向,繪制每個梯度方向的累加值,形成128維的SIFT特征向量即特征描述符。對特征描述符進(jìn)行歸一化并與閾值0.2比較,使其對線性變化和光照具有不變性。

1.5 特征點(diǎn)之間的匹配

采用特征描述符向量之間的Euclid距離來度量2個特征點(diǎn)之間的匹配程度。當(dāng)2個特征描述符的Euclid距離最小并且與次最小Euclid距離的比值小于給定的閾值時(shí),則這2個特征點(diǎn)匹配。

2 SIFT改進(jìn)算子

SIFT改進(jìn)算子的步驟可分為特征檢測、特征描述和特征匹配。首先,對待配準(zhǔn)圖像和參考圖像進(jìn)行特征檢測。特征檢測需要經(jīng)過檢測DoG金字塔中的極值點(diǎn)、除去低對比度的點(diǎn)和除去邊緣響應(yīng)點(diǎn);其次,對檢測到的特征點(diǎn)生成特征描述子。計(jì)算每個特征點(diǎn)梯度的幅值和方向,統(tǒng)計(jì)梯度方向直方圖,生成特征描述子;最后,通過特征描述子進(jìn)行特征匹配。通過Euclid距離來匹配特征描述子,采用相鄰平行性、Hough變換和隨機(jī)一致性采樣RANSAC算法等約束,得到精確的匹配點(diǎn)對,采用最小二乘LS法來計(jì)算它們之間的空間變換矩陣,對待配準(zhǔn)圖像進(jìn)行最終的變換操作,得到配準(zhǔn)圖像。

2.1 閾值參數(shù)的自適應(yīng)優(yōu)化

David將Euclid距離比閾值設(shè)為0.8[2],然而該參數(shù)并不是對所有圖像均有效。在對不同的圖像進(jìn)行試驗(yàn)時(shí),發(fā)現(xiàn)閾值并不總能得到最佳效果。為了使得該參數(shù)對不同的均有效,應(yīng)使其對不同的圖像進(jìn)行自適應(yīng)的動態(tài)調(diào)整和優(yōu)化,即具有普遍適用性。衡量特征檢測性能的參量如重復(fù)率(Repeatability)和信息量(Information Content)。重復(fù)率表達(dá)同一場景在不同情況下的穩(wěn)定性,而信息量是特征點(diǎn)顯著性的度量。實(shí)驗(yàn)中采用重復(fù)率來評價(jià)特征檢測的性能,通過重復(fù)率來調(diào)控Euclid距離比閾值的設(shè)置。假設(shè)參考圖像I1和待配準(zhǔn)圖像Ii,其公共部分檢測到的特征點(diǎn)為和,它們匹配的定義為:

式中,H1i為變換矩陣,則重復(fù)率定義如下:

2.2 去除誤配點(diǎn)的相鄰平行性約束

誤配點(diǎn)對仿射參數(shù)的求取、圖像重采樣和變換的影響較大,因此必須盡可能地剔除誤配點(diǎn)。David指出[2],RANSAC算法的性能很好,但是在外點(diǎn)較多的情況下其性能將受到很大的影響。設(shè)每個點(diǎn)是內(nèi)點(diǎn)的概率為p,則k個點(diǎn)均為內(nèi)點(diǎn)的概率為pk,隨機(jī)抽樣S次,一致性的概率為P,Richard Szeliski指出[6]參數(shù)滿足以下關(guān)系式:

所需要的最少抽樣次數(shù)為:

當(dāng)概率p＜50%時(shí),達(dá)到相同的一致性概率所需的運(yùn)算次數(shù)較多,故在執(zhí)行RANSAC算法之前,先進(jìn)行Hough變換聚類操作。為了更有效地去除誤配點(diǎn),在Hough變換前加入相鄰平行性約束。所謂相鄰平行性約束,是指相鄰的匹配點(diǎn)對具有相似的平行關(guān)系。計(jì)算各匹配點(diǎn)對之間連線的斜率,通過周圍的匹配點(diǎn)對來判斷該點(diǎn)對是否匹配。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 將視頻轉(zhuǎn)換為序列圖像

實(shí)驗(yàn)處理的對象是大橋上拍攝的監(jiān)控錄像。提取6幅圖像,以其中1幅為參考圖像,其他5幅為待配準(zhǔn)圖像。實(shí)驗(yàn)中,為了減少背景圖像的影響,所處理的圖像大小均取256×301。其中,各表中標(biāo)號1代表參考圖像,標(biāo)號2,3,4,5,6分別代表待配準(zhǔn)圖像。作為示例,標(biāo)號為1和2的參考圖像和待配準(zhǔn)圖像的配準(zhǔn)過程具體如下所述。

3.2 特征檢測

通過領(lǐng)域比較得到候選的極值點(diǎn),再對其進(jìn)行篩選,除去低對比度點(diǎn)和邊緣響應(yīng)點(diǎn),最終得到較穩(wěn)定的極值點(diǎn)。所有圖像特征點(diǎn)生成過程如表1所示。

表1 6幅圖像中極值點(diǎn)的數(shù)目

由表1可知,隨著汽車向攝影頭的方向移動,圖像的尺度越來越大,檢測到的特征點(diǎn)數(shù)目越來越多。

3.3 特征匹配

計(jì)算特征點(diǎn)對所確定的直線的斜率,并與相鄰的特征點(diǎn)對直線斜率進(jìn)行比較,當(dāng)二者之間的差值超過一定范圍時(shí),則認(rèn)為該特征點(diǎn)對不滿足目前的匹配模式。同時(shí),對已經(jīng)匹配的特征點(diǎn)標(biāo)記,不再計(jì)算該點(diǎn)與其他特征點(diǎn)之間的斜率,消除一點(diǎn)對多點(diǎn)和多點(diǎn)對一點(diǎn)的情況。通過實(shí)驗(yàn)得知,誤配點(diǎn)得到了有效地的剔除。實(shí)驗(yàn)中各幅圖像內(nèi)外點(diǎn)數(shù)目如表2所示。

表2 待配準(zhǔn)圖像內(nèi)外點(diǎn)數(shù)目

表2記錄了除參考圖像外的其余5幅待配準(zhǔn)圖像的內(nèi)外點(diǎn)檢測數(shù)目。內(nèi)點(diǎn)是滿足模型參數(shù)估計(jì)的點(diǎn),外點(diǎn)是不符合模型的點(diǎn)。由表格可知,隨著特征點(diǎn)總數(shù)的增加,模型內(nèi)點(diǎn)的數(shù)目也在增多。距離比閾值與重復(fù)率的關(guān)系如圖1所示。

圖1 距離比閾值與重復(fù)率的關(guān)系

由圖1可知,隨著Euclid距離比的增加,重復(fù)率出現(xiàn)起伏變化。當(dāng)Euclid距離比為0.4左右時(shí),重復(fù)率接近于1。此時(shí)計(jì)算仿射參數(shù)的均方根誤差,取最小均方根誤差時(shí)所對應(yīng)的距離比閾值。經(jīng)計(jì)算得到,最小均方根誤差為3.969 5×10-13,對應(yīng)距離比閾值為0.43。得到的仿射變換矩陣如下:

通過矩陣A對待配準(zhǔn)圖像進(jìn)行變換。

3.4 圖像變換及重采樣

在得到圖像之間的變換矩陣后,對待配準(zhǔn)圖像進(jìn)行變換,得到配準(zhǔn)圖像如圖2所示。圖2左上子圖為參考圖像,右上子圖為待配準(zhǔn)圖像,左下子圖為原SIFT算法配準(zhǔn)后的圖像,右下子圖為改進(jìn)SIFT算法配準(zhǔn)后的圖像。圖2是以第1幅待配準(zhǔn)圖像為例的配準(zhǔn)結(jié)果,其他4幅圖像配準(zhǔn)過程相同。

圖2 原SIFT和改進(jìn)SIFT配準(zhǔn)后的圖像

由圖2可知,改進(jìn)算法糾正原算法的扭曲現(xiàn)象,說明仿射參數(shù)的估計(jì)更準(zhǔn)確,圖像配準(zhǔn)的效果更好。

4 結(jié)束語

尺度不變特征SIFT算法因其穩(wěn)定性、獨(dú)特性和多量性等優(yōu)點(diǎn),在圖像處理領(lǐng)域發(fā)揮著越來越重要的作用。上述對SIFT算法閾值參數(shù)的設(shè)置進(jìn)行了調(diào)整,使其具有自適應(yīng)性;同時(shí)去除了部分錯配的特征點(diǎn)。將改進(jìn)后的SIFT算法用于視頻序列圖像的配準(zhǔn),實(shí)驗(yàn)表明算法性能得到了有效提高。后續(xù)工作將改進(jìn)的算法應(yīng)用于更多類型的圖像,并采用更加有效的錯配點(diǎn)消除方法,以實(shí)現(xiàn)更精確的圖像配準(zhǔn)。

[1]ZITOVA B,FLUSSER J.Image Registration Methods:a Survey[J].Image and Vision Computing,2003,21(11):977-1000.

[2]DAVID L G.Distinctive Image Features from Scale-invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[3]MIKOLAJCZYK K,SCHMID C.A Performance Evaluation of Local Descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1615-1630.

[4]SCHMID C,MOHR R.Christian Bauckhage Evaluation of Interest Point Detectors[J].International Journal of Computer Vision,2000,37(2):151-172.

[5]BROWN M,LOWE D G.Invariant Features from Interest Point Groups[R].Wales:British Machine Vision Conference,2002:656-665.

[6]SZELISKI R.Image Alignment and Stitching:a Tutorial[J].Foundations and Trends in Computer Graphics and Computer Vision,2006,2(1):1-104.