邢遠(yuǎn)秀 江成琳 柯偉兵

(1.冶金工業(yè)過程系統(tǒng)科學(xué)湖北省重點(diǎn)實(shí)驗(yàn)室;2.武漢大學(xué)計算機(jī)學(xué)院)

礦山井筒設(shè)施的檢查目前主要依靠人工站在罐籠頂部來完成［1］。隨著圖像處理技術(shù)的發(fā)展，礦山井筒視頻場景實(shí)時拼接和故障點(diǎn)智能檢測引起了重視。而圖像配準(zhǔn)是實(shí)現(xiàn)礦山井筒場景重建、分析以及故障檢測的基礎(chǔ)。

在圖像配準(zhǔn)方面，Lower于2004年總結(jié)完善的SIFT(scale invariant feature transform)特征提取匹配算法［2］目前取得了巨大的成功，廣泛應(yīng)用于遙感影像［3-4］和醫(yī)學(xué)影像［5-7］等圖像配準(zhǔn)和目標(biāo)識別。Mikolajczyk［8］等對多種具有代表性的描述子進(jìn)行試驗(yàn)證明SIFT描述子在旋轉(zhuǎn)、縮放、視點(diǎn)變化等方面表現(xiàn)性能最佳。

但是目前SIFT算法還沒有應(yīng)用到礦山井筒視頻圖像配準(zhǔn)，主要原因是SIFT算法復(fù)雜度高，不同尺度下的特征點(diǎn)提取及使用128維的描述子進(jìn)行匹配使得算法滿足不了井筒圖像實(shí)時處理要求。本研究對SIFT算法的特征點(diǎn)的提取、描述子及相似性度量等方面進(jìn)行了改進(jìn)，在滿足實(shí)時性要求的同時保證圖像匹配的精度。

1 SIFT算法匹配原理

SIFT算法是一種基于特征的配準(zhǔn)方法，算法主要包括特征點(diǎn)的提取與精確定位，描述子的生成及相似性度量匹配，算法對尺度、旋轉(zhuǎn)和光照等方面具有不變性。

1.1 特征點(diǎn)的提取與精確定位

利用高斯核函數(shù)對圖像進(jìn)行尺度變換，計算圖像對應(yīng)于不同尺度空間的一系列高斯差分圖像，構(gòu)造DoG金字塔。DoG算子定義如下:

式中，

σ決定了高斯金字塔每一層的尺度。在該尺度空間中進(jìn)行局部極值的檢測，使得每個像素點(diǎn)和同一層的相鄰8個像素點(diǎn)以及上層和下層的18個相鄰像素點(diǎn)共26個相鄰點(diǎn)進(jìn)行比較確定是否為極值點(diǎn)。利用DoG算子在尺度空間的Taylor展開式，精確定位關(guān)鍵點(diǎn)的位置和尺度，同時去除低對比度的關(guān)鍵點(diǎn)和邊緣響應(yīng)點(diǎn)。

1.2 描述子構(gòu)造與特征匹配

為使提取的特征點(diǎn)具有縮放和旋轉(zhuǎn)不變性，利用每個關(guān)鍵點(diǎn)周圍鄰域的梯度模值和方向進(jìn)行特征描述。首先確定每個關(guān)鍵點(diǎn)主方向，將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向，以確保旋轉(zhuǎn)不變性。根據(jù)關(guān)鍵點(diǎn)的位置、所處尺度和方向，以特征點(diǎn)為中心點(diǎn)，在周圍選取一個大小為16×16的區(qū)域，再將所選區(qū)域平均分為4個大小均為4×4的小區(qū)域，計算每個區(qū)域的梯度直方圖。直方圖包含有8個梯度方向，歸一化處理后形成4×4×8=128維的特征向量，即SIFT特征描述符。

SIFT算法采用最鄰近距離算法(NN)進(jìn)行特征匹配，根據(jù)特征點(diǎn)的最近鄰特征點(diǎn)歐式距離與次鄰域特征點(diǎn)歐氏距離的比值對特征點(diǎn)進(jìn)行匹配。利用RANSAC算法消除錯誤匹配，保證算法的魯棒性。

2 SIFT算法優(yōu)化

2.1 尺度空間的優(yōu)化

2.1.1 算法思路

SIFT算法復(fù)雜度較高，特別是構(gòu)建高斯金字塔提取特征與精確定位。高斯金字塔的組數(shù)為

其中M和N分別是圖像的行列像素數(shù)，每組內(nèi)為5層。尺度空間的構(gòu)造耗時較多，大約占算法將近一半計算時間［4］，對算法的時效影響很大。SIFT算法盡可能檢測到所有尺度上的特征點(diǎn)，檢測的尺度空間越多，檢測到的特征點(diǎn)也越多。但是SIFT算法檢測的特征點(diǎn)數(shù)量過多，并且檢測到很多無用的特征點(diǎn)，使得算法在匹配時計算量大。

井筒視頻圖像在拍攝過程中對焦距保持固定不變，視頻幀之間尺度變化較小，幀間重疊部分較高。適當(dāng)減少尺度空間變換，減少特征點(diǎn)提取數(shù)量，并不會對匹配產(chǎn)生影響。本研究擬采取減少高斯金字塔的組數(shù)與組內(nèi)層數(shù)的方法，以減少算法的復(fù)雜性，縮短計算時間。

Lower建議每組有S層來提取特征點(diǎn)，則DoG金字塔需要S+3層，針對于一幅350×190的井筒圖像，傳統(tǒng)SIFT算法的DoG金字塔需要6組，每組5層。實(shí)驗(yàn)表明，DoG金字塔采用3組，把原始圖像放大1倍作為第1組，原始圖像作為第2組，將原始圖像縮小1倍作為第3組。每組需要3層，只在每組中間一層上提取特征點(diǎn)可獲得較好的實(shí)驗(yàn)結(jié)果。

2.1.2 實(shí)驗(yàn)及結(jié)果分析

將改進(jìn)后的SIFT算法與傳統(tǒng)的SIFT算法進(jìn)行比較。算法運(yùn)行在2.20 GHz的CPU，2.00 GB內(nèi)存環(huán)境中。本研究對多幅井筒圖像的配準(zhǔn)進(jìn)行試驗(yàn)，結(jié)果基本一致，由于篇幅限制，實(shí)驗(yàn)僅列出兩幅間隔9幀的檢測滑輪及井架的視頻幀圖像進(jìn)行比較。傳統(tǒng)SIFT算法采用6組3層的結(jié)構(gòu)進(jìn)行特征點(diǎn)的提取匹配，改進(jìn)SIFT算法采用3組1層結(jié)構(gòu)提取特征點(diǎn)，本實(shí)驗(yàn)中描述子均采用SIFT算法提出的128維描述子，采用歐式距離算法作為相似性度量，剔除錯誤匹配后的實(shí)驗(yàn)結(jié)果如圖1所示

圖1 尺度對匹配的影響

表1列出了不同尺度對井筒視頻圖像特征提取與匹配的影響。圖像1為視頻幀前一幀圖像，圖像2為視頻幀后一幀圖像。其中匹配成功率為正確匹配數(shù)除以總的匹配數(shù)。

表1 不同尺度下的特征提取

SIFT算法提取的特征點(diǎn)數(shù)目分別為350個和320個，比同等條件下3組1層尺度空間的146個和141個多了將近2倍，但是SIFT提取特征點(diǎn)的時間為929 ms，比3組1層尺度空間卻多了將近4倍。不同尺度下的特征提取個數(shù)和時間如表1所示，隨著尺度空間中組數(shù)和層數(shù)減少，提取的特征點(diǎn)和時間都在減少，但是正確匹配率卻相對穩(wěn)定。這是因?yàn)镾IFT算法本身提取了大量的特征點(diǎn)，其中許多特征點(diǎn)都是無用的特征點(diǎn)，采用3組1層尺度空間雖然使得特征點(diǎn)減少，但是并不影響匹配精度。通過對多組數(shù)據(jù)進(jìn)行試驗(yàn)，結(jié)果基本一致。

2.2 局部描述子和相似性度量的改進(jìn)

2.2.1 局部描述子

SIFT生成的128維描述子在匹配過程中計算量過大，本研究對描述子進(jìn)行降維，在不影響匹配精度的情況下，減少算法運(yùn)行時間。以特征點(diǎn)為中心做半徑的圓鄰域，同時將以4個同心圓對圓鄰域進(jìn)行劃分，對圓做4等分的扇形，形成9個子區(qū)域，使得算法具有旋轉(zhuǎn)不變性。

SIFT算法構(gòu)造特征描述子時計算塊內(nèi)梯度直方圖，在每個塊內(nèi)計算8方向的梯度累加值，形成一個8維種子點(diǎn)。本研究在構(gòu)造描述子時，考慮到離種子點(diǎn)越近的點(diǎn)對描述子貢獻(xiàn)越大，反之離描述子越遠(yuǎn)的點(diǎn)對描述子貢獻(xiàn)越小，因此考慮在計算方向直方圖時，對每個點(diǎn)的梯度加上權(quán)重:

傳統(tǒng)SIFT算法在形成128維描述子時首先計算關(guān)鍵點(diǎn)主方向，將做標(biāo)注旋轉(zhuǎn)到主方向使得算法具有旋轉(zhuǎn)不變性。由于井筒圖像在采集過程中，相鄰幀之間只發(fā)生了垂直位移變化和較小的尺度變化，沒有旋轉(zhuǎn)變化，因此在形成描述子之前不需要計算關(guān)鍵點(diǎn)的主方向，降低了算法的復(fù)雜度，并且改進(jìn)后的SIFT算法將特征描述符從128維降低到72維，可進(jìn)一步降低算法計算時間。

2.2.2 相似性度量的優(yōu)化

實(shí)驗(yàn)表明當(dāng)描述子維數(shù)由128維降低為72維時，則出現(xiàn)誤匹配的概率增加。本研究采用Bray Curtis距離將特征聚類量化代替SIFT算法中的歐式距離作為2幅圖像中關(guān)鍵點(diǎn)的相似性判定度量將提高算法的配準(zhǔn)精度。SIFT算法中歐式距離定義為

2.2.3 實(shí)驗(yàn)及結(jié)果分析

將降維后的描述子結(jié)合Bray Curtis距離和傳統(tǒng)SIFT算法進(jìn)行比較，實(shí)驗(yàn)結(jié)果如圖2所示。

歐氏距離是一種基于距離測度的聚類分析，不考慮對象中每個變量在聚類過程中體現(xiàn)作用的不同，而是將樣品的不同屬性(即各指標(biāo)或變量)之間的差別等同看待，用這樣計算的距離來表示2個對象的相似度并不確切，本研究采用Bray Curtis距離函數(shù)，針對在圖像的像素點(diǎn)提取時，各點(diǎn)對中心點(diǎn)所起的作用大小不同，Bray Curtis根據(jù)每個變量在聚類過程中的權(quán)重不同，所賦予的權(quán)值也不同，該方法不僅在一定程度上克服了歐氏距離的缺陷，而且能夠提高聚類質(zhì)量，優(yōu)化聚類性能。Bray Curtis距離定義如下:

圖2 井筒圖像配準(zhǔn)結(jié)果

表2為對應(yīng)圖2的3種算法匹配結(jié)果。原始SIFT算法匹配數(shù)量最多，匹配的對數(shù)為133對，正確匹配對數(shù)為139對，匹配算法用時696 ms。當(dāng)使用3組1層金字塔提取特征點(diǎn)，并采用新的72維描述子，利用歐式距離作為相似性度量時的配對數(shù)降為61對，正確匹配數(shù)為58對，正確匹配率最低，為95.1%，但是算法匹配用時僅為132 ms，是SIFT算法的20%以下。在此基礎(chǔ)上使用Bray Curtis距離作為相似性度量，正確匹配率有了很大提高，達(dá)到了98.1%。由此可見，減少特征提取的尺度空間，使用新的72維描述子結(jié)合Bray Curtis距離作為相似性度量能夠在保持算法匹配精度和魯棒性的情況下，大大提高配準(zhǔn)算法的執(zhí)行效率。

表2 3種算法匹配結(jié)果比較

3 結(jié)論

實(shí)驗(yàn)結(jié)果表明，改進(jìn)的SIFT算法比傳統(tǒng)的SIFT算法具有更高的匹配效率和的匹配精度，為后繼礦山井筒實(shí)時檢測、故障識別打下基礎(chǔ)。

［1］ 章啟忠，等.礦山井筒安全隱患監(jiān)測系統(tǒng)設(shè)計與實(shí)現(xiàn)［J］.金屬礦山，2009(6):130-131.

［2］ Lowe DG.Distinctiveimage features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91-110.

［3］ El Rube I A，et al.Image registration based on multiscale SIFT for remote sensing images［C］∥Proceedings of the Third International Conference on Signal Processing and Communication Systems．O-maha:ICSPCS，2009:1-5.

［4］ 李芳芳，肖本林，賈永紅，等.SIFT算法優(yōu)化及其應(yīng)用于遙感影像自動配準(zhǔn)［J］.武漢大學(xué)學(xué)報:信息科學(xué)版，2009，34(10):1245-1249.

［5］ 史 磊，李平湘，楊 杰.利用SIFT與粗差探測進(jìn)行SAR影像配準(zhǔn)［J］.武漢大學(xué)學(xué)報:信息科學(xué)版，2010，35(11):1296-1299.

［6］ 柯 杉，王博亮，黃曉陽.一種改進(jìn)的SIFT算法及其在醫(yī)學(xué)圖像配準(zhǔn)中的應(yīng)用［J］.廈門大學(xué)學(xué)報:自然科學(xué)版，2010，49(3):354-358.

［7］ 陳富龍，張 紅，王 超.高分辨率SAR影像同名點(diǎn)自動匹配技術(shù)［J］.中國圖象圖形學(xué)報，2006，11(9):1276-1281.

［8］ Mikolajc zyk K，Schmid C.A performance Evaluation of Local Descriptors［J］.IEEE Trans Pattern Analysis and Machine Intelligence，2005，27(10):1615-1630.