吳麗君，文吉成，陳志聰，陳金伙，林培杰，程樹英

(福州大學(xué)物理與信息工程學(xué)院，微納器件與太陽(yáng)能電池研究所，福建 福州 350116)

0 引言

圖像特征匹配是實(shí)現(xiàn)圖像搜索[1]、圖像分類[2]、目標(biāo)識(shí)別[3]、圖像拼接的重要基礎(chǔ). 為提高匹配性能，通常借助局部特征提取算法，如SIFT[4]、SURF[5]、BRIEF[6]等來(lái)完成匹配. 與全局特征(如直方圖等)相比，局部特征能更好地應(yīng)對(duì)旋轉(zhuǎn)、尺度等變化. SIFT因其良好的匹配性能[7-9]得到廣泛的運(yùn)用. 在此基礎(chǔ)上，研究人員從各方面提出更具有適應(yīng)性的算子(如PCA-SIFT[10]和AFFINE-SIFT[11])，進(jìn)一步增強(qiáng)SIFT的魯棒性和描述能力，以期獲得更好的匹配性能. 然而, 改進(jìn)算法在提高匹配性能的同時(shí)降低了匹配速度，其中，以AFFINE-SIFT算法尤為明顯. 為了在保留匹配性能的同時(shí)不影響匹配速度，研究者提出了各種優(yōu)化速度的SIFT算子[12-14]. 宋佳乾等[12]首先運(yùn)用Canny算子去除邊緣點(diǎn)，然后通過K-L變換降低描述子維度，這可以在提高速度的同時(shí)保持較高的正確匹配率，但是所剩的匹配點(diǎn)數(shù)量過少. 李丹等[14]提出采用24維特征描述符代替128維特征描述符，并引入最小優(yōu)先隊(duì)列和馬氏距離，這在一定程度上提高了匹配速度，但最終獲得的匹配數(shù)量仍然比較少. SAR-SIFT[13]采用一種新的梯度計(jì)算方法，并對(duì)SAR(synthetic aperture radar)圖像中的斑點(diǎn)噪聲具有魯棒性, 但這限于分析SAR圖像. 此外，基于FPGA[15]平臺(tái)的并行加速算法也被提出，但這種算法需要消耗額外的計(jì)算資源，并沒有從本質(zhì)上降低算法所需的計(jì)算量.

眾所周知，基于局部特征點(diǎn)的圖像匹配流程可以分為特征點(diǎn)提取、描述符生成、粗匹配及誤匹配剔除四個(gè)步驟. 基于OpenSIFT源代碼，筆者對(duì)圖像匹配中各個(gè)步驟所需的運(yùn)行時(shí)間及有效特征點(diǎn)的比例進(jìn)行了分析. 以圖1中兩幅圖像的匹配為例，在 i33220t CPU@2.80 GHz, 4.0 GB RAM的PC機(jī)環(huán)境上運(yùn)行的數(shù)據(jù)如下：兩幅圖提取特征點(diǎn)的時(shí)間為10.469 s，所提取的總特征點(diǎn)數(shù)為(11 221，10 835)，特征點(diǎn)匹配過程中，描述子計(jì)算耗時(shí)19.04 s，粗匹配提取耗時(shí)4.36 s, 誤匹配剔除耗時(shí)6.73 s，所得的匹配特征點(diǎn)數(shù)為(411，411)，誤匹配特征點(diǎn)數(shù)為(10 810，10 424)，最終匹配率為(3.66%，3.79%). 由此可得后半階段時(shí)間占了74%(30.13 s: 40.59 s). 對(duì)所提取的大量特征點(diǎn)生成描述符的過程耗費(fèi)大量的時(shí)間，而這些特征點(diǎn)中有極大部分的特征點(diǎn)是無(wú)效特征點(diǎn)，即無(wú)法被匹配. 對(duì)大量無(wú)效特征點(diǎn)的描述大大降低了SIFT算法的運(yùn)行效率. 基于此，提出通過特征點(diǎn)鄰域灰度值的熵分布特性來(lái)篩除部分無(wú)效特征點(diǎn)，從而達(dá)到提速的效果. 為進(jìn)一步降低算法所需的時(shí)間，還在誤匹配剔除算法上進(jìn)行了一定的優(yōu)化：首先根據(jù)先驗(yàn)知識(shí)對(duì)匹配樣本進(jìn)行排序，之后采用雙模型互校驗(yàn)的方式計(jì)算得到正確模型. 通過與文[12]和文[14]算法的比較表明，上述改進(jìn)的圖像匹配方案在基本保持原有方案(SIFT與RANSAC相結(jié)合的方案)性能的基礎(chǔ)上，大幅提高特征點(diǎn)匹配的實(shí)時(shí)性、匹配率及正確匹配率.

圖1 實(shí)際拍攝的待匹配圖像Fig.1 Images needed to be matched

1 特征篩選算法框架

1.1 過濾不穩(wěn)定的特征點(diǎn)

在SIFT算法中，通過DoG(difference of gaussian)檢測(cè)特征點(diǎn)的過程中會(huì)保留較強(qiáng)的邊緣效果. 盡管后續(xù)通過Hessian矩陣能夠排除部分不穩(wěn)定點(diǎn)，但是仍然有大量的無(wú)效特征點(diǎn)無(wú)法被移出. 在如圖1所示的例子中，所剩不穩(wěn)定特征點(diǎn)數(shù)量仍然很多，這導(dǎo)致特征點(diǎn)的有效匹配率低.

通過對(duì)特征點(diǎn)匹配與否進(jìn)行研究可得, 一個(gè)特征點(diǎn)是否能夠得到匹配主要依賴于以下兩方面. ① 當(dāng)前特征點(diǎn)在對(duì)應(yīng)的圖像中存在相應(yīng)的匹配點(diǎn). 由于視角不同，有的特征點(diǎn)已經(jīng)不在對(duì)應(yīng)圖像的視場(chǎng)范圍中，因此也無(wú)法找到特征點(diǎn). ② 特征點(diǎn)是否包含足夠的信息量以區(qū)別于其他特征點(diǎn). 一個(gè)特征點(diǎn)如果包含足夠大的信息量，則可視為是一個(gè)穩(wěn)定特征點(diǎn). 本研究著重討論如何根據(jù)第二方面所提到的特征點(diǎn)的穩(wěn)定性來(lái)提高有效匹配的比例.

不同檢測(cè)算法所獲取的特征點(diǎn)雖然會(huì)有一定差異，但所有檢測(cè)到的特征點(diǎn)鄰域范圍內(nèi)都會(huì)有一定的灰度變化. 根據(jù)信息論原理，特征點(diǎn)鄰域灰度值變化越劇烈，其攜帶的信息熵越大，即能提供越多的信息用于特征匹配. 圖2顯示了三種情況: ① 包含一個(gè)穩(wěn)定的特征點(diǎn)，其鄰域灰度變化較為明顯; ② 包含了不穩(wěn)定特征點(diǎn)，其鄰域變化情況次明顯; ③ 不包含特征點(diǎn)，其鄰域灰度值變化不明顯. 據(jù)此，可以通過特征點(diǎn)鄰域熵的大小篩選出穩(wěn)定的特征點(diǎn). 然而，圖像匹配中，不同圖像尺度不同，在一個(gè)固定大小的鄰域上統(tǒng)計(jì)熵不合理. 本研究提出，通過計(jì)算特征點(diǎn)兩個(gè)不同大小鄰域內(nèi)的差熵(根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)，將兩個(gè)鄰域大小分別取為7×7和19×19)，以判斷其穩(wěn)定與否.

圖2 特征點(diǎn)的三種情況Fig.2 Neighborhood of different types of feature points

首先用SIFT算法來(lái)匹配如圖3所示的兩張圖片，并對(duì)此過程進(jìn)行分析. SIFT分別從圖3(a)、圖3(b)中提取了1 021和638個(gè)特征點(diǎn)(在圖中以藍(lán)色標(biāo)記)，最終共得到78對(duì)匹配. 經(jīng)過RANSAC篩選后可得，其中正確匹配的有67對(duì). 在此過程中，特征點(diǎn)的匹配率僅為7.6%(圖3(a))和12%(圖3(b))，其余92.3%和88%的特征點(diǎn)雖然最終沒有匹配，但作為候選匹配特征點(diǎn)，其描述符也必須被計(jì)算，因此降低了算法的效率. 本算法旨在計(jì)算特征點(diǎn)描述符之前，先基于其鄰域的差熵來(lái)篩選特征點(diǎn)，以去除部分不穩(wěn)定匹配特征點(diǎn)，減少對(duì)不穩(wěn)定特征點(diǎn)計(jì)算描述符所需的時(shí)間. 通過計(jì)算圖3(a)、圖3(b)中特征點(diǎn)鄰域的差熵，并將據(jù)此篩選出的不穩(wěn)定特征點(diǎn)(標(biāo)記為紅色，478個(gè)和380個(gè))，如圖3所示. 據(jù)測(cè)試可得未標(biāo)記點(diǎn)中共有61對(duì)匹配，且全部為正確匹配，即匹配率提高為11.5%和23.6%. 由此可以判定，本算法可以成功地篩除部分不穩(wěn)定特征點(diǎn).

1.2 算法實(shí)現(xiàn)步驟

圖4 熵特征篩選算法流程圖Fig.4 Flow-chart of entropy-based feature point filter algorithm

熵特征篩選算法流程圖見圖4. 具體算法步驟如下：設(shè)X={x1,x2,x3,x4, …,xn}為SIFT算法提取到的特征點(diǎn)，n為特征點(diǎn)的個(gè)數(shù)，Ixi為圖像灰度值.

Step 1 統(tǒng)計(jì)當(dāng)前設(shè)定鄰域中像素灰度出現(xiàn)的概率；

Step 3 同樣地計(jì)算N×N鄰域熵HN；

Step 4 計(jì)算差熵；

Step 5 如果差熵小于閾值，則判為不穩(wěn)點(diǎn)特征點(diǎn)，否則保留；

Step 6 得到穩(wěn)定特征點(diǎn).

2 去除錯(cuò)誤匹配框架

圖5 誤匹配示例Fig.5 Illustration of mismatching

SIFT算法中，通過特征點(diǎn)的描述符向量之間的歐式距離來(lái)判斷兩幅圖像中的任意兩個(gè)特征點(diǎn)是否匹配. 具體地說(shuō)，對(duì)某一個(gè)特征點(diǎn)，找到另一幅圖像中與它歐氏距離最近的特征點(diǎn)及次近的特征點(diǎn)，如果兩者的歐式距離的比值小于0.49，則認(rèn)為是匹配的. 這個(gè)過程稱為粗匹配，這會(huì)帶來(lái)一定的誤匹配，如圖5所示，紅色顯示的部分顯然為誤匹配.

粗匹配后會(huì)存在誤匹配，而正確匹配是圖像匹配應(yīng)用的基礎(chǔ). 因此學(xué)者們提出了相應(yīng)的算法來(lái)篩選出正確匹配，如RANSAC(random sample consensus)算法[16]. RANSAC能取得較高的正確率，然而它需要迭代選取樣本以找到最大一致樣本集，所需計(jì)算時(shí)間與樣本數(shù)量平方成正比，無(wú)法適用于大數(shù)量計(jì)算. RRANSAC算法[17]通過迭代來(lái)提高魯棒性，使其適應(yīng)更低的內(nèi)點(diǎn)比例； Anders Hast提出Optimal RANSAC算法[18]，進(jìn)一步降低內(nèi)點(diǎn)比例到5%，卻增加了計(jì)算時(shí)間. 為提高時(shí)間效率，PROSAC(progressive sample consensus)算法[19]按照先驗(yàn)知識(shí)進(jìn)行排序，以減少迭代次數(shù)來(lái)實(shí)現(xiàn)快速計(jì)算，但當(dāng)匹配數(shù)量過多時(shí)，運(yùn)算時(shí)間仍較長(zhǎng). 為進(jìn)一步優(yōu)化算法來(lái)適應(yīng)多匹配對(duì)條件下的快速計(jì)算，本研究提出對(duì)新模型的估計(jì)算法：首先根據(jù)先驗(yàn)知識(shí)對(duì)樣本進(jìn)行排序，同時(shí)選取兩組隨機(jī)樣本以獲得兩個(gè)匹配模型； 當(dāng)模型一致時(shí)，作為初始正確模型； 經(jīng)過數(shù)次更新，最終得出正確模型.

基于匹配特征對(duì)的坐標(biāo)信息，通過一組匹配點(diǎn)對(duì)即可求得一幅圖像到另一幅圖像之間的變換矩陣：

圖6 誤匹配剔除算法流程圖Fig.6 Flow chart of mismatching elimination algorithm

如果選中的一組樣本點(diǎn)都是正確匹配，那么他們之間的映射關(guān)系必然一致. 而根據(jù)SIFT算法匹配規(guī)則，最近鄰與次近鄰的比值越小，兩者匹配的置信度越高. 因此，可以依據(jù)相似度比值對(duì)匹配集合降序排列，越靠前的匹配則擁有更高的正確匹配概率. 對(duì)排序后的匹配集合進(jìn)行高斯采樣，以更大的機(jī)率采樣靠前的匹配. 然后基于任意兩組特征點(diǎn)計(jì)算出兩個(gè)映射矩陣. 如果這兩個(gè)映射矩陣之間的距離小于某一閾值，那么將此作為初始測(cè)試模型，并可以根據(jù)這個(gè)模型去測(cè)試其他的特征點(diǎn). 經(jīng)過數(shù)次更新后，即可減少模型誤差. 具體流程如圖6所示.

算法實(shí)現(xiàn)步驟如下:

Step 1 對(duì)所有匹配成功的特征點(diǎn)依照其最近鄰與次近鄰比率進(jìn)行降序排列.

Step 2 以高斯分布隨機(jī)抽取8個(gè)特征點(diǎn)，并計(jì)算映射矩陣M1，M2.

Step 3 計(jì)算∑(|M1-M2|)，當(dāng)結(jié)果小于閾值，則判斷為正確模型，并測(cè)試其他點(diǎn)；

否則轉(zhuǎn)入Step2.

Step 4 已達(dá)到最大迭代次數(shù)或者已無(wú)誤匹配點(diǎn)可去除，則轉(zhuǎn)到Step5； 否則，將得到的正確匹配集合當(dāng)做新的特征點(diǎn)集合，轉(zhuǎn)入Step2.

Step 5 輸出匹配結(jié)果.

3 實(shí)驗(yàn)設(shè)計(jì)及結(jié)果分析

圖像匹配算法的性能與速度對(duì)于圖像匹配的重要性不言而喻. SIFT效果好但耗時(shí)，這不僅因?yàn)镾IFT算法本身的復(fù)雜度高，也因?yàn)镾IFT需要對(duì)大量的不穩(wěn)定特征點(diǎn)進(jìn)行描述及匹配. 如前所述，本方案引入了特征點(diǎn)篩選算法以篩除部分不穩(wěn)定特征點(diǎn)，減少對(duì)其進(jìn)行描述及匹配所需時(shí)間，并進(jìn)一步在誤匹配去除步驟上進(jìn)行簡(jiǎn)化，提高誤匹配去除效率. 在這一部分，將通過實(shí)驗(yàn)驗(yàn)證所提出的改進(jìn)方案(包括特征點(diǎn)篩選和改進(jìn)的誤匹配拒絕算法)的性能. 采用1 224像素×1 636像素的復(fù)雜圖像和已知單應(yīng)矩陣的圖片作為實(shí)驗(yàn)素材，分別基于傳統(tǒng)方案、已有的改進(jìn)方案及本改進(jìn)方案實(shí)現(xiàn)圖像匹配，并分別統(tǒng)計(jì)改進(jìn)前后所需要的時(shí)間、匹配成功的點(diǎn)數(shù)、匹配正確的點(diǎn)數(shù)和總點(diǎn)數(shù).

3.1 測(cè)試特征點(diǎn)篩選算法

首先使用SIFT算法提取圖片特征點(diǎn)，然后通過本算法過濾掉無(wú)效特征點(diǎn)，在此基礎(chǔ)上實(shí)現(xiàn)特征點(diǎn)描述符的計(jì)算及特征點(diǎn)匹配，最后使用本改進(jìn)算法去除誤匹配. 實(shí)驗(yàn)中涉及到算法的兩個(gè)參數(shù)，計(jì)算差熵所需鄰域大小以及閾值. 將計(jì)算差熵的鄰域大小設(shè)置為經(jīng)驗(yàn)值7×7以及19×19，閾值設(shè)置為平均值加上一個(gè)很小的偏移系數(shù)-0.03.

實(shí)驗(yàn)1對(duì)一幅1 224像素×1 636像素的復(fù)雜圖像的匹配結(jié)果進(jìn)行了測(cè)試，結(jié)果見圖7. 圖7(a)為未改進(jìn)算法的匹配結(jié)果，圖7(b)為使用本算法的匹配結(jié)果，可看到本算法成功保存了大量匹配點(diǎn)對(duì).

圖7 實(shí)驗(yàn)1的匹配結(jié)果Fig.7 Image matching result in experiment one

為進(jìn)一步測(cè)試算法的有效性，實(shí)驗(yàn)2加入一些已知單應(yīng)矩陣的不同場(chǎng)景下的圖片對(duì)算法進(jìn)行測(cè)試. 其中，BOX-SCENE圖像對(duì)如圖3所示，而BOAT、BARK、TREE、GRAF圖像對(duì)如圖8所示.

圖8 BOAT、BARK、TREE、GRAF圖像對(duì)Fig.8 Image sets of BOAT, BARK, TREE and GRAF

提取上述每對(duì)圖像的特征點(diǎn)總數(shù)，匹配特征點(diǎn)數(shù)及正確匹配點(diǎn)數(shù)如表1所示. 由于同一對(duì)圖像中兩幅圖像所提取的特征點(diǎn)數(shù)量不盡相同，所以表中用左圖特征點(diǎn)數(shù)量和右圖特征點(diǎn)數(shù)量的格式來(lái)表示. 圖9則顯示了原始算法及改進(jìn)算法的匹配率(匹配的點(diǎn)數(shù)/左圖特征點(diǎn)總數(shù))、正確匹配率(正確匹配點(diǎn)數(shù)/匹配特征點(diǎn)數(shù)). 據(jù)表1和圖9可知，在相同條件下，相比原始算法，改進(jìn)算法篩除了大部分的特征點(diǎn)數(shù)量，而最終正確匹配點(diǎn)對(duì)的數(shù)量卻變化不大. 針對(duì)不同類型的圖片對(duì)，改進(jìn)算法在匹配率上有了大幅提高，這說(shuō)明改進(jìn)算法在成功剔除一部分不穩(wěn)定特征點(diǎn)的同時(shí)，保留了大部分正確匹配點(diǎn)數(shù)，能較好地保存穩(wěn)定特征點(diǎn)對(duì). 因此，本研究所提出的根據(jù)穩(wěn)定性系數(shù)來(lái)剔除不穩(wěn)定特征點(diǎn)的方法是行之有效的.

表1 實(shí)驗(yàn)2中特征點(diǎn)篩選的結(jié)果

圖9 特征點(diǎn)篩選步驟提高了匹配率和正確匹配率Fig.9 Imporvement of matching rate and correct matching rate via feature-point filter step

3.2 測(cè)試誤匹配去除算法

在實(shí)驗(yàn)3中，同樣采用SIFT完成粗匹配，然后使用本研究所改進(jìn)的誤匹配去除算法，并記錄誤匹配去除性能，即誤匹配去除所需時(shí)間及所剩匹配點(diǎn)數(shù)，用于與RANSAC的算法性能相比較，結(jié)果如表2所示.

表2 實(shí)驗(yàn)3中改進(jìn)的誤匹配去除算法的性能

與RANSAC不同的是，本算法充分利用特征點(diǎn)已知的信息進(jìn)行排序，然后通過高斯隨機(jī)采樣獲取8對(duì)匹配樣本點(diǎn)用以計(jì)算單應(yīng)矩陣，因此所得到的正確模型時(shí)間不會(huì)隨著樣本數(shù)量的增加而顯著增加. 即相較RANSAC而言，樣本數(shù)量越多，時(shí)間提升效果越好. 從表2可看出，由于匹配集合大，BOAT圖像的時(shí)間提升效果最為明顯. 而即便是匹配點(diǎn)數(shù)最少的BARK圖像，誤匹配去除時(shí)間也有了大幅提高. 與RANSAC類似的是，由于采用了隨機(jī)采樣策略，每次誤匹配去除所需的時(shí)間與正確匹配點(diǎn)的數(shù)量均會(huì)發(fā)生一定的變化. 為測(cè)試算法的穩(wěn)定性，基于BOAT圖像，分別運(yùn)行100次誤匹配去除算法，并將其所需時(shí)間和正確匹配點(diǎn)數(shù)的盒圖畫出來(lái)，如圖10所示. 根據(jù)上四分位數(shù)、下四分位數(shù)及中位數(shù)可知，剩余正確匹配數(shù)量能夠穩(wěn)定地在一個(gè)較小的范圍內(nèi)浮動(dòng)； 而在誤匹配去除時(shí)間上，由于同時(shí)取得8個(gè)正確匹配樣本的概率小于同時(shí)取得4個(gè)正確樣本的概率，一旦出現(xiàn)錯(cuò)誤匹配點(diǎn)，算法會(huì)再次重新選取以及計(jì)算，因此會(huì)有一個(gè)相對(duì)較大的浮動(dòng). 然而最糟糕的情況下，所需的時(shí)間也比RANSAC所需的時(shí)間少幾個(gè)數(shù)量級(jí)，由此可得，本算法可以有效提升誤匹配去除性能.

圖10 改進(jìn)誤匹配去除算法穩(wěn)定性測(cè)試Fig.10 Stability of improved mismatching elimation algorithm

3.3 測(cè)試本改進(jìn)匹配算法

在分別測(cè)試兩種改進(jìn)步驟性能的基礎(chǔ)上，設(shè)計(jì)實(shí)驗(yàn)4來(lái)測(cè)試所提出的改進(jìn)圖像匹配方案的綜合性能，并與基于宋佳乾等[12]提出的改進(jìn)算法結(jié)合RANSAC算法的方案、李丹等[14]所提出的改進(jìn)算法結(jié)合RANSAC的方案，及原始圖像匹配的方案做出比較. 所用的測(cè)試圖集為WALL，此圖集共包含6張從不同角度拍攝的照片，如圖11所示.

圖11 WALL圖集Fig.11 Image set WALL

此實(shí)驗(yàn)中，分別將WALL1與其他圖像進(jìn)行匹配，其中WALL2與WALL1之間拍攝角度變化最小，WALL3次之，而WALL6與WALL1之間拍攝角度變化最大. 圖12分別顯示各個(gè)算法所需運(yùn)行時(shí)間、匹配數(shù)量、匹配率及正確匹配率隨拍攝角度變化而變化的情況. 圖12(a)中，隨著角度變化的減少，大部分算法所需的時(shí)間都有所增加，這是因?yàn)榻嵌茸兓瘻p少后，圖像重疊的部分增多，因此匹配的特征點(diǎn)對(duì)增加. 然而，李所改進(jìn)算法所需的時(shí)間卻隨著角度的增大先減少后增加，這是因?yàn)樵诮嵌冗^大的條件下，圖像特征點(diǎn)對(duì)中只存在很少的匹配對(duì)，如圖12(b)所示. 但是李改進(jìn)算法由于僅采用24維的描述子, 易產(chǎn)生過多的誤匹配，導(dǎo)致匹配率低(如圖12(c)), 因此相應(yīng)的RANSAC去除誤匹配步驟所需時(shí)間較多，導(dǎo)致其總耗時(shí)呈現(xiàn)隨著角度的增大先減少后增加的趨勢(shì).宋改進(jìn)的算法雖然耗時(shí)最少, 正確匹配率也最高(如圖12(d))，但由于其通過Canny算子去除邊沿點(diǎn), 并通過K-L變換減少描述字維度, 最終只得到很少的匹配數(shù)量(如圖12(b)). 在算法耗時(shí)上，由于本算法增加了去除不穩(wěn)定特征點(diǎn)的步驟，故較宋改進(jìn)算法需要額外耗費(fèi)一定的時(shí)間(在Wall圖集中，該步驟耗時(shí)約400 ms )，但相比于原SIFT算法在速度上仍獲得了巨大提升. 由圖12(b)和圖12(c)可知，因?yàn)樵谔卣鼽c(diǎn)計(jì)算階段去除了部分不穩(wěn)定點(diǎn)，本方案能最大程度上保存SIFT算法所獲得的正確特征點(diǎn)，即在數(shù)量上最接近SIFT算子且匹配率達(dá)到最高. 由此可見，與其他兩種改進(jìn)方案相比，本方案在最大程度上保證匹配效果的基礎(chǔ)上，可大幅提高匹配效率.

圖12 實(shí)驗(yàn)4中不同拍攝角度下的運(yùn)算性能分析Fig.12 Performance analysis of methodologies in experiment four

4 結(jié)語(yǔ)

針對(duì)SIFT算法與RANSAC算法相結(jié)合的圖像匹配過程中，所提取的待匹配特征點(diǎn)數(shù)量多、匹配耗時(shí)長(zhǎng)的問題，提出一種改進(jìn)的圖像匹配方案，引入基于鄰域灰度值分布差熵大小的不穩(wěn)定特征點(diǎn)剔除算法，并對(duì)錯(cuò)誤匹配剔除算法進(jìn)行改進(jìn). 首先基于特征點(diǎn)鄰域的差熵大小篩除SIFT所檢測(cè)到的特征點(diǎn)進(jìn)行篩選，以篩除不穩(wěn)定特征點(diǎn)，而保留大部分正確匹配特征點(diǎn)； 接著對(duì)匹配對(duì)采用改進(jìn)的誤匹配剔除算法，以快速去除誤匹配，最終達(dá)到快速、高效、高準(zhǔn)確率匹配的目的. 通過一系列實(shí)驗(yàn)分別測(cè)試不穩(wěn)定特征點(diǎn)剔除算法和錯(cuò)誤匹配剔除算法的性能. 實(shí)驗(yàn)結(jié)果表明，本方案可以剔除接近一半的不穩(wěn)定特征點(diǎn)，并且可保存大部分正確匹配的特征點(diǎn). 因此，與SIFT算法及其改進(jìn)算法相比較，本特征點(diǎn)篩除算法可在最大程度上保存穩(wěn)定特征點(diǎn)的基礎(chǔ)上, 大大減少匹配所需時(shí)間； 而所提出的誤匹配剔除算法性能上與RANSAC相當(dāng)，但能大幅降低去除誤匹配所需時(shí)間. 聯(lián)合測(cè)試實(shí)驗(yàn)的結(jié)果表明，相比于SIFT與RANSAC結(jié)合的圖像匹配方案及已有的改進(jìn)方案，本研究提出的改進(jìn)方案能夠有效地減少不穩(wěn)定匹配點(diǎn)，保存大部分穩(wěn)定特征點(diǎn)，大幅提高匹配率，并快速剔除錯(cuò)誤匹配.

[1] YE L W, LIU Z, ZHOU X F，etal. Saliency detection via similar image retrieval[J]. IEEE Signal Processing Letters, 2016, 23(6): 838-842.

[2] FRIDMAN L, LEE J, VICTOR T. ‘Owl’ and ‘Lizard’: patterns of head pose and eye pose in driver gaze classification[J]. IET Computer Vision, 2016, 10(4): 308-313.

[3] SHANG J, CHEN C B, TANG H. Object recognition using rotation invariant local inary pattern of significant bit planes[J]. IET Image Processing, 2016,10(9): 662-670.

[4] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[5] KASHIF M, DESERNO T M, HAAK D. Feature description with SIFT, SURF, BRIEF, BRISK, or FREAK?: a general question answered for bone age assessment[J]. Computers in Biology and Medicine, 2016, 68(23): 67-75.

[6] CALONDER M, LEPETIT V, STRECHA C,etal. Brief: binary robust independent elementary features[J]. Computer Vision-ECCV, 2010, 67(45): 778-792.

[7] MIKOLAJZYK K, SCHMID C. A performance evaluation of local descriptors[J]. IEEE Transactions on Attern Analysis and Machine Intelligence, 2005, 27(10): 1 615-1 630.

[8] JUAN L, GWUN O. A comparison of sift, pca-sift and surf[J]. International Journal of Image Processing, 2009, 3(4): 143-152.

[9] KHAN N, MCCANE B, MILLS S. Better than SIFT?[J]. Machine Vision and Applications, 2015, 26(6): 819-836.

[10] KE Y, SUKTHANKAR R. PCA-SIFT: a more distinctive representation for local image descriptors[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington D C: IEEE Computer Society, 2004: 506-513.

[11] YU G, MOREL J M. ASIFT: an algorithm for fully affine invariant comparison[J]. Image Processing on Line, 2011, 10(3): 11-38.

[12] 宋佳乾, 汪西原. 基于改進(jìn)SIFT特征點(diǎn)匹配的圖像拼接算法[J]. 計(jì)算機(jī)測(cè)量與控制, 2015, 23(2): 512-515.

[13] DELLINGER F, DELON J, GOUSSEAU Y,etal. SAR-SIFT: a SIFT-like algorithm for SARimages[J]. IEEE Transactions on Geoscience & Remote Sensing, 2015, 53(1): 453-466.

[14] 李丹, 孫海濤, 王海莉. 一種改進(jìn)的SIFT圖像立體匹配算法[J]. 西南交通大學(xué)學(xué)報(bào), 2015, 50(3): 490-496.

[15] VOURVOULAKIS J, KALOMIROS J, LYGOURAS J. Fully pipelined FPGA-based rchitecture for real-time SIFT extraction[J]. Microprocessors and Microsystems, 2016, 40(4): 53-73.

[16] FISCHLER M A, BOLLES R C. Random sample consensus: a paradigm for model fitting ithapplications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[17] NIEDFELDT P C, BEARD R. Recursive RANSAC: multiple signal estimation with utliers[J]. IFAC Proceedings Volumes, 2013, 46(23): 430-435.

[18] HAST A, NYSJO J. Optimal RANSAC: towards a repeatable algorithm for finding the ptimalset[C]//International Conference in Central Europe on Computer Graphics and Isualization (WSCG). Plzen: Journal of WSCG, 2013, 21(1): 21-30.

[19] CHUM O, MATAS J. Matching with PROSAC-progressive sample consensus[C]//IEEE Computer Society Conference on Computer Vision & Pattern Recognition(ICCV). Beijing : IEEE, 2005: 220 -226.