胡 正，于 濤，王汝童

(北京化工大學(xué) 信息科學(xué)與技術(shù)學(xué)院，北京 100029)

0 引言

在大尺寸加工視覺(jué)檢測(cè)中，常需要在大型構(gòu)件的關(guān)鍵位置安裝靶標(biāo)并拍攝相應(yīng)圖像進(jìn)行處理以實(shí)現(xiàn)測(cè)量工作。其中對(duì)于被測(cè)目標(biāo)圖像的匹配處理，通過(guò)獲取不同圖像間內(nèi)容的對(duì)應(yīng)關(guān)系，為圖像拼接、目標(biāo)追蹤乃至三維建模等后續(xù)重要應(yīng)用提供相關(guān)依據(jù)。圖像匹配所使用的特征主要分為區(qū)域特征[1-2]、線特征[3-4]和點(diǎn)特征[5-6]。其中點(diǎn)特征又以其穩(wěn)定性好，不易受到噪聲、光照等外在因素影響的特性，在圖像匹配中較為常見(jiàn)。然而如SIFT、SURF等點(diǎn)特征匹配方法往往存在內(nèi)存資源占用多、計(jì)算過(guò)程繁瑣及實(shí)時(shí)性不高等問(wèn)題，在視覺(jué)測(cè)量任務(wù)中制約了整體性能，因此有必要研究快速且匹配可靠的圖像點(diǎn)特征匹配算法。

點(diǎn)特征匹配首先檢測(cè)圖像中的關(guān)鍵點(diǎn)，結(jié)合其所處圖像空間給予特定描述，再根據(jù)描述符間相似度的比較實(shí)現(xiàn)圖像匹配。這其中具有代表性的是由Lowe[5]提出的SIFT特征，其主要思想是檢測(cè)高斯差分圖像中的斑點(diǎn)特征，然后由周?chē)袼靥荻荣x予主方向并形成128維描述符，依據(jù)特征描述之間的歐式距離進(jìn)行匹配。盡管SIFT特征魯棒性較好，但整體計(jì)算量大且特征維數(shù)偏高。之后的SURF特征[6]采用盒式濾波器卷積結(jié)合積分圖像加快運(yùn)算速度，根據(jù)Haar小波響應(yīng)確定特征描述，使算法耗時(shí)有所縮短。由于對(duì)圖像角點(diǎn)特征的檢測(cè)速度相比之前算法的斑點(diǎn)特征更快，于是BRISK[7]、ORB[8]等采用FAST角點(diǎn)特征為基礎(chǔ)，并根據(jù)模板進(jìn)行BRIEF描述，但又存在特征點(diǎn)邊緣性強(qiáng)、利用圖像信息單一的缺點(diǎn)。

之后點(diǎn)特征匹配的改進(jìn)主要包括特征點(diǎn)檢測(cè)和特征描述的改進(jìn)。關(guān)于特征點(diǎn)檢測(cè)的改進(jìn)，陳夢(mèng)婷等[9]將Harris角點(diǎn)和SIFT特征描述結(jié)合起來(lái)進(jìn)行遙感圖像匹配；張子龍等[10]和彭勃宇等[11]則分別將SURF匹配中的特征點(diǎn)改用為FAST和SUSAN角點(diǎn)以提升整體算法的實(shí)時(shí)性；根據(jù)中心環(huán)繞極值特征(CenSurE)[12]可快速檢測(cè)且較穩(wěn)定的特點(diǎn)，許允喜等[13]在此基礎(chǔ)上進(jìn)行SURF描述以完成景象匹配，上述幾種方法盡管在特征點(diǎn)檢測(cè)上提升了速度，但對(duì)應(yīng)描述的計(jì)算量依然較高。而在特征描述方面，LBP特征的引入使得描述更為高效，如鄭永斌等[14]基于SIFT方法檢測(cè)特征點(diǎn)，在鄰域內(nèi)采用旋轉(zhuǎn)不變LBP特征結(jié)合相對(duì)距離進(jìn)行描述；也有算法通過(guò)特定模板[15]選取鄰域點(diǎn)計(jì)算LBP值用于描述特征點(diǎn)，減少描述冗余信息，不過(guò)LBP特征方法只能實(shí)現(xiàn)局部紋理的簡(jiǎn)單描述；形式簡(jiǎn)潔的二進(jìn)制描述符在描述特征點(diǎn)時(shí)也常被應(yīng)用，Cao等[16]提出二進(jìn)制的ODG描述符，具有較好的光照不變性；吳鵬等[17]不僅在尺度空間構(gòu)建中運(yùn)用高斯引導(dǎo)濾波，而且將局部差分二進(jìn)制(local difference binary，LDB)[18]作為特征描述，使之性能優(yōu)于常用的BFSIFT算法，但該過(guò)程中會(huì)損失部分圖像信息。此外也有方法通過(guò)加入其他處理以實(shí)現(xiàn)整體改進(jìn)，為進(jìn)一步利用顏色信息，梁煥青等[19]提取圖像的顏色不變量進(jìn)行灰度變換，再結(jié)合AKAZE特征實(shí)現(xiàn)匹配，不過(guò)灰度范圍只能由經(jīng)驗(yàn)給定；羅天健等[20]則融合顏色不變量邊緣特征和CS-LBP紋理特征組成融合特征圖用于SURF特征匹配，從而提升匹配魯棒性，但由于融合更多特征導(dǎo)致算法復(fù)雜程度增加。

為了提升對(duì)被測(cè)目標(biāo)圖像匹配的速度并確保匹配精度，本文基于CenSurE-star和LDB完成對(duì)圖像中特征點(diǎn)的檢測(cè)與描述，并運(yùn)用相應(yīng)準(zhǔn)確匹配策略逐步提純所得到的匹配點(diǎn)對(duì)，通過(guò)實(shí)際圖像進(jìn)行實(shí)驗(yàn)并分析性能，探索一種快速準(zhǔn)確的被測(cè)目標(biāo)圖像匹配算法。

1 特征點(diǎn)檢測(cè)與描述

1.1 CenSurE-star特征點(diǎn)檢測(cè)

特征點(diǎn)是實(shí)現(xiàn)圖像點(diǎn)匹配的基礎(chǔ)。作為被安裝在構(gòu)件上的靶標(biāo)，其上主要包含簡(jiǎn)單顯著的幾何線條特征及紋理。對(duì)于實(shí)現(xiàn)間接測(cè)量的被測(cè)目標(biāo)圖像中的特征點(diǎn)檢測(cè)，采用相關(guān)角點(diǎn)特征雖然檢測(cè)速度較快，但所檢測(cè)到的點(diǎn)易集中于靶標(biāo)線條邊緣處，導(dǎo)致匹配效果不佳；而常見(jiàn)的斑點(diǎn)特征有助于得到更多由靶標(biāo)紋理產(chǎn)生的特征點(diǎn)，卻在計(jì)算上相對(duì)復(fù)雜。CenSurE特征通過(guò)構(gòu)建雙極性濾波器對(duì)圖像濾波，實(shí)現(xiàn)對(duì)用于檢測(cè)斑點(diǎn)特征的經(jīng)典高斯拉普拉斯算子的近似，從而更快速地提取較為穩(wěn)定的圖像斑點(diǎn)特征。雙極性濾波器包含正負(fù)兩極，分別代表+1和-1。常用的雙極性濾波器為DOB濾波器，如圖1所示。

圖1 DOB濾波器

方形的DOB濾波器可以直接利用積分圖像，計(jì)算速度快。對(duì)于在尺度n下檢測(cè)特征點(diǎn)的DOB濾波器，其外核邊長(zhǎng)為4n+1，內(nèi)核邊長(zhǎng)為2n+1。為使其直流分量為0，內(nèi)核權(quán)值In和外核權(quán)值On的關(guān)系[12]為:

On(4n+1)2=In(2n+1)2

(1)

相鄰尺度間內(nèi)核權(quán)值In和In+1[12]則滿足等式:

In(2n+1)2=In+1(2(n+1)+1)2

(2)

受到形狀限制，DOB濾波器在圖像發(fā)生旋轉(zhuǎn)時(shí)對(duì)相應(yīng)特征點(diǎn)的檢測(cè)性能表現(xiàn)不佳。因此如圖2所示將兩個(gè)大小不同的DOB濾波器疊加起來(lái)構(gòu)成包含內(nèi)外兩層星型的濾波器CenSurE-star用于圖像特征點(diǎn)的檢測(cè)。步驟如下：

圖2 星型濾波器CenSurE-star

1)采用星型濾波器在圖像濾波中計(jì)算當(dāng)前中心像素響應(yīng)值，其計(jì)算公式為:

(3)

式中,R為像素響應(yīng)值，∑+和∑-分別為淺色的正極和深色的負(fù)極對(duì)應(yīng)的灰度和，S+和S-分別為正極和負(fù)極的面積大小。在星型濾波器濾波時(shí)，利用積分圖像計(jì)算兩個(gè)正方形灰度和，求和作為對(duì)應(yīng)星型內(nèi)的灰度和，同時(shí)星型面積也由構(gòu)成其的兩正方形面積和確定，根據(jù)內(nèi)外星型情況得到正負(fù)極的灰度和與面積，實(shí)現(xiàn)響應(yīng)值的計(jì)算。

而濾波器的尺寸大小反映當(dāng)前的特征點(diǎn)檢測(cè)尺度，僅通過(guò)改變尺寸就可以實(shí)現(xiàn)在不同尺度下的檢測(cè)，設(shè)組成星型的兩個(gè)正方形中無(wú)旋轉(zhuǎn)的邊長(zhǎng)為2n，旋轉(zhuǎn)45°的對(duì)角線長(zhǎng)度為3n，濾波器尺寸與檢測(cè)尺度的關(guān)系如表1所示。

表1 星型濾波器尺寸與檢測(cè)尺度關(guān)系

2)為得到可重復(fù)性更好、更穩(wěn)定的特征點(diǎn)，選取各像素在多尺度下響應(yīng)值R中的最大值為該像素的最終響應(yīng)值Rf，組成與圖像矩陣同等大小的響應(yīng)矩陣N，再對(duì)N進(jìn)行t×t范圍內(nèi)的非極大值抑制，將所得到的極值作為候選特征點(diǎn)。

3)最后針對(duì)候選特征點(diǎn)計(jì)算Harris矩陣的跡的平方與其行列式的比值，計(jì)算公式為[12]:

(4)

(5)

式中,Ha為對(duì)應(yīng)Harris矩陣，Lx和Ly為響應(yīng)值矩陣中關(guān)于水平和垂直方向的導(dǎo)數(shù)，k為Ha跡的平方與行列式的比值。排除候選特征點(diǎn)中的比值k大于閾值的直線型特征點(diǎn)，這里閾值被設(shè)定為10[5]，剩余點(diǎn)即為最終所檢測(cè)的CenSurE-star特征點(diǎn)。

1.2 LDB特征描述

由于被測(cè)目標(biāo)上存在許多相似的圖像區(qū)域，因此需要采用描述能力相對(duì)較強(qiáng)的特征描述方式。Yang等[18]在2014年提出LDB特征描述，最初被用于在移動(dòng)設(shè)備上進(jìn)行圖像匹配。在構(gòu)建描述時(shí)，LDB作為二進(jìn)制特征描述相比SIFT、DAISY等計(jì)算更簡(jiǎn)單，占用內(nèi)存資源更少；而將像素灰度強(qiáng)度、水平和垂直圖像梯度共同作為描述依據(jù)的特性，使其相比僅基于鄰域像素灰度強(qiáng)度比較的簡(jiǎn)單描述LBP等可區(qū)分性更好，因此將其用于對(duì)被測(cè)目標(biāo)圖像中的CenSurE-star特征點(diǎn)進(jìn)行描述。

在選定圖像區(qū)域中劃分若干相同大小的圖像子塊，對(duì)各子塊中的灰度強(qiáng)度平均值利用積分圖像進(jìn)行加速運(yùn)算，同時(shí)引入水平方向和垂直方向梯度反映灰度強(qiáng)度的變化情況，共同組成子塊整體特征。在計(jì)算完整體特征之后，抽選該區(qū)域中的子塊對(duì)并比較兩子塊特征的大小，以形成相應(yīng)描述符。計(jì)算公式為[18]:

(6)

(7)

(8)

如果劃分子塊面積較小，可以更細(xì)致地反映區(qū)域細(xì)節(jié)特征，但是諸如圖像噪聲等小變化會(huì)較容易影響到描述符，從而使所計(jì)算的相似度發(fā)生明顯變動(dòng)，導(dǎo)致特征描述魯棒性不夠；而如果劃分子塊面積偏大，可以很好地減輕干擾因素對(duì)描述符的影響，但同時(shí)對(duì)圖像中特征的反映會(huì)趨于簡(jiǎn)略，降低了特征描述的可區(qū)分性。因此LDB采用了多重大小子塊的策略，對(duì)選定區(qū)域進(jìn)行多次不同大小的子塊劃分，將每次劃分所得字符串描述連接起來(lái)形成初步的特征描述符。由于初始描述符的維數(shù)較高且相關(guān)性較大，通過(guò)相應(yīng)的Adaboost算法對(duì)其降維得到最終的LDB特征描述符。

2 圖像點(diǎn)特征準(zhǔn)確匹配

由不同尺寸的星型濾波器對(duì)被測(cè)目標(biāo)圖像濾波并結(jié)合計(jì)算，可檢測(cè)出圖像中對(duì)應(yīng)各尺度的CenSurE-star特征點(diǎn)。對(duì)于每個(gè)特征點(diǎn)確定特定圖像區(qū)域，根據(jù)灰度質(zhì)心法由圖像矩估計(jì)該特征點(diǎn)的主方向。

(9)

式(9)表明特征點(diǎn)主方向θ即為相應(yīng)圖像矩m01和m10之比的反正切值。按照主方向旋轉(zhuǎn)之后，對(duì)其特征點(diǎn)鄰域進(jìn)行2×2、3×3和4×4等多次大小不同的分塊，從中選取子塊對(duì)計(jì)算二進(jìn)制字符串以得到原始描述符，然后通過(guò)Adaboost算法去相關(guān)并降維得到256維的LDB二進(jìn)制描述符，實(shí)現(xiàn)對(duì)被測(cè)目標(biāo)圖像的特征構(gòu)造。

由于特征描述的形式為二進(jìn)制，因此在衡量特征點(diǎn)間的相似度時(shí)將漢明距離作為依據(jù)。漢明距離的計(jì)算方法是比較描述符中各對(duì)應(yīng)位是否相同，如果不同則距離加一，兩特征點(diǎn)的描述符間漢明距離越大，則相似度越小。匹配時(shí)采用簡(jiǎn)單易行的暴力匹配搜索，對(duì)參考圖像中的每個(gè)特征點(diǎn)與待匹配圖像中的特征點(diǎn)逐個(gè)進(jìn)行相似度計(jì)算，搜索出與其漢明距離最近的待匹配圖像特征點(diǎn)。特征描述符間的漢明距離計(jì)算公式為:

lh(a,b)=∑[a(i)?b(i)]

(10)

式中,a和b為圖像特征點(diǎn)對(duì)應(yīng)的描述符，i則表示當(dāng)前描述符中的具體位數(shù)，?為異或運(yùn)算符，對(duì)兩個(gè)描述符逐位做異或運(yùn)算并累加結(jié)果，計(jì)算出之間的漢明距離lh，用于衡量?jī)商卣鼽c(diǎn)間的相似度。

對(duì)被測(cè)目標(biāo)圖像特征點(diǎn)匹配情況進(jìn)行交叉驗(yàn)證，即在單方面得到與參考圖像上一特征點(diǎn)相似度最高的待匹配圖像特征點(diǎn)后，反過(guò)來(lái)判斷與該待匹配圖像特征點(diǎn)最相似的參考圖像特征點(diǎn)是否為之前的特征點(diǎn)，只有在兩點(diǎn)互相似的情況下才接受該匹配。在計(jì)算漢明距離并結(jié)合交叉驗(yàn)證得到初始匹配之后，為提升準(zhǔn)確性需要進(jìn)一步對(duì)其進(jìn)行篩選，其具體步驟如下：

1)統(tǒng)計(jì)初始匹配中對(duì)應(yīng)的最大距離，通過(guò)設(shè)定距離閾值保留其中描述符間距離與最大距離的比值不大于閾值的匹配點(diǎn)對(duì)，實(shí)現(xiàn)對(duì)初始匹配的粗篩選，通常閾值被設(shè)定在0.6～0.8之間；

2)從經(jīng)過(guò)粗篩選后的匹配集中隨機(jī)抽選匹配以估計(jì)相應(yīng)的圖像變換模型，其中所抽選的匹配要求不存在多點(diǎn)共線的情況；

3)計(jì)算其他匹配在所得估計(jì)模型下的投影誤差，統(tǒng)計(jì)符合估計(jì)模型的匹配數(shù)，并更新當(dāng)前迭代次數(shù)；

4)判斷當(dāng)前次數(shù)是否達(dá)到最大迭代次數(shù)，否則重復(fù)第2)、3)步；

5)選擇對(duì)應(yīng)匹配數(shù)最多的估計(jì)模型作為準(zhǔn)確的圖像變換模型結(jié)果，將與該結(jié)果誤差較大的匹配視為誤匹配并予以剔除。

通過(guò)距離閾值進(jìn)行初始匹配的粗篩選，再運(yùn)用RANSAC算法對(duì)篩選后的匹配集估計(jì)出合理的圖像變換模型，根據(jù)變換模型結(jié)果將剔除圖像匹配集中的絕大多數(shù)誤匹配，從而得到較為準(zhǔn)確一致的被測(cè)目標(biāo)圖像特征點(diǎn)最終匹配結(jié)果。圖3為基于CenSurE-star和LDB的匹配算法的整體流程圖。

圖3 基于CenSurE-star和LDB的點(diǎn)特征匹配流程

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中所使用的計(jì)算機(jī)配置是Intel Core i7-7700HQ 2.8 GHz，16 G內(nèi)存，操作系統(tǒng)為Windows10，運(yùn)行平臺(tái)為Visual Studio 2017。而被測(cè)目標(biāo)圖像是在計(jì)算機(jī)視覺(jué)測(cè)量實(shí)驗(yàn)過(guò)程中采集的典型靶標(biāo)圖像。對(duì)其進(jìn)行圖像匹配實(shí)驗(yàn)，從算法魯棒性、匹配準(zhǔn)確率和耗時(shí)等方面對(duì)本文算法的匹配性能進(jìn)行分析。

單應(yīng)矩陣反映圖像中某點(diǎn)在另一幅相關(guān)圖像中的所處位置，設(shè)兩幅圖像的單應(yīng)矩陣為H，點(diǎn)(x1,y1)和點(diǎn)(x2,y2)分別是理論上在兩幅圖像上對(duì)應(yīng)的兩點(diǎn)，其關(guān)系可表示為:

(11)

利用圖像間的單應(yīng)變換關(guān)系H，對(duì)之前所得匹配的準(zhǔn)確與否進(jìn)行判斷，匹配誤差由式(12)計(jì)算得到:

(12)

(13)

所選擇的三組靶標(biāo)圖像主要體現(xiàn)在圖像信息獲取過(guò)程中受環(huán)境影響而產(chǎn)生的光照、噪聲、模糊變化等情況，同時(shí)圖像中也存在一定旋轉(zhuǎn)尺度上的差別，通過(guò)本文算法進(jìn)行圖像匹配，所得結(jié)果如圖4～6所示。

圖4 圖像光照變化匹配結(jié)果

圖5 圖像噪聲變化匹配結(jié)果

圖6 圖像模糊變化匹配結(jié)果

從3組被測(cè)目標(biāo)圖像匹配結(jié)果可直觀看出，即使圖像中存在光照不同、噪聲干擾和圖像模糊等情況，采用本文算法依然可以檢測(cè)到兩幅圖像中相關(guān)聯(lián)的特征點(diǎn)，并結(jié)合對(duì)應(yīng)的特征描述將其匹配關(guān)聯(lián)。

同時(shí)統(tǒng)計(jì)相應(yīng)的匹配準(zhǔn)確率和運(yùn)行時(shí)間，然后在相同實(shí)驗(yàn)條件下采用3種常見(jiàn)算法與其進(jìn)行比較。這3種算法分別為采用圖像斑點(diǎn)特征且應(yīng)用廣泛的SIFT算法和SURF算法，以及描述符同樣為二進(jìn)制形式的BRISK算法，所得結(jié)果如表2所示。

由表2中數(shù)據(jù)可知，在對(duì)反映圖像典型變化的被測(cè)目標(biāo)圖像的匹配中，本文算法在運(yùn)行時(shí)間上均明顯低于SIFT、SURF以及BRISK等常見(jiàn)算法，分別為1.872 s、2.366 s和2.971 s。其原因主要在于本文算法僅通過(guò)調(diào)整星型濾波器尺寸大小完成對(duì)圖像中不同尺度下相關(guān)斑點(diǎn)特征的檢測(cè)，而這些常見(jiàn)算法需要構(gòu)建圖像金字塔才能實(shí)現(xiàn)相應(yīng)檢測(cè)；而且二進(jìn)制型的LDB特征描述符可以通過(guò)計(jì)算漢明距離快速度量特征間相似度，相比浮點(diǎn)型描述符在匹配效率上更優(yōu)。

表2 被測(cè)目標(biāo)圖像匹配準(zhǔn)確率與運(yùn)行時(shí)間對(duì)比

對(duì)于點(diǎn)特征的準(zhǔn)確匹配，在經(jīng)過(guò)距離閾值的粗篩選后，受到靶標(biāo)中相似區(qū)域較多的影響，4種匹配算法的準(zhǔn)確率均表現(xiàn)不佳，普遍低于75%，需要進(jìn)一步通過(guò)RANSAC算法估計(jì)變換模型以剔除誤匹配。在RANSAC誤匹配剔除后，光照變化組中SIFT算法的準(zhǔn)確率在四種方法中最高，達(dá)到99.55%，本文算法和BRISK算法的準(zhǔn)確率則低于SIFT算法，分別為99.49%和99.19%，SURF算法準(zhǔn)確率最低；而在噪聲變化組中，本文算法為99.38%，同樣僅次于SIFT算法；在模糊變化組中則是本文算法和SIFT算法的準(zhǔn)確率均達(dá)到了100%。由此可見(jiàn)在與常見(jiàn)算法的比較中，本文算法匹配準(zhǔn)確率依然處于相對(duì)較高的水平。結(jié)合圖4、圖5和圖6中三組圖像的匹配結(jié)果，說(shuō)明本文算法對(duì)于圖像中光照、噪聲和模糊變化均具有一定的魯棒性。

4 結(jié)束語(yǔ)

本文設(shè)計(jì)了一種CenSurE-star特征與LDB描述符相結(jié)合的被測(cè)目標(biāo)圖像匹配算法。由CenSurE-star算法可以快速提取被測(cè)目標(biāo)圖像中的穩(wěn)定特征點(diǎn)，在計(jì)算圖像矩提取特征點(diǎn)主方向的基礎(chǔ)上運(yùn)用LDB描述符實(shí)現(xiàn)特征描述，再根據(jù)描述符進(jìn)行暴力匹配搜索和交叉驗(yàn)證得到初始匹配，通過(guò)距離閾值和RANSAC算法進(jìn)一步剔除其中的誤匹配點(diǎn)對(duì)。經(jīng)過(guò)相關(guān)實(shí)驗(yàn)證明，該算法對(duì)匹配圖像間存在的光照、噪聲及模糊等典型變化具有魯棒性，相比一般算法能在縮短圖像匹配耗時(shí)的同時(shí)確保匹配準(zhǔn)確率，從而適用于對(duì)匹配速度有一定要求的視覺(jué)檢測(cè)場(chǎng)合。