高于科,章 偉,胡 陟,江鵬偉

(上海工程技術(shù)大學(xué) 機(jī)器人智能控制實(shí)驗(yàn)室,上海 200093)

圖像匹配是計(jì)算機(jī)視覺(jué)領(lǐng)域中的研究熱點(diǎn)之一,匹配算法常被用于圖像之間的目標(biāo)匹配,在目標(biāo)識(shí)別、三維重建、運(yùn)動(dòng)分析以及圖像拼接等領(lǐng)域都具有廣泛應(yīng)用?；诰植坎蛔兲卣鞯钠ヅ浞椒ㄔ趫D像匹配領(lǐng)域發(fā)展最早[1],在實(shí)際運(yùn)用中更具有靈活性,匹配結(jié)果魯棒性好,因此基于局部不變特征的匹配方法是目前的主流研究方向之一。

基于局部不變特征的匹配算法主要克服了圖像的偏移、旋轉(zhuǎn)、尺度縮放以及噪聲等困難。文獻(xiàn)[2～3]采用點(diǎn)特征算法作為前端輸入。文獻(xiàn)[4]提出一種改進(jìn)的線(xiàn)特征方法用于匹配。文獻(xiàn)[5]根據(jù)點(diǎn)特征構(gòu)造SURF(Speeded Up Robust Features)和顏色的局部特征進(jìn)行匹配。文獻(xiàn)[6]對(duì)點(diǎn)和線(xiàn)特征結(jié)合的方法進(jìn)行匹配。相比于點(diǎn)特征匹配,線(xiàn)特征的描述符能夠更有效地?cái)y帶圖像信息,匹配效果魯棒性更好。

近年來(lái)有不少優(yōu)秀的線(xiàn)段檢測(cè)的方法被提出[7-9]。大多數(shù)情況下,RNFA[10]邊緣鏈檢測(cè)方法比其他檢測(cè)器的檢測(cè)效果好且誤報(bào)率低[11],并且相對(duì)其他方法,其可以檢測(cè)出梯度較弱但在視覺(jué)上有意義的邊緣鏈。

但是,絕大多數(shù)線(xiàn)特征匹配[12-14]只考慮目標(biāo)存在旋轉(zhuǎn)、偏移以及縮放等變換,未考慮目標(biāo)在鏡像中存在對(duì)稱(chēng)性翻轉(zhuǎn)。而物體和平面鏡像之間的匹配是識(shí)別類(lèi)鏡面反射環(huán)境的有效途徑,可用于在較為平靜的內(nèi)河水域水岸環(huán)境進(jìn)行特征匹配[15],也用于可識(shí)別室內(nèi)中鏡面環(huán)境[16]。為了實(shí)現(xiàn)物體和平面鏡像之間的匹配,本文采用攜帶信息更為豐富的線(xiàn)特征方法,從邊緣鏈檢測(cè)中引用RNFA方法,在圖像中生成更豐富的線(xiàn)段輸入。由于線(xiàn)段描述符LBD[17]方法過(guò)于依賴(lài)線(xiàn)段的方向,導(dǎo)致在物體和平面鏡像之間的匹配結(jié)果較差。針對(duì)該問(wèn)題,本文提出了一種改進(jìn)算法,并通過(guò)實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法的合理性。為了提升該算法的正確匹配率,本文提出了尋找全局投影角度和擬合投影中線(xiàn)的方法用于剔除誤匹配對(duì)。實(shí)驗(yàn)結(jié)果表明,該方法具有良好的魯棒性。

1 鏡像空間匹配算法

對(duì)于鏡像空間的匹配算法分為3個(gè)過(guò)程:1)采用RNFA方法和構(gòu)造高斯模糊金字塔進(jìn)行線(xiàn)段的識(shí)別和提取;2)構(gòu)造區(qū)分效果明顯的線(xiàn)描述符;3)對(duì)線(xiàn)段進(jìn)行匹配和優(yōu)化。

1.1 線(xiàn)段的提取

第1步工作是對(duì)圖像中的線(xiàn)條進(jìn)行檢測(cè)。本文采用RNFA方法檢測(cè)出圖像的邊緣鏈,將該邊緣鏈進(jìn)行最小二乘法擬合得到直線(xiàn)段,并以此直線(xiàn)段作為線(xiàn)段匹配方法的輸入。

將圖像以多尺度的層次表達(dá),并在不同的尺度下對(duì)圖像分別處理是多尺度技術(shù)的關(guān)鍵[18]。多尺度技術(shù)有助于提升匹配效果,提高圖像檢測(cè)的魯棒性和性能。本文采用多層高斯模糊金字塔模型方法構(gòu)造多尺度圖像,并且在每層圖像中都執(zhí)行一次RNFA邊緣鏈檢測(cè),并構(gòu)造對(duì)應(yīng)圖層線(xiàn)段,對(duì)應(yīng)圖層檢測(cè)出的直線(xiàn)段都會(huì)與原圖層對(duì)應(yīng)位置檢測(cè)出的直線(xiàn)段進(jìn)行比較。本文使用線(xiàn)段上的像素梯度作為比較依據(jù),如果兩條線(xiàn)段在相同區(qū)域方向一致,則這些線(xiàn)段會(huì)被儲(chǔ)存到同一組線(xiàn)段組中。在原始圖層中檢測(cè)出的直線(xiàn)段會(huì)被分配到一個(gè)具有唯一身份標(biāo)識(shí)的線(xiàn)段組,用于儲(chǔ)存原圖層的線(xiàn)段和在其他圖層中匹配的線(xiàn)段。

實(shí)驗(yàn)發(fā)現(xiàn)圖像金字塔低于4層時(shí),多數(shù)線(xiàn)段組中僅包含一至兩條線(xiàn)段。為了提升線(xiàn)段組中線(xiàn)段數(shù)量,在算法中設(shè)置高斯模糊的圖像金字塔為5層。在圖層0中檢測(cè)出的線(xiàn)段會(huì)對(duì)其在其余每個(gè)圖層所對(duì)應(yīng)的匹配位置執(zhí)行像素梯度比較,若檢測(cè)出的線(xiàn)段與原圖層對(duì)應(yīng)位置的線(xiàn)段匹配,則會(huì)儲(chǔ)存到同一組線(xiàn)段組中。圖1展示了兩組線(xiàn)段組的構(gòu)造。

圖1 5層高斯模糊金字塔模型Figure 1. Gaussian blur pyramid model with five-layers

1.2 線(xiàn)描述符的構(gòu)造

實(shí)現(xiàn)線(xiàn)段之間的匹配,需要對(duì)檢測(cè)出的每條線(xiàn)段構(gòu)造線(xiàn)描述符。在線(xiàn)描述符內(nèi)需要包含該線(xiàn)段和周?chē)h(huán)境信息,以便進(jìn)行匹配工作。受線(xiàn)段帶描述符LBD方法啟發(fā),本文采用類(lèi)似LBD方法構(gòu)造用于計(jì)算描述符的線(xiàn)段子區(qū)域,并闡述計(jì)算線(xiàn)段描述符。

在完成了線(xiàn)段的檢測(cè)后,對(duì)每個(gè)檢測(cè)出的線(xiàn)段,以該線(xiàn)段為中心,可以構(gòu)建一個(gè)方形的線(xiàn)段支持域。平行于該線(xiàn)段的一組寬度為n像素線(xiàn)段{L1,L2,…,Lj,…,Ln-1,Ln}構(gòu)成一條帶,m條帶 {B1,B2,…,Bj,…,Bm-1,Bm}疊加而成方形區(qū)域構(gòu)成該線(xiàn)段的線(xiàn)段子區(qū)域。圖2展示了一個(gè)帶寬度為5像素,由3條帶構(gòu)成的子區(qū)域。

圖2 線(xiàn)段子區(qū)域和局部方向示意圖Figure 2. Line segment sub-region and local direction schematic

根據(jù)邊緣鏈檢測(cè)原理以及圖像中平面投影角度等因素影響,在同一張圖像中匹配的線(xiàn)段不一定具有對(duì)稱(chēng)的方向。為了改善該情況帶來(lái)的影響,對(duì)線(xiàn)段子區(qū)域引入兩個(gè)方向的局部二維坐標(biāo)。如圖2所示,直線(xiàn)方向Ld的順時(shí)針正交方向被定義為L(zhǎng)⊥,和L⊥相反的方向被定義為L(zhǎng)T。在線(xiàn)描述符的計(jì)算過(guò)程中需要將線(xiàn)段子區(qū)域中的所有像素梯度投影到這兩個(gè)方向的局部二維坐標(biāo)系,投影過(guò)后的像素梯度分別被定義為Pg=(gL⊥,gLT)。其中,gL⊥=go×L⊥表示局部像素梯度gL⊥由原始圖像的像素梯度go經(jīng)過(guò)沿著L⊥方向的局部坐標(biāo)變換獲得。同理,gLT=go×LT表示局部像素梯度gL⊥由原始圖像的像素梯度go經(jīng)過(guò)沿著LT方向的局部坐標(biāo)變換獲得。

單獨(dú)的局部坐標(biāo)系構(gòu)造的描述符和線(xiàn)段的方向具有較強(qiáng)的關(guān)聯(lián)性。本文構(gòu)建的子區(qū)域引用兩個(gè)方向相反的局部二維坐標(biāo),能夠有效減少被檢測(cè)出的線(xiàn)段自身方向造成的干擾。

此外,對(duì)于每條帶Bi,根據(jù)局部坐標(biāo)像素的梯度值的正負(fù),分兩組分別對(duì)每行求其梯度和,如式(1)所示,表示對(duì)第k行其梯度求和。

(1)

對(duì)于每條擁有n行的帶Bi,有

(2)

每條帶Bi可由[ui,vi]表示,為了防止描述符的突然改變,相鄰的帶Bi-1、Bi+1也需要被計(jì)算進(jìn)去。因此,最終Bi可表示為

(3)

對(duì)在線(xiàn)段子區(qū)域中的所有m條帶{B1,B2,…,Bj,…,Bm-1,Bm}執(zhí)行式(1)～式(3)的計(jì)算,可以獲得一個(gè)2×m的矩陣MB,如式(4)所示。

(4)

將矩陣MB拉直,并在每個(gè)元素后加上該元素的平方,獲得該線(xiàn)段的描述符的最終表示形式,為

(5)

其中,Sui、Svi分別是ui、vi的平方。為了方便后續(xù)計(jì)算和比較,VB以正則化向量形式儲(chǔ)存。

1.3 鏡像空間中線(xiàn)段的匹配

線(xiàn)段描述符的構(gòu)建方法已在章節(jié)1.2中解釋。對(duì)于檢測(cè)出的所有線(xiàn)段組,線(xiàn)段組中的每條線(xiàn)段都會(huì)生成一個(gè)描述符。對(duì)于不同線(xiàn)段組,例如線(xiàn)段組i和線(xiàn)段組j,算法中會(huì)計(jì)算其線(xiàn)段的線(xiàn)描述符的差和,并用描述符差和的最小值difij表示線(xiàn)段組i和線(xiàn)段組j之間的外觀相似程度。以圖1所示圖層0的線(xiàn)段為例,在一張圖片中識(shí)別出k條線(xiàn)段,則k組線(xiàn)段組之間的外觀相似度,即描述符的差和,會(huì)用一個(gè)k階鄰接矩MA∈k×k陣儲(chǔ)存。隨后對(duì)外觀相似程度設(shè)置一個(gè)閾值difmin,在鄰接矩陣中,每根線(xiàn)段和其余線(xiàn)段中相似程度最高,即描述符差和最小的一對(duì),會(huì)經(jīng)過(guò)一次閾值檢測(cè),只有低于閾值difmin的匹配對(duì)會(huì)被納入候選匹配對(duì)。

線(xiàn)段的匹配通常用于兩張圖之間的匹配,文獻(xiàn)[19]假設(shè)兩張圖像間有全局旋轉(zhuǎn)角,用于優(yōu)化匹配工作。受此啟發(fā),對(duì)鏡像投影的匹配可以通過(guò)尋找全局投影角度用于后續(xù)優(yōu)化。

首先,對(duì)每個(gè)滿(mǎn)足閾值條件候選匹配對(duì),以這對(duì)線(xiàn)段在圖像中相對(duì)方向作為這對(duì)線(xiàn)段的投影角度,構(gòu)建一個(gè)投影角度的直方圖,用于記錄所有候選匹配對(duì)的投影角度密度分布,選取其中投影角度分布密度最高的區(qū)域作為全局投影角度。

圖3展示了不同閾值匹配對(duì)投影角度分布情況?？梢杂^察到投影角度最密集的區(qū)域集中在72°。受被觀察物體遠(yuǎn)近、視角遮擋以及線(xiàn)段的生成等影響因素,正確匹配對(duì)的投影角度會(huì)有一定歪曲。因此,為了提高該方法的魯棒性,在算法的實(shí)現(xiàn)中會(huì)放寬全局投影角度的范圍以及最高密度的投影角度相鄰的區(qū)域,只要在最高密度數(shù)量的80%以上,都會(huì)被認(rèn)為是全局投影角度的范圍。

圖3 投影角度分布Figure 3. The distribution of projection angle

在完成全局投影角度選取后,在符合全局投影角度范圍內(nèi)的所有匹配對(duì)都會(huì)被復(fù)制到候選匹配對(duì)組P中,在候選匹配對(duì)組P中仍可能存在誤匹配項(xiàng)。為了提高匹配的穩(wěn)定性,本文提出投影中線(xiàn)用于提升算法的魯棒性,尋找投影中線(xiàn)的這一步驟建立在全局投影角度選定后的基礎(chǔ)上。首先,需要計(jì)算候選匹配對(duì)組P中所有匹配對(duì)在圖像上的中點(diǎn)位置,并用來(lái)擬合直線(xiàn)。同時(shí),為了保證匹配對(duì)中位于投影中線(xiàn)的兩側(cè),需計(jì)算匹配對(duì)中的兩根線(xiàn)段a和b到投影中線(xiàn)的距離,并表示為Disa和Disb。計(jì)算候選匹配對(duì)組P中匹配對(duì)的中點(diǎn)位置距離該直線(xiàn)距離,表示為Disab,候選匹配對(duì)組Pα中匹配對(duì)的清洗遵循以下兩個(gè)原則:

1)如果2(Disab+1)

2)刪除Disab過(guò)大的匹配對(duì)。

將剩下的匹配對(duì)覆蓋原先的候選匹配對(duì)組P,繼續(xù)之前的計(jì)算中點(diǎn)擬合直線(xiàn),直到不再刪除匹配對(duì)為止。清洗完成后,最后一次擬合的直線(xiàn)被定義為投影中線(xiàn)。完成上述步驟后,獲得這次匹配工作的兩個(gè)重要參數(shù),全局投影角度和投影中線(xiàn)。

為了提升召回率(正確匹配的數(shù)量與正確的總匹配數(shù)的比值),在完成迭代循環(huán)用于剔除誤匹配項(xiàng)后,本文所提算法會(huì)提高閾值difmin。對(duì)于一組經(jīng)過(guò)迭代循環(huán)清理過(guò)的匹配對(duì)組P,算法會(huì)在原鄰接矩陣MA∈k×k中尋找剩余的線(xiàn)段,并在剩余線(xiàn)段之間尋找滿(mǎn)足閾值difmin的匹配對(duì),驗(yàn)證其相對(duì)位置是否滿(mǎn)足全局投影角度和投影中線(xiàn)。如果滿(mǎn)足,加入匹配對(duì)組P中,直至完成。

在鏡像空間的匹配工作中有兩個(gè)重要屬性,分別是全局投影角度和投影中線(xiàn)。以圖4為例,帶箭頭的線(xiàn)段是算法檢測(cè)出的線(xiàn)段。在圖4中已用虛線(xiàn)的連線(xiàn)表示在真實(shí)物體到鏡像空間投影上的線(xiàn)段,兩條線(xiàn)段之間相對(duì)方向?yàn)槿滞队敖嵌?。本文使用匹配的線(xiàn)段連線(xiàn)方向作為該圖像的全局投影角度,并以連線(xiàn)的中點(diǎn)擬合而成的直線(xiàn)作為投影中線(xiàn)。

圖4 全局投影角度和投影中線(xiàn)Figure 4. Global projection angle and projection midline

綜上所述,本文的算法流程如圖5所示。

圖5 鏡像線(xiàn)特征匹配流程Figure 5. Flow of line segment matching of mirror image

2 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)將改進(jìn)后的LBD算法和原算法在尋找全局投影角度和在投影區(qū)間的匹配對(duì)準(zhǔn)確度上使用未經(jīng)過(guò)后期優(yōu)化處理的匹配結(jié)果進(jìn)行比較,實(shí)驗(yàn)結(jié)果如表1所示。為排除其他干擾因素影響,本文實(shí)驗(yàn)的線(xiàn)段生成方法和閾值difmin固定,匹配方法采用暴力匹配,即對(duì)每條檢測(cè)出的線(xiàn)段,遍歷剩余線(xiàn)段,尋找外觀相似程度最相似并且評(píng)分低于閾值difmin的線(xiàn)段,并且尋找全局投影角度,將全局投影角度的結(jié)果用于統(tǒng)計(jì)準(zhǔn)確度并比較。

表1 準(zhǔn)確度對(duì)比Table 1. Comparison of accuracy

本文列舉了4組不同的測(cè)試樣本,如圖6所示。在圖集1中,圖像被分割為真實(shí)物體和鏡像投影兩個(gè)部分,真實(shí)物體的可見(jiàn)部分均被投影到鏡面環(huán)境中。在圖集2中,圖像被分割為真實(shí)物體和鏡像投影兩個(gè)部分,投影經(jīng)過(guò)旋轉(zhuǎn),真實(shí)物體只有一部分在鏡像投影中可觀察到。在圖集3中,真實(shí)物體只有一部分在鏡像投影中可觀察到,并且由于觀測(cè)視角過(guò)偏,鏡像投影中物體影像在圖像上未顯示的部分呈現(xiàn)了一部分真實(shí)物體,并存在一部分形變和拉伸。在圖集4中,選用了平靜水面作為鏡面,圖像被分割為真實(shí)物體和鏡像投影,鏡像投影中物體影像在圖像上未顯示的部分呈現(xiàn)了一部分真實(shí)物體,部分水體中存在干擾,導(dǎo)致投影存在擾動(dòng)。

圖6 測(cè)試圖像集Figure 6. Test image set

表1展示了圖6中的圖像集測(cè)試結(jié)果,閾值difmin取0.3。MP表示匹配對(duì)結(jié)果數(shù)量,EP表示錯(cuò)誤匹配對(duì)數(shù)量,MR表示準(zhǔn)確度,如式(6)所示。

MR=(MP-EP)/MP

(6)

MRA表示當(dāng)前行準(zhǔn)確度的平均值。

實(shí)驗(yàn)結(jié)果如表1所示。本文提出的算法在4組圖集中均取得優(yōu)于原算法的效果,在圖集4這種真實(shí)鏡面環(huán)境中獲得94.36%的結(jié)果,明顯優(yōu)于原LBD算法的89.03%。原LBD算法效果欠佳的一部分原因是該算法只考慮了旋轉(zhuǎn)不變性,生成的描述符和線(xiàn)段的方向呈強(qiáng)關(guān)聯(lián)性,而本文方法則降低了線(xiàn)段方向?qū)γ枋龇绊懸蛩?取得較好的效果。此外,本文匹配算法不需要對(duì)過(guò)于復(fù)雜的矩陣求解,算法實(shí)時(shí)性更好。

章節(jié)1.3闡明了對(duì)匹配結(jié)果進(jìn)行優(yōu)化的方法,在實(shí)驗(yàn)中Disab的值設(shè)置為8,經(jīng)過(guò)擬合投影中線(xiàn)后,剔除處于全局投影角度區(qū)間中的誤匹配對(duì)。此外,在對(duì)候選匹配對(duì)完成清洗后,實(shí)驗(yàn)將difmin提升到0.6,在剩下的候選匹配對(duì)中尋找可能正確的匹配對(duì),并加入匹配結(jié)果中。表2展示了召回結(jié)果。CMP表示最終匹配結(jié)果中正確匹配對(duì)數(shù)量,TMP是總正確匹配對(duì)數(shù)量,RCR是召回率。

表2 召回率對(duì)比Table 2. Comparison of recall

如表2所示,經(jīng)過(guò)優(yōu)化后,匹配結(jié)果中正確匹配對(duì)數(shù)量均有提升,最終,本文算法能夠達(dá)到90%以上的召回率。

圖7和圖8分別展示了一個(gè)經(jīng)過(guò)優(yōu)化前后的結(jié)果,圖7為未優(yōu)化的匹配對(duì)在圖像中的展示,圖8為優(yōu)化過(guò)后匹配對(duì)在圖像中的展示。圖7和圖8使用同一灰度的線(xiàn)段表示實(shí)際物體和鏡像間的匹配成功的線(xiàn)段對(duì),并用細(xì)線(xiàn)連接匹配對(duì)。圖7使用豎直實(shí)線(xiàn)標(biāo)注出錯(cuò)誤匹配的線(xiàn)段,圖8已剔除錯(cuò)誤匹配對(duì),并用豎直虛線(xiàn)標(biāo)注出相對(duì)于圖7新召回的匹配對(duì)。相比優(yōu)化前,優(yōu)化后能夠剔除絕大多數(shù)誤匹配對(duì),召回率達(dá)到90%,表明優(yōu)化處理能夠充分利用檢測(cè)出的線(xiàn)特征信息。

圖7 優(yōu)化前的匹配效果Figure 7. The match pairs in picture before optimization

圖8 優(yōu)化后的匹配效果Figure 8. The match pairs in picture after optimization

3 結(jié)束語(yǔ)

本文采用了基于RNFA邊緣鏈檢測(cè)方法來(lái)生成線(xiàn)段,并用一種改進(jìn)的LBD算法生成線(xiàn)描述符。相比原算法,本文算法在鏡像翻轉(zhuǎn)情況下的特征線(xiàn)匹配效果魯棒性更好。為了提高匹配結(jié)果的準(zhǔn)確度,本文提出了基于全局投影角度和投影中線(xiàn)的誤匹配對(duì)剔除方法。經(jīng)實(shí)驗(yàn)驗(yàn)證,本文算法在旋轉(zhuǎn)拉伸、光照不勻以及扭曲擾動(dòng)等情況下,都能夠較好地實(shí)現(xiàn)物體和平面鏡像之間線(xiàn)特征匹配?，F(xiàn)有的圖像匹配、運(yùn)動(dòng)估計(jì)在具有鏡面反射環(huán)境的情況下存在識(shí)別困難的情況,本文算法可用于識(shí)別鏡面反射區(qū)域及尋找物體和鏡面的投影方向。將本文算法用于識(shí)別鏡像空間將是今后的研究方向。