何敬， 劉仁義， 張豐， 杜震洪*， 陳永佩

(1.浙江大學(xué) 浙江省資源與環(huán)境信息系統(tǒng)重點(diǎn)實(shí)驗(yàn)室， 浙江 杭州 310028；2.浙江大學(xué) 地理信息科學(xué)研究所， 浙江 杭州 310027)

基于特征點(diǎn)群相似度計(jì)算模型的圖像表示方法

何敬1,2， 劉仁義1,2， 張豐1,2， 杜震洪1,2*， 陳永佩1,2

(1.浙江大學(xué) 浙江省資源與環(huán)境信息系統(tǒng)重點(diǎn)實(shí)驗(yàn)室， 浙江 杭州 310028；2.浙江大學(xué) 地理信息科學(xué)研究所， 浙江 杭州 310027)

針對(duì)空間金字塔匹配模型缺乏對(duì)圖像中視覺(jué)物體旋轉(zhuǎn)、平移和縮放的考慮問(wèn)題，提出了一種基于特征點(diǎn)群相似度計(jì)算模型的圖像表示方法.基于詞匯樹(shù)模型的粗匹配結(jié)果，通過(guò)特征點(diǎn)群拓?fù)?、方向、距離等計(jì)算其相似度，并以此作為評(píng)價(jià)指標(biāo)對(duì)匹配結(jié)果進(jìn)行過(guò)濾；根據(jù)由特征點(diǎn)群計(jì)算所得的標(biāo)準(zhǔn)差橢圓的圓心、旋轉(zhuǎn)角度對(duì)金字塔匹配的圖像劃分子區(qū)域并進(jìn)行調(diào)整，從而得到圖像抗旋轉(zhuǎn)、平移和縮放的表示.分別在自建校園建筑物數(shù)據(jù)集和自建物體圖像數(shù)據(jù)集上對(duì)方法進(jìn)行了驗(yàn)證和比較，結(jié)果表明，該方法提高了分類(lèi)識(shí)別的準(zhǔn)確率和檢索的查全率，特別是對(duì)于包含明顯旋轉(zhuǎn)、平移和縮放變化的圖像數(shù)據(jù)效果更好.

特征點(diǎn)群相似度；Voronoi圖；標(biāo)準(zhǔn)差橢圓；FREAK特征描述；空間金字塔匹配

近年來(lái)，圖像中空間位置信息的研究成了圖像識(shí)別領(lǐng)域的研究熱點(diǎn)，且隨著各個(gè)學(xué)科的發(fā)展融合，GIS(geographic information system)中的空間關(guān)系理論已成為研究圖像檢索中特征點(diǎn)之間關(guān)系的一個(gè)重要方向.

基于地理位置服務(wù)的增強(qiáng)現(xiàn)實(shí)(augmented reality,AR)技術(shù)是目前智慧校園建設(shè)中重要的技術(shù)手段.隨著數(shù)字圖像的大量增加，傳統(tǒng)的基于內(nèi)容的圖像搜索方法很難滿足目前的檢索需求.NISTER等[1]提出的基于詞匯樹(shù)的詞袋模型表示算法是目前圖像檢索領(lǐng)域的主流算法.LAZEBNIK等[2]提出的空間金字塔匹配SPM(spatial pyramid matching)采用多尺度分塊，分別統(tǒng)計(jì)并比較每一個(gè)子塊的特征，考慮了視覺(jué)詞袋模型忽視的視覺(jué)單詞在圖像上的空間分布信息.SPM能有效提升圖像的識(shí)別精度，得到了普遍認(rèn)可和廣泛應(yīng)用.

然而，SPM方法是對(duì)圖像整體進(jìn)行劃分，限制了視覺(jué)目標(biāo)在圖像上的位置，具體表現(xiàn)為對(duì)發(fā)生了旋轉(zhuǎn)、平移和縮放的圖像的表示所包含的信息不精確，導(dǎo)致匹配精確度下降.本文研究的圖像數(shù)據(jù)集為校園建筑物數(shù)據(jù)，這些建筑物圖片具有一定的規(guī)格，同時(shí)主體明顯，背景一般較為干凈.數(shù)據(jù)集中的圖像在采集的過(guò)程中，由于設(shè)備、人員的不同，常常會(huì)出現(xiàn)圖片旋轉(zhuǎn)的狀況，導(dǎo)致視覺(jué)目標(biāo)發(fā)生較為嚴(yán)重的旋轉(zhuǎn)變化，同時(shí)也伴有一定的尺度和平移變化.

結(jié)合本文的數(shù)據(jù)特點(diǎn)，同時(shí)考慮到移動(dòng)端設(shè)備對(duì)于特征提取的效率，本文在SPM方法的基礎(chǔ)上進(jìn)行了改進(jìn)，提出了一種基于特征點(diǎn)群相似度計(jì)算模型的圖像表示方法.該方法采取FREAK二進(jìn)制描述符進(jìn)行圖像特征的提取，并構(gòu)建詞匯樹(shù)模型.通過(guò)詞匯樹(shù)模型的粗匹配，篩選出距離目標(biāo)圖像較近的訓(xùn)練圖像.在此基礎(chǔ)上，對(duì)粗篩選結(jié)果進(jìn)行特征點(diǎn)群相似度計(jì)算，過(guò)濾特征點(diǎn)群相似度較差的訓(xùn)練圖像.然后，借助由特征點(diǎn)群計(jì)算得到的標(biāo)準(zhǔn)差橢圓的圓心、旋轉(zhuǎn)角度來(lái)調(diào)整SPM對(duì)圖像子區(qū)域的劃分，提高SPM在處理發(fā)生旋轉(zhuǎn)、平移和尺度變化的圖像時(shí)的精確度.

1 相關(guān)研究

1.1 FREAK特征描述符

移動(dòng)終端設(shè)備在配置和性能上與普通計(jì)算機(jī)仍存在一定的差距，傳統(tǒng)的SIFT等算法存在計(jì)算量大、占用內(nèi)存多、匹配時(shí)間長(zhǎng)等問(wèn)題.因此，近年來(lái)，出現(xiàn)了一些實(shí)效性更強(qiáng)、更適合在移動(dòng)端計(jì)算的特征點(diǎn)提取和描述方法.CALONDER等[3]提出的BRIEF算法， RUBLEE等[4]提出的ORB算法， ALAHI等[5]提出的FREAK算法等，都采用了二進(jìn)制描述符，降低了描述符的維度，依靠計(jì)算特征描述符之間的漢明距離，使得運(yùn)算速度和內(nèi)存占用得到了優(yōu)化.文獻(xiàn)[6]證明了FREAK算法在處理諸多變化時(shí)其性能強(qiáng)于ORB算法和BRIEF算法，特別在處理光照變化時(shí)其穩(wěn)定性最好.

FREAK是一種二值描述符，其核心思想就是采用仿視網(wǎng)膜結(jié)構(gòu)的采樣模板對(duì)特征點(diǎn)進(jìn)行描述符構(gòu)造[5].與人眼的視網(wǎng)膜神經(jīng)節(jié)細(xì)胞相似，F(xiàn)REAK特征描述符采樣點(diǎn)結(jié)構(gòu)由許多大小不同并有重疊的圓構(gòu)成.圓代表感受野，重疊的結(jié)構(gòu)可以獲取更多的信息；對(duì)應(yīng)的圓心代表采樣點(diǎn)，采樣點(diǎn)均勻分布在以特征點(diǎn)為中心的同心圓上.同時(shí)，F(xiàn)REAK采樣結(jié)構(gòu)根據(jù)距離特征點(diǎn)的距離決定采樣密集度，離中心特征點(diǎn)越近，采樣點(diǎn)越密集.通過(guò)采樣點(diǎn)之間像素值的兩兩比較級(jí)聯(lián)成的FREAK描述子是二進(jìn)制比特串，假設(shè)F為某個(gè)特征點(diǎn)的FREAK描述符，則

(1)

其中，Pa是第a對(duì)采樣點(diǎn)，N表示描述符的維數(shù)，且T(Pa)滿足：

(2)

本文選取較高維的二進(jìn)制特征描述符——FREAK特征在客戶端對(duì)圖像進(jìn)行處理，同時(shí)在服務(wù)器端采取同樣的特征進(jìn)行層級(jí)式聚類(lèi)，以漢明空間概率中心向量作為聚類(lèi)中心，進(jìn)行詞匯樹(shù)的構(gòu)建.

1.2 基于詞匯樹(shù)的金字塔匹配方法

詞袋模型源于自然語(yǔ)言處理和信息檢索，與文本相似，圖像可以被視為一些與位置無(wú)關(guān)的局部特征的集合.基于樹(shù)形結(jié)構(gòu)的詞袋模型通過(guò)樹(shù)形結(jié)構(gòu)的層次索引方式，解決了非層次化檢索量化過(guò)程太慢的問(wèn)題，大大提高了檢索的效率[1].

詞匯樹(shù)采用TF-TDF模型量化訓(xùn)練圖像各特征在詞匯樹(shù)中的分布情況，本文詞匯樹(shù)各節(jié)點(diǎn)權(quán)值計(jì)算采用文獻(xiàn)[7]的計(jì)算方法.

(3)

其中，mi,j為視覺(jué)單詞Fi在圖像Pj中出現(xiàn)的次數(shù)，N為訓(xùn)練圖像的總數(shù)，ni為包含視覺(jué)單詞Fi的訓(xùn)練圖像數(shù)目.

依據(jù)生成的詞匯樹(shù)，可將圖像特征表示轉(zhuǎn)化為視覺(jué)單詞表示.具體過(guò)程為：對(duì)于圖像中提取的某特征點(diǎn)，計(jì)算其與視覺(jué)詞典中各個(gè)視覺(jué)單詞間的距離，找到距離最近的視覺(jué)單詞代替此底層特征.對(duì)圖像所有提取的特征點(diǎn)重復(fù)上述步驟，并通過(guò)統(tǒng)計(jì)圖像中每個(gè)視覺(jué)單詞出現(xiàn)的頻次得到該圖像的視覺(jué)詞匯直方圖.通過(guò)TF-TDF模型量化，圖片可由向量[w1,j,w2,j,w3,j,w4,j…,wM-1,j,wM,j]表示.

視覺(jué)詞袋模型忽略了圖像視覺(jué)單詞之間的空間分布信息.SPM采用多尺度的分塊方法，即將特征空間劃分為不同尺度0,1,…,L，在尺度l下特征空間的每一維劃出2l個(gè)細(xì)分區(qū)域.在每個(gè)尺度下計(jì)算每個(gè)細(xì)分子區(qū)域內(nèi)的直方圖，每層金字塔的提取方式和分塊直方圖類(lèi)似，當(dāng)L=0時(shí)，即為詞袋模型的情景.SPM將圖像劃分為金字塔各個(gè)水平上需逐漸精細(xì)的網(wǎng)格序列，然后分別計(jì)算各個(gè)子區(qū)域的詞典直方圖向量，將不同層次、不同區(qū)域的直方圖向量組合起來(lái)，以此作為圖像的表示.這樣雖然考慮了特征點(diǎn)的空間信息，但是SPM限制了目標(biāo)在圖像中出現(xiàn)的方位，當(dāng)圖像目標(biāo)出現(xiàn)旋轉(zhuǎn)、平移和縮放變化時(shí)，匹配精確度就會(huì)受到比較大的影響.

在GIS中，空間關(guān)系具有尺度、認(rèn)知、層次、拓?fù)涞忍卣?本文針對(duì)空間金字塔模型的缺陷，提出了基于特征點(diǎn)群相似度計(jì)算模型的圖像表示方法.該方法通過(guò)計(jì)算特征點(diǎn)群之間的空間拓?fù)湎嗨贫?、距離相似度和方向相似度對(duì)圖像進(jìn)行篩選，并圍繞由特征點(diǎn)群計(jì)算得到的標(biāo)準(zhǔn)差橢圓的中心以及旋轉(zhuǎn)角度來(lái)調(diào)整SPM對(duì)圖像子區(qū)域的劃分，以進(jìn)一步增強(qiáng)圖像分類(lèi)檢索的準(zhǔn)確性.

2 基于特征點(diǎn)群相似度計(jì)算模型的圖像表示方法

2.1 基于FREAK特征的層級(jí)式聚類(lèi)

FREAK是二進(jìn)制描述符，二進(jìn)制向量漢明空間一般采用漢明距離衡量二進(jìn)制特征差異.在對(duì)二進(jìn)制向量進(jìn)行聚類(lèi)的過(guò)程中，需要將這些二進(jìn)制向量分成K份，每一份用一個(gè)均值向量表示，也就是所謂的聚類(lèi)中心.

文獻(xiàn)[8]證明了漢明空間存在密集邊緣特性，同時(shí)由于漢明距離中心不具有明顯的區(qū)分性，二進(jìn)制向量聚類(lèi)也無(wú)法求出理想的聚類(lèi)中心.為了有效克服這些問(wèn)題，本文采取512維的FREAK特征，避免了邊緣密集特征，用概率中心與詞匯樹(shù)節(jié)點(diǎn)替代原始二進(jìn)制中心向量[9]進(jìn)行關(guān)聯(lián)，能有效量化特征分布情況.

2.2 特征點(diǎn)群相似度計(jì)算模型

當(dāng)通過(guò)詞匯樹(shù)進(jìn)行粗篩選后，得到與待匹配圖像距離較為接近的一些訓(xùn)練圖像.由于詞袋模型對(duì)特征點(diǎn)空間信息的描述有缺失，此時(shí)，可能會(huì)在結(jié)果集中遇到僅僅與直方圖統(tǒng)計(jì)結(jié)果近似，但實(shí)際卻不是同一目標(biāo)的結(jié)果.

由此，需要分析特征點(diǎn)的空間位置分布，進(jìn)一步提高對(duì)圖像描述的準(zhǔn)確性.點(diǎn)群目標(biāo)是空間分布分析的重要研究對(duì)象，點(diǎn)群目標(biāo)的拓?fù)潢P(guān)系、距離關(guān)系、方向關(guān)系、分布范圍和分布密度等是對(duì)空間點(diǎn)群相似度整體度量的重要參考.特征點(diǎn)群的分布具有一定的規(guī)律性，同一個(gè)目標(biāo)物體所在的圖片提取的點(diǎn)群分布其點(diǎn)群之間的拓?fù)潢P(guān)系、方向關(guān)系和距離關(guān)系具有相似性.在圖像規(guī)格相差不大，同一目標(biāo)物體發(fā)生旋轉(zhuǎn)、平移、縮放變化的情況下，提取的特征點(diǎn)群的拓?fù)洹⒎较蚝途嚯x表示如圖1所示.

圖1 特征點(diǎn)群相似度示意圖Fig.1 Similarity of keypoints

圖1中彩色塊代表的是特征點(diǎn)周?chē)腣oronoi鄰居，可以作為特征點(diǎn)群的拓?fù)溧従觼?lái)衡量點(diǎn)群的拓?fù)潢P(guān)系.根據(jù)特征點(diǎn)群計(jì)算得到的標(biāo)準(zhǔn)差橢圓，其大小和方向反映了特征點(diǎn)群的分布形狀和分布方向等信息，即可以代表圖像中目標(biāo)主體的大小位置和朝向，并且平移和旋轉(zhuǎn)不變形.

因此，本文就從拓?fù)?、方向、距離三方面對(duì)特征點(diǎn)群相似度進(jìn)行度量.通過(guò)對(duì)特征點(diǎn)群相似度的計(jì)算，從粗篩選結(jié)果中過(guò)濾掉特征點(diǎn)群相似度較差的訓(xùn)練圖像.同時(shí)，根據(jù)特征點(diǎn)群計(jì)算得到的標(biāo)準(zhǔn)差橢圓，通過(guò)其圓心所在位置以及旋轉(zhuǎn)角度，進(jìn)一步改進(jìn)SPM多尺度下細(xì)分區(qū)域的劃分，得到抗旋轉(zhuǎn)、平移和縮放的圖像表示.處理過(guò)程如圖2所示.

圖2 系統(tǒng)流程示意圖Fig.2 System flow

2.2.1 特征點(diǎn)群拓?fù)湎嗨贫?/p>

對(duì)于特征點(diǎn)群之間的拓?fù)潢P(guān)系判定，本文采用的是Voronoi鄰居作為點(diǎn)群拓?fù)湫畔⒌拿枋鰠?shù).不同于地理空間中拓?fù)潢P(guān)系的判定，柵格圖像中距離的界定無(wú)統(tǒng)一標(biāo)準(zhǔn)，而采用Voronoi鄰居作為點(diǎn)群拓?fù)湫畔⒌拿枋?，其鄰居個(gè)數(shù)不需要人為固定，也不需要考慮特征點(diǎn)之間距離的絕對(duì)關(guān)系，同時(shí)對(duì)于尺度和密度變化具有一定適應(yīng)性[10].

點(diǎn)群P1和點(diǎn)群P2的拓?fù)湎嗨贫扰卸ú捎梦墨I(xiàn)[11]的計(jì)算公式：

(3)

2.2.2 特征點(diǎn)群方向相似度

GIS中對(duì)于空間點(diǎn)群模式一般會(huì)從點(diǎn)的疏密、方位、數(shù)量、大小等多角度進(jìn)行考察.標(biāo)準(zhǔn)差橢圓就是同時(shí)對(duì)點(diǎn)的方位和分布進(jìn)行分析的一種經(jīng)典算法.它可以從二維的角度對(duì)特征點(diǎn)的分布方向的偏離大小以及分布形狀等空間信息進(jìn)行描述[12].

圖像特征點(diǎn)群的方向會(huì)隨著圖像的旋轉(zhuǎn)發(fā)生一定的變化，因此在計(jì)算2幅圖像特征點(diǎn)群方向相似度時(shí)，不能直接用計(jì)算得到的標(biāo)準(zhǔn)差橢圓的方向進(jìn)行度量.本文綜合考慮特征點(diǎn)群方向以及特征點(diǎn)群的特征主方向，用計(jì)算得到的2個(gè)方向之間的夾角進(jìn)行方向相似度度量.

2.2.2.1 FREAK特征點(diǎn)主方向

在采樣點(diǎn)對(duì)中選取45個(gè)長(zhǎng)的、對(duì)稱的采樣點(diǎn)對(duì)來(lái)提取特征點(diǎn)的方向，因而提高了FREAK算法的速度，內(nèi)存占用也可大大降低.本文采用文獻(xiàn)[5]的公式計(jì)算FREAK特征方向.

(4)

FREAK特征點(diǎn)主方向代表了該特征點(diǎn)主要的梯度變化方向.本文對(duì)圖像中所有獲取的特征點(diǎn)進(jìn)行特征方向計(jì)算，得到梯度方向后，使用直方圖進(jìn)行統(tǒng)計(jì).直方圖的橫軸是梯度方向的角度，為0°～360°，每36°一個(gè)柱共10個(gè)柱；縱軸為梯度方向統(tǒng)計(jì)數(shù)量，直方圖的峰值就是該幅圖像特征點(diǎn)群的主方向.

2.2.2.2 標(biāo)準(zhǔn)差橢圓

標(biāo)準(zhǔn)差橢圓的生成算法包含了3個(gè)重要因素：圓心、旋轉(zhuǎn)角度和XY軸的長(zhǎng)度[11].計(jì)算步驟如下：

(i) 由橢圓圓心直接計(jì)算算術(shù)平均：

(5)

其中，xi和yi是每個(gè)要素在圖像上的位置信息.

(ii) 確定橢圓的方向，即計(jì)算旋轉(zhuǎn)角度.

(6)

(iii) 確定XY軸的長(zhǎng)度，即沿長(zhǎng)軸方向的標(biāo)準(zhǔn)差δx和短軸方向的標(biāo)準(zhǔn)差δy:

(7)

得到特征點(diǎn)群分布方向以及特征點(diǎn)群梯度方向統(tǒng)計(jì)值的主方向后，定義特征點(diǎn)群方向相似度：

SIM_dire=|cos((θ1-?1)-(θ2-?2))|,

(8)

其中，θ，?分別表示圖像的特征點(diǎn)群分布方向和特征點(diǎn)群梯度主方向.

2.2.3 特征點(diǎn)群距離相似度

特征點(diǎn)群距離相似度用于描述點(diǎn)群的集中程度，用標(biāo)準(zhǔn)差橢圓長(zhǎng)、短軸距離之比來(lái)度量.本文采用文獻(xiàn)[12]的計(jì)算公式：

(9)

其中，a1、b1和a2、b2分別為2個(gè)點(diǎn)群標(biāo)準(zhǔn)差橢圓的長(zhǎng)、短軸.

2.3 特征點(diǎn)群相似度計(jì)算

主要以特征點(diǎn)群之間的拓?fù)湎嗨贫取⒎较蛳嗨贫纫约熬嚯x相似度進(jìn)行度量.充分考慮了由圖像尺度變化、旋轉(zhuǎn)變化等因素造成的影響.在無(wú)顯著側(cè)重的條件下，取幾何平均進(jìn)行空間相似度計(jì)算：

(10)

用特征點(diǎn)群相似度計(jì)算的結(jié)果，進(jìn)一步篩選通過(guò)詞匯樹(shù)進(jìn)行的粗匹配結(jié)果，從而可以排除與目標(biāo)物體不一樣的圖像，同時(shí)，通過(guò)計(jì)算得到的標(biāo)準(zhǔn)差橢圓的圓心、旋轉(zhuǎn)角度，為金字塔匹配更好地劃分子區(qū)域提供依據(jù).

2.4 改進(jìn)的空間金字塔匹配

通過(guò)特征點(diǎn)群相似度計(jì)算得到標(biāo)準(zhǔn)差橢圓的圓心和旋轉(zhuǎn)角度，由此可以得到目標(biāo)物體在圖像中的位置和朝向.本文以橢圓圓心為劃分中心，通過(guò)旋轉(zhuǎn)角度對(duì)坐標(biāo)軸進(jìn)行旋轉(zhuǎn)，以調(diào)整金字塔匹配圖像子區(qū)域的劃分.通過(guò)改善金字塔匹配方法，得到抗旋轉(zhuǎn)、平移和縮放的圖像表達(dá)，并用于進(jìn)一步的匹配工作.改進(jìn)劃分示意圖如圖3所示.

圖3 金字塔匹配調(diào)整示意圖Fig.3 The adjustment of SPM

3 實(shí)驗(yàn)及分析

為了驗(yàn)證算法的正確性，在自建的建筑物圖像數(shù)據(jù)集上進(jìn)行了相關(guān)的實(shí)驗(yàn).

實(shí)驗(yàn)中，以浙江大學(xué)紫金港校區(qū)建筑物數(shù)據(jù)集中的數(shù)據(jù)為例，包括20類(lèi)建筑物圖片，每一類(lèi)10張共200張.首先，對(duì)圖像集中的20類(lèi)建筑物圖像進(jìn)行了特征點(diǎn)群相似度計(jì)算，初步得到屬于同一類(lèi)建筑物圖像之間特征點(diǎn)群相似度平均約為0.74，最小值為0.6.同時(shí)，對(duì)不同類(lèi)別的建筑物圖像進(jìn)行了抽樣計(jì)算，得到其特征點(diǎn)群相似度平均值約為0.4.為了獲得更好的查全率，以相似度0.6為特征點(diǎn)群相似度計(jì)算的臨界值，作為不同目標(biāo)圖片的篩選標(biāo)準(zhǔn)，用于進(jìn)一步過(guò)濾粗匹配的訓(xùn)練圖像.

對(duì)移動(dòng)端實(shí)時(shí)采集的圖像進(jìn)行分類(lèi)檢索，通過(guò)對(duì)分類(lèi)檢索的準(zhǔn)確率以及查全率進(jìn)行統(tǒng)計(jì)和比較，以驗(yàn)證本實(shí)驗(yàn)方法的抗旋轉(zhuǎn)、抗平移和抗縮放性能.用移動(dòng)端攝像頭分別對(duì)其中6類(lèi)建筑捕獲10幅圖像，計(jì)算每一幅圖像檢索分類(lèi)的準(zhǔn)確率和查全率，再取平均值作為實(shí)驗(yàn)的結(jié)果.

圖4 4類(lèi)建筑物圖像Fig.4 The four class of building images

實(shí)驗(yàn)部分?jǐn)?shù)據(jù)展示如圖4所示，從上至下分別為紫金港行政樓、安中大樓、蒙明偉樓和月牙樓. 準(zhǔn)確率以最終的分類(lèi)結(jié)果為準(zhǔn)；查全率為排名前10的候選圖像正確匹配數(shù)與所有訓(xùn)練的圖像數(shù)之比.

分別采用基于SPM的圖像表示方法和本實(shí)驗(yàn)方法對(duì)移動(dòng)端采集的圖像進(jìn)行分類(lèi)檢索，運(yùn)行結(jié)果如表1～2所示.

表1 建筑物數(shù)據(jù)集2種方法的分類(lèi)準(zhǔn)確率

表2 建筑物數(shù)據(jù)集2種方法的查全率

從表1和2中可以看出，總體上本實(shí)驗(yàn)的圖像表示方法的識(shí)別準(zhǔn)確率要高于基于SPM的圖像表示方法.在平均查全率上，本實(shí)驗(yàn)的圖像表示方法能更準(zhǔn)確地找到對(duì)應(yīng)的相似圖像.尤其是校園建筑物數(shù)據(jù)集中某類(lèi)別的圖像出現(xiàn)旋轉(zhuǎn)、平移和縮放變化時(shí)，如對(duì)于安中大樓、行政樓等建筑圖像，本實(shí)驗(yàn)方法的識(shí)別準(zhǔn)確率、查全率要高于基于SPM的圖像表示方法.同時(shí)，實(shí)驗(yàn)中也發(fā)現(xiàn)，生命科學(xué)學(xué)院樓的準(zhǔn)確率和查全率是下降的.通過(guò)對(duì)實(shí)驗(yàn)數(shù)據(jù)的分析可知，生命科學(xué)學(xué)院建筑在圖像中主體不明顯，特征點(diǎn)群相似度計(jì)算結(jié)果誤差大，尤其是對(duì)于標(biāo)準(zhǔn)差橢圓的計(jì)算，最后導(dǎo)致了圖像檢索結(jié)果的偏差.

為了驗(yàn)證本文方法在處理圖像旋轉(zhuǎn)、平移和縮放上的優(yōu)勢(shì)，有針對(duì)性地建立了一些背景干凈，具有明顯旋轉(zhuǎn)、平移和縮放變化的物品圖像數(shù)據(jù)集20類(lèi)，每類(lèi)6幅共120幅圖像，部分?jǐn)?shù)據(jù)如圖5所示，分別為鑰匙、墨水盒、眼鏡、鼠標(biāo)等日常用品.實(shí)驗(yàn)選取其中4類(lèi)物體，分別采用基于SPM的圖像表示方法和本實(shí)驗(yàn)方法對(duì)圖像進(jìn)行分類(lèi)檢索.

通過(guò)移動(dòng)端在上述4類(lèi)物體中每類(lèi)采集10幅圖像，計(jì)算每一幅圖像檢索分類(lèi)的準(zhǔn)確率和查全率，再取平均值作為實(shí)驗(yàn)的結(jié)果，并進(jìn)行分析.

圖5 自建數(shù)據(jù)集中4類(lèi)圖像Fig.5 The four class of self-built image sets

類(lèi)別SPM本實(shí)驗(yàn)鑰匙1.0001.000墨水0.8001.000眼鏡1.0001.000鼠標(biāo)1.0001.000總體平均0.9501.000

表4 自建數(shù)據(jù)集2種方法查全率

由實(shí)驗(yàn)結(jié)果可知，無(wú)論是檢索準(zhǔn)確率還是查全率，本實(shí)驗(yàn)的結(jié)果基本都要優(yōu)于SPM，尤其當(dāng)墨水和眼鏡出現(xiàn)比較明顯的旋轉(zhuǎn)、平移和縮放變化時(shí).而對(duì)于無(wú)明顯縮放和平移的類(lèi)別，準(zhǔn)確率和查全率基本一致.表明基于本實(shí)驗(yàn)的圖像表示方法具有良好的抗旋轉(zhuǎn)、平移和縮放特征.

4 結(jié) 語(yǔ)

針對(duì)目前將空間位置信息引入圖像表示的SPM方法沒(méi)有考慮圖像中視覺(jué)物體的旋轉(zhuǎn)、平移和縮放變化，本文提出了基于特征點(diǎn)群相似度計(jì)算模型的圖像表示方法，利用特征點(diǎn)群相似度的計(jì)算，在詞匯樹(shù)粗匹配的基礎(chǔ)上，進(jìn)一步篩選特征點(diǎn)群分布相似度較高的圖像，同時(shí)，利用計(jì)算得到的標(biāo)準(zhǔn)差橢圓的圓心、旋轉(zhuǎn)角度調(diào)整空間金字塔匹配方法對(duì)子區(qū)域的劃分，得到了圖像抗旋轉(zhuǎn)、平移和縮放變化的表示.實(shí)驗(yàn)結(jié)果表明，相較基于SPM的圖像表示方法本文方法的分類(lèi)檢索準(zhǔn)確率和查全率更高；對(duì)于視覺(jué)物體具有明顯旋轉(zhuǎn)、平移和縮放變化的圖像，本文方法優(yōu)勢(shì)更加顯著.

但是，實(shí)驗(yàn)也發(fā)現(xiàn)，當(dāng)采集圖像中的建筑物主體發(fā)生較為嚴(yán)重的形變，或者只有建筑物主體一部分時(shí)，特征點(diǎn)群相似度的計(jì)算會(huì)受到影響，尤其是對(duì)于標(biāo)準(zhǔn)差橢圓的計(jì)算，會(huì)導(dǎo)致結(jié)果產(chǎn)生誤差.如對(duì)于浙江大學(xué)生命科學(xué)學(xué)院建筑的識(shí)別，會(huì)因特征點(diǎn)群相似度的計(jì)算對(duì)結(jié)果產(chǎn)生誤判.如何提高此類(lèi)數(shù)據(jù)的查詢準(zhǔn)確率是本方法亟待解決的問(wèn)題.

[1]NISTERD,STEWENIUSH.Scalablerecognitionwithavocabularytree[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. Washington: IEEE Computer Society,2006,2(10):2161-2168.

[2] LAZEBNIK S,SCHMID C,PONCE J.Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories[C]//IEEEComputerSocietyConferenceonComputerVision&PatternRecognition.Washington: IEEE Computer Society,2006:2169-2178.

[3] CALONDER M,LEPETIT V,OZUYSAL M,et al.BRIEF: Computing a local binary descriptor very fast[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2011,34(7):1281-1298.

[4] RUBLEE E,RABAUD V,KONOLIGE K,et al.ORB: An efficient alternative to SIFT or SURF[C]//IEEEInternationalConferenceonComputerVision. Washington: IEEE,2012:2564-2571.

[5] ALAHI A,ORTIZ R,VANDERGHEYNST P.FREAK: Fast retina keypoint[C]//IEEEConferenceonComputerVisionandPatternRecognition, Washington: IEEE,2012:510-517.

[6] 索春寶，楊東清，劉云鵬，等.多種角度比較SIFT、SURF、BRISK、ORB、FREAK算法[J].北京測(cè)繪，2014(4):23-26. SUO C B, YANG D Q, LIU Y P. Comparing SIFT, SURF, BRISK, ORB and FREAK in some different perspectives [J].BeijingSurveyingandMapping,2014(4):23-26.

[7] 陳赟,沈一帆.基于詞匯樹(shù)的圖片搜索[J].計(jì)算機(jī)工程,2010,36(6):189-191. CHEN Y,SHEN Y F. Image search based on vocabulary tree[J].ComputerEngineering,2010,36(6):189-191.

[8] TRZCINSKI T,LEPETIT V,FUA P.Thick boundaries in binary space and their influence on nearest-neighbor search[J].PatternRecognitionLetters,2011,33(16):2173-2180.

[9] 張運(yùn)超，陳靖，王涌天，等.基于移動(dòng)增強(qiáng)現(xiàn)實(shí)的智慧城市導(dǎo)覽[J].計(jì)算機(jī)研究與發(fā)展，2014,51(2):302-310. ZHANG Y C,CHEN J,WANG Y T,et al.Smart city guide using mobile augmented reality[J].JournalofComputerResearchandDevelopment,2014,51(2):302-310.

[10] 劉濤.空間群(組)目標(biāo)相似關(guān)系及計(jì)算模型研究[D].武漢：武漢大學(xué)，2011. LIU T.SimilarityofSpatialGroupObjects[D].Wuhan: Wuhan University,2011.

[11] 劉濤，杜清運(yùn)，閆浩文.空間點(diǎn)群目標(biāo)相似度計(jì)算[J].武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2011,36(10): 1149-1153. LIU T,DU Q Y,YAN H W.Spatial similarity assessment of point clusters[J].GeomaticsandInformationScienceofWuhanUniversity,2011,36(10): 1149-1153.

[12] 石丹丹.基于特征點(diǎn)空間關(guān)系的圖像檢索技術(shù)研究[D].南昌：南昌航空大學(xué),2013. SHI D D.ImageRetrievalTechnologyResearchbasedontheSpatialRelationsofFeaturePoints[D].Nanchang ：Nanchang Hangkong University,2013.

[13] 朱道廣，郭志剛，趙永威,等.基于空間上下文加權(quán)詞匯樹(shù)的圖像檢索方法[J].模式識(shí)別與人工智能,2013,26(11):1050-1056. ZHU D G,GUO Z G,ZHAO Y W.Image retrieval with spatial context weighting based vocabulary tree[J].PatternRecognitionandArtificialIntelligence,2013,26(11):1050-1056.

HE Jing1,2, LIU Renyi1,2, ZHANG Feng1,2, DU Zhenhong1,2, CHEN Yongpei1,2

(1.Zhejiang Provincial Key Lab of GIS，Zhejiang University，Hangzhou 310028，China；2.Department of Geographic Information Science，Zhejiang University，Hangzhou 310027，China)

To overcome the shortcoming of the Spatial Pyramid Matching (SPM) approach, which lacks invariance to translation, scale and rotation of visual objects in images, this paper proposes an image representation method based on the similarity of feature points. Firstly, it filters the rough matching result of bag-of-words by some properties including the topological similarity, the directional similarity and the distance similarity. Then, it adjusts the division of the image sub-regions according to the standard deviation ellipse center and the rotation angle of the feature points. Finally, the representation of anti-rotation, anti-translation and anti-scaling of image can be obtained. Experiments have been conducted by applying the proposed method to the campus building dataset and the object image dataset. It indicates that our method significantly improves the classification accuracy and recall ratio, especially for the dataset containing images with obvious rotation, translation and scaling transforms.

similarity of feature points; Voronoi diagram; standard deviational ellipse; FREAK feature description; spatial pyramid matching

10.3785/j.issn.1008-9497.2017.05.016

P 208

：A

：1008-9497(2017)05-599-07

2016-12-12.

測(cè)繪地理信息公益性行業(yè)科研專(zhuān)項(xiàng)(201512024)；國(guó)家自然科學(xué)基金資助項(xiàng)目(41671391,41471313)；國(guó)家科技基礎(chǔ)性工作專(zhuān)項(xiàng)(2012FY112300).

何敬(1991-)，ORCID:http://orcid.org/0000-0003-4164-442X,男，碩士研究生，主要從事移動(dòng)GIS基礎(chǔ)研究.

*通信作者，ORCID:http://orcid.org/0000-0001-9449-0415,E-mail：duzhenhong@zju.edu.cn.

Animagerepresentationmethodbasedonthesimilarityoffeaturepoints.Journal of Zhejiang University (Science Edition)，2017，44(5):599-605