宋小璇，劉敬浩，唐小容

（天津大學(xué) 電子信息工程學(xué)院，天津 300072）

圖像檢索技術(shù)在生產(chǎn)生活中被廣泛應(yīng)用。現(xiàn)存主流圖像檢索技術(shù)可大致分為基于文本檢索和基于內(nèi)容檢索兩種。基于文本的圖像檢索雖然可達(dá)到快速的檢索效果，但檢索準(zhǔn)確性過度依賴于人工對(duì)圖像的文本標(biāo)注等主觀因素[1]。相反，基于內(nèi)容圖像檢索則直接從圖像中提取特征信息，無需人工參與，保證了對(duì)圖像內(nèi)容理解的客觀性和檢索的準(zhǔn)確性。文中提出了一種基于圖像內(nèi)容檢索技術(shù)的地標(biāo)識(shí)別系統(tǒng)，用戶只需輸入采集的地標(biāo)圖片而不添加任何文本信息，系統(tǒng)就能檢索出與之對(duì)應(yīng)的地標(biāo)圖片并在相應(yīng)的地圖中給出位置信息。系統(tǒng)具有魯棒性和高準(zhǔn)確性。另外，系統(tǒng)采用層次化數(shù)據(jù)庫結(jié)構(gòu)和分級(jí)檢索方式，使得檢索效率大大提高。

1 地標(biāo)識(shí)別算法設(shè)計(jì)

系統(tǒng)通過提取的SURF特征搜尋地標(biāo)在數(shù)據(jù)庫中的最優(yōu)匹配，然后根據(jù)最優(yōu)匹配結(jié)果給出輸入地標(biāo)的定位信息。系統(tǒng)流程圖如圖1所示。

1.1 特征點(diǎn)提取和描述

圖1 地標(biāo)檢索系統(tǒng)框圖Fig.1 Block diagram of landmark recognition system

圖像的內(nèi)容可由圖像的局部特征很好地描述。高效的局部特征檢測算法主要包括Scale Invariant Feature Transform（SIFT），Speededuprobustfeatures（SURF）和 Affine-SIFT（ASIFT）。文中深入分析了3種算法的優(yōu)缺點(diǎn)并根據(jù)系統(tǒng)設(shè)計(jì)要求擇優(yōu)選擇，達(dá)到了準(zhǔn)確檢索的目的。

1）SIFT算法 SIFT算法[2-4]首先檢測圖像DOG金字塔中的極值點(diǎn)來確定特征點(diǎn)位置，而后采用特征點(diǎn)4×4區(qū)域內(nèi)方向直方圖作為特征描述符。DOG金字塔[2]建立方式如下：

SIFT特征對(duì)尺度、旋轉(zhuǎn)和光照變化和一定程度的仿射變換不敏感。

2）SURF算法 SURF[5]算法在特征點(diǎn)檢測方面，將圖像與高斯二階微分模板的濾波轉(zhuǎn)化為對(duì)積分圖像的加減運(yùn)算，使得檢測速度遠(yuǎn)遠(yuǎn)快于SIFT。另外，SURF采用6倍尺度大小的半徑范圍內(nèi)的哈爾小波響應(yīng)的極值來表示主方向，生成64維的特征向量，比SIFT減少一半。SURF保持了對(duì)尺度、旋轉(zhuǎn)、光照和一定程度上的仿射變換的魯棒性，但在速度方面遠(yuǎn)遠(yuǎn)高于SIFT。

3）ASIFT算法 SIFT和SURF對(duì)具有較大仿射變換的圖像會(huì)失去檢測效果，Affine-SIFT（ASIFT）[6]則是一個(gè)對(duì)仿射變換具有完全魯棒性的特征。然而，構(gòu)建全仿射變換空間極大地增加了計(jì)算量使得檢測時(shí)間高于SIFT的2倍以上。

通過實(shí)驗(yàn)比對(duì)，并綜合考慮了3種算法的檢測精度與檢測速度，系統(tǒng)折衷選擇了SURF算法。對(duì)比數(shù)據(jù)見實(shí)驗(yàn)部分。

1.2 數(shù)據(jù)庫檢索

系統(tǒng)根據(jù)SURF匹配特征點(diǎn)的數(shù)目，檢索數(shù)據(jù)庫中與輸入圖像的最優(yōu)匹配，從而為用戶提供其所攝景物的清晰圖片、所攝景物位置等信息。圖像的匹配通過關(guān)鍵點(diǎn)的匹配實(shí)現(xiàn)。由于系統(tǒng)采用了由粗到精的匹配模式，大大增加了匹配的準(zhǔn)確性。同時(shí)，系統(tǒng)對(duì)數(shù)據(jù)庫結(jié)構(gòu)及檢索方式也進(jìn)行了優(yōu)化。

1.2.1 關(guān)鍵點(diǎn)由粗到精匹配

粗匹配采用閾值判別的方式篩選匹配的特征點(diǎn)。一幅圖像中關(guān)鍵點(diǎn)與另一幅圖像中的關(guān)鍵點(diǎn)的歐式距離低于某個(gè)經(jīng)驗(yàn)性閾值，則接受這一對(duì)匹配點(diǎn)。而后，系統(tǒng)采用隨機(jī)取樣一致性算法[7]（RANSAC：random sample consensus）去除粗匹配中的誤匹配點(diǎn)。效果如圖2所示。從圖中看出，精匹配有效地去除了誤匹配點(diǎn)，使匹配結(jié)果更加準(zhǔn)確。

圖2 剔除誤匹配點(diǎn)過程Fig.2 Process of excluding mismatch-point

1.2.2 數(shù)據(jù)庫結(jié)構(gòu)及檢索方式優(yōu)化

為提高對(duì)數(shù)據(jù)庫的檢索效率，系統(tǒng)建立了一種層次化的數(shù)據(jù)庫結(jié)構(gòu)，并采用分級(jí)的檢索方式。數(shù)據(jù)庫圖片分為2個(gè)優(yōu)先級(jí)。每個(gè)地標(biāo)景點(diǎn)中根據(jù)拍攝角度和光照情況選取5張有代表性的作為第一級(jí)，其具有最高優(yōu)先級(jí)；其他圖片作為第二級(jí)，都分屬于第一級(jí)每個(gè)圖片的子類，其優(yōu)先級(jí)低于核心圖片。檢索時(shí)，先對(duì)第一優(yōu)先級(jí)檢索進(jìn)行粗檢索，而后對(duì)其對(duì)應(yīng)的子類進(jìn)行精檢索。這樣的設(shè)計(jì)避過了輸入圖像和不可能的圖像匹配，檢索時(shí)間比采用遍歷數(shù)據(jù)庫檢索耗時(shí)減少30%以上。對(duì)比結(jié)果見實(shí)驗(yàn)數(shù)據(jù)部分。

2 實(shí)驗(yàn)及結(jié)果分析

為測試文中提出的算法，筆者將算法應(yīng)用在天津大學(xué)地標(biāo)識(shí)別中。實(shí)驗(yàn)測試了對(duì)天津大學(xué)校園內(nèi)30個(gè)地標(biāo)的識(shí)別和精確定位。系統(tǒng)輸入為用戶在任意角度、光照條件下拍攝地標(biāo)的圖片，輸出為地標(biāo)及其所在地域平面俯視圖中的位置。

2.1 特征提取算法性能比較

1）精確度 為測試SIFT、SURF、ASIFT 3種算法檢索精確度，實(shí)驗(yàn)分別針對(duì)尺度縮放、平移旋轉(zhuǎn)、光照變換和仿射變換4種情況，從測試的圖片中抽取出有代表性的分為4組，每組圖片包含6張圖片。在每組圖片中選定一張為目標(biāo)圖片，分別使用3種算法與其余5張進(jìn)行匹配，得到的匹配點(diǎn)數(shù)目比較結(jié)果如圖3所示。其中橫坐標(biāo)為待匹配的圖片編號(hào)，縱坐標(biāo)為匹配點(diǎn)數(shù)目。從圖3中可以看出，實(shí)驗(yàn)數(shù)據(jù)顯示的精確度與理論分析一致。

2）檢測速度 為了比較3種特征提取算法的速度，文中對(duì)數(shù)據(jù)庫中每一組地標(biāo)任意選取一張圖片與該組其他圖片進(jìn)行匹配，并對(duì)所有時(shí)間數(shù)據(jù)，統(tǒng)計(jì)3種算法的均值和方差。結(jié)果如表1所示，從表中可以看出，SURF算法顯示出極大的速度優(yōu)勢，而ASIFT算法與其差距甚大。

2.2 系統(tǒng)性能分析

為了測試提出的算法框架，文中把該系統(tǒng)應(yīng)用在天津大學(xué)內(nèi)部地標(biāo)識(shí)別中。系統(tǒng)數(shù)據(jù)庫包括天津大學(xué)校園內(nèi)標(biāo)志性地標(biāo)建筑物剪影共1 200張 （共有30處景點(diǎn)，每個(gè)景點(diǎn)40張），數(shù)據(jù)采集綜合考慮到光照、旋轉(zhuǎn)、仿射等因素影響，分別在不同時(shí)間點(diǎn)，不同角度進(jìn)行數(shù)據(jù)的采集。文中通過魯棒性、檢索速度、準(zhǔn)確性3個(gè)指標(biāo)對(duì)系統(tǒng)性能進(jìn)行評(píng)定。

圖3 3種算法的比較Fig.3 Comparison of three algorithms

表1 圖像匹配時(shí)間比較Tab.1 Contrast of matching time

1）系統(tǒng)魯棒性

系統(tǒng)的魯棒性表現(xiàn)在對(duì)圖片的尺度縮放、平移旋轉(zhuǎn)、光照變化、仿射變換不敏感。圖4中分別列舉出在這4種情況下系統(tǒng)的檢索性能。每一行的第一張圖片為目標(biāo)圖片，其余4張為檢索結(jié)果。從圖中可以看出，系統(tǒng)對(duì)尺度變換、旋轉(zhuǎn)平移、光照變化和仿射變換都有很好的魯棒性，檢索結(jié)果準(zhǔn)確。

2）系統(tǒng)檢索速度

由于采用了層次化的數(shù)據(jù)庫結(jié)構(gòu)及由粗到精的檢索方式，數(shù)據(jù)庫檢索時(shí)間比采用數(shù)據(jù)庫遍歷檢索所需時(shí)間提高了30%以上。表2給出了對(duì)比數(shù)據(jù)，其中遍歷檢索使用的是耗時(shí)最少的SURF算法。

圖4 不同實(shí)驗(yàn)條件下的系統(tǒng)檢索Fig.4 Searching result of the system under condition of different experiments

表2 系統(tǒng)檢索時(shí)間對(duì)比Tab.2 Contrast of the system retrieval time

3）系統(tǒng)的準(zhǔn)確性

為了測試系統(tǒng)的準(zhǔn)確性，對(duì)每一次檢索結(jié)果進(jìn)行統(tǒng)計(jì)：系統(tǒng)界面中排在第1位的圖片 （即與目標(biāo)圖片最相似的圖片）正確率為98.4%，排在第2位的正確率是93.5%，排在第3位的正確率是89.3%，排在第4位的正確率是84.5%。

3 結(jié)束語

文中設(shè)計(jì)實(shí)現(xiàn)了一個(gè)地標(biāo)識(shí)別系統(tǒng)，用戶任意輸入一張標(biāo)志性建筑物圖片，該系統(tǒng)可以自動(dòng)識(shí)別該地標(biāo)，并在地圖上對(duì)地標(biāo)進(jìn)行精確定位。在校園內(nèi)實(shí)驗(yàn)測試表明，該系統(tǒng)具有高準(zhǔn)確性和魯棒性。此外，系統(tǒng)具有良好的擴(kuò)展性，增大數(shù)據(jù)庫的規(guī)模可以實(shí)現(xiàn)城市或全國的景點(diǎn)地標(biāo)檢索。未來的工作將集中在使用k-d樹來進(jìn)一步增加系統(tǒng)的速度，增加網(wǎng)絡(luò)支持及擴(kuò)大數(shù)據(jù)庫到省級(jí)或全國范圍內(nèi)地標(biāo)3個(gè)方面。

[1]李向陽，莊越挺，潘云鶴.基于內(nèi)容的圖像檢索技術(shù)與系統(tǒng)[J].計(jì)算機(jī)研究與發(fā)展，2001，28（3）：344-354.LI Xiang-yang，ZHUANG Yue-ting，PAN Yun-he.The technique and systems of content-based image retrieval[J].Journal of Computer Research&Development，2001，28（3）:344-354.

[2]Lowe D G.Object recognition from local scale-invariant features[C]//The Proceedings of the IEEE International Conference on Computer Vision，Corfu:IEEE，1999:1150-1157.

[3]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60（2）:91-110.

[4]吳銳航，李紹滋，鄒豐美.基于SIFT特征的圖像檢索[J].計(jì)算機(jī)應(yīng)用研究，2008，25（2）：478-481.WU Rui-hang，LI Shao-zi，ZOU Feng-mei.Image retrieval based on SIFT features[J].Application Research of Computer，2008，25（2）:478-481.

[5]Bay H，Tuytelars T，Van G L.Speeded-Up Robust Features（SURF）[J].Computer Vision and Image Understanding，2008（110）:346-359.

[6]Morel J M，Yu G.ASIFT:a new framework for fully affine invariant image comparison[J].SIAM Journal on Imaging Sciences，2009，2（2）:438-469.

[7]Fishier M A，Bolles R C.Random sample consensus:a paradigm for model fitting with application to image analysis and automated cartorgraphy[J].Communication of the Association Machine，1981，24（6）:381-395.