趙謙

目前，檢索技術(shù)已成為應(yīng)用的熱點，人們對于檢索的需求也不斷提高。快速整合的檢索能力，支持混合檢索并提供友好的查詢界面，向用戶提供多種用途的檢索服務(wù)，適應(yīng)網(wǎng)絡(luò)化、智能化和個性化的檢索方式是視音頻內(nèi)容檢索實現(xiàn)的目標(biāo)。為適應(yīng)這一要求，特就基于內(nèi)容的圖像檢索（CBIR）有關(guān)技術(shù)應(yīng)用并利用這一技術(shù)就百度和Google兩大搜索引擎的功能進(jìn)行調(diào)查分析。

一、基于內(nèi)容的圖像檢索（Content-based Image Retrieval）

從20世紀(jì)70年代開始，有關(guān)圖像檢索的研究就已開始，當(dāng)時主要是基于文本的圖像檢索技術(shù)（Text-based Image Retrieval，簡稱TBIR），利用文本描述的方式描述圖像的特征，如繪畫作品的作者、年代、流派、尺寸等。目前還在廣泛使用，一張照片，配以文字說明照片拍攝的時間、地點、事件的主要內(nèi)容等。

到90年代以后，出現(xiàn)了對圖像的內(nèi)容語義，如圖像的顏色、紋理、布局等，利用這些語義內(nèi)容對圖像進(jìn)行分析和檢索的技術(shù)，即基于內(nèi)容的圖像檢索（Content-based Image Retrieval，簡稱CBIR）技術(shù)。此技術(shù)屬于圖像分析的一個研究領(lǐng)域。

圖像內(nèi)容可以分為兩類：①低層視覺，其內(nèi)容主要包括顏色、形狀、紋理等；②語義內(nèi)容，它包含高層的概念級反應(yīng)（如大漠孤煙直，長河落日圓），需要對物體進(jìn)行識別和解釋，往往要借助人類的知識推理。

二、CBIR的檢索原理和建立索引的方式

2.1 CBIR的檢索原理

CBIC的檢索原理主要包括三方面：（1）對用戶需求的分析和轉(zhuǎn)化，形成可以檢索索引數(shù)據(jù)庫的提問；（2）收集和加工圖像資源，提取特征，分析并進(jìn)行標(biāo)引，建立圖像的索引數(shù)據(jù)庫；（3）根據(jù)相似度算法，計算用戶提問與索引數(shù)據(jù)庫中記錄的相似度大小，提取出滿足閾值的記錄作為結(jié)果，按照相似度降序的方式輸出。

2.2建立索引的方式

建立索引的方式是通過提取底層特征，然后通過計算比較這些特征和查詢條件之間的距離，來決定兩個圖片的相似程度：

1、提取特征值：利用一些數(shù)學(xué)規(guī)則（公式），把圖像進(jìn)行一個量化的描述，按照色彩、形狀、圖案、紋理等不同要求，把一張圖片轉(zhuǎn)化為一組數(shù)字，稱其為特征值。由于是采用的同樣的規(guī)則，所以每一張圖片都能提取出一組特征值。

2、特征值的比對：由于采用的規(guī)則是相同的，如果兩張圖片是一樣的，提取的特征值也會相同，這樣就可以把兩張圖片的內(nèi)容比較轉(zhuǎn)化為兩組特征值的數(shù)字比較，也就是用數(shù)字量的比較代替了模擬量的比較：a、如果兩張圖片是相似的，提取的特征值也是相近的；b、如果兩張圖片相差很大，其特征值也會有很大的差距。

3、結(jié)合語義分析：相同特征值的圖片不一定就是相同的內(nèi)容，結(jié)合圖片的語義進(jìn)行分析判斷單純使用圖像的底層特征值，容易產(chǎn)生混淆，因為不同的圖像也會有近似的特征組合。低層的特征并不直接代表圖像的語義信息，還需要抽取圖像的語義特征。采用了相關(guān)文字信息來表征圖像的語義特征，比如：時間、產(chǎn)品特點、創(chuàng)作人、聯(lián)系方式等。通過使用文字信息，使不同類別、不同名稱之間的圖像有了明顯的區(qū)分，避免了混淆，提高了檢索精度。

三、關(guān)于CBIR的調(diào)查

3.1基于圖像內(nèi)容的搜索引擎及其評價

目前國際上已經(jīng)有很多頂級企業(yè)如Google、Bing、Ebay、Amazon等進(jìn)軍CBIR的領(lǐng)域。Google連續(xù)投資或收購了Plink、Pixazza、Like三家公司，累計金額超過1億2千萬美元；蘋果則收購了人臉視覺搜索Polar Rose；微軟也在Bing上大力推廣圖像相似搜索。

⑴：TinEyehttp：//tineye.com/TinEye是加拿大Idée公司研發(fā)的相似圖片搜索引擎，其特點是：1、發(fā)現(xiàn)圖片的來源與相關(guān)信息；2、研究追蹤圖片信息在互聯(lián)網(wǎng)的傳播；3、找到高分辨率版本的圖片；4、找到有你照片的網(wǎng)頁；5、看看這張圖片有哪些不同版本。

⑵：百度http：//shitu.baidu.com 百度正式上線了其最新的搜索功能——“識圖（shitu.baidu.com）。該功能是百度基于相似圖片識別技術(shù)，讓用戶通過上傳本地圖片或者輸入圖片的URL地址之后，百度再根據(jù)圖像特征進(jìn)行分析，進(jìn)而從互聯(lián)網(wǎng)中搜索出與此相似的圖片資源及信息內(nèi)容。但需要注意的是，用戶上傳本地圖片時，圖片的文件要小于5M，格式可為JPG、JPEG、GIF、PNG、BMP等圖片文件。

⑶：GazoPahttp：//www.gazopa.com/GazoPa搜索圖片時，不依據(jù)關(guān)鍵詞進(jìn)行檢索，而是通過圖片自身的某些特征（例如色彩，形狀等信息）來進(jìn)行搜索。

GazoPa搜索有兩大特色：一是通過手繪圖片搜索圖片，這種方式其實沒太大用處，但也算是一個很有獨創(chuàng)性的搜索引擎。GazoPa目前還處在內(nèi)測階段，想要加入測試的可以在官網(wǎng)上留下你的郵箱地址，收到邀請后你就可以測試使用了。二是通過視頻縮略圖搜索視頻，GazoPa僅憑一張視頻縮略圖就可找到相關(guān)視頻。只要有截圖，就可以找到截圖的視頻。

⑷：Googlehttp：//similar-images.googlelabs.com/Google實驗室的圖片搜索：輸入一個關(guān)鍵詞后，例如“l(fā)ake”，返回的頁面里面點擊某個圖片的下面的Similar images，運(yùn)用Google 類似圖片搜索功能引擎，即刻為你把類似的圖片全部搜索出來，展示給用戶以便查看。其準(zhǔn)確率、相似率相對比較高。

⑸：Picituphttp：//www.picitup.com/Picitup是一個剛開始公測的專業(yè)圖片搜索引擎，功能非常強(qiáng)大，并支持中文關(guān)鍵字的搜索，是國內(nèi)圖片愛好者的不錯選擇。Picitup主要支持關(guān)鍵字的搜索，但在它的特色搜索項目——名人匹配搜索（Celebritymatchup）中，你可以通過上傳本地照片來進(jìn)行搜索，不過結(jié)果一般讓人失望。Picitup可以通過在搜索結(jié)果頁選擇過濾方式來篩選圖片，比如可以按顏色、頭像（人臉）、風(fēng)景、產(chǎn)品四種類別來過濾搜索結(jié)果。

⑹：Tiltomohttp：//www.tiltomo.com/Tiltomo是由 Flickr開發(fā)的一個搜索工具，主要用來維護(hù)Flickr 自己的圖片數(shù)據(jù)庫，其搜索算法主要是基于相似的主題風(fēng)格或相似的色調(diào)和材質(zhì)。

⑺：Incognahttp：//www.incogna.comIncogna的搜索速度非?？?，主要是基于色彩和形狀上的相似性。

⑻：Terragalleriahttp：//www.terragalleria.comTerragalleria主要基于視覺上的相似性，而不考慮圖片的內(nèi)容。

⑼：必應(yīng)http：//cn.bing.com/ Bing.com允許你進(jìn)行一次關(guān)鍵字搜索后再執(zhí)行相似性的搜索。你可以為Live索引中的任意一張圖片尋找相似的圖片，但搜索結(jié)果看起來并不是很精確。

3.2搜索引擎調(diào)查對象

這次調(diào)查從兩個圖像搜索功能比較強(qiáng)大的的搜索引擎網(wǎng)站百度和Google進(jìn)行

四、百度識圖與Google以圖搜圖

4.1關(guān)于調(diào)查內(nèi)容

此次調(diào)查一共選用約58張圖片。網(wǎng)上下載圖片42張：人物圖片共14張，其中男女性明星各7張；植物圖片共6張，其中花朵3張，樹木3張；風(fēng)景圖共22張，校園風(fēng)景圖6張，風(fēng)景16張。數(shù)碼相機(jī)拍攝照片16張：人物共10張，寵物4張，二維碼2張。

4.2百度識圖

下載圖片：14張知名人物圖片的搜索結(jié)果中，男性明星中有6張可以搜索出人物姓名并提供圖中人物的詳細(xì)介紹，未能搜索出人物姓名的那張圖片給出的結(jié)果“背帶嬰兒”這幅圖片是此男星斜背吉他，與“背帶”也有一定的關(guān)系。其中有1張是一個國外明星的背影圖片，而搜索結(jié)果中依然能夠給出了人物名稱。而7張女星圖片的搜索結(jié)果中中都可以得出搜索姓名，其中有4名中國女星，3名外國女星。其中1幅圖片是電影《成長教育》的截圖，搜索結(jié)果中不僅給出了圖中人物的名字，同時還提到了這部電影的名稱。6張植物圖片的搜索結(jié)果中都可以得出詳細(xì)的植物名稱。圖片選用了1張鐵桿海棠，2張西府海棠，1張龍爪槐，2張白楊樹。其中對鐵桿海棠的搜索結(jié)構(gòu)中出現(xiàn)了“鐵桿海棠”一詞。西府海棠中出現(xiàn)“西府海棠”“櫻花”兩種結(jié)果，這兩種花型較為相似，人肉眼也不好區(qū)分。在對龍爪槐的搜索中能準(zhǔn)確顯示“龍爪槐”，而兩張白楊樹均顯示“山藥”“甘蔗”等結(jié)果。6張大學(xué)校園圖片中有4張可以顯示出大學(xué)的名字，另外2張分別顯示的是“大學(xué)校園”和“建筑”。圖片選用了2張北京大學(xué)的圖片，其中博雅塔1張，西門1張；選用了3張山東大學(xué)的圖片，其中洪家樓教堂1張，軟件學(xué)院大門1張，中心校區(qū)餐廳1張；選用1張南京大學(xué)圖片，內(nèi)容是南京大學(xué)北大樓。博雅塔圖片能給出“校園”標(biāo)簽，但是沒有顯示北京大學(xué)，在類似圖片中給出了多張博雅塔的圖片。西校門的搜索結(jié)果中有“北京大學(xué)”的搜索結(jié)果。3張山東大學(xué)的圖片中，其中軟件學(xué)院圖片結(jié)果中可以得出“山東大學(xué)”的介紹。洪家樓教堂的搜索結(jié)果中出現(xiàn)“西式教堂”的搜索結(jié)果，但沒有出現(xiàn)“山東大學(xué)”條目。中心校區(qū)餐廳則只給出了“建筑”的結(jié)果。在南京大學(xué)的圖片中只給出了“校園”的條目16張風(fēng)景圖片中全部都可以找到相似圖片，部分搜索結(jié)果給出了風(fēng)景區(qū)的名稱。采用海洋2張，霞光4張，河流4張，海灘2張，山川4張。其中，2張海洋圖片均為馬爾代夫天堂島的圖片，在搜索結(jié)果中，其中1張可以準(zhǔn)確顯示“天堂島”搜索結(jié)果。霞光圖片3幅朝霞，1幅晚霞，晚霞圖片可以準(zhǔn)確得到的“晚霞”搜索結(jié)果，3張朝霞圖片均顯示“霞光”。河流圖片中，1張黃河壺口瀑布圖片，1張長江瞿塘峽圖片，另外2張分別是長江黃河流域源頭的圖片。其中壺口瀑布的圖片可以準(zhǔn)確得出“壺口瀑布”的搜索結(jié)果，瞿塘峽圖片也可以準(zhǔn)確得出“瞿塘峽”的搜索結(jié)果，長江源頭圖片得出“長江流域”的顯示結(jié)果，黃河源頭的圖片沒有顯示結(jié)果，而海灘和山川也分別顯示出不同程度的結(jié)果。

自己拍攝的圖片：10張人物圖片有6張可以搜索出類似特征，4張無法搜索出結(jié)果。其中有6張女性圖片，4張男性圖片。女生圖片中4張給出了“美女”“古典美女”等搜索結(jié)果，另外2張無搜索結(jié)果。4張男性圖片中，2張顯示搜索結(jié)果是“土豪”“墨鏡男”，另外2張無顯示結(jié)果。4張寵物圖片可以搜索出寵物的品種。采用2張?zhí)┑先畧D片，2張貓咪的圖片。2張?zhí)┑先乃阉鹘Y(jié)果中均給出了“貴賓”“泰迪”的搜索結(jié)果，貓咪圖片的索索結(jié)果顯示為“貓咪”“萌寵”“動物”等。2張二維碼圖片可以顯示二維碼的搜索結(jié)果，但無法搜索出其代表含義。2張二維碼的內(nèi)容分別“你好”“再見”，搜索引擎能顯示“二維碼”“二維碼 手機(jī)”的搜索結(jié)果，但是卻沒有讀出其中包含的信息。

3.3 Google以圖搜圖

下載圖片：14張知名人物圖片搜索結(jié)果中全部都可以可以搜索出人物姓名并給出詳細(xì)介紹，和百度不同的是，Google給出的是“對圖片的最佳猜測”，而百度給出的是多種標(biāo)簽。百度的搜索結(jié)果相對寬泛一點，而Google的搜索結(jié)果相對精準(zhǔn)一點。那張國外明星的背影圖片，Google同樣也給出了搜索結(jié)果。那張在百度搜索結(jié)果顯示為“背帶嬰兒”的照片，Google沒有給出結(jié)果，但下面的搜索條目中出現(xiàn)了此明星的名字。對于國內(nèi)某知名影星的1張賽車服照片，搜索結(jié)果甚至中給出了拍攝時間“2013年”。其中1張國內(nèi)某知名青年作家的圖片，給出了“中國知名人物”的搜索結(jié)果，而另一相對不太出名的作家的圖片，則給出了“棕黃色”的搜索結(jié)果，此作家的頭發(fā)是金黃色的。而7張女性圖片搜索結(jié)果中全都給出了正確的“最佳猜測”結(jié)果。其中有5名中國女性，2名外國女性。建筑學(xué)家林徽因的圖片搜索結(jié)果給出了“林徽因”，而作家張愛玲的那張圖片的結(jié)果則給出了“民國女子”，與韓寒的那張“中國知名人物”相對應(yīng)，可以推測，在人物查詢方面，Google不僅利用了語義特征，還綜合利用底層基本特征，并且其所做的貢獻(xiàn)占了相當(dāng)大的比重。6張植物圖片的搜索結(jié)果中都可以得出植物名稱，但不能給出詳細(xì)的品種。Google只是給出了“海棠”的結(jié)果，并沒有給出“西府海棠”“鐵桿海棠”等精確的結(jié)果，但是并沒有出現(xiàn)百度中“櫻花”的錯誤。和百度識圖一樣，Google并沒有給出2張楊樹圖片的搜索結(jié)果，但槐樹圖片給出了“龍爪槐”的搜索結(jié)果。可見Google中的查詢結(jié)果但求正確率，不求精準(zhǔn)率。而百度比較精準(zhǔn)，但也更容易出錯。6張校園圖片中有6張全可以搜出大學(xué)的名字。博雅塔能給出“北京大學(xué)”的推薦，相對百度要準(zhǔn)確一點。西校門的搜索結(jié)果中有“北京大學(xué)”的搜索結(jié)果。另外三張山東大學(xué)的圖片和一張南京大學(xué)的圖片，都沒有最佳猜測結(jié)果。16張風(fēng)景圖片中全部都可以找到相似圖片，但效果不太好。采用海洋2張，海灘2張，山川4張，霞光4張，河流4張。海洋和山川的圖片中沒有給出相關(guān)搜索結(jié)果猜測，霞光圖片4張都沒有搜索結(jié)果。河流中，4張圖片均可以準(zhǔn)確判斷河流流域，搜索結(jié)果分別為“長江流域”“長江三峽”“黃河”“壺口瀑布”?？傮w來說，Google對風(fēng)景圖的搜索效果不太好，在海洋的圖片搜索結(jié)果中給出了“background wallpaperhd（高清壁紙）”的猜測，另一個給出了“ chinese character classification（漢字分類）”的猜測。

自己拍攝的圖片：10張人物圖片均沒有給出最佳推薦。戴墨鏡圖片的搜索結(jié)果則出現(xiàn)很多類似墨鏡男的圖片。在這一方面可以看出Google的嚴(yán)謹(jǐn)性性，但同時又缺少了趣味性和娛樂性。4張寵物圖片不能給出寵物的品種猜測。這一張貴賓犬泰迪裝，搜索結(jié)果中沒有給出搜索結(jié)果。但卻給出了大量的貴賓犬相似圖片。2張二維碼圖片可以顯示“qr code mcdonalds”字樣，同樣無法搜索出其代表含義，Google亦不能讀出其中的信息

四、結(jié)論

百度識圖58張圖片中，有正確搜索結(jié)果的51張，錯誤搜索結(jié)果的3張，未給出搜索結(jié)果的4張，正確率為87.93%，失誤率5.17%。通過以上調(diào)查可以知道百度識圖的整體功能強(qiáng)大，對于知名人物和著名的建筑物有很好的識別能力，對于風(fēng)景、植物和寵物的鑒別較為精確，失誤率不高。

（1）在人物的搜索結(jié)果中，所得圖片可以明確得到人物信息，并且識別率很高。搜索結(jié)果類似圖片中的顏色、形狀有很大差異，但都是關(guān)于此明星的圖片。可以推測百度識圖通過圖像語義來實現(xiàn)搜索的貢獻(xiàn)相對底層特征的貢獻(xiàn)要大一些。

（2）在風(fēng)景的搜索結(jié)果中，其所得類似圖片中，絕大多數(shù)的色彩和構(gòu)圖與原圖類似，可見在風(fēng)景這一搜索范圍，是采用顏色、形狀和紋理等底層特征來進(jìn)行鑒別。

（3）在植物和動物的搜索結(jié)果中，所得結(jié)果的顏色比較類似，在楊樹的搜索結(jié)果中顯示“甘蔗”，而圖片中的楊樹是成排的，可以推測其搜索功能應(yīng)該主要是靠顏色特征和形狀特征來實現(xiàn)的。

Google以圖搜圖58張圖片中，有正確搜索結(jié)果的36張，錯誤搜索結(jié)果的1張，未給出搜索結(jié)果的21張，正確率為62.06%，失誤率1.72%。通過以上調(diào)查可以知道Google識圖的整體功能比較強(qiáng)大，同樣是對于當(dāng)紅明星和著名的建筑有很好的識別功能，但對于風(fēng)景、植物和寵物的鑒別比較差，正確率和失誤率均比較低。

（1）人物的搜索結(jié)果中，特別是女性，所得結(jié)果可以明確得到人物信息，并且識別率很高。搜索結(jié)果類似圖片中的顏色、形狀有很大差異，但都是關(guān)于此明星的圖片。可以推測Google搜圖中通過圖像語義來實現(xiàn)搜索結(jié)果的貢獻(xiàn)相對底層特征的貢獻(xiàn)要大一些。

（2）風(fēng)景的搜索結(jié)果不盡人意，搜索結(jié)果給出的信息較少，可見在風(fēng)景這一搜索領(lǐng)域，Google還有所欠缺。

（3）植物和動物的搜索結(jié)果中，所得結(jié)果的顏色比較類似，其搜索功能應(yīng)該主要是靠顏色來實現(xiàn)，同樣但不排除形狀和紋理的貢獻(xiàn)。

此次通過58張不同圖片的比較，可以看出百度的搜索功能更為強(qiáng)大特別是在人物、風(fēng)景、植物方面較為突出。但是搜索結(jié)果錯誤率相對Google搜索較高，搜索結(jié)果寬泛，不太嚴(yán)謹(jǐn)。在使用自己拍攝的圖片搜索的時候，所得結(jié)果新穎有趣，相比Google更具有娛樂性和趣味性。

Google意圖搜索雖然錯誤率低，但相對來說比較嚴(yán)謹(jǐn)，缺乏靈活性，搜索功能以知名人物為主，風(fēng)景和動植物圖片的搜索能力較弱。

參 考 文 獻(xiàn)

[1]井濤.基于顏色形狀紋理綜合特征的CBIR.數(shù)字圖像處理.2012.12

[2]袁順波.性能評價研究：現(xiàn)狀與建議.情報雜志2008年第5期

[3]中國教程網(wǎng).十一個相似圖片搜索網(wǎng)站.（http：//www.u148.net/article/33760.html）

[4]呂琳.數(shù)字媒體資產(chǎn)管理.DMA-04.2015.04