劉晞遠*

（西安電子科技大學通信工程學院，陜西西安，710126）

以圖搜圖系統(tǒng)的設(shè)計與實現(xiàn)

劉晞遠*

（西安電子科技大學通信工程學院，陜西西安，710126）

本文主要是解決計算機基于內(nèi)容圖像識別問題，進行圖像匹配與選擇，尋求最佳最快的匹配方式的過程。本文主要從全局特征和局部特征兩個方面著手，全局特征中主要研究了顏色特征和紋理特征，局部特征中分為特征點檢測的FAST和HARRIS算法，特征點的描述主要采用了ORB算法和BRIEF算法和局部敏感哈希算法LSH。通過實驗，改進了方法，最終設(shè)計的算法時間復雜度較低，搜索圖片匹配度較高。

圖像識別；全局特征；局部特征；算法

引言

基于內(nèi)容的圖片檢索（Content Based Image Retrieval,CBIR），也有人稱之為以圖搜圖，是利用機器學習、模式識別、計算機視覺等相關(guān)技術(shù)對圖片的內(nèi)容進行分析、檢測、檢索的一種應(yīng)用。本文針對基于內(nèi)容的圖像檢索的基本結(jié)構(gòu)，研究了基于內(nèi)容的圖像檢索技術(shù)的關(guān)鍵技術(shù)，詳細研究了圖像的特征提取方法、相似性度量方法以及實現(xiàn)的算法。

1 開發(fā)工具及方法步驟

1.1 開發(fā)工具

MATLAB 2015以上版本 ，包含： Statistics and Machine Learning Toolbox

Image Processing Toolbox ，

1.2 方法步驟

圖片解碼-圖像預處理-圖像特征提取-特征相似性度量-特征空間索引

本次實驗中，給出一張圖片，在已有的圖片庫中查詢與其具有相似度的圖片。解碼目標圖片，對其進行預處理并且使用特征點檢測方法檢測其最優(yōu)特征點，并將這些特征點于圖片庫中的圖片的特征點進行相似性度量，借此獲取圖片庫中與之相似的圖片。此過程中，使用特征空間索引的方法減少查詢消耗的時間空間代價。

1.3 本次實驗使用的算法[1]

（1）紋理特征算法——LBP

線性反投影算法（Linear Back Projection，簡稱 LBP）又稱累加法，是最早使用的一種簡單（ECT圖像重建）成像算法。它將通過某點的所有投影射線進行累加，再反向估算出該點的密度值

（2）顏色熵，顏色矩的計算

顏色直方圖：它能簡單描述一幅圖像中顏色的全局分布，即不同色彩在整幅圖像中所占的比例，特別適用于描述那些難以自動分割的圖像和不需要考慮物體空間位置的 圖像。

顏色矩：圖像中任何的顏色分布均可以用它的矩來表示。此外，由于顏色分布信息主要集中在低階矩中，因此，僅采用顏色的三階矩就足以表達圖像的顏色分布。

（3）Harris角點算法+Brief特征點描述子

Harris角點檢測原理是利用移動的窗口在圖像中計算灰度變化值，其中關(guān)鍵流程包括轉(zhuǎn)化為灰度圖像、計算差分圖像、高斯平滑、計算局部極值、確認角點。

BRIEF是對已檢測到的特征點進行描述，提供了一種計算二值串的捷徑大大的加快了特征描述符建立的速度，同時也極大的降低了特征匹配的時間，是一種非常快速，很有潛力的算法。

（4）局部敏感哈希算法[LSH]

將原始數(shù)據(jù)空間中的兩個相鄰數(shù)據(jù)點通過相同的映射或投影變換（projection）后，這兩個數(shù)據(jù)點在新的數(shù)據(jù)空間中仍然相鄰的概率很大，而不相鄰的數(shù)據(jù)點被映射到同一個桶的概率很小。

2 實驗過程

2.1 顏色特征——顏色熵，顏色矩的計算[1]

顏色特征是一種全局特征，描述了圖像或圖像區(qū)域所對應(yīng)的景物的表面性質(zhì)。一般顏色特征是基于像素點的特征，此時所有屬于圖像或圖像區(qū)域的像素都有各自的貢獻。由于顏色對圖像或圖像區(qū) 域的方向、大小等變化不敏感，所以顏色特征不能很好地捕捉圖像中對象的局部特征。另外，僅使用顏色特征查詢時，如果數(shù)據(jù)庫很大，常會將許多不需要的圖像也檢索出來。顏色直方圖是最常用的表達顏色特征的方法，其優(yōu)點是不受圖像旋轉(zhuǎn)和平移變化的影響，進一步借助歸一化還可不受圖像尺度變化的影響，基缺點是沒有表達出顏色空間分布的信息。

描述顏色主要從顏色熵和顏色矩，顏色熵是以像素點的對數(shù)和形式表達的，能夠準確反映出顏色直方圖特征，顏色矩主要研究的是顏色一、二、三階矩，其中一階矩二階矩分別代表了整張圖片的顏色均值和顏色方差，能夠較好的比對兩幅圖片的顏色特征。其次，對于顏色空間的選取也有多種方法，最常用的的一個是RGB，一個是HSV。RGB就是分別分析紅綠藍三種顏色的參數(shù)，HSV還加入了顏色深度的概念，所以實際使用起來相對復雜但是性能較好。見圖2所示。

圖1 港口照片

圖2 基于圖1的顏色直方圖

2.2 紋理特征——LBP算法[2]

紋理是一種反映圖像中同質(zhì)現(xiàn)象的視覺特征，它體現(xiàn)了物體表面的具有緩慢變化或者周期性變化的表面結(jié)構(gòu)組織排列屬性。紋理具有三大標志：某種局部序列性不斷重復、非隨機排列、紋理區(qū)域內(nèi)大致為均勻的統(tǒng)一體。

全局特征中我們還引入了 LBP思想，它研究的是像素點 8領(lǐng)域特征。在待測像素點的8領(lǐng)域中我們按照一個旋轉(zhuǎn)方向?qū)?領(lǐng)域內(nèi)的像素值二值化處理生成一個 8位二進制編碼，再利用MATLAB中內(nèi)置的shift函數(shù)將其不斷進行移位處理生成8個編碼，然后用函數(shù)對這8個編碼取最小值作為該像素點的值，將值再生成一個與原圖像同維矩陣（邊緣點補零后計算）再對這個矩陣進行上述熵、矩的處理。

此處我們使用 LBP算法對紋理特征進行檢測和提取。以下圖為例。

圖3 使用LBP算法密紋理特征進行檢測和提取

2.3 局部特征——Harris + Brief[3]

（1）Harris

Harris角點檢測原理是利用移動的窗口在圖像中計算灰度變化值，其中關(guān)鍵流程包括轉(zhuǎn)化為灰度圖像、計算差分圖像、高斯平滑、計算局部極值、確認角點。

（2）Brief

BRIEF算法計算出來的是一個二進制串的特征描述符。它是在一個特征點的鄰域內(nèi)，選擇n對像素點pi、qi（i=1,2,…,n）。然后比較每個點對的灰度值的大小。

要想描述局部特征，就要明確兩個點：一是一張圖片有特別多的像素點，哪些點能夠代表這些圖片？二是怎樣用計算機的語言描述這些點的特征？這兩個問題涉及到數(shù)字圖像處理中的檢測子和描述子的概念。

特征點檢測子是為了檢測一幅圖像中哪些點是特征點。本文主要采用了Harris 和Fast兩種算法，Harris 算法性能較好，F(xiàn)ast算法速度較快，通過實際操作發(fā)現(xiàn)，對于1000張參數(shù)，兩種算法選取相同參數(shù)時后者得到的特征點大約是前者的2倍左右（H算法170萬個，F(xiàn)算法340萬個）而且Fast算法算出來的特征點與希望得到的結(jié)果有偏差，這一點在實驗過程中會詳細解釋。Harris算法是通過嚴謹?shù)臄?shù)學推導得到類似橢圓的方程，而橢圓的長軸與短軸受參數(shù)λ的影響，且與λ成反比關(guān)系。這樣這個方程的數(shù)學意義就成了改變λ1與λ2兩個參數(shù)使得橢圓錐的形狀發(fā)生改變，然后研究當xy坐標改變時z坐標的變化率。如果某一個方向上變化緩慢而另一個方向上z變化迅速，則說明該點是圖像的邊界點；如果z在兩個方向上變化均不明顯，說明這塊區(qū)域是圖像的“平坦區(qū)”即圖像內(nèi)部；如果z在兩個方向上變化都很明顯，則說明該點是圖像的角點。而Fast算法比較簡單，它僅僅對比一個像素點與周圍像素點的像素值差來確定該點是不是特征點，這種算法的缺點十分明顯，接下來的實驗過程中會詳細提及我們組在實際制作時對該算法的處理。

特征點描述子是為了描述像素特征點的特征。主要有HOG，Brief算法和ORG算法。Brief算法是在像素點周圍選取512個像素點對，每個點對第一個大于第二個記為1，小于記為0，然后形成一個512位的二進制編碼來描述特征點。但是這種方法不具有旋轉(zhuǎn)不變性，當圖像旋轉(zhuǎn)時，選取點對的相對位置也發(fā)生了改變，特征點的描述子與之前不同，這樣就出現(xiàn)一個特征點對應(yīng)多個描述子的問題。為了解決這個問題，采用了Streer brief算法，規(guī)定了一個坐標軸方向。這個方向是由該特征點與特征點領(lǐng)域內(nèi)的像素質(zhì)心點的連線決定的，這樣就解決了旋轉(zhuǎn)不變性。但是這卻帶來了新的問題，原先Brief算法中每個描述子的方差很大，即特征點的辨識度很高，優(yōu)化后的Steer brief算法描述子的方差反而縮小了，這樣導致用該算法描述特征點時圖像的辨識度下降。出現(xiàn)這個問題的主要原因是Steer brief算法各個維度的相關(guān)性很大，有代表性意義的維度數(shù)量不足。為了解決這個問題采用了ORG算法，ORG算法是在特征點的31*31領(lǐng)域內(nèi)先進行去燥處理，將一個5*5的方格計算出平均像素值看做是一個格子。這樣就得到27*27的領(lǐng)域，在這個領(lǐng)域內(nèi)我們隨機選取一個點對，計算300個特征點中該點對的均值，然后確定一個閾值來判斷兩個點對之間的相關(guān)性，如果兩個點對的均值差大于閾值，則我們認為這兩個點對不相關(guān)，反之相關(guān)。這樣我們在c27 27（組合數(shù)）中最終選取256個不相關(guān)的點對，如果不夠256或者多余256個就調(diào)整閾值來滿足。這 256個點對最終構(gòu)成該特征點描述子的256個維度。HOG算法的有點是善于捕捉人臉上的特征點，所以當最終的描述子參考了HOG算法后對含人的圖片辨識度大大增加。

下圖為局部特征實例：

圖4 局部特征實例

2.4 索引生成——LSH

顏色特征設(shè)為索引

紋理特征設(shè)為索引

局部特征設(shè)為索引

局部敏感哈希算法LSH[4]，這個算法主要解決了縮小尋找范圍的問題。我們先以任意四個維度為一組構(gòu)造一層哈希桶，然后將每一個特征點對應(yīng)放入哈希桶中。然后再選取其余四個維度構(gòu)造第二層哈希桶，以此類推。這樣，同一個特征點可能出現(xiàn)在不同桶內(nèi)，但是每層有且僅有一次。最后，我們將與特征點在同一個桶中的描述子取出，并逐一計算其與特征點的漢明距離，然后選取漢明距離最短的20個描述子或者確定一個閾值，選取漢明距離在該閾值內(nèi)的所有特征點作為匹配項。如果利用這層哈希得到的數(shù)據(jù)仍然比較大或者哈希桶中的特征點數(shù)量過于多，這樣我們就需要建立二層哈希，二層哈希與一般的哈希算法一樣。

3 成果展示

3.1 代碼模塊結(jié)構(gòu)[5]

3.2 成果展示

（1）全局特征檢索圖片

首先是讀入圖片。在所給的1000張圖片中有一張灰度圖片造成讀入錯誤，我們的解決辦法是進行一次判斷，如果不是灰度圖像則轉(zhuǎn)化成灰度圖像處理。

然后是全局特征，我們在做完顏色特征后進行了一次檢測，效果不好。但是當我們加入紋理特征后，圖像識別能力大大提高。這與原先猜想的內(nèi)容有很大不同，之前猜想的是局部特征才能準確識別圖像。

圖5 全局特征檢索圖

（2）局部特征檢索圖片

再次是局部特征。這里我們遇到一個小問題，即數(shù)組角標與矩陣角標的差別導致數(shù)組越界。我們一開始是采取附空值，結(jié)果導致了在250維之后隨機值越界數(shù)組不完整。發(fā)現(xiàn)問題后馬上對代碼進行了更正。

但是當我們用上述算法分析完1000張圖片后發(fā)現(xiàn)特征點數(shù)量遠遠超過預期，用 Harris 算法得到了 170萬個特征點，F(xiàn)ast算法得到了340萬個。造成計算機分析困難。我們小組討論后決定，將特征點數(shù)量控制在50萬個之內(nèi)解決起來比較現(xiàn)實。于是對算法的閾值進行調(diào)整。但是調(diào)整后發(fā)現(xiàn)特征點數(shù)量雖然在 50萬個之內(nèi)，但是所選取的特征點并不是最合適的特征點。以水立方圖片為例，圖片上水立方為淡藍色，而下方的湖面有亮黃色的磷光，且因為水立方是一個整體，所以只有邊界處有特征點，原先處理方法中湖面處的特征點檢測出來的較多而水立方上面較少。閾值提高后，條件變得苛刻，所有水立方上面的特征點失效只留下湖面處的特征點，這樣的處理方法顯然不能完成圖形匹配。由此可見，并不是某一個像素點與周圍像素點的像素值差別越大越有意義。此外，我們又分析了之前的算法為什么會導致如此多的特征點。我們通過調(diào)試發(fā)現(xiàn)，對于有對稱性的規(guī)則圖片，比如床單。床單上的特征點特別多而且對稱分布。所以解決特征點太多的問題不應(yīng)該簡單地提高閾值處理，而應(yīng)該判別某一塊區(qū)域內(nèi)是否有過多的特征點以及一張圖片中是不是有數(shù)量特別多且描述子的漢明距離比較小的特征點，應(yīng)該對這類特征點進行處理。

（3）圖片去噪處理

對噪聲點進行平滑處理，對比椒鹽去燥和高斯去燥后發(fā)現(xiàn)椒鹽去燥得到的圖像較為清楚，這一點與資料相悖。詳細分析后我們發(fā)現(xiàn)我們的圖片是加過椒鹽噪聲的所以高斯去燥效果不顯著，對于普通的圖片因為其噪聲點分布大致吻合高斯分布，所以用高斯去燥效果更好一些。經(jīng)過我們的試驗發(fā)現(xiàn)當去燥的領(lǐng)域選擇為3的時候去燥效果較好且不至于因去燥而使得圖片過于模糊。另外我們也嘗試了網(wǎng)上的恢復算法，但是效果并不明顯。

4 結(jié)束語

本文針對基于內(nèi)容的圖像識別問題，進行圖像匹配與選擇，尋求最佳最快的匹配方式的過程。采用了全局特征及局部特征的算法，研究了顏色特征選取、紋理特選取、試驗了圖片局部特征檢測子兩種算法Harris 算法和Fast算法、特征點描述子HOG，Brief算法和ORG算法和局部敏感哈希算法LSH，結(jié)果如下：

（1）顏色特征后進行了一次檢測，效果不好。但是當我們加入紋理特征后，圖像識別能力大大提高?？梢宰R別粽子，水立方，小龍蝦床單等圖片。

（2）解決特征點太多的問題不應(yīng)該簡單地提高閾值處理，而應(yīng)該判別某一塊區(qū)域內(nèi)是否有過多的特征點以及一張圖片中是不是有數(shù)量特別多且描述子的漢明距離比較小的特征點，應(yīng)該對這類特征點進行處理。

（3）對于普通的圖片因為其噪聲點分布大致吻合高斯分布，所以用高斯去燥效果更好一些。經(jīng)過我們的試驗發(fā)現(xiàn)當去燥的領(lǐng)域選擇為 3的時候去燥效果較好且不至于因去燥而使得圖片過于模糊。

（4）在打開系統(tǒng)時就對所有圖片建立索引并且一直用該索引結(jié)果，可降低時間復雜度。

[1]舒禹程. 基于特征描述子的圖像匹配算法研究[D]. 華中科技大學博士學位論文,2015： 45-52.

[2]牛一帆. 基于內(nèi)容的圖像識別檢索技術(shù)研究與系統(tǒng)實現(xiàn)[D]. 西安理工大學碩士學位論文,2007： 33-38.

[3]謝鳳英,等. 數(shù)字圖像處理及應(yīng)用[M]. 電子工業(yè)出版社,2014：308-317.

[4]A.Gionis,P.Indyk and R.Motwani. Similarity Search in High Dimension via Hashing,CVPR 2012： 518-529.

[5]刑樹軍等譯. MATLAB編程.34-50,185-197.

Design and Realization on Search by Image System

LIU Xiyuan*
(University of Electronic Science and Technology XIAN,School of Information and Communication Engineering,Shanxi province,710126,China)

Aiming at the content-based image recognition resolving problem，methods of searching and matching pictures is introduced in this paper. Global feature and local feature have been researched in this paper.Colour feature and textural feature have been studied among global feature,FAST and HARRIS algorithm of feature point detection have been adopted in local feature. ORB,BRIEFand local sensitivity algorithm (LSH) have been adopted.We have improved the method,and the final design algorithm has low time complexity,search pictures have higher matching degree.

image recognition; global feature; local feature; algorithm

TP391

A

1672-9129(2017)06-0033-04

10.19551/j.cnki.issn1672-9129.2017.06.011

劉晞遠. 以圖搜圖系統(tǒng)的設(shè)計與實現(xiàn)[J]. 數(shù)碼設(shè)計,2017,6(6)： 33-36.

Cite：LIU Xiyuan. Design and Realization on Search by Image System[J]. Peak Data Science,2017,6(6)： 33-36.

2017-02-08；

2017-03-12。

劉晞遠（1997.01-），男，陜西西安，安西安電子科技大學，通信工程學院，本科，研究方向：通信與計算機。

Email：2209282216@qq.com