謝成亮,王鴻亮,何薇薇,趙 杰,王 帥

1(中國科學(xué)院 沈陽計(jì)算技術(shù)研究所,沈陽 110168)

2(中國科學(xué)院大學(xué) 計(jì)算機(jī)與控制學(xué)院,北京 101408)

3(陸軍炮兵防空兵學(xué)院 士官學(xué)校,沈陽 110161)

4(山東省科學(xué)院 情報(bào)研究所,濟(jì)南 250014)

隨著計(jì)算機(jī)視覺技術(shù)的飛速發(fā)展,工業(yè)領(lǐng)域?qū)哂凶R別功能的視覺識別系統(tǒng)的需求不斷增加.圖像檢索技術(shù)作為視覺識別系統(tǒng)的核心技術(shù),近年來成為了人們研究的熱點(diǎn).

在印刷品分揀的過程中,傳統(tǒng)的方法是工人根據(jù)印刷品的內(nèi)容進(jìn)行分揀,但這樣會消耗大量的人力資源;而需要識別的印刷品80%左右是相同的,即僅需根據(jù)印刷品20%左右的內(nèi)容對印刷品進(jìn)行分揀,可以采用圖像檢索技術(shù)實(shí)現(xiàn)印刷品的分揀.為了減少人力成本的投入,同時(shí)提高印刷品分揀的效率,需要實(shí)現(xiàn)一種用于印刷品自動分揀的視覺識別系統(tǒng).

基于內(nèi)容的圖像檢索方法所需提取的特征主要包括兩種: 深層特征和淺層特征.深層特征主要是通過神經(jīng)網(wǎng)絡(luò)和全鏈接層提取,對于一類物體具有廣泛的代表性,但是對設(shè)備的要求高.淺層特征是基于領(lǐng)域知識通過固定的算法提取特征[1],適用于對精準(zhǔn)特定目標(biāo)的識別,硬件上相對容易實(shí)現(xiàn).對于圖像相似度判斷,可采用PSNR峰值信噪比方法[2],一種全參考的圖像質(zhì)量評價(jià)指標(biāo),其感知結(jié)果會受到許多因素的影響而產(chǎn)生變化;直方圖方法[3],將圖像轉(zhuǎn)換成直方圖進(jìn)行比較,會受到亮度光照條件的影響;SIFT方法,提取圖像的局部特征,其對旋轉(zhuǎn),尺度縮放,亮度變化保持不變性,對視角變化,仿射變化,噪聲也保持一定的穩(wěn)定性.

考慮到系統(tǒng)對識別穩(wěn)定性的要求和成本問題,針對淺層特征,采用基于SIFT算法的識別技術(shù),設(shè)計(jì)和實(shí)現(xiàn)了應(yīng)用于印刷品分揀的視覺識別系統(tǒng).下面,將會從系統(tǒng)架構(gòu),關(guān)鍵算法和功能實(shí)現(xiàn)等方面進(jìn)行介紹.

1 系統(tǒng)架構(gòu)

該系統(tǒng)主要由工業(yè)攝像頭,工控主機(jī),顯示設(shè)備和執(zhí)行設(shè)備組成.系統(tǒng)架構(gòu)框圖如圖1所示.工業(yè)攝像頭主要用來采集印刷品圖像,并傳入到工控主機(jī)中進(jìn)行處理;工控主機(jī)是整個(gè)系統(tǒng)的處理核心,主要實(shí)現(xiàn)了兩個(gè)功能,樣本的檢測識別和在線學(xué)習(xí).針對樣本檢測,工控主機(jī)對從攝像頭輸入的視頻,按幀提取圖像并做大小和灰度處理,然后提取圖像特征與存儲的樣本進(jìn)行匹配,最后將識別結(jié)果和處理信息分別傳入到顯示設(shè)備和執(zhí)行設(shè)備;針對在線學(xué)習(xí),工控主機(jī)讀取輸入樣本和樣本描述信息,然后對樣本圖進(jìn)行特征提取,最后存儲到系統(tǒng)的樣本數(shù)據(jù)庫中.顯示設(shè)備主要用來進(jìn)行人機(jī)交互.執(zhí)行設(shè)備就是根據(jù)工控主機(jī)傳出的信息對相應(yīng)的印刷品進(jìn)行操作.

2 淺層特征識別算法

針對印刷品識別過程中容易出現(xiàn)亮度變化,印刷品旋轉(zhuǎn)和尺度縮放等問題,本系統(tǒng)選擇了SIFT算法作為本系統(tǒng)的核心算法.SIFT算法由David Lowe在1999年提出,在2004年加以完善[4,5].下面,將介紹一下本系統(tǒng)的關(guān)鍵算法.

SIFT特征匹配主要包括兩部分: 第一部分是SIFT特征的提取和描述特征的特征向量的生成;第二部分是SIFT特征向量的匹配.

圖1 系統(tǒng)架構(gòu)框圖

2.1 特征提取與描述生成

特征提取與描述特征向量的生成一般包括以下幾步:

1)構(gòu)建尺度空間,檢測極值點(diǎn),獲取尺度不變性.SIFT算法是在不同的尺度空間上查找關(guān)鍵點(diǎn),而尺度空間的獲取需要使用高斯模糊來實(shí)現(xiàn),Lindeberg[6]等人已證明高斯卷積核是實(shí)現(xiàn)尺度變換的唯一變換核,并且是唯一的線性核.尺度空間理論的基本思想是在圖像信息處理模型中引入一個(gè)被視為尺度的參數(shù),通過連續(xù)變化尺度參數(shù)獲得多尺度下的尺度空間表示序列,對這些序列進(jìn)行尺度空間主輪廓的提取,并以該主輪廓作為一種特征向量,實(shí)現(xiàn)邊緣,角點(diǎn)檢測和不同分辨率上的特征提取等.尺度空間可表示為:

其中,*表示卷積運(yùn)算,

其中,m,n表示高斯模板的維度(由(6σ+1)×(6σ+1)確定),(x,y)代表圖像的像素位置.σ是尺度空間因子,值越小表示圖像被平滑的越少,相應(yīng)的尺度也就越小.大尺度對應(yīng)于圖像的概貌特征,小尺度對應(yīng)于圖像的細(xì)節(jié)特征.尺度空間在實(shí)現(xiàn)時(shí)使用高斯金字塔表示,高斯金字塔的構(gòu)建分兩部分: 首先,對圖像做不同尺度的高斯模糊;其次,對圖像做降采樣(隔點(diǎn)采樣).Lowe[4]使用高效的高斯差分算子代替拉普拉斯算子進(jìn)行極值檢測,如下:

在實(shí)際計(jì)算時(shí),使用高斯金字塔每組中相鄰上下兩層圖像相減得到高斯差分圖像.在空間極值點(diǎn)檢測(關(guān)鍵點(diǎn)的初步探查)中,關(guān)鍵點(diǎn)是由DOG空間的局部極值點(diǎn)組成的,關(guān)鍵點(diǎn)的初步探查是通過同一組內(nèi)各DOG相鄰兩層圖像之間比較完成的.

2)特征點(diǎn)過濾并精確定位.通過擬合三位二次函數(shù)來精確確定關(guān)鍵點(diǎn)的位置和尺度,同時(shí)去除低對比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn),以增強(qiáng)匹配穩(wěn)定性,提高抗噪能力.

3)為特征點(diǎn)分配方向值.為使描述符具有旋轉(zhuǎn)不變性,需要利用圖像的局部特征為每一個(gè)關(guān)鍵點(diǎn)分配一個(gè)基準(zhǔn)方向.使用圖像梯度的方法求取局部結(jié)構(gòu)的穩(wěn)定方向.對于在DOG金字塔中檢測出的關(guān)鍵點(diǎn),采集其所在高斯金字塔圖像3σ鄰域窗口內(nèi)像素的梯度和方向分布特征.梯度的模值和方向如下:

其中,L為關(guān)鍵點(diǎn)所在的尺度空間值,梯度的模值m(x,y)按σ=1.5σ_oct的高斯分布加成,按尺度采樣的3 σ原則,鄰域窗口的半徑為3 ×1.5σ_oct.在完成關(guān)鍵點(diǎn)的梯度計(jì)算后,使用直方圖統(tǒng)計(jì)鄰域內(nèi)像素的梯度和方向,方向直方圖的峰值則代表了該特征點(diǎn)處鄰域梯度的方向,以直方圖中最大值作為該關(guān)鍵點(diǎn)的主方向.為增強(qiáng)匹配的魯棒性,只保留峰值大于主方向峰值80%的方向作為該關(guān)鍵點(diǎn)的輔方向.因此,對于同一梯度值的多個(gè)峰值的關(guān)鍵點(diǎn)位置,在相同位置和尺度將會有多個(gè)關(guān)鍵點(diǎn)被創(chuàng)建但方向不同.僅有15%的關(guān)鍵點(diǎn)被賦予多個(gè)方向,但可以明顯提高關(guān)鍵點(diǎn)匹配的穩(wěn)定性.

4)生成特征描述子,通過以上操作,對于每一個(gè)關(guān)鍵點(diǎn),擁有三個(gè)信息: 位置,尺度以及方向.接下來就是為每個(gè)關(guān)鍵點(diǎn)建立一個(gè)描述符,用一組向量將這個(gè)關(guān)鍵點(diǎn)描述出來,使其不隨各種變化而變化,比如光照變化,視角變化等.這個(gè)描述子不但包括關(guān)鍵點(diǎn),也包括關(guān)鍵點(diǎn)周圍對其貢獻(xiàn)的的像素點(diǎn),并且描述符應(yīng)該有較高的獨(dú)特性,以便于提高特征點(diǎn)正確匹配的概率[7-9].

2.2 特征匹配

當(dāng)圖像的SIFT特征向量生成以后,就可以采用關(guān)鍵點(diǎn)特征向量的歐式距離來作為圖像中關(guān)鍵點(diǎn)的相似性判定度量.取一張圖像的某個(gè)關(guān)鍵點(diǎn),通過遍歷找到另一種圖像中的距離最近的兩個(gè)關(guān)鍵點(diǎn).在這兩個(gè)關(guān)鍵點(diǎn)中,如果最近距離除以次近距離小于某個(gè)閾值,則判定為一對匹配點(diǎn).

為了進(jìn)一步提高匹配精度,我們需要對特征匹配過程中產(chǎn)生的一些誤匹配進(jìn)行消除.消除誤匹配主要采用隨機(jī)樣本一致性(RANSAC)方法.RANSAC可以從一組包含”局外點(diǎn)”的數(shù)據(jù)中,通過迭代的方式訓(xùn)練最優(yōu)的參數(shù)模型,不符合最優(yōu)參數(shù)模型的被定義為”局外點(diǎn)”.消除誤匹配的原理是采用RANSAC算法尋找一個(gè)最佳單應(yīng)矩陣H,矩陣大小是3 ×3.RANSAC的目的是找到最優(yōu)參數(shù)矩陣使得滿足該矩陣的數(shù)據(jù)點(diǎn)個(gè)數(shù)最多,通常令h33=1來歸一化矩陣.RANSAC算法從匹配數(shù)據(jù)集中隨機(jī)抽出4個(gè)樣本并保證這4個(gè)樣本之間不共線,計(jì)算出單應(yīng)性矩陣,然后利用這個(gè)模型測試所有數(shù)據(jù),并計(jì)算滿足這個(gè)模型數(shù)據(jù)點(diǎn)的個(gè)數(shù)與投影誤差(即代價(jià)函數(shù)),若此模型為最優(yōu)模型,則對應(yīng)的代價(jià)函數(shù)最小.RANSAC消除誤匹配點(diǎn)可分為三部分: 根據(jù)matches將特征點(diǎn)對齊,將坐標(biāo)轉(zhuǎn)換為float類型;使用求基礎(chǔ)矩陣的方法findFundamentalMat()得到RansacStatus;最后,根據(jù)RansacStatus來刪除誤匹配點(diǎn),即對應(yīng)RansacStatus的值為0的點(diǎn)[10-13].

3 檢測識別和在線學(xué)習(xí)

3.1 檢測識別

本系統(tǒng)主要實(shí)現(xiàn)了兩個(gè)功能,對攝像頭獲取的印刷品圖像進(jìn)行檢測識別和在線增加系統(tǒng)識別種類的學(xué)習(xí)功能.實(shí)現(xiàn)檢測識別功能的兩個(gè)關(guān)鍵步驟是小型樣本圖像數(shù)據(jù)庫的建立和對輸入圖像進(jìn)行實(shí)時(shí)檢測.

對輸入圖像的檢測,一般的方法是,在系統(tǒng)運(yùn)行過程中,對輸入圖像和選取的樣本圖像進(jìn)行特征提取,然后采用遍歷的方式,將輸入圖像和樣本依次進(jìn)行相似度檢測,判斷輸入圖像屬于哪個(gè)樣本圖像代表的類型,最后依據(jù)檢測的結(jié)果輸出結(jié)論,如圖2(a)所示.但是,在系統(tǒng)實(shí)際運(yùn)行時(shí),如果系統(tǒng)同時(shí)對輸入圖像和樣本圖像進(jìn)行特征提取,再進(jìn)行相似度檢測,會產(chǎn)生非常大的運(yùn)算量,對系統(tǒng)實(shí)時(shí)性產(chǎn)生很大的影響.為了提升系統(tǒng)執(zhí)行的速度,我們可以做出優(yōu)化的地方有兩點(diǎn),第一是減少系統(tǒng)在特征提取時(shí)的運(yùn)算量;第二是減少系統(tǒng)在進(jìn)行相似度檢測時(shí)輸入圖像和樣本圖像比較的次數(shù).針對第二點(diǎn),樣本圖像是以集合的形式存儲,不存在順序性,所以在進(jìn)行圖像相似度檢測時(shí)只能采用循環(huán)遍歷的形式.針對第一點(diǎn),樣本圖像是事先提供的,具有相對的不變性.因此,可以提前對要進(jìn)行檢測的圖像樣本提取特征,然后保存下來,如圖2(b)所示.當(dāng)系統(tǒng)運(yùn)行需要用到樣本特征進(jìn)行相似度檢測時(shí),在讀取到內(nèi)存,同提取的輸入圖像的特征進(jìn)行檢測.由于提前提取了樣本圖像的特征,在進(jìn)行樣本和輸入圖像相似度檢測時(shí),只需要提取輸入圖像的特征和已提取特征的樣本進(jìn)行相似度比較,從而避免了對樣本特征的重復(fù)提取,大大減少了CPU的運(yùn)算量,給系統(tǒng)的實(shí)時(shí)性帶來了很大的提升.

圖2 識別流程圖

為了存儲提前提取的樣本圖像的特征和描述信息,需要建立一個(gè)小型的樣本數(shù)據(jù)庫.由于針對的樣本類型有限,因此可以不用選擇使用已有的數(shù)據(jù)庫,只需自己實(shí)現(xiàn)一個(gè)具有存儲數(shù)據(jù)功能的小型數(shù)據(jù)庫即可.在創(chuàng)建小型數(shù)據(jù)庫中需要存儲的信息主要包括: 樣本圖像,樣本圖像特征,樣本圖像特征描述以及對樣本信息的描述.對于樣本信息對應(yīng)問題的解決方法是,以文件名為紐帶將每個(gè)樣本的圖像,特征,特征描述以及樣本信息關(guān)聯(lián)起來.小型數(shù)據(jù)庫建立主要包括兩步,1)在系統(tǒng)中創(chuàng)建一個(gè)文件夾,命名為sampledb,作為本數(shù)據(jù)庫的根文件.然后在該文件下分別創(chuàng)建四個(gè)文件夾,用來存儲樣本的各個(gè)信息,并根據(jù)所存的信息為文件命名.2)根據(jù)提供的樣本圖像,分別對它們提取特征,特征描述并生成樣本的描述信息,存儲在相應(yīng)的文件夾下.圖像特征和特征描述采用xml文件存儲,實(shí)現(xiàn)xml文件的讀和寫采用的是OpenCV提供的兩個(gè)方法:

FileStorage fs("name.xml",FileStorage::READ);

FileStorage fs("name.xml",FileStorage::WRITE);

樣本信息采用txt文件存儲.接著將這些信息統(tǒng)一命名,然后存儲在各自對應(yīng)的文件夾下.當(dāng)系統(tǒng)需要獲取相應(yīng)的樣本圖像信息時(shí),只要在系統(tǒng)中寫定相應(yīng)的路徑,然后遍歷獲取對應(yīng)文件名的文件,讀取該文件中的信息即可.最后,需要在根文件夾下創(chuàng)建一個(gè)txt文件,用于存儲數(shù)據(jù)庫中的樣本的總體信息,該信息主要用于實(shí)現(xiàn)本系統(tǒng)的在線學(xué)習(xí)功能.

在系統(tǒng)開始執(zhí)行后,從數(shù)據(jù)庫中將每個(gè)樣本的特征信息都入到內(nèi)存中.接著從攝像頭輸入的視頻中按照一定的時(shí)間間隔獲取視頻的幀,保存到Mat類型的變量中,對獲取的圖像進(jìn)行大小和灰度處理,使輸入的圖像成為固定大小的灰度圖像,調(diào)用SIFT算法提取圖像特征并生成圖像特征描述.接著利用獲取的輸入圖像的特征及描述與讀入的樣本分別進(jìn)行相似度檢測,判斷獲取的圖像與哪一類的樣本相匹配.相似度檢測的實(shí)現(xiàn),在判斷兩種圖像是否匹配時(shí),首先以輸入圖像的特征描述為基礎(chǔ)與樣本圖像的特征相匹配,接著進(jìn)行消除誤匹配的操作,得到消除誤匹配后兩張圖像的特征點(diǎn)的個(gè)數(shù),通過驗(yàn)證當(dāng)特征點(diǎn)匹配的個(gè)數(shù)大于樣本圖像的特征點(diǎn)的個(gè)數(shù)的40%時(shí),便可以判斷兩種圖像是匹配的.針對特殊情況,當(dāng)出現(xiàn)多個(gè)滿足上述驗(yàn)證過程的樣本時(shí),根據(jù)消除誤匹配后特征點(diǎn)依舊匹配的個(gè)數(shù)進(jìn)行排序,選取個(gè)數(shù)最大的樣本匹配.如果依舊無法判斷,那么視這種情況為輸入圖像沒有匹配的樣本.現(xiàn)在,便完成了輸入圖像類型的判斷,然后從樣本數(shù)據(jù)庫中調(diào)出相應(yīng)的樣本信息提交給系統(tǒng)即可.如此,便實(shí)現(xiàn)了系統(tǒng)進(jìn)行檢測識別的功能.

3.2 在線學(xué)習(xí)

對于本系統(tǒng)實(shí)現(xiàn)的在線學(xué)習(xí)功能,首先要與機(jī)器學(xué)習(xí)中的學(xué)習(xí)做出區(qū)別.在機(jī)器學(xué)習(xí)中,學(xué)習(xí)的含義是從數(shù)據(jù)中學(xué)得模型的過程,這個(gè)過程通常執(zhí)行某個(gè)學(xué)習(xí)算法來完成,學(xué)習(xí)過程就是為了找出或逼近關(guān)于數(shù)據(jù)的某種潛在的規(guī)律[14].在本系統(tǒng)中,學(xué)習(xí)的含義是可以向系統(tǒng)中添加新的樣本圖像,使得系統(tǒng)具備識別與輸入樣本圖像相匹配的圖像的功能.本系統(tǒng)實(shí)現(xiàn)的學(xué)習(xí)功能本質(zhì)上是,設(shè)計(jì)出一個(gè)人機(jī)交互的界面,通過此界面操作者可以向系統(tǒng)的樣本數(shù)據(jù)庫中添加新的樣本,使得系統(tǒng)增加識別的類型.

系統(tǒng)學(xué)習(xí)功能的實(shí)現(xiàn),是通過在系統(tǒng)主界面上添加一部分,在該部分上可以選擇需要加入的樣本圖像和添加對樣本信息的描述,操作人員可以通過該部分添加新的樣本和其信息的描述,確認(rèn)后系統(tǒng)可以自動調(diào)用SIFT算法對樣本圖像進(jìn)行特征提取,然后存儲到樣本數(shù)據(jù)庫中,文件命名的方式則是根據(jù)數(shù)據(jù)庫根文件夾下存放的樣本的整體信息文件確定,從而使樣本具有唯一性.如此,系統(tǒng)便實(shí)現(xiàn)了在線學(xué)習(xí)的功能.

4 實(shí)驗(yàn)分析

4.1 系統(tǒng)搭建

本系統(tǒng)硬件包括: 工業(yè)攝像頭、工控主機(jī)和顯示設(shè)備,如圖3所示.在軟件方面,工控主機(jī)安裝的是windows系統(tǒng).本系統(tǒng)采用的開發(fā)環(huán)境是vs2010+MFC+openCV,系統(tǒng)開發(fā)完成后直接發(fā)布到工控主機(jī)上.

圖3 實(shí)驗(yàn)階段系統(tǒng)的硬件圖

4.2 性能測試

本系統(tǒng)主要關(guān)注的實(shí)驗(yàn)數(shù)據(jù)有兩部分: 系統(tǒng)在檢測識別的時(shí)間效率和準(zhǔn)確率.系統(tǒng)的時(shí)間消耗主要體現(xiàn)在輸入圖像的特征提取及描述生成的時(shí)間消耗,以及輸入圖像與樣本匹配的時(shí)間消耗.通過對上述兩點(diǎn)的改進(jìn)和優(yōu)化,本系統(tǒng)基本滿足印刷品識別中對系統(tǒng)實(shí)時(shí)性的要求,具體的實(shí)驗(yàn)數(shù)據(jù)如表1所示.針對檢測識別的準(zhǔn)確率,我們通過比較各種圖像相似度比較方法,最終選擇了效果很好的SIFT算法,同時(shí)在識別的過程中加入了消除誤匹配方法.通過大量實(shí)驗(yàn)對圖像匹配標(biāo)準(zhǔn)的調(diào)整,本系統(tǒng)對環(huán)境光照變化、輸入圖像的旋轉(zhuǎn)變化的魯棒性基本滿足實(shí)驗(yàn)對環(huán)境和輸入的要求,圖4是系統(tǒng)識別方法在輸入圖像正常、發(fā)生旋轉(zhuǎn)和光照變化情況下的匹配效果.

對于系統(tǒng)在檢測識別的準(zhǔn)確率驗(yàn)證,選取10個(gè)樣本,在相同的光照條件、不同的旋轉(zhuǎn)角度下,對多種不同類型的印刷品進(jìn)行識別驗(yàn)證.通過大量實(shí)驗(yàn),得出系統(tǒng)在檢測識別的準(zhǔn)確率達(dá)到98%,滿足印刷品識別中對準(zhǔn)確率的要求.

表1 系統(tǒng)單張輸入圖像檢測識別消耗時(shí)間

4.3 原型系統(tǒng)實(shí)現(xiàn)

通過研究與開發(fā),最終實(shí)現(xiàn)了本系統(tǒng).系統(tǒng)基于MFC的開發(fā)基本上滿足了與操作人員交互的功能.操作人員可以通過顯示設(shè)備操作整個(gè)系統(tǒng)、檢測系統(tǒng)的運(yùn)行情況以及可以向系統(tǒng)的樣本數(shù)據(jù)庫中添加或刪除所要識別的樣本類型.系統(tǒng)的效果圖如圖5所示.

圖5 系統(tǒng)成果展示

5 總結(jié)

為解決印刷品自動分揀的識別問題,本系統(tǒng)采用SIFT算法,提出并實(shí)現(xiàn)了基于XML格式淺層特征保存的在線學(xué)習(xí)和基于線性表檢索的圖像檢測方法.使用OpenCV庫、MFC框架,在VS2010平臺上設(shè)計(jì)并實(shí)現(xiàn)了對印刷品檢測識別和在線學(xué)習(xí)功能.通過發(fā)布在工控主機(jī)上進(jìn)行實(shí)驗(yàn)驗(yàn)證,系統(tǒng)實(shí)現(xiàn)了對印刷品的實(shí)時(shí)檢測,并取得了很好的效果.本系統(tǒng)的實(shí)現(xiàn)將會在很大程度上節(jié)約人力,提高印刷品分揀的效率.