程冠樺,張俊然,黃江濤

(1. 四川大學(xué)電氣工程學(xué)院,四川 成都 610065;2. 南寧師范大學(xué)計(jì)算機(jī)與信息工程學(xué)院,廣西 南寧 530001;3. 四川大學(xué)“醫(yī)學(xué)+信息”中心, 四川 成都 610065)

1 引言

文物和藝術(shù)品的識(shí)別、分類(lèi)與鑒定等需要相關(guān)專(zhuān)業(yè)人員進(jìn)行初步整理,但由于人工觀察具有一定的個(gè)人主觀性,對(duì)于一些復(fù)雜情況往往無(wú)法定量且有效地作出判斷[1]。計(jì)算機(jī)視覺(jué)技術(shù)發(fā)展日趨成熟,已廣泛應(yīng)用于人臉、車(chē)牌識(shí)別等領(lǐng)域。對(duì)于文物的識(shí)別、分類(lèi)與鑒定來(lái)說(shuō),相比人工的主觀經(jīng)驗(yàn)判斷,利用計(jì)算機(jī)視覺(jué)方法對(duì)文物及藝術(shù)品實(shí)現(xiàn)定量分析,可避免由于主觀標(biāo)準(zhǔn)不一而導(dǎo)致的認(rèn)知偏差。如文獻(xiàn)[2]通過(guò)比較待測(cè)印鑒與標(biāo)準(zhǔn)印鑒的多種統(tǒng)計(jì)參數(shù)對(duì)印鑒進(jìn)行真?zhèn)舞b別。文獻(xiàn)[3]通過(guò)提取檢驗(yàn)筆跡與參考筆跡的局部紋理特征實(shí)現(xiàn)字跡鑒定。文獻(xiàn)[4]采用GIST特征描述子表達(dá)書(shū)體特征,并結(jié)合SSC相似性敏感編碼算法,根據(jù)海明距離實(shí)現(xiàn)書(shū)法字體的定量識(shí)別。文獻(xiàn)[5]利用馬爾可夫隨機(jī)場(chǎng)對(duì)國(guó)畫(huà)的真?zhèn)芜M(jìn)行定量分析。文獻(xiàn)[6,7]利用文物輪廓以及灰度共生矩陣紋理特征等指標(biāo),定量地對(duì)文物圖像進(jìn)行辨識(shí)與鑒定。文獻(xiàn)[8,9]分別利用小波神經(jīng)網(wǎng)絡(luò)、形狀和紋理信息對(duì)瓷器文物定量地進(jìn)行等級(jí)定級(jí)、真?zhèn)巫R(shí)別以及年代識(shí)別。

就銅幣而言,在對(duì)其進(jìn)行整理分類(lèi)的初篩過(guò)程中,發(fā)現(xiàn)由于受保存環(huán)境差異或制作批次不同等因素的影響,同類(lèi)銅幣所呈現(xiàn)出的表面狀態(tài)不盡相同[10]——保存在溫濕度和酸堿度適中環(huán)境里的銅幣表面特征清晰,而其余長(zhǎng)期暴露在空氣或其它潮濕環(huán)境中的銅幣,受氧化發(fā)黑或是表面生成銅銹,破壞了紋理圖案的清晰度;此外,不同批次制造出的銅幣也存在細(xì)微差異。由于同類(lèi)銅幣存在著不同的復(fù)雜情形,人工判斷容易受到干擾,因此在整理分類(lèi)時(shí)需要定量的標(biāo)準(zhǔn)以確保同類(lèi)銅幣能夠被正確識(shí)別。

針對(duì)以上復(fù)雜情形導(dǎo)致人工觀察無(wú)法定量評(píng)判同類(lèi)銅幣這一問(wèn)題,本文提出基于SURF (Speeded Up Robust Features)特征[11]對(duì)待測(cè)銅幣與標(biāo)準(zhǔn)銅幣進(jìn)行相似計(jì)算,從而定量地識(shí)別出同類(lèi)銅幣。具體通過(guò)構(gòu)建多尺度空間結(jié)構(gòu)保證特征具有尺度不變性,定位關(guān)鍵點(diǎn)主方向保證特征具有旋轉(zhuǎn)不變性,結(jié)合關(guān)鍵點(diǎn)鄰域區(qū)域信息保證特征描述子的一般性和信息完整性,對(duì)兩特征描述符按照輪流主次的計(jì)算策略保證結(jié)果的唯一性,最終在特征點(diǎn)空間上計(jì)算相似性,通過(guò)相似得分識(shí)別出同類(lèi)銅幣。實(shí)驗(yàn)表明,通過(guò)對(duì)各銅幣提取的128維SURF特征進(jìn)行相似度計(jì)算,能夠很好地識(shí)別出不同情形的同類(lèi)銅幣。

2 特征提取

為了使獲得的銅幣特征具有尺度不變性、旋轉(zhuǎn)不變性、一般性和代表性,其提取步驟包括構(gòu)建多尺度空間、確定關(guān)鍵點(diǎn)以及特征描述。

2.1 Hessian矩陣

通過(guò)Hessian矩陣尋求銅幣中穩(wěn)定的突變點(diǎn),而在構(gòu)建之前需要先對(duì)圖像進(jìn)行濾波以消除噪聲干擾。Lindeberg等人[12]證明高斯卷積核是實(shí)現(xiàn)尺度變換的唯一線性核,因此選用高斯濾波器保證特征具有尺度不變性。式(1)和式(2)分別為濾波運(yùn)算與高斯核表達(dá)式

L(x,y,σ)=I(x,y)*G(x,y,σ)

(1)

(2)

其中I(x,y)為像素矩陣,L(x,y,σ)即為高斯濾波生成的圖像,在此基礎(chǔ)上構(gòu)建Hessian矩陣

(3)

從式(3)可見(jiàn)Hessian矩陣由濾波圖像在x和y方向的二階偏導(dǎo)數(shù)構(gòu)成,用以描述銅幣的局部曲率信息。式(4)為Hessian矩陣判別式,通過(guò)判別式符號(hào)初步確定該點(diǎn)是否為銅幣的局部關(guān)鍵點(diǎn)

det(H)=Lxx×Lyy-Lxy×Lxy

(4)

由于獲取關(guān)鍵點(diǎn)需先進(jìn)行高斯濾波,再對(duì)濾波圖像二次求導(dǎo),過(guò)程較為繁瑣;為了提高效率,采用圖1的盒式濾波器[11]近似代替高斯濾波器,將濾波計(jì)算轉(zhuǎn)換為了像素和的加減運(yùn)算過(guò)程,從而用式(5)近似式(4)尋求關(guān)鍵點(diǎn),

圖1 三個(gè)方向的盒式濾波器示意圖

det(H)=Dxx×Dyy-(ω×Dxy)2

(5)

式中Dxx,Dyy和Dxy分別為原圖像經(jīng)三個(gè)方向盒式濾波后的響應(yīng)值,ω為加權(quán)系數(shù),用以平衡近似計(jì)算產(chǎn)生的誤差。

2.2 多尺度特征提取

為了保證銅幣特征不受尺度變化影響,對(duì)此構(gòu)建多尺度空間尋求在不同尺度下均穩(wěn)定的特征點(diǎn)——通過(guò)調(diào)整盒式濾波器大小生成不同尺度的圖像,從而構(gòu)建多尺度金字塔。尺度空間由若干組圖像組成,其中同組圖像為同一輸入經(jīng)過(guò)尺寸依次增大的盒式濾波生成的一系列響應(yīng)圖。

完成多尺度空間的構(gòu)建后,計(jì)算多尺度結(jié)構(gòu)中的極值點(diǎn)進(jìn)行關(guān)鍵點(diǎn)篩選。圖2為關(guān)鍵點(diǎn)鄰域示意圖——包括同尺度圖像內(nèi)的8個(gè)鄰域點(diǎn)和相鄰尺度對(duì)應(yīng)位置的18個(gè)點(diǎn)。在篩選過(guò)程中,將每個(gè)檢測(cè)點(diǎn)與其鄰域內(nèi)的26個(gè)點(diǎn)進(jìn)行大小比較,確保關(guān)鍵點(diǎn)在整個(gè)尺度空間內(nèi)均為極值點(diǎn),從而保證所提取特征的穩(wěn)定性和高魯棒性。

圖2 關(guān)鍵點(diǎn)鄰域示意圖

如圖3所示,以上步驟得到的為尺度空間中的離散極值點(diǎn),為了獲取特征點(diǎn)的準(zhǔn)確位置,需要進(jìn)行曲線擬合。

圖3 曲線擬合極值點(diǎn)

利用Taylor展開(kāi)式擬合函數(shù),

(6)

對(duì)式(6)求導(dǎo),并令其等于0,有:

(7)

再將式(7)代回式(6),得到式(8):

(8)

由于部分極值點(diǎn)響應(yīng)較弱,應(yīng)進(jìn)行剔除,使獲取的特征點(diǎn)更具穩(wěn)定性。在本文中,若D()<0.03,則舍去對(duì)應(yīng)的極值點(diǎn)X,反之保留為特征點(diǎn)。

2.3 特征描述

為了保證銅幣特征不受旋轉(zhuǎn)角度的影響,需要先確定特征點(diǎn)的方向。如圖4所示,以特征點(diǎn)X為中心,6s(s為尺度空間值)為半徑計(jì)算圓形范圍內(nèi)的Haar小波響應(yīng);再設(shè)置以X為頂點(diǎn),張角為60°的扇形滑動(dòng)窗口,以0.2弧度的步長(zhǎng)旋轉(zhuǎn),依次統(tǒng)計(jì)窗口內(nèi)Haar小波響應(yīng)值的累加和,將最大累加值所對(duì)應(yīng)方向確定為特征點(diǎn)X的主方向,同時(shí)將達(dá)到最大累加值80%以上的方向作為輔方向以增強(qiáng)魯棒性。

圖4 確定特征點(diǎn)主方向

確定特征點(diǎn)方向后以主方向?yàn)榛鶞?zhǔn)進(jìn)行特征描述——以特征點(diǎn)為中心,取邊長(zhǎng)為20s的正方形鄰域,將其與主方向?qū)R后劃分成4×4個(gè)子區(qū)域,分別統(tǒng)計(jì)各子區(qū)域內(nèi)水平方向和豎直方向的Haar響應(yīng)值。為了進(jìn)一步增強(qiáng)特征點(diǎn)的獨(dú)特性,使銅幣特征具有更好的區(qū)分性,將小波特征繼續(xù)進(jìn)行細(xì)分:根據(jù)dy<0和dy≥0將dx與|dx|分別分為兩部分進(jìn)行加和計(jì)算,同理根據(jù)dx<0和dx≥0將dy與|dy|均分為兩部分進(jìn)行計(jì)算,如式(9)所示,每個(gè)子區(qū)域共包括8個(gè)分量。

V=(∑dx+,∑dy+,∑|dx+|,∑|dy+|,

∑dx-,∑dy-,∑|dx-|,∑|dy-|)

(9)

(10)

3 相似性計(jì)算

SIM(C1,C2)=SIM(C2,C1)

(11)

其中SIM(·)表示兩特征描述符之間的相似度計(jì)算。本文選用余弦相似度[13]作為相似度量方式,且由于特征向量均已做歸一化處理,實(shí)際計(jì)算過(guò)程只需進(jìn)行內(nèi)積運(yùn)算。計(jì)算時(shí)分別將兩銅幣作為主比較位置以保證相似度的唯一性,具體過(guò)程如下:先將copper1中的特征點(diǎn)作為主比較對(duì)象,逐一尋求copper1每個(gè)特征在copper2中的K最近鄰點(diǎn),計(jì)算特征描述符在相應(yīng)近鄰點(diǎn)中的最大相似值,待copper1中所有特征點(diǎn)均完成相似度計(jì)算后,取相似平均值作為copper1與copper2的相似值;同理,再將copper2作為主比較對(duì)象,計(jì)算每一特征描述符與copper1的最大相似值,當(dāng)copper2所有特征點(diǎn)均計(jì)算完畢后,取平均值作為copper2與copper1的相似值。最后將得到的兩相似值按照特征數(shù)大小計(jì)算加權(quán)平均值,結(jié)果即為兩銅幣的最終相似度得分。公式如下

(12)

(13)

(14)

4 實(shí)驗(yàn)分析

實(shí)驗(yàn)中選用的銅幣如圖5所示,三組銅幣分別對(duì)應(yīng)同類(lèi)銅幣常見(jiàn)的三種情形,包括一組咸豐元寶、一組前蘇聯(lián)時(shí)期三分幣和一組中華民國(guó)二分硬幣:咸豐元寶組在視覺(jué)上幾乎相同,除去極小部分雜質(zhì)差異外,其形狀、顏色、表面的文字以及其余絕大部分均表現(xiàn)一致,視覺(jué)上較易判斷出該組銅幣屬于同一類(lèi)別;前蘇聯(lián)硬幣組的制造批次不同,表面圖案存在小部分的細(xì)節(jié)差異,視覺(jué)上需進(jìn)行仔細(xì)分辨才可做出判斷;而在民國(guó)二分幣組中由于銅幣的保存環(huán)境等因素影響,各自表面存在較多雜質(zhì),差異較大,視覺(jué)上容易誤認(rèn)為該組銅幣各自屬于不同的類(lèi)別。

圖5 三種情形銅幣

通過(guò)本文方法對(duì)三種情形的同類(lèi)銅幣進(jìn)行相似度計(jì)算,實(shí)驗(yàn)中同時(shí)將128維SURF特征與SIFT[14]、Dense-SIFT[15]特征以及常規(guī)64維SURF描述子[11]進(jìn)行效果比較,分析各特征對(duì)銅幣的描述能力。如表1所示,可以看出各特征下三種情形的相似度均高于0.9,表明各方法均能夠從狀況復(fù)雜的銅幣表面提取出強(qiáng)魯棒性特征,并能對(duì)其進(jìn)行穩(wěn)定描述;此外,三種情形銅幣的相似度結(jié)果依次減小,與視覺(jué)判斷結(jié)果一致,表明了方法的真實(shí)有效性。相較而言,基于128維SURF特征的方法在各情形下的相似性計(jì)算得分均最高,表明其特征具有更強(qiáng)的描述能力,能夠很好地識(shí)別出不同情形的同類(lèi)銅幣。

表1 不同特征下三種情形的相似度結(jié)果

為了進(jìn)一步驗(yàn)證方法的有效性,將三種情形分別進(jìn)行不同程度的旋轉(zhuǎn)、亮度變化以及尺寸變化以模擬相似比較時(shí)的不同場(chǎng)景,分析各特征的表現(xiàn)效果?？紤]銅幣變換為相對(duì)關(guān)系,實(shí)驗(yàn)中選取銅幣copper2進(jìn)行依次變換。圖6為各個(gè)變換示意圖——(a)為亮度變換示意圖,從左往右依次將亮度調(diào)整為原圖像的0.5倍,1.5倍,2倍;(b)為角度變換示意圖,依次將銅幣按順時(shí)針旋轉(zhuǎn)45°,135°,270°;(c)為尺寸變換示意圖,依次縮放為原圖的0.5倍,0.8倍,1.5倍。

圖6 三種變換示意圖

圖7為三種情形銅幣在不同變換下四種特征描述子的相似度結(jié)果,其中橫軸依次為不同程度的亮度、角度和尺寸變換,可以看出:在亮度變換下,四種特征均保持穩(wěn)定水平,表明幾種特征方法對(duì)亮度變化都具有較強(qiáng)的魯棒性;而在旋轉(zhuǎn)變換和尺寸變換下,DenseSIFT總體相似度呈現(xiàn)較低水平,表現(xiàn)最差,而其它三種特征描述子依舊保持穩(wěn)定,表明具有較強(qiáng)的尺度不變性和旋轉(zhuǎn)不變性,其中128維SURF描述子表現(xiàn)最為突出,在三種情形下均保持最高識(shí)別水平,再次證明其特征具有強(qiáng)大的描述能力。

圖7 各特征在不同變換下的相似度表現(xiàn)

從表1和圖7均可看出SURF-128效果更好,分析其原因:由于銅幣表面紋理圖案基本呈現(xiàn)為橫縱向分布,相比于SIFT及DenseSIFT描述子依據(jù)梯度直方圖生成,SURF-128描述子由水平及豎直方向Haar響應(yīng)值組成,更能充分描述銅幣特征的方向性變化;相比于常規(guī)64維SURF特征,SURF-128將小波響應(yīng)值進(jìn)一步細(xì)分,其描述子信息豐富度更高,故以此為特征能夠更好地識(shí)別出同類(lèi)銅幣。

本文還探究了包括基于感知哈希算法pHash[16],圖像灰度直方圖[17]以及灰度共生矩陣GLCM紋理特征[7]的三種圖像相似比較方法,并與本文方法進(jìn)行分析比較。從表2可以看到,本文基于128維SURF特征的方法表現(xiàn)更為優(yōu)異,能夠更清晰地識(shí)別出同種銅幣。

表2 四種相似比較方法的相似度結(jié)果

為了更好地比較方法的識(shí)別能力,實(shí)驗(yàn)還依次計(jì)算三組銅幣兩兩之間的相似度,組成同類(lèi)銅幣組和不同銅幣組,以驗(yàn)證方法對(duì)同類(lèi)銅幣的識(shí)別能力以及對(duì)不同銅幣的區(qū)分能力。

如圖8所示,各子圖分別為使用感知哈希pHash、顏色直方圖、GLCM紋理特征以及本文基于128維SURF描述子的相似度比較方法計(jì)算各銅幣對(duì)的相似度結(jié)果熱力圖,其中橫軸和縱軸上的c11和c12為圖5中情形一的copper1和copper2,其余編號(hào)依此類(lèi)推;熱力圖沿主對(duì)角線對(duì)稱(chēng),各個(gè)方塊即為相應(yīng)銅幣之間的相似度得分,顏色越深表示兩銅幣相似度越高?？梢钥闯?圖(a) (b)中顏色較為混亂,甚至出現(xiàn)同組銅幣的相似度低于不同銅幣相似度的情況,表明方法魯棒性較差。圖(c)中c21、c22與c31、c32之間顏色過(guò)于接近,分析原因發(fā)現(xiàn)其表面紋理分布情況較為類(lèi)似,導(dǎo)致灰度共生矩陣統(tǒng)計(jì)情況相似,從而產(chǎn)生相似度較高的假陽(yáng)性情況。而對(duì)于圖(d),熱力圖對(duì)角線位置存在三組明顯較深顏色的2×2方塊,如c11和c12,c21和c22,c31和c32分別對(duì)應(yīng)三種情形的同類(lèi)銅幣,其相似度得分均高于0.9,表明方法能夠靈敏準(zhǔn)確地識(shí)別出同組銅幣;而圖中其它方格顏色均較淺,其相似度得分為0.65以下,與同類(lèi)銅幣組的相似度得分相比差異明顯,表明方法能夠較好地區(qū)分出不同銅幣。通過(guò)以上分析,可證明本文方法能夠很好地識(shí)別同類(lèi)銅幣以及區(qū)分不同類(lèi)型銅幣。

圖8 幾種圖像相似度計(jì)算方法結(jié)果比較

5 結(jié)論

針對(duì)同類(lèi)銅幣表面復(fù)雜而人工觀察無(wú)法進(jìn)行定量化評(píng)判這一問(wèn)題,本文提出通過(guò)計(jì)算機(jī)視覺(jué)圖像相似度比較方法實(shí)現(xiàn)定量地識(shí)別同類(lèi)銅幣。方法對(duì)銅幣提取出的128維SURF特征具有較強(qiáng)的獨(dú)特性和可區(qū)分性,對(duì)旋轉(zhuǎn)、光照和尺度變化均具有高度魯棒性。實(shí)驗(yàn)表明本文基于128維SURF特征的相似度計(jì)算方法能夠很好地識(shí)別與區(qū)分不同狀況的銅幣:對(duì)于同類(lèi)銅幣,其相似度得分均高于0.9;而不同銅幣之間的相似度為0.65以下,遠(yuǎn)低于同類(lèi)銅幣。

本文就利用計(jì)算機(jī)視覺(jué)識(shí)別銅幣提供一種思路,未來(lái)將嘗試結(jié)合深度學(xué)習(xí)算法進(jìn)一步提升識(shí)別準(zhǔn)確率。