張素智，常 俊，吳玉紅

(1.鄭州輕工業(yè)大學(xué) 軟件學(xué)院，河南 鄭州 450007；2.鄭州輕工業(yè)大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，河南 鄭州 450007)

0 引 言

近幾十年來，隨著汽車行業(yè)的發(fā)展，國內(nèi)輪胎工業(yè)也得到了空前發(fā)展，輪胎總產(chǎn)量及總使用量均已居于世界前列。在輪胎使用過程中，由于司機(jī)操作不當(dāng)、路面不平整、載貨過重等原因，會造成輪胎某些部位不同程度的破損。工廠需要對破損輪胎進(jìn)行鑒定以判斷出輪胎破損類型。目前，各大工廠使用最多的鑒定方式仍是人工鑒定：根據(jù)個人經(jīng)驗(yàn)觀察破損輪胎表面以對輪胎破損類型進(jìn)行判斷。

人工鑒定流程如圖1所示。

圖1 破損輪胎鑒定及意見返回流程

由圖1可知，目前輪胎破損類型的人工鑒定存在諸多弊端：

(1)鑒定流程繁瑣、時間長。當(dāng)司機(jī)發(fā)現(xiàn)輪胎破損后，鑒定破損類型需要經(jīng)過二級批發(fā)商、省級代理、輪胎工廠三個流程才能把輪胎送到工廠進(jìn)行鑒定。返回意見往往是相反的過程，這個時間往往是數(shù)天，鑒定效率極低。

(2)鑒定標(biāo)準(zhǔn)不統(tǒng)一，主觀性強(qiáng)，誤差較大。省級總經(jīng)銷商和輪胎工廠均能對破損輪胎進(jìn)行鑒定，但標(biāo)準(zhǔn)不能完全統(tǒng)一，影響鑒定結(jié)果。

(3)鑒定均為人工鑒定，施工環(huán)境差，對鑒定人員健康產(chǎn)生巨大傷害，在經(jīng)濟(jì)方面對企業(yè)可能產(chǎn)生不利影響。

針對以上人工鑒定破損輪胎類型的不足，以計(jì)算機(jī)智能識別代替繁瑣的人工鑒定，提出一種基于小波興趣突出點(diǎn)的破損輪胎圖像檢索方法。該方法通過一系列小波變換后提取小波興趣突出點(diǎn)，在小波興趣突出點(diǎn)的基礎(chǔ)上進(jìn)行特征提取，并設(shè)計(jì)了環(huán)形二值化顏色直方圖，基于小波的興趣突出點(diǎn)在不同圓環(huán)內(nèi)的分布概率不同，這使興趣突出點(diǎn)獲得了空間分布信息，在小波突出點(diǎn)周圍區(qū)域內(nèi)獲得的二值顏色直方圖也具有了空間分布信息，使得破損輪胎圖像檢索更加有效。

1 圖像檢索研究現(xiàn)狀

圖像檢索技術(shù)始于20世紀(jì)70年代，最開始的檢索方式主要通過人工對圖像進(jìn)行標(biāo)注后進(jìn)行圖像匹配，由于人工的介入，該方法不足之處眾多，如圖像檢索時工作量繁重、檢索所需時間長、檢索中受人為標(biāo)注影響大、結(jié)果可信度較低等[1-2]。為了彌補(bǔ)人工標(biāo)注這種檢索方式的不足，有學(xué)者提出了圖像檢索的新方法─基于興趣點(diǎn)的圖像檢索技術(shù)[3-6]。該技術(shù)通過檢測圖像在各個方向灰度有明顯變化的興趣點(diǎn)，在興趣點(diǎn)的基礎(chǔ)上提取圖像特征并進(jìn)行圖像檢索，避免了人工方式工作量大、檢索效率低的不足。

圖像檢索流程如圖2所示。

圖2 圖像檢索流程

基于興趣點(diǎn)的圖像檢索技術(shù)在進(jìn)行特征提取時，首先要檢測出興趣點(diǎn)。興趣點(diǎn)是圖像中具有特殊性質(zhì)的像素點(diǎn)，具有計(jì)算簡單、信息含量高、旋轉(zhuǎn)不變性等優(yōu)點(diǎn)[7-10]。在檢測興趣點(diǎn)時要使用角檢測器，因此興趣點(diǎn)亦成為角點(diǎn)。然而，當(dāng)利用局部窗口(角檢測器)在破損輪胎圖像上進(jìn)行移動檢索角點(diǎn)時，主要面臨以下問題：

(1)角點(diǎn)不一定是視覺焦點(diǎn)，當(dāng)破損輪胎圖像較為復(fù)雜，角檢測器往往會檢測到大量角點(diǎn)，但多數(shù)角點(diǎn)并不是視覺焦點(diǎn)，造成資源浪費(fèi)的同時還降低了人們真正關(guān)注的興趣點(diǎn)的檢索準(zhǔn)確率；

(2)在一整幅破損輪胎圖像中，可能由于角點(diǎn)過于集中，只能檢測到角點(diǎn)所在的較小區(qū)域，破損輪胎圖像的其他區(qū)域根本沒有被掃描。

基于以上兩點(diǎn)，且基于興趣點(diǎn)的圖像檢索方法僅對圖像的顏色直方圖的顏色信息總量進(jìn)行統(tǒng)計(jì)，而缺少其顏色的空間位置描述，因此很容易將顏色總量相似但顏色空間分布差異較大的圖像錯誤識別為相似圖像，以至于影響圖像的檢索結(jié)果。因此僅利用興趣點(diǎn)的圖像檢索技術(shù)并不能夠很好地應(yīng)用到破損輪胎圖像檢索上。理想的圖像檢索技術(shù)應(yīng)該克服上述缺點(diǎn)，必須能夠檢索出完整圖像內(nèi)所有感興趣的特征點(diǎn)，不僅要利用這些特征點(diǎn)的顏色信息，還應(yīng)采用特征點(diǎn)的空間位置信息，使兩者有機(jī)結(jié)合對破損輪胎圖像進(jìn)行檢索。

2 小波興趣突出點(diǎn)提取

該文的破損輪胎圖像檢索方法在小波變換后提取圖像的興趣突出點(diǎn)并以其作為視點(diǎn)線索，通過小波興趣突出點(diǎn)大致確定輪胎的破損區(qū)域，利用圖像的顏色特征及其空間分布特征對破損輪胎圖像進(jìn)行有效檢索。

2.1 興趣點(diǎn)

興趣點(diǎn)是圖像中具有特殊性質(zhì)的像素點(diǎn)，其圖像中灰度在各方向都有很大變化，當(dāng)前興趣突出點(diǎn)檢測算子方法眾多，但在圖像檢索領(lǐng)域最常用的還是自相關(guān)函數(shù)的Harris檢測算子[11-12]。

Harris算子的工作思想是：一個局部窗口(即角檢測器)在整幅圖像中移動，若窗口內(nèi)區(qū)域的灰度發(fā)生較大改變，那么就有一個角點(diǎn)存在于區(qū)域。

設(shè)一幅圖像為l(x,y)，點(diǎn)(x,y)經(jīng)過移動(Δx,Δy)后，臨近兩個點(diǎn)之間的相似性計(jì)算公式為:

I(u+Δx,v+Δy))2

(1)

利用泰勒公式將公式(1)展開，能夠得到一個二次項(xiàng)函數(shù)，如公式(2)所示：

(2)

利用公式(3)計(jì)算角點(diǎn)響應(yīng)函數(shù)R，然后根據(jù)計(jì)算結(jié)果得到圖像的角點(diǎn)：

R=det(M)-atrace2(M)

(3)

式中，det(M)為M的行列式、atrace2(M)為M的軌跡。當(dāng)(x0,y0)點(diǎn)的R值大于閾值R0時，則認(rèn)為點(diǎn)(x0,y0)是一個角點(diǎn)。

2.2 小波變換

20世紀(jì)70年代法國科學(xué)家J.Morlet首次提出小波變換概念，直到十多年后才有實(shí)質(zhì)進(jìn)展，數(shù)學(xué)家Y.Meyer構(gòu)造出世界上第一個小波基并建立其多尺度分析，有了從0到1的突破和標(biāo)準(zhǔn)的尺度分析，此后研究小波分析的學(xué)者越來越多，發(fā)展迅速，逐漸形成了各自的體系。

設(shè)任一小波函數(shù)為φ(x)，φ(x)的母函數(shù)為具有振蕩衰減性質(zhì)的ψ(x)，當(dāng)f(x)為一維信號函數(shù)時，當(dāng)在尺度為2j時，ψ(x)的伸縮小波系數(shù)為ψ2j(x)，其中ψ2j(x)=2jψ(2jx)；設(shè)f(x)采樣點(diǎn)的數(shù)量為N，則在尺度為2j時f的細(xì)節(jié)信號等于f與平移伸縮小波的內(nèi)積:

W2jf(n)=

0≤n≤2jN

(4)

當(dāng)j為不同的負(fù)整數(shù)時可以分別利用下式計(jì)算出不同尺度的小波系數(shù)：

Wf=(W2jf)-Jmax≤j≤-1,Jmax=log2N

(5)

接下來計(jì)算尺度為2j的小波系數(shù)，在已知尺度為2j+1的小波系數(shù)的基礎(chǔ)上利用金字塔算法即可求得，即：

0≤n<2jN

(6)

0≤n<2jN

(7)

其中，h是尺度離散濾波器，g是小波離散濾波器，該文所用小波為正交和緊支撐的Haar及Daubechies4小波。

2.3 小波突出點(diǎn)的提取

如上文所述，破損輪胎圖像的小波變換定義了在不同尺度下的圖像變化信息，在破損輪胎圖像檢索系統(tǒng)中，將通過從圖像中顏色發(fā)生明顯變化的感興趣的邊緣區(qū)域提取出小波興趣突出點(diǎn)，把該點(diǎn)對應(yīng)一個具有高階小波系數(shù)的全局變量的顏色變化明顯的區(qū)域，找相關(guān)的高階小波系數(shù)，符合這一特性的點(diǎn)可以在破損輪胎圖像合適的分辨率處找到，通過找到的高階小波系數(shù)可以得到一個表述全局變量的特征點(diǎn)。

0≤n<2j+1N

(8)

將公式(6)代入公式(7)中可得:

0≤n<2jN

(9)

對于緊支撐小波來說，h的空間支撐等于g的空間支撐。因此使用公式(8)計(jì)算公式(9)的支撐可得：

S(Ψ2j(u-2-jn))=

(10)

濾波器g的大小為2p(對于Haar小波，p=1，Daubechies4小波，p=2)。S(g(n))=[0,2p-1],{k/g(k-2n)≠0}={2n,…,2n+2p-1}。

接下來可得小波系數(shù)子集，即公式(11)：

C(W2jf(n))={W2j+1f(k),2n≤k≤2n+2p-1}

0≤n<2jN

(11)

由上述得到的小波系數(shù)的子集代表2p個信號特征點(diǎn)，小波突出點(diǎn)為這2p個信號特征點(diǎn)中梯度值最大的信號特征點(diǎn)。利用所有小波特征子集系數(shù)計(jì)算出小波顯著特征值，公式為：

0≤n<2jN，-Jmax≤j≤-1

(12)

經(jīng)過一系列變換，就能找到具有全局特征且小波特征值為最大的小波突出點(diǎn)。

上述分析小波興趣突出點(diǎn)的提取算法是針對一維數(shù)字信號，同理可得二維數(shù)字圖像。設(shè)任意一幅大小為M×N的數(shù)字圖像為I，由于其小波離散濾波器是一組S(g(x,y))=[0,2p-1]×[0,2p-1]，則其對應(yīng)的小波系數(shù)子集為:

(13)

用預(yù)設(shè)閾值對提取的小波系數(shù)子集進(jìn)行閾值化，以提取所需數(shù)量的小波興趣突出點(diǎn)，如圖3為輪胎破損類型為“胎體破裂”的輪胎圖像在二值化后提取的小波興趣突出點(diǎn)。

圖3 破損輪胎圖像提取的小波興趣突出點(diǎn)

2.4 基于興趣突出點(diǎn)的環(huán)形二值化顏色直方圖設(shè)計(jì)

圖4為基于小波興趣突出點(diǎn)的環(huán)形區(qū)域示意圖。

圖4 基于小波興趣突出點(diǎn)的環(huán)形區(qū)域示意圖

(14)

3 相似性度量

圖像檢索技術(shù)經(jīng)過多年發(fā)展，相似度計(jì)算方法出現(xiàn)很多，但使用最廣泛的是k近鄰法(k-nearest neighbor，KNN)。該文便采用k近鄰法進(jìn)行破損輪胎圖像的相似性度量，即將待檢索圖像與破損輪胎圖像庫中所有圖像各個特征逐一進(jìn)行相似度計(jì)算，進(jìn)而從破損輪胎圖像庫中找出與待檢索圖像距離較近的圖像，相似度達(dá)到預(yù)先設(shè)置的閾值即認(rèn)為兩幅破損輪胎圖像是相似的，大量的實(shí)驗(yàn)表明KNN是簡單有效的方法[13-15]。

待檢索圖像x與破損輪胎圖像庫中現(xiàn)有圖像l的相似度計(jì)算公式如下：

(15)

式中，SAkl是案例l的k特征的重要性(權(quán)重)；xk是新案例x的k特征，lk是現(xiàn)有案例l的k特征；EDk為案例庫中所有案例的k特征的標(biāo)準(zhǔn)偏差。

4 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證該文所提圖像檢索方法的有效性，在相同軟硬件環(huán)境下將基于小波興趣突出點(diǎn)的破損輪胎圖像檢索方法與基于卷積神經(jīng)網(wǎng)絡(luò)的圖像檢索方法進(jìn)行對比。利用Matlab進(jìn)行仿真實(shí)驗(yàn)，實(shí)驗(yàn)的環(huán)境是Windows10系統(tǒng)，64位操作系統(tǒng)，使用的硬件環(huán)境是Intel i5。實(shí)驗(yàn)圖像由輪胎工廠提供，在其提供的破損輪胎圖像中選出破損規(guī)范的圖像建立的破損輪胎圖像數(shù)據(jù)庫，庫中包括500多幅破損輪胎圖像，這些輪胎圖像根據(jù)輪胎工廠鑒定輪胎破損類型的規(guī)則分為4個子類，包括胎空、胎肩啃傷、胎體破裂和胎體缺失，每個子類包含多幅破損輪胎圖像。

該文將使用破損輪胎圖像檢索準(zhǔn)確率和查全率來衡量算法的性能優(yōu)劣，事先將建立的破損輪胎圖像庫根據(jù)輪胎的破損類型分為四類，破損輪胎圖像檢索的準(zhǔn)確率和查全率分別用PT和R表示，定義公式為：

(16)

(17)

式中，n為檢索出正確的輪胎破損類型圖像的數(shù)量，T為檢索出破損輪胎圖像的總數(shù)量，并以相似度最高的圖像作為檢索出的最相似破損輪胎圖像，并輸出該破損輪胎圖像相應(yīng)的輪胎破損類型。這樣就鑒定出待檢索破損輪胎圖像的相應(yīng)破損類型；公式(17)中m為檢索得到的圖像數(shù)量，N為圖像總數(shù)量。

利用文中算法和卷積神經(jīng)網(wǎng)絡(luò)算法分別計(jì)算出P20、P30、P50的破損輪胎圖像檢索準(zhǔn)確率，詳細(xì)如表1所示。

表1 文中算法和卷積神經(jīng)網(wǎng)絡(luò)算法的檢索準(zhǔn)確率 %

實(shí)驗(yàn)結(jié)果表明，無論是何種輪胎破損類型及P為何值時，文中算法的檢索準(zhǔn)確率均優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)算法；還可以看到不同的破損類型的輪胎圖像檢索準(zhǔn)確率并不相同，但都隨著破損輪胎圖像檢索數(shù)量的增加，所有破損類型的識別率均有所提高，在P=50時文中算法的破損輪胎圖像檢索準(zhǔn)確率總體已經(jīng)達(dá)到80%以上。因此當(dāng)樣本及檢索數(shù)量足夠大時，文中算法能夠取得令人滿意的檢索準(zhǔn)確率。

同時還計(jì)算出基于小波興趣突出點(diǎn)的圖像檢索方法和卷積神經(jīng)網(wǎng)絡(luò)算法在P=50時對破損輪胎圖像檢索的查全率，具體如表2所示。

表2 文中算法和卷積神經(jīng)網(wǎng)絡(luò)算法在P=50時對破損輪胎圖像的查全率

從表2可以看到，在P=50時，文中算法在四類輪胎破損類型中的查全率均高于卷積神經(jīng)網(wǎng)絡(luò)算法，查全率提升了近4%；輪胎不同破損類型檢索的查全率有所差異是不同破損類型的輪胎圖像復(fù)雜度不同和每幅破損輪胎圖像提取的小波興趣突出點(diǎn)數(shù)量不同造成的。

5 結(jié)束語

針對人工鑒定破損輪胎類型的不足，提出了一種基于小波興趣突出點(diǎn)的破損輪胎圖像檢索方法。傳統(tǒng)的圖像檢索方法利用興趣點(diǎn)進(jìn)行圖像檢索時僅統(tǒng)計(jì)顏色直方圖的各種顏色的量的多少，而忽略了顏色直方圖中每種顏色的分布方式，缺少顏色的相關(guān)空間位置信息，以至于混淆各類顏色統(tǒng)計(jì)數(shù)量相同而顏色空間分布不同的圖像，最終影響圖像檢索的準(zhǔn)確率。該文提出的破損輪胎圖像檢索方法是在小波興趣突出點(diǎn)的顏色信息的基礎(chǔ)上添加了以小波興趣突出點(diǎn)為中心、以λ×λ為鄰域的位置信息，在提取圖像的顏色特征的同時也獲得了顏色的空間分布信息，一定程度上彌補(bǔ)了傳統(tǒng)基于興趣點(diǎn)圖像檢索方法的不足。經(jīng)過文中算法與基于卷積神經(jīng)網(wǎng)絡(luò)的圖像檢索算法在檢索破損輪胎圖像方面的實(shí)驗(yàn)結(jié)果表明，文中算法在檢索破損輪胎圖像方面具有更高的檢索準(zhǔn)確率和查全率，同時能夠檢索出破損輪胎圖像的相應(yīng)破損類型，這是其他圖像檢索算法所不具備的功能。

當(dāng)然該算法也有一些不足，如使用的破損輪胎圖像包含干擾信息，輪胎上的異物及其固有的花紋與字符在破損輪胎圖像的小波興趣突出點(diǎn)提取過程產(chǎn)生了負(fù)面影響以致影響破損輪胎圖像檢索準(zhǔn)確率。后期將著重研究如何減小此類干擾信息對破損輪胎圖像檢索的不利影響。