劉 穎，董海濤，王富平，李大湘

(1. 西安郵電大學(xué)電子信息現(xiàn)場勘驗(yàn)應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121；2.西安郵電大學(xué)圖像與信息處理研究所，陜西省 西安市 710121)

1 引言

通常交通事故中會(huì)利用現(xiàn)場留下的車胎壓痕痕跡和物證之間的關(guān)系解釋事故的過程，判斷雙方責(zé)任，而地面輪胎痕跡往往是最有用的痕跡物證之一，所以輪胎痕跡檢索常用于公安破案或交通事故處理中的線索獲取[1]。

我國對(duì)輪胎痕跡圖像檢索相關(guān)的研究較遲，沒有建立相關(guān)數(shù)據(jù)庫，在輪胎痕跡方面的研究也比較簡單，主要是通過判斷嫌疑車輛的逃跑路線和速度，對(duì)輪胎痕跡圖像檢索分類，沒有標(biāo)準(zhǔn)的輪胎痕跡圖像測試數(shù)據(jù)庫，使用是采集規(guī)模不一的數(shù)據(jù)庫。輪胎與地面形成的輪胎痕跡圖像紋理豐富并且規(guī)則，痕跡顏色較為單一，所以學(xué)者們基于紋理特征對(duì)輪胎痕跡圖像進(jìn)行檢索實(shí)驗(yàn)。文獻(xiàn)[2]利用一種基于快速付氏變換圖像配準(zhǔn)方法對(duì)輪胎痕跡圖像進(jìn)行處理，文獻(xiàn)[3]通過分析SIFT變換原理和Gabor小波原理，提出了基于SIFT-Gabor變換的輪胎痕跡圖像模式識(shí)別算法。文獻(xiàn)[4]結(jié)合人腦的無監(jiān)督學(xué)習(xí)和層次化提取特征提取特性，提出了一種基于稀疏表示和概率潛在語義分析的輪胎痕跡圖像檢索算法。文獻(xiàn)[5]提出了一種基于非下采樣Contourlet變換(non-subsampled contourlet transform， NSCT)和 GLCM的組合特征提取與多級(jí)支持向量機(jī)(Support Vector Machine，SVM)的輪胎花紋圖像識(shí)別算法。

由于輪胎痕跡圖像數(shù)據(jù)很難收集，在實(shí)際采集過程中并不能大量收集，每個(gè)高校團(tuán)隊(duì)收集方式也有所不同。例如西安郵電大學(xué)圖像與信息處理研究所(Center for Image and Information Processing，CIIP)依托與公安部共建的重點(diǎn)實(shí)驗(yàn)室平臺(tái)，科研人員在不同時(shí)間、不同環(huán)境(光照及氣候)及不同拍攝條件下(視角、距離、尺度、仿射角)采集輪胎痕跡圖像2400幅，如圖1(a)。大連海事大學(xué)的學(xué)者們利用油墨式按壓或油式按壓的方式得到496幅輪胎出廠時(shí)的輪胎痕跡圖像。然后將這496幅輪胎痕跡圖像中的每一幅輪胎痕跡圖像隨機(jī)截取成同等大小的5張，就可以創(chuàng)建輪胎痕跡圖像總共2976幅，如圖1(b)。吉林大學(xué)的王震選用常見車輛的壓痕圖像40幅，在不同光照情況，尺度下對(duì)痕跡圖像進(jìn)行拍攝，共創(chuàng)建160幅輪胎痕跡圖像。如圖1(c)。表1是現(xiàn)有規(guī)模較大的輪胎痕跡數(shù)據(jù)庫的信息。

圖1 輪胎痕跡圖像庫示例圖

表1 輪胎痕跡圖像數(shù)據(jù)庫

在各種紋理圖像描述符中，局部二值模式(LBP)是一種流行且功能強(qiáng)大的圖像描述符，已經(jīng)被成功地應(yīng)用到不同的領(lǐng)域，例如人臉識(shí)別、對(duì)象識(shí)別和場景識(shí)別[6]。最早由芬蘭Oulu大學(xué)提出，LBP因?yàn)槠溆?jì)算復(fù)雜度低，無需訓(xùn)練學(xué)習(xí)，易于工程實(shí)現(xiàn)所以在計(jì)算機(jī)視覺和圖像處理領(lǐng)域收到了廣泛的關(guān)注?；谠嫉腖BP方法，學(xué)者們又提出了許多改進(jìn)LBP方法，Jabid等[7]提出了局部方向圖(LDP)，其使用來自Kirsch梯度算子的邊緣響應(yīng)在像素周圍的八個(gè)方向上。zhong等[8]利用最突出的邊緣響應(yīng)值的方向和第二個(gè)最突出的邊緣響應(yīng)值給出了增強(qiáng)的局部方向圖(ELDP)。Ahmed[9]提出了梯度方向圖(GDP)，通過對(duì)梯度方向角進(jìn)行量化以形成二進(jìn)制模式來對(duì)局部區(qū)域的紋理信息進(jìn)行編碼。Rivera等[10]通過使用羅盤屏蔽計(jì)算鄰域的邊緣響應(yīng)來呈現(xiàn)局部方向數(shù)模式(LDN)，并且通過采取這些邊緣響應(yīng)的最大正和負(fù)方向。但是在輪胎痕跡圖像檢索中，目前還沒有學(xué)者利用局部二進(jìn)制及其改進(jìn)方法進(jìn)行實(shí)驗(yàn)。輪胎痕跡圖像包括主線溝槽和的邊緣紋理線基本特征。同時(shí)，邊緣紋理線很復(fù)雜，不同類型的車的邊緣紋理線具有不同的寬度和方向，并且紋理線互連和纏繞。因此，本文將利用Sobel算子對(duì)圖像進(jìn)行梯度方向角的轉(zhuǎn)換，然后利用局部三值模式(LTP)進(jìn)行描述。

本文根據(jù)LTP描述符提出了局部梯度方向三值模式(Local Gradient Directional Ternary pattern，LGDTP)，與利用灰度等級(jí)來編碼局部紋理的LBP和LTP算子不同，所提出的LGDTP算子使用更穩(wěn)定的梯度方向值來代替像素值。該編碼方案針對(duì)中心像素梯度角和閾值來量化局部鄰域中的梯度方向角，得到更好的紋理邊緣信息。而且利用針對(duì)輪胎痕跡圖像提出的圖像區(qū)域級(jí)聯(lián)方法，相對(duì)于之前2×2區(qū)域的方法維度增加不多且得到更好的效果。在輪胎痕跡圖像數(shù)據(jù)庫上和輪胎表面花紋數(shù)據(jù)庫上用該算法及其它LBP改進(jìn)方法利用歐氏距離和曼哈頓距離進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本文提出的算法相對(duì)于其它改進(jìn)的LBP算法檢索準(zhǔn)確度更高，更適用于輪胎痕跡圖像。為了更進(jìn)一步提高LGDTP算法在輪胎痕跡圖像數(shù)據(jù)庫上的檢索效率，本文引入遷移學(xué)習(xí)對(duì)LGDTP算法進(jìn)行改進(jìn)。選擇卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network， CNN)模型AlexNet[15]作為基本的網(wǎng)絡(luò)結(jié)構(gòu)，在ImageNet數(shù)據(jù)集上的訓(xùn)練參數(shù)作為初始模型，然后對(duì)輪胎痕跡圖像進(jìn)行了遷移學(xué)習(xí)[16](transfer learning) 訓(xùn)練。由于輪胎痕跡圖像數(shù)據(jù)樣本少，AlexNet模型訓(xùn)練容易過擬合，檢索效率和LGDTP算法比沒有優(yōu)勢。因此，本文將基于遷移學(xué)習(xí)的CNN特征和LGDTP特征按不同的權(quán)值進(jìn)行融合，并在輪胎痕跡數(shù)據(jù)庫上進(jìn)行檢索實(shí)驗(yàn)，得到更高的檢索準(zhǔn)確率。

2 基于局部梯度方向三值模式的輪胎痕跡圖像特征

2.1 原始LBP描述子

最初的LBP描述子由芬蘭大學(xué)Oulu機(jī)器視覺小組的研究者Ojala等人針對(duì)紋理圖像分類問題提出的[6]。該方法提出后，受到了計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域?qū)W者的廣泛關(guān)注。LBP描述子的原理為定義在某中心像素的灰度值為閾值進(jìn)行二值量化，大于或等于中心像素的像素值編碼為1，小于則為0，最終形成一個(gè)局部二進(jìn)制模式。將該二進(jìn)制模式以x軸正方向?yàn)槠瘘c(diǎn)按照逆時(shí)針方向進(jìn)行串聯(lián)得到一串二進(jìn)制數(shù)字，并用該二進(jìn)制對(duì)應(yīng)的十進(jìn)制數(shù)字重新作為該中心的像素點(diǎn)，最終每一幅圖像都可以計(jì)算得到一個(gè)局部二進(jìn)制模式。

(1)

(2)

這里gc是中心像素的灰度值，gi是其鄰域的灰度值，P是鄰域的數(shù)目，R是鄰域的半徑，對(duì)中心像素點(diǎn)的灰度值gc與其鄰域的灰度值gi進(jìn)行比較gi大于gc則為1，反之則為0.這樣得到P位二進(jìn)制編碼，再轉(zhuǎn)換為十進(jìn)制數(shù)值返回給中心像素。具體過程如圖1所示：

圖2 LBP原理圖

2.2 局部三值模式(LTP)

LTP描述子[12]是Tan和Triggs在LBP描述子的基礎(chǔ)上進(jìn)行的改進(jìn)，其對(duì)不同光照下和噪聲下的圖像具有更好的魯棒性。并且更加細(xì)膩的描述了圖像的紋理特征。LTP增加自定義t，gi大于區(qū)間[gc-t，gc+t]}時(shí)為1，屬于區(qū)間時(shí)為0，小于此區(qū)間時(shí)為-1，得到三值編碼值，計(jì)算如下

(3)

(4)

這里P，R，i與LBP算法一致。為了簡化計(jì)算，令LTP特征分解為正，負(fù)LBP的編碼方式。即把編碼值為1的變?yōu)?，得到正LBP人臉紋理特征。把編碼值為-1的修改為1，其余均變?yōu)?，從而得到負(fù)LBP人臉紋理特征。過程如圖2所示。

圖3 LTP原理圖

2.3 LGDTP算法

LBP對(duì)噪聲和光照變化敏感，因?yàn)橄袼攸c(diǎn)的稍微改變，可導(dǎo)致其值對(duì)于中心像素的改變。一些改進(jìn)的算法利用更穩(wěn)定的梯度幅值和邊緣響應(yīng)值而不是灰度值來形成二進(jìn)制模式，但它們傾向于更加均勻的圖像區(qū)域中產(chǎn)生不同的編碼。而本篇文章改進(jìn)的算法呈現(xiàn)出了更強(qiáng)大的局部紋理圖案，首先利用Sobel算子對(duì)圖像進(jìn)行邊緣檢測。Sobel算子根據(jù)像素點(diǎn)上下、左右鄰點(diǎn)灰度加權(quán)差，在邊緣處達(dá)到極值這一現(xiàn)象檢測邊緣。對(duì)噪聲具有平滑作用，提供較為精確的邊緣方向信息，首先使用以下等式計(jì)算圖像中每個(gè)像素的梯度向量的方向角

α(x，y)=arctan(Gy/Gx)

(5)

這里α(x，y)表示像素(x，y)的梯度方向角，Gx和Gy是梯度向量的兩個(gè)元素，梯度向量是通過sobel算子在原圖像上進(jìn)行計(jì)算得到。Sobel算子將圖像與水平核和垂直核進(jìn)行卷積，以分別獲得Gx和Gy的值，如圖3所示

圖4 Sobel算子

在計(jì)算完梯度角之后，在3×3的鄰域中利用LGDTP算法進(jìn)行操作。LGDTP算法增加自定義閾值t，gi大于區(qū)間[gc-t，gc+t]}時(shí)為1，屬于此區(qū)間為0，小于此區(qū)間為-1，得到三值編碼值。計(jì)算過程如下

(6)

(7)

這里P，R，i與LTP算法一致，gc是中心像素的梯度方向角，gi是其鄰域的梯度方向角，閾值t設(shè)置為10°，將LGDTP特征值分解為正負(fù)編碼的方式，即編碼值不為1的均修改為0，得到正的編碼特征。把編碼值為-1的修改為1，其余全變?yōu)?，得到負(fù)的編碼特征。過程如圖4所示。

圖5 LGDTP原理圖

3 特征向量描述

采用LGDTP算子對(duì)輪胎痕跡圖像中的像素進(jìn)行特征編碼，最終得到算法編碼后的圖像。在進(jìn)行輪胎痕跡圖像檢索時(shí)，不會(huì)將編碼后的圖像直接作為特征向量進(jìn)行檢索實(shí)驗(yàn)，而是采用統(tǒng)計(jì)直方圖作為圖像的特征向量，這樣有利于減少因圖像位置而產(chǎn)生的影響。但是，位置和空間關(guān)系信息的存在提供了更好的特征表示，并且更精確地描述了圖像內(nèi)容。因此，為了結(jié)合圖像的位置信息，本文將編碼圖像進(jìn)行分割成多個(gè)區(qū)域，并統(tǒng)計(jì)每一個(gè)區(qū)域的直方圖，最后對(duì)所有區(qū)域進(jìn)行空間級(jí)聯(lián)，獲得LGDTP直方圖。具體步驟如下：

1)將輪胎痕跡圖像分為3×3分塊，得到9塊大小為m×n的圖像分塊。

2)采用公式計(jì)算每幅圖像的特征值。

3)對(duì)分塊后的子圖像進(jìn)行直方圖統(tǒng)計(jì)。根據(jù)輪胎痕跡圖像的紋理信息的位置分布的特殊性和減少特征維度，本文只取2，4，5，6，8子區(qū)域進(jìn)行直方圖級(jí)聯(lián)，如圖6所示。

4)將級(jí)聯(lián)后的直方圖作為整幅輪胎痕跡圖像的特征。

圖6 LGDTP算法特征向量描述圖

4 LGDTP特征與CNN特征融合

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network， CNN)[14]是一種帶有卷積結(jié)構(gòu)的深層神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用端到端 (End-to-end) 的學(xué)習(xí)模型，利用卷積運(yùn)算由深到淺的提取不同層次的特征。包括五種類別的層：輸入層 (data input layer)、卷積層 (convolutional layer， conv)、池化層 (pooling Layer， pooling)、全連接層 (fully connected layer， fc)和輸出層 (output)。結(jié)構(gòu)如圖7所示。

圖7 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

為了更進(jìn)一步提高LGDTP算法在輪胎痕跡圖像數(shù)據(jù)庫上的檢索效率，本文結(jié)合卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet[15]與LGDTP算法進(jìn)行改進(jìn)。由于輪胎痕跡圖像數(shù)據(jù)樣本少，AlexNet模型訓(xùn)練容易過擬合，檢索效率和LGDTP算法比沒有優(yōu)勢。因此本文基于AlexNet模型和ImageNet[15]數(shù)據(jù)庫，對(duì)輪胎痕跡圖像進(jìn)行遷移學(xué)習(xí)訓(xùn)練，遷移學(xué)習(xí)[16]利用不同學(xué)習(xí)任務(wù)間的共性在任務(wù)間遷移知識(shí)，適用于小樣本數(shù)據(jù)庫?？紤]到輪胎痕跡圖像數(shù)據(jù)庫的特殊性，本文將基于輪胎痕跡圖像的遷移學(xué)習(xí)特征和LGDTP特征按權(quán)值進(jìn)行融合得到基于遷移卷積神經(jīng)網(wǎng)絡(luò)的局部梯度方向三值特征。AlexNet架構(gòu)如圖8所示。

圖8 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)圖

本文以ImageNet 數(shù)據(jù)庫作為輔助數(shù)據(jù)庫，以輪胎痕跡圖像數(shù)據(jù)庫為源數(shù)據(jù)集，選擇卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet作為基本的網(wǎng)絡(luò)結(jié)構(gòu)，在ImageNet數(shù)據(jù)集上的訓(xùn)練參數(shù)作為初始模型。然后在輪胎痕跡圖像上利用遷移學(xué)習(xí) (transfer learning)訓(xùn)練時(shí)，對(duì)softmax分類層進(jìn)行微調(diào)訓(xùn)練，提取AlexNet的fc7層4096維特征，利用主成分分析(Principal Component Analysis，PCA)將提出的特征降低維度到1280維和本文提出的LGDTP特征分配不同的權(quán)值進(jìn)行融合實(shí)驗(yàn)。經(jīng)過實(shí)驗(yàn)測試，特征分量權(quán)重比例選為0.4：0.6。

5 實(shí)驗(yàn)結(jié)果

5.1 實(shí)驗(yàn)數(shù)據(jù)庫及檢索性能評(píng)價(jià)參數(shù)

本文實(shí)驗(yàn)在西安郵電大學(xué)圖像與信息處理研究所(Center for Image and Information Processing，CIIP)自建的輪胎痕跡圖像數(shù)據(jù)庫(CIIP Tire Indentation Mark Image Database )上進(jìn)行實(shí)驗(yàn)，圖9為例圖。其中輪胎痕跡數(shù)據(jù)庫包括30類每類80幅圖像共計(jì)2400幅，為了確保實(shí)驗(yàn)的對(duì)比性更強(qiáng)，本文在同樣西安郵電大學(xué)圖像與信息處理所自建的輪胎表面花紋數(shù)據(jù)庫(CIIP Tread Pattern Image Database，CIIP-TPID)中選取同樣規(guī)格的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，圖10例圖。

圖9 輪胎痕跡圖像數(shù)據(jù)庫

圖10 輪胎表面花紋圖像數(shù)據(jù)庫

利用平均查準(zhǔn)率作為檢索性能評(píng)價(jià)指標(biāo)，該指標(biāo)越大表明檢索結(jié)果越好，其計(jì)算公式為

(8)

其中S為查詢結(jié)果中包含正確圖像數(shù)目，K為查詢結(jié)果的圖像總數(shù)。

5.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)1：不同距離衡量下圖像檢索 在輪胎痕跡圖像數(shù)據(jù)庫上，對(duì)LGDTP算法和LBP，LDP，ELDP，LDN，GDP，OLDP算法進(jìn)行檢索實(shí)驗(yàn)，并比較其性能。分別利用歐氏距離和曼哈頓距離計(jì)算相似度度量,,計(jì)算K=10時(shí)的平均查準(zhǔn)率。結(jié)果如圖11所示，可以看出曼哈頓距離在輪胎痕跡圖像檢索中效果優(yōu)于歐氏距離。

圖11 歐氏距離和曼哈頓距離檢索效果比較

實(shí)驗(yàn)2：不同數(shù)據(jù)庫上檢索實(shí)驗(yàn)

在輪胎痕跡圖像數(shù)據(jù)庫和輪胎花紋圖像數(shù)據(jù)庫上，利用曼哈頓距離計(jì)算圖像相似度，在輪胎痕跡圖像數(shù)據(jù)庫和輪胎表面花紋圖像數(shù)據(jù)庫上對(duì)本文提出的LGDTP算法和LBP，LDP，ELDP，LDN，圖12和圖13所示。

圖12 輪胎痕跡圖像檢索結(jié)果比較

圖13 輪胎表面花紋檢索結(jié)果比較

可以看出，本文提出的LGDTP算法在輪胎痕跡圖像數(shù)據(jù)庫和輪胎表面花紋數(shù)據(jù)庫上都比其它改進(jìn)LBP的算法法提出的特征查準(zhǔn)率高，而且在圖像痕跡數(shù)據(jù)庫上平均查準(zhǔn)率提高更為明顯。比如K=10時(shí)，幾種紋理特征的平均查準(zhǔn)率為50.7%， 49.1%， 47.8%， 45.9%， 45.8%， 43.1%，本文算法為57.8%，比原始LBP算法提高了14.6%。(給出具體數(shù)據(jù)提高百分比為例)，說明本文提出的算法更適應(yīng)于描述輪胎痕跡圖像。因?yàn)檩喬ズ圹E圖像數(shù)據(jù)庫圖像痕跡信息多集中于圖像中間，并且實(shí)際刑偵案件中采集的信息往往是不完整的，更多的輪胎痕跡圖像紋理信息集中于圖像中間。利用本文的圖像區(qū)域選取方法提高檢索準(zhǔn)確度。并且該方法新穎性在于利用更穩(wěn)定的梯度方向值來代替像素值和局部三值模式對(duì)輪胎痕跡圖像進(jìn)行描述，其更加穩(wěn)定并且保留了更多的圖像紋理信息。

實(shí)驗(yàn)3：傳統(tǒng)特征和LGDTP對(duì)比檢索實(shí)驗(yàn)

在輪胎痕跡圖像數(shù)據(jù)庫上對(duì)本文提出的基于梯度方向角的局部三值算法與傳統(tǒng)的單一特征提取算法包括HSV顏色直方圖，HU不變矩，DWT小波紋理進(jìn)行性能比較，結(jié)果如圖14所示。

圖14 本文算法與傳統(tǒng)特征的性能比較

可以看出本文提出的算法檢索準(zhǔn)確率優(yōu)于上述幾種特征。例如，在K=10時(shí)，局部梯度方向三值模式特征比HSV顏色直方圖，HU不變矩，DWT小波紋理特征的平均查準(zhǔn)率分別提高了14%，32.6%，25.9%。

實(shí)驗(yàn)4：融合特征檢索實(shí)驗(yàn)

為了驗(yàn)證LGDTP特征和遷移學(xué)習(xí)訓(xùn)練模型特征融合算法在輪胎痕跡圖像據(jù)庫上的檢索優(yōu)異性， 分別和LGDTP特征和和不同維度的遷移學(xué)習(xí)訓(xùn)練模型特征進(jìn)行比較，結(jié)果如圖15所示：

圖15 融合特征檢索性能比較

可以看出基于遷移學(xué)習(xí)和LGDTP的融合特征在返回值越大的時(shí)候體現(xiàn)出了該算法的優(yōu)勢，在K=10時(shí)，平均查準(zhǔn)率相對(duì)于其它算法分別提高了16.11%，15.83%，10.08%，說明本文提出的LGDTP特征和經(jīng)過遷移學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)的深度特征融合對(duì)輪胎痕跡圖像具有更強(qiáng)的表征能力。

6 結(jié)束語

本文針對(duì)輪胎痕跡圖像紋理信息復(fù)雜并且集中的特點(diǎn)提出了基于局部梯度方向三值模式特征提取算法，本算法利用更穩(wěn)定的梯度方向值來代替像素值去描述輪胎痕跡圖像，再利用局部三值模式對(duì)新的變換，通過曼哈頓距離進(jìn)行相似度度量，與已有的算法相比具有更高的查準(zhǔn)率，在輪胎痕跡圖像數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果表明了本文提出的基于局部梯度方向三值模式特征提取算法更有效，又在LGDTP算法的基礎(chǔ)上，結(jié)合AlexNet 網(wǎng)絡(luò)和遷移學(xué)習(xí)的理論，提出將基于遷移學(xué)習(xí)的CNN特征和LGDTP特征分配不同的權(quán)值進(jìn)行融合，得到更好的檢索結(jié)果。