史文韜， 唐云祁

(中國人民公安大學(xué)偵查學(xué)院， 北京 100038)

鞋印是刑事案件中出現(xiàn)率最高的痕跡物證，通過現(xiàn)場鞋印一方面可以分析人身特點，另一方面在鞋印數(shù)據(jù)庫中檢索相同花紋的鞋印，可以串并案或者得到有關(guān)鞋型的信息。近年來得益于大規(guī)模鞋印數(shù)據(jù)庫的建設(shè)，鞋印檢索的作用愈加重要，促使研究人員探索了各種類型的鞋印檢索算法并開發(fā)了相對成熟的足跡系統(tǒng)投入公安實戰(zhàn)。但是由于鞋印檢索的問題難度大，現(xiàn)場鞋印大多質(zhì)量低并且殘缺，目前的鞋印檢索算法并未完全滿足公安機(jī)關(guān)的實戰(zhàn)需求，基層公安機(jī)關(guān)普遍反映大多數(shù)通過鞋印串并案的工作仍然由人工比對完成，這一現(xiàn)狀說明鞋印檢索算法仍然是一個值得持續(xù)研究的方向。

鞋印檢索問題的挑戰(zhàn)來源于犯罪現(xiàn)場鞋印視覺質(zhì)量低和殘缺兩個方面，其中低質(zhì)量問題依賴優(yōu)秀的鞋印提取算法和穩(wěn)定的鞋印特征[1]。研究人員已經(jīng)提出了很多基于不同特征的鞋印檢索算法。Gueham等[2]以鞋印圖片在傅里葉域的相位信息為特征，使用一種改進(jìn)的純相位相關(guān)函數(shù)(modified phase-only-correlation function，MPOC)作為相似性度量來檢索鞋印。Nibouche等[3]使用多尺度的Harris特征檢測子和尺度不變特征變換(scale-invariant feature transform, SIFT)特征描述符，匹配階段使用隨機(jī)抽樣一致性算法(random sample consensus，RANSAC)獲得穩(wěn)定的關(guān)鍵點。Wang等[4]提出了基于小波-傅里葉變換的全局不變特征用于鞋印圖片的特征提取，在MUES-SR10KS2S數(shù)據(jù)集上top1%和top2%的識別率分別達(dá)到81.8%和87.5%。Wang等[5]在上述工作的基礎(chǔ)上提出基于流行排序的檢索算法，在MUES-SR10KS2S數(shù)據(jù)集上top1%和top2%的識別率分別達(dá)到85.3%和93.5%。Cui等[6]使用預(yù)訓(xùn)練VGG-16模型提取了鞋印卷積特征和全連接特征，然后使用主成分分析(principal amponent analysis, PCA)降維，在1 000幅嫌疑鞋印和37 886幅樣本鞋印的數(shù)據(jù)庫中，top1和top10的識別率分別是64.4%和87.9%。Bailey等[7]使用預(yù)訓(xùn)練的Resnet50模型提取鞋印圖片的特征，使用多通道歸一化互相關(guān)(multi-channel normalized cross-correlation,MCNCC)比較特征距離，在FID-300數(shù)據(jù)集上top1%和top10%的識別率分別為79.67%和89%。Cui等[8]使用深度置信網(wǎng)絡(luò)(deep belief networks, DBN)和空間金字塔匹配(spatial pyramid matching, SPM)檢索鞋印，在536幅的嫌疑鞋印和34 768幅樣本鞋印的數(shù)據(jù)集上top10和top100的識別率分別為65.67%和81.16%。Ma等[9]使用多部分加權(quán)卷積神經(jīng)網(wǎng)絡(luò)(multi-part weighted convolutional neural network，MP-CNN)提取鞋印特征，在FID-300數(shù)據(jù)集top1%和top10%的識別率分別為61.02%和89.83%。周思越[10]選取嫌疑鞋印圖片中的標(biāo)志性語義信息塊和周期性語義信息塊，訓(xùn)練局部語義濾波器組，計算局部語義濾波器模型與樣本鞋印之間的相似度，在MUES-SR10KS2S數(shù)據(jù)集上top1%和top2%的識別率分別達(dá)到92.3%和95.2%。彭飛[11]提出了一種基于局部語義塊和改進(jìn)流行排序的鞋印檢算法，在MUES-SR10KS2S數(shù)據(jù)集上top1%和top2%的識別率分別達(dá)到90.3%和93.7%。Wu等[12]提出了一種基于近鄰圖像信息和混合特征的鞋印檢索算法，在MUES-SR10KS2S數(shù)據(jù)集上top1%和top2%的識別率分別達(dá)到90.9%和94.8%。

現(xiàn)針對殘缺問題和目前殘缺鞋印檢索方法的不足，引入文獻(xiàn)[1]中的選擇性卷積特征描述子融合方法(selective convolutional descriptor aggregation，SCDA)，提出了基于選擇性卷積特征描述子融合的鞋印檢索算法，評價算法時使用的指標(biāo)是累積匹配曲線(cumulative match characteristic curve，CMC)。

1 殘缺鞋印的檢索策略

殘缺鞋印是鞋印檢索問題中的難點，殘缺鞋印與完整鞋印之間的差異對特征距離的計算會產(chǎn)生較大的影響。除了使用對殘缺具有不變性的鞋印特征，研究人員也會使用一定的檢索策略來避免這一影響，這樣的策略可以大致分為兩類。

1.1 分區(qū)策略

先對鞋印進(jìn)行標(biāo)準(zhǔn)化，然后將鞋印分成若干個區(qū)域分別提取特征，之后可將每個區(qū)域的特征聚合成一個整體特征或者由每個區(qū)域之間的特征相似度計算得到整體相似度，這樣由局部到全局的提取方法可以減小部分區(qū)域缺損對于鞋印特征整體的影響。Tang等[13]將鞋印分為足掌區(qū)和足跟區(qū)，足掌區(qū)和足跟區(qū)又分別分成9個子區(qū)，檢索時對兩張鞋印圖片的每個子區(qū)分別提取特征并計算對應(yīng)子區(qū)之間的相似度，由每個子區(qū)之間的相似度計算整體的相似度。劉家浩[14]采用了鞋印圖片分區(qū)及分區(qū)有效性評價算法，將鞋印分為足掌區(qū)和足跟區(qū)，足掌區(qū)和足跟區(qū)又分別分成6個子區(qū)，在子區(qū)為有效分區(qū)時，才提取該分區(qū)的特征。Cui等[6]將鞋印按照3∶2的比例分成足掌與足跟兩個語義區(qū)域分別提取特征，最后的鞋印相似度得分是兩個區(qū)域相似度的加權(quán)和。Ma等[9]將鞋印圖片分成上下兩塊分別通過卷積神經(jīng)網(wǎng)絡(luò)提取128維的特征向量，然后將兩部分的特征融合為整體特征。

1.2 特征選擇策略

通過一定的特征選擇方法得到兩幅鞋印圖片相同遺留區(qū)域?qū)?yīng)的特征，再計算特征之間的距離。Li等[15]計算鞋印圖片的積分直方圖，完整鞋印直接計算特征相似度，殘缺鞋印則通過積分直方圖在樣本鞋印上尋找與殘缺鞋印相近的區(qū)域，然后在該區(qū)域計算特征相似度。Kong等[16]對每幅鞋圖片的整體、足掌、足跟三部分各提取320維的特征向量，形成960維的鞋印特征。在檢索時所有的鞋印圖像分為3種類型：完整的、只有足掌的、只有足跟的。計算相似度時如果兩幅圖片都是完整的，則使用鞋印特征的前320維；如果其中一幅圖片屬于足掌或者足跟類型，則使用足掌或者足跟對應(yīng)的320維特征。

一種主流的方法是以鞋印分區(qū)策略來解決這一問題。將一幅鞋印圖片，以3∶2的長度比分為Top塊與Bottom塊，然后兩塊區(qū)域分別提取特征。根據(jù)專家經(jīng)驗，由于足掌區(qū)包含了更多的花紋信息，所以在特征融合時Top塊的特征權(quán)重大于Bottom塊的權(quán)重。這一方法存在的問題是如果某一區(qū)塊的鞋印花紋大面積缺失，兩張圖片相同區(qū)域之間的相似度會突然下降，影響結(jié)果。如圖1所示，分區(qū)求相似度時，兩張圖片Top塊相似度很高，但是Bottom塊相似度為0。所以文獻(xiàn)[6]中給兩區(qū)塊簡單賦以固定權(quán)重再融合的方法實際效果不好。文獻(xiàn)[4]中通過計算兩區(qū)塊的有效信息量和置信度，再通過設(shè)置閾值、預(yù)設(shè)相似度等一系列方法解決這一問題，效果理想但是方法復(fù)雜。分塊提取意味著多次輸入和多次輸出，特別是在使用的卷積特征本身維度已經(jīng)很高的情況下，分塊提取會導(dǎo)致特征維度和計算量的爆炸式增長?；谝陨显?，在使用卷積特征的條件下，引入SCDA方法解決殘缺鞋印檢索問題，取得了明顯的提升效果。

圖1 一種分塊方法示例Fig.1 An example of a partitioning method

2 基于選擇性卷積特征描述子融合的鞋印檢索算法

2.1 SCDA

SCDA是由Wei等[1]于2017年提出的用于細(xì)粒度圖像檢索的方法。細(xì)粒度圖像檢索是由Xie等[17]于2015年提出的，與通用圖像檢索不同，細(xì)粒度圖像檢索要求查詢到某一具體的子類，如待檢索圖片是邊境牧羊犬的圖片，則要求在不同品種的犬類圖片中找到其中的邊境牧羊犬圖片。SCDA方法根據(jù)輸入圖片在卷積層的主要激活區(qū)域無監(jiān)督定位圖片中主要目標(biāo)，篩選卷積特征，該方法在細(xì)粒度圖像檢索上取得了超越當(dāng)時所有算法的成績，在CUB200-2011、Standford Dogs、Oxford Flowers、Oxford Pets數(shù)據(jù)集上，Top1的識別率分別達(dá)到60.65%、74.95%、77.56%、88.19%。何甲[18]將SCDA方法應(yīng)用于塵肺病醫(yī)學(xué)影像分析；尹紅等[19]將SCDA方法應(yīng)用于花卉圖像分類，實驗結(jié)果均取得了明顯提高。與SCDA類似的，Wei等[20]提出Mask-CNN用于細(xì)粒度圖像識別，使用一個全卷積神經(jīng)網(wǎng)絡(luò)將圖片分割為頭部、軀干、背景三部分，得到主要目標(biāo)的掩碼圖(Mask)。但是該方法需要人工標(biāo)記關(guān)鍵點作為ground-truth訓(xùn)練分割圖片的全卷積神經(jīng)網(wǎng)絡(luò)，與之相比SCDA方法的無監(jiān)督定位更加便捷，所以本文沒有使用Mask-CNN。

SCDA的原理為：將一張圖片輸入卷積神經(jīng)網(wǎng)絡(luò)，在某一卷積層輸出維度為h×w×c的張量，其中h、w分別為特征圖的高和寬，c為通道數(shù)，某一通道的特征圖用Pn表示，將卷積層輸出的張量記為P={Pn}(n=1,2,…,c)。該張量還可以看成由h×w個元胞組成，每個元胞是一個c維的卷積描述子，某一個卷積描述子用F(i,j)表示，將這些卷積描述子集合記為F={F(i,j)}(i=1,2,…,h;j=1,2,…,w), 其中(i,j)表示某個卷積描述子的坐標(biāo)。輸入圖片經(jīng)過卷積層后在每幅特征圖上的激活區(qū)域均不相同，使得卷積神經(jīng)網(wǎng)絡(luò)能提取圖片不同方面的特征。在這些特征圖中有的激活區(qū)域?qū)?yīng)圖片中的待檢索目標(biāo)，有的對應(yīng)圖片中的背景，而SCDA方法的思路是盡管不同特征圖的激活區(qū)域不同，但是如果大多數(shù)特征圖均在某一區(qū)域激活，那么該區(qū)域應(yīng)該對應(yīng)圖片中的主要目標(biāo)而非背景。所以可以根據(jù)所有特征圖反映出的主要激活區(qū)域篩選卷積特征，只保留與主要目標(biāo)對應(yīng)的卷積描述子，排除與背景區(qū)域?qū)?yīng)的卷積描述子，卷積特征篩選流程如圖2所示，把卷積層輸出的張量沿著通道維度相加，能得到尺寸為h×w的融合圖(aggregation map)，用A表示。融合圖上每個位置的坐標(biāo)為(i,j)，A(i,j)表示每個位置的值；計算融合圖中所有位置的均值α；如果A(i,j)>α，則在該位置賦值1，否則賦值0，形成掩碼圖(mask map)，用M表示，其表達(dá)式為

圖2 卷積特征篩選流程Fig.2 Pipeline of selecting convolutional feature

(1)

將掩碼圖M上采樣恢復(fù)到原圖大小并與輸入鞋印圖片疊加，發(fā)現(xiàn)該方法能夠定位殘缺鞋印的區(qū)域，如圖2所示，在篩選卷積特征時使用掩碼圖M對卷積描述子集合F進(jìn)行篩選，保留F與M中值為1位置對應(yīng)的卷積描述子，得到篩選后的卷積描述子集合S為

S={F(i,j)|M(i,j)=1}

(2)

圖3為使用SCDA方法對3種典型殘缺模式(足跟殘缺、足弓殘缺、足掌殘缺)的鞋印定位的結(jié)果。

2.2 算法框架

本文算法的核心思想是利用SCDA方法定位殘缺鞋印的位置，篩選殘缺鞋印花紋區(qū)域?qū)?yīng)的卷積描述子，得到篩選后的卷積特征，進(jìn)而提高殘缺鞋印的檢索精度。本文算法流程如圖4所示，將嫌疑鞋印和樣本鞋印圖片輸入鞋印數(shù)據(jù)集微調(diào)的VGG-16模型提取卷積特征，如果嫌疑鞋印是完整鞋印，則直接使用卷積神經(jīng)網(wǎng)絡(luò)卷積層輸出的特征，如果嫌疑鞋印是殘缺鞋印，則根據(jù)SCDA方法篩選其卷積特征，然后根據(jù)嫌疑鞋印的掩碼圖篩選樣本鞋印的卷積特征和樣本鞋印水平翻轉(zhuǎn)圖的卷積特征。每張嫌疑鞋印同時與樣本鞋印、樣本鞋印的水平翻轉(zhuǎn)圖比較特征距離，取最小值作為最終的特征距離。特征相似性度量選擇Cosine距離。

圖4 本文算法流程Fig.4 Pipeline of the proposed algorithm

2.3 用于特征提取的卷積神經(jīng)網(wǎng)絡(luò)

VGG-16是一種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，其深層的網(wǎng)絡(luò)結(jié)構(gòu)和多組堆疊的小尺寸卷積核使得該網(wǎng)絡(luò)具備很強(qiáng)的特征提取能力，特別是ILSVRC數(shù)據(jù)集預(yù)訓(xùn)練的VGG-16被廣泛地應(yīng)用于圖像檢索領(lǐng)域。為了進(jìn)一步提高預(yù)訓(xùn)練模型在鞋印檢索問題上的精度，文獻(xiàn)[21]建立了一個432類共2 827幅鞋印圖片組成的鞋印數(shù)據(jù)集，并擴(kuò)充至432類共228 987幅圖片，使用擴(kuò)充后的數(shù)據(jù)微調(diào)預(yù)訓(xùn)練的VGG-16模型。微調(diào)時修改最后一層全連接層的輸出維度并重新初始化該層參數(shù)，其余層保留原有參數(shù)。與直接使用預(yù)訓(xùn)練模型相比，微調(diào)后的VGG-16模型顯著提高了檢索精度，將該模型作為提取鞋印圖片特征的卷積神經(jīng)網(wǎng)絡(luò)。

2.4 鞋印特征提取

首先將鞋印圖片輸入鞋印數(shù)據(jù)微調(diào)的VGG-16模型正向傳播，并在卷積層conv5-1后添加一層大小2×2、步長為2的Max-pooling層輸出7×7×512維的張量，然后提取鞋印圖片的3種特征。

(1)conv-25088特征：將7×7×512的張量直接維展開后得到的25 088維的向量作為鞋印圖片的特征，以下用“conv-25088”表示。

(2)Shoeprint-SCDA特征：將7×7×512維的張量根據(jù)SCDA方法計算掩碼圖M和篩選后的卷積特征描述子集合S，然后將S展開成1×m維的特征向量，得到鞋印圖片的特征，以下用“Shoeprint-SCDA”表示。其中m為M中1值的個數(shù)與通道數(shù)c的乘積。

2.5 完整鞋印和殘缺鞋印的分類檢索

對于完整鞋印，使用SCDA方法反而降低了檢索精度，所以對于完整鞋印仍使用conv-25088特征，只對殘缺鞋印使用Shoeprint-SCDA特征。為了簡化實驗流程，采用一個簡單的方法區(qū)分殘缺鞋印和完整鞋?。河嬎阈￠L度與鞋印圖片高度的比值，若該比值大于閾值β，則為完整鞋印，否則為殘缺鞋印。實驗中，閾值β設(shè)為0.7。在公安機(jī)關(guān)實際工作中，每一幅圖片是否殘缺可以由操作人員自行判斷標(biāo)記，甚至可以將完整鞋印的低辨識度區(qū)域擦除作為殘缺鞋印檢索，以提高結(jié)果準(zhǔn)確性。

3 實驗及結(jié)果分析

3.1 實驗環(huán)境及配置

實驗使用的操作系統(tǒng)是Windows10，顯卡型號GTX1060，實驗環(huán)境是MATLAB 2013a及深度學(xué)習(xí)框架caffe的matcaffe接口。

3.2 測試數(shù)據(jù)集

3.2.1 CSS-200數(shù)據(jù)集

該數(shù)據(jù)集包含200張嫌疑鞋印和5 000張樣本鞋印，全部采用公安機(jī)關(guān)足跡系統(tǒng)中的犯罪現(xiàn)場鞋印，嫌疑鞋印既有完整鞋印也有殘缺鞋印，所有圖片均為犯罪現(xiàn)場鞋印經(jīng)過標(biāo)準(zhǔn)化后的二值圖。

3.2.2 Part-FID數(shù)據(jù)集

該數(shù)據(jù)集是篩選公開鞋印數(shù)據(jù)集FID-300中的殘缺鞋印得到的數(shù)據(jù)集，稱為Part-FID。FID-300包括300幅嫌疑鞋印1 175張樣本鞋印，嫌疑鞋印均為犯罪現(xiàn)場鞋印，樣本鞋印均為油墨捺印后掃描獲得。篩選出300幅嫌疑鞋印中的全部殘缺鞋印，所有圖片均使用公安機(jī)關(guān)的足跡系統(tǒng)進(jìn)行二值化處理，刪除其中質(zhì)量過低、背景干擾嚴(yán)重并且使用專業(yè)足跡系統(tǒng)仍不能有效處理的鞋印圖片，得到85類共139張殘缺嫌疑鞋印，樣本鞋印的數(shù)量仍為1 175張。

3.3 結(jié)果與分析

3.3.1 CSS-200數(shù)據(jù)集上的實驗

該實驗使用本文基于選擇性卷積特征描述子融合的鞋印檢索算法在CSS-200上實驗，同時與所有嫌疑鞋印，不論完整或者殘缺全部使用conv-25088特征檢索的結(jié)果進(jìn)行比較。

如圖5所示，本文算法與全部使用conv-25088特征相比，檢索精度有了明顯的提高。使用conv-25088特征，Top1%的識別率為52%，Top10%的識別率為75.5%；使用本文算法，Top1%的識別率為62.5%，Top10%的識別率為85.5%。將使用本文算法的檢索結(jié)果與目前鞋印檢索先進(jìn)方法中的結(jié)果進(jìn)行比較，如表1所示，本文算法Top1%和Top2%的識別率分別為92.5%和94.5%，達(dá)到了目前鞋印檢索的先進(jìn)水平。圖6是部分鞋印使用conv-25088特征檢索的前10位結(jié)果，圖7是同樣的鞋印使用本文算法檢索的前10位結(jié)果，對比之后可以發(fā)現(xiàn)殘缺鞋印的檢索結(jié)果有了明顯改善。

表1 本文算法與先進(jìn)算法的結(jié)果比較

圖5 CSS-200數(shù)據(jù)集上的實驗結(jié)果Fig.5 The result of experiment on CSS-200 dataset

藍(lán)線左側(cè)為嫌疑鞋印；右側(cè)為對應(yīng)的前10位檢索結(jié)果；綠色方框標(biāo)識出正確的檢索結(jié)果； 無標(biāo)識則說明前10位均無正確結(jié)果圖6 使用conv-25088特征Top10檢索結(jié)果Fig.6 Retrieval results at Top10 using conv-25088

3.3.2 Part-FID數(shù)據(jù)集上的實驗

該實驗?zāi)康氖菧y試算法在殘缺鞋印檢索上的表現(xiàn)，使用本文提出的基于選擇性卷積特征描述子融合的鞋印檢索算法，同時與所有嫌疑鞋印不論完整或者殘缺全部使用conv-25088特征檢索的結(jié)果進(jìn)行比較。在表2中列出相關(guān)鞋印檢索算法在完整FID-300數(shù)據(jù)集上的結(jié)果。

如表2所示，在Part-FID上使用conv-25088特征Top1%的識別率為39.57%，Top10%的識別率分別為74.82%；本文算法Top1%的識別率為42.5%，Top10%的識別率為82.01%。相關(guān)方法在全部FID-300數(shù)據(jù)集上的Top10%的識別率最高為89%，考慮到全部使用殘缺鞋印進(jìn)行測試，這表明本文算法在解決殘缺鞋印檢索問題上的有效性。綜合CSS-200和Part-FID兩個數(shù)據(jù)集的實驗結(jié)果，使用本文算法能夠明顯提高殘缺鞋印的檢索精度。

藍(lán)線左側(cè)為嫌疑鞋??；右側(cè)為對應(yīng)的前10位檢索結(jié)果；綠色方框標(biāo)識出正確的檢索結(jié)果； 無標(biāo)識則說明前10位均無正確結(jié)果圖7 本文算法top10檢索結(jié)果Fig.7 Retrieval results at top10 using the proposed algorithm

表2 FID-300和Part-FID數(shù)據(jù)集檢索結(jié)果

4 結(jié)論

為解決殘缺鞋印的檢索問題，引入SCDA方法篩選殘缺鞋印的卷積特征，提出一種基于選擇性卷積特征描述子融合的鞋印檢索算法方法的鞋印檢索算法，得到以下結(jié)論。

(1)實驗結(jié)果表明，使用SCDA方法能夠明顯改善殘缺鞋印的檢索結(jié)果。

(2)目前本文算法適用于大部分殘缺鞋印，但是對于遺留面積極小如只有足趾區(qū)的殘缺鞋印還有待提高。雖然文獻(xiàn)資料普遍認(rèn)為卷積特征是一種局部特征，但實驗結(jié)果表明，鞋印圖片的卷積特征仍然是一種全局特征，這一特點使得目前使用的特征并不適用于面積極小、只能反映出局部花紋的殘缺鞋印。

在今后工作中，將主要集中于兩個方面的問題：一是遺留面積極小的殘缺鞋印的檢索問題；二是進(jìn)一步訓(xùn)練用于提取特征的卷積神經(jīng)網(wǎng)絡(luò)，提高網(wǎng)絡(luò)對于鞋印圖片的識別能力。