劉 穎， 倪天宇， 王富平， 劉衛(wèi)華， 艾 達(dá)

(1.西安郵電大學(xué)圖像與信息處理研究所，西安 710121； 2.電子信息現(xiàn)場勘驗(yàn)應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室，西安 710121)

現(xiàn)勘圖像數(shù)據(jù)是公安現(xiàn)場勘驗(yàn)信息的重要組成部分，而現(xiàn)勘圖像分類 (crime scene investigation image classification,CSIC) 可以為刑偵破案提供很重要線索，并且為案件串并研判提供關(guān)鍵信息。隨著先進(jìn)公安刑偵現(xiàn)勘視頻圖像采集設(shè)備的技術(shù)革新和功能完善，使得公安現(xiàn)勘系統(tǒng)中圖像數(shù)據(jù)的數(shù)量急速增長，且種類眾多。傳統(tǒng)人工分類和標(biāo)注的方式已經(jīng)難以滿足海量數(shù)據(jù)處理的需求。為了節(jié)省人力物力及進(jìn)一步提高公安機(jī)關(guān)的工作效率。因此，研究設(shè)計(jì)高效的現(xiàn)勘圖像分類算法具有重要意義[1-2]。

在現(xiàn)勘圖像分類中，圖像有效的特征表示非常重要。現(xiàn)有的現(xiàn)勘圖像分類方法主要通過對整幅圖像提取全局特征，如顏色、紋理和形狀等特征來表示圖像[3-4]。蘭蓉等[3]提出基于紋理與形狀特征融合的刑偵圖像檢索算法，通過雙數(shù)復(fù)小波變換和多參數(shù)灰度共生矩陣提取現(xiàn)勘圖像紋理特征，并將提取的Hu不變矩形狀特征與紋理特診進(jìn)行融合實(shí)現(xiàn)分類任務(wù)。而趙玉丹等[4]提出一種基于模糊K近鄰(k-nearest neighbor, KNN)的現(xiàn)勘圖像場景分類算法，算法將提取的局部二值模式 (local binary pattern, LBP)[5]特征和基于小波變換提取的紋理特征進(jìn)行融合，利用模糊KNN方法對圖像進(jìn)行分類。但全局特征缺乏圖像局部信息，而且對光照變化、尺度縮放等圖像變換的魯棒性較差，為了彌補(bǔ)全局特征的不足，尺度不變特征變化(scale-invariant feature transform, SIFT)特征被提出。其對圖像旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，并且被廣泛應(yīng)用。針對SIFT特征計(jì)算復(fù)雜度高的不足，D-SIFT描述子[6]通過對圖像均勻分塊并提取每個(gè)子塊圖像的SIFT特征，從而得到了密集分布的特征點(diǎn)以提取豐富的圖像信息。為了獲得精確和稀疏的圖像特征，將局部特征描述子通過特征編碼技術(shù)進(jìn)行編碼量化，如詞袋模型(bag of words, BOW)[7]、空間金字塔(spatial pyramid matching, SPM)[8]、費(fèi)舍爾向量(fisher vector, FV)[9]、局部聚合描述符(vector of locally aggregated descriptors, VLAD)[10]等。BOW模型是通過投票方式把特征量化到與其最近鄰的視覺詞典當(dāng)中，不足之處在于特征的空間信息損失及量化損失。針對特征的空間信息損失，SPM通過多尺度匹配技術(shù)利用了特征的空間分布信息，實(shí)現(xiàn)精細(xì)匹配。同時(shí)針對量化損失，F(xiàn)V算法先對提取的圖像特征使用混合高斯模型 (gaussian mixture model, GMM) 聚類得到一個(gè)概率字典，去估計(jì)特征的分布，但計(jì)算耗時(shí)。而VLAD既考慮了每一維的特征，計(jì)算量小，又更加細(xì)致地刻畫了圖像的局部信息，并很好的應(yīng)用在圖像分類中[11-12]。

針對由于現(xiàn)勘圖像場景多變、背景復(fù)雜、拍照時(shí)光照及角度影響等因素導(dǎo)致的分類準(zhǔn)確率不高，提出一種融合VLAD和全局特征的現(xiàn)勘圖像分類方法。分別提取圖像低層全局特征和通過VLAD編碼的局部特征，并將融合的特征作為圖像最終的特征表示，在現(xiàn)勘圖像上分類效果明顯提高。

1 融合VLAD和全局特征的現(xiàn)勘圖像分類算法

圖像分類算法主要包括圖像特征提取模塊和分類器設(shè)計(jì)模塊。圖像特征提取主要實(shí)現(xiàn)從圖像數(shù)據(jù)庫提取具有緊湊結(jié)構(gòu)和強(qiáng)判別力的特征。分類器設(shè)計(jì)是將訓(xùn)練圖像特征作為樣本，根據(jù)特定準(zhǔn)則學(xué)習(xí)出最優(yōu)分類器，如SVM。進(jìn)而利用訓(xùn)練得到的SVM分類器對圖像數(shù)據(jù)庫中測試圖像進(jìn)行分類預(yù)測。主要流程如圖1所示。

針對低層全局特征的不足，為了進(jìn)一步提高圖像特征的表征能力，分別提取現(xiàn)勘圖像低層的HSV顏色直方圖、LBP紋理特征和改進(jìn)的Dense-SIFT局部特征，利用VLAD編碼對圖像局部特征進(jìn)一步描述，去除圖像中冗余的信息，并將編碼后的Dense-SIFT局部特征和低層特征進(jìn)行融合生成圖像的綜合特征，然后利用SVM分類器對圖像進(jìn)行分類。具體流程如圖2所示。

圖1 圖像分類

圖2 融合VLAD和全局特征的現(xiàn)勘圖像分類算法框架

1.1 圖像視覺特征提取

圖像的視覺特征提取是圖像內(nèi)容分析的基礎(chǔ)，在現(xiàn)勘圖像分類中占有重要的位置，直接影響分類的準(zhǔn)確率。

1.1.1 全局特征提取

顏色特征是圖像處理中廣泛應(yīng)用的基本特征之一，其對圖像仿射變換具有強(qiáng)魯棒性且計(jì)算高效。其中HSV顏色空間同人類視覺感知相似且被廣泛用于計(jì)算圖像中彩色信息?？蓪GB顏色空間轉(zhuǎn)化為HSV顏色空間，采用顏色矩來提取顏色特征。其中qij表示像素j的第i個(gè)顏色值，i=1代表H分量，i= 2代表S分量，i=3代表V分量，n為圖像中像素點(diǎn)的個(gè)數(shù)。分別求出每個(gè)通道的一階、二階及三階顏色矩，將3個(gè)顏色通道的9個(gè)顏色矩作為顏色特征FHSV。

一階顏色矩：

(1)

二階顏色矩：

(2)

三階顏色矩：

(3)

紋理特征反映了圖像強(qiáng)度變化周期性規(guī)律和圖像結(jié)構(gòu)的空間分布特性?？梢酝ㄟ^對圖像的灰度變化規(guī)律進(jìn)行分析來提取。其中LBP具備旋轉(zhuǎn)不變性和灰度不變性等優(yōu)點(diǎn)。LBP算子是以圖像中心像素的灰度值作為閾值，分別將鄰域與中心像素灰度值進(jìn)行比較，若大于中心像素灰度，則鄰域賦1，否則為0。比較完所有的鄰域后，將二進(jìn)制碼進(jìn)行十進(jìn)制轉(zhuǎn)換，即為中心像素點(diǎn)的LBP模式如圖3所示。將圖像均勻分為4塊，分別統(tǒng)計(jì)每一塊子圖的LBP碼直方圖，生成256維LBP特征。最終將4塊子圖LBP特征級(jí)聯(lián)得到整幅圖像的LBP特征向量FLBP。

圖3 LBP算子

(4)

式(4)中：P為鄰域像素點(diǎn)的個(gè)數(shù)；R為鄰域半徑；gc為中心像素的灰度；gi為鄰域中第i個(gè)像素的灰度值，i=0,1,…,P-1。

1.1.2 Dense-SIFT特征提取

尺度不變特征變換(scale invariant feature transform, SIFT)特征描述符不僅對圖像尺度縮放、旋轉(zhuǎn)、仿射變換具有較強(qiáng)魯棒性，而且對亮度及視角變化、噪聲干擾也相對穩(wěn)定。在基于局部視覺特征的圖像識(shí)別應(yīng)用中，通常用SIFT描述符來描述圖像內(nèi)容。但SIFT特征只提取圖像中穩(wěn)定特征點(diǎn)周圍的局部特征，缺乏圖像全局特征。而且SIFT特征點(diǎn)檢測方法計(jì)算復(fù)雜度高，十分耗時(shí)。相比之下，Dense-SIFT特征提取方法更加高效。

Dense-SIFT描述子通過對圖像均勻分塊并計(jì)算子塊的SIFT特征。由于不需要進(jìn)行關(guān)鍵點(diǎn)檢測，使得算法計(jì)算復(fù)雜度大大降低。為提取的特征點(diǎn)統(tǒng)一分配尺度參數(shù)，避免了復(fù)雜的尺度估計(jì)過程。Dense-SIFT提取如圖4所示，將圖像尺度規(guī)格化為256×256像素，采樣步長為8×8像素，在圖像上自左向右、從上到下提取Dense-SIFT的采樣窗體圖像塊。其中采樣窗體為16×16像素計(jì)算一個(gè)SIFT描述符，最終一幅圖像可表示為961×128維的特征向量FD-SIFT。

圖4 Dense-SIFT提取示意圖

1.2 生成視覺詞典

(5)

從X中隨機(jī)選取k個(gè)元素，初始化聚類中心，然后分別計(jì)算剩余元素到k個(gè)聚類中心的歐氏距離，并將它們分配到最近的聚類中心。根據(jù)聚類結(jié)果，重新計(jì)算k個(gè)類各自的中心，計(jì)算方法是取類中所用元素各自維度的算術(shù)平均數(shù)，將X中全部元素按照新的中心重新聚類，直到聚類結(jié)果不再變化為止。

1.3 VLAD特征編碼

假設(shè)對一幅圖像提取n個(gè)局部特征向量，計(jì)算每個(gè)特征向量與其最近鄰的視覺詞典單詞之間的殘差。視覺單詞ci的累計(jì)殘差如式(6)所示：

(6)

式(6)中：ci∈C，NN(X)=ci表示x的最近鄰視覺單詞為ci，vi表示圖像中局部特征與最近鄰視覺單詞ci之間殘差的累計(jì)和。而圖像的VLAD特征由所有視覺詞典上的殘差聚合構(gòu)成V=[v1,v2,…,vM]∈RD×M，進(jìn)一步為了提高分類準(zhǔn)確率及分類器的訓(xùn)練速度，對聚合的VLAD特征描述符進(jìn)行L2范數(shù)和SSR方法歸一化處理[14]。先利用式(7)中SSR方法歸一化處理：

(7)

再對vi進(jìn)行L2范數(shù)歸一化處理：

(8)

歸一化的VLAD編碼向量V作為圖像的局部特征FVLAD。

1.4 特征融合

由于單一特征對圖像描述的不足，缺乏區(qū)分能力，為此，提出將全局特征和局部特征進(jìn)行融合去描述圖像內(nèi)容。并分別提取圖像的全局HSV顏色直方圖特征FHSV、LBP紋理特征FLBP和基于局部Dense-SIFT特征的VLAD特征FVLAD。然后將每一幅圖像的顏色特征FHSV、紋理特征FLBP和VLAD特征FVLAD進(jìn)行串聯(lián)生成綜合特征FN，以全面地描述圖像內(nèi)容，如式(9)所示：

FN=[FHSV,FLBP,FVLAD]

(9)

訓(xùn)練數(shù)據(jù)集中所有圖像的綜合特征FN被用于進(jìn)行SVM分類器的訓(xùn)練。

1.5 訓(xùn)練SVM分類器

使用SVM分類器[15]進(jìn)行現(xiàn)勘圖像分類處理。在分類器訓(xùn)練階段，采用一對多法(one versus rest, OVR)訓(xùn)練分類器，影響SVM分類效果的因素除特征選擇和訓(xùn)練樣本選擇外，最重要的就是核函數(shù)的選擇，核函數(shù)是將空間線性不可分的特征映射到高維特征空間內(nèi)，使得數(shù)據(jù)在特征空間內(nèi)變成可分的。如何選擇最優(yōu)的核函數(shù)，對圖像分類中SVM的性能表現(xiàn)至關(guān)重要，因此采用以下兩種核函數(shù)進(jìn)行實(shí)驗(yàn)比較。

徑向基核函數(shù)(RBF):

(10)

直方圖交叉核函數(shù)(HIK)：

(11)

測試階段，利用訓(xùn)練獲得的SVM分類器對新的測試圖像預(yù)測其分類。分類的評價(jià)指標(biāo)用MAP(mean average precision)和AP(average precision)衡量，其中AP指圖像中每個(gè)類的分類準(zhǔn)確率，MAP為所有類別分類平均準(zhǔn)確率。

2 實(shí)驗(yàn)

為驗(yàn)證所提算法的有效性，在3個(gè)數(shù)據(jù)集上進(jìn)行測試。分別是西安郵電大學(xué)圖像與信息處理研究所(Center for Image and Information Processing, CIIP)依托于電子信息現(xiàn)場勘驗(yàn)公安部重點(diǎn)實(shí)驗(yàn)室平臺(tái)，科研人員在不同時(shí)間、環(huán)境(光照、氣候)及拍攝條件下(距離、尺度、放射角)采集的現(xiàn)勘圖像中現(xiàn)勘5K、輪胎5K數(shù)據(jù)集[16]和Corel-1K數(shù)據(jù)集。實(shí)驗(yàn)環(huán)境為Intel(R) Core(TM) i5-8400H @ 2.8 GHz四核CPU,8 GB RAM, MATLAB 2016a。將提出的算法分別與基于全局特征(HSV+LBP)、基于詞袋模型(Dense-SIFT+BOW)和基于空間金字塔模型(Dense-SIFT+SPM)的分類算法進(jìn)行對比實(shí)驗(yàn)，分別比較單類別分類準(zhǔn)確率和平均分類準(zhǔn)確率。

2.1 現(xiàn)勘5K數(shù)據(jù)庫圖像分類

現(xiàn)勘5K圖像數(shù)據(jù)庫包含10個(gè)類別共5 000張圖像樣本，類別包含血跡、車輛、指紋、平面圖、鞋印、皮膚、紋身、作案工具、輪胎和窗戶。其中訓(xùn)練4 000張，測試1 000張，部分示例如圖5所示。

在實(shí)驗(yàn)中，隨機(jī)從每個(gè)類選出400幅作為訓(xùn)練圖像，剩下的100幅作為測試圖像，利用SVM分類器進(jìn)行預(yù)測，統(tǒng)計(jì)其平均分類準(zhǔn)確率。實(shí)驗(yàn)結(jié)果如圖6中混淆矩陣所示，鞋印類分類準(zhǔn)確率最高，其主要原因鞋印圖像采集過程規(guī)范，圖像內(nèi)容一致性較強(qiáng)。輪胎、皮膚、指紋和平面圖4個(gè)類別分別有個(gè)別圖像分到其他類中，但整體分類準(zhǔn)確率仍然很高，而作案工具類分類準(zhǔn)確率較低，主要原因是作案工具龐雜，包含刀、槍和堆積物等不同細(xì)目的類別。但在隨機(jī)選取訓(xùn)練樣本時(shí)很有可能選取某一細(xì)目類別進(jìn)行訓(xùn)練，在測試樣本特征匹配時(shí)具有一定的誤差，導(dǎo)致分類準(zhǔn)確率相對較低，但也達(dá)到83%。

圖5 現(xiàn)勘圖像示例

不同算法對于各類的分類結(jié)果如表1所示，其中基于HSV+LBP的分類準(zhǔn)確率最低，也說明了低層特征對現(xiàn)勘圖像描述的不足，而基于Dense-SIFT+VLAD的分類準(zhǔn)確率要比Dense-SIFT+BOW和Dense-SIFT+SPM好。但由于這些方法只利用了單一的全局或局部特征進(jìn)行圖像表示，對圖像內(nèi)容描述不夠精準(zhǔn)，導(dǎo)致部分類別分類準(zhǔn)確度不理想。而本文算法將低層HSV顏色特征、LBP紋理特征和局部聚合描述符(Dense-SIFT+VLAD)進(jìn)行融合，充分利用圖像全局和局部特征信息，使得分類準(zhǔn)確率都達(dá)到最優(yōu)。

圖6 現(xiàn)勘5K分類結(jié)果的混淆矩陣

表1 現(xiàn)勘5K數(shù)據(jù)集上的分類結(jié)果

2.2 輪胎5K數(shù)據(jù)庫圖像分類

輪胎5K圖像數(shù)據(jù)庫包含100種共5 000張輪胎花紋圖像，其中每類輪胎50張。實(shí)驗(yàn)中對于每類圖像分別取不同數(shù)量k(k=10、 20、30、 40)的圖像作為訓(xùn)練圖像，剩余圖像作為測試圖像。不同算法的分類結(jié)果如圖7所示，本文算法在不同k下均達(dá)到最高的分類準(zhǔn)確率。當(dāng)每類樣本數(shù)量k=40時(shí)，算法的平均分類準(zhǔn)確率都達(dá)到最高，說明增加訓(xùn)練樣本數(shù)量有助于訓(xùn)練出更好的分類器。

圖7 輪胎5K數(shù)據(jù)集上的分類結(jié)果

2.3 Corel-1K數(shù)據(jù)庫圖像分類

Corel-1K數(shù)據(jù)庫有10個(gè)類每類100張圖像，類別分別為大象、非洲、公共汽車、海灘、建筑、恐龍、馬、山、食物和鮮花，其中訓(xùn)練圖像700張，測試圖像300張。本文算法的分類混肴矩陣如圖8所示，不同算法分類結(jié)果如表2所示。

對比結(jié)果表明，雖然本文算法在分類準(zhǔn)確率上普遍高于其他算法，甚至在部分類別(如公共汽車、恐龍和馬)上達(dá)到100%的分類準(zhǔn)確度。但在部分類別(如山、建筑、非洲、鮮花)上分類準(zhǔn)確率明顯不理想，說明本文算法對部分自然場景或物體的分類效果不理想。綜合現(xiàn)勘5K數(shù)據(jù)庫圖像分類和輪胎5K數(shù)據(jù)庫圖像分類的結(jié)果，也進(jìn)一步說明本文算法更適用于現(xiàn)勘圖像分類。

2.4 核函數(shù)對現(xiàn)勘數(shù)據(jù)庫分類的影響

為了進(jìn)一步驗(yàn)證SVM分類器核函數(shù)對現(xiàn)勘數(shù)據(jù)庫分結(jié)果的影響，本文算法分別使用RBF和HIK核做了對比實(shí)驗(yàn)，分類準(zhǔn)確率如圖9所示。

對比結(jié)果表明，基于HIK核函數(shù)的圖像分類準(zhǔn)確度要高于基于RBF核函數(shù)，因此基于HIK核函數(shù)的SVM更適合用于現(xiàn)勘圖像分類器。

圖8 Corel-1K分類結(jié)果的混淆矩陣

表2 Corel-1K數(shù)據(jù)集上的分類結(jié)果

圖9 不同核函數(shù)在現(xiàn)勘5K上的分類結(jié)果

3 結(jié)論

提出了一種融合VLAD特征和全局特征的現(xiàn)勘圖像分類算法。首先提取圖像Dense-SIFT局部特征，然后將局部特征編碼成VLAD特征描述符，然后與圖像低層HSV顏色直方圖特征、LBP紋理特征進(jìn)行融合，最后采用基于HIK核函數(shù)的SVM分類器實(shí)現(xiàn)現(xiàn)勘圖像分類。通過現(xiàn)勘5K數(shù)據(jù)庫、輪胎5K數(shù)據(jù)庫和Corel-1K數(shù)據(jù)庫，與基于全局特征(HSV+LBP)、詞袋模型(Dense-SIFT+BOW)和空間金字塔(Dense-SIFT+SPM)的圖像分類算法進(jìn)行了大量的對比實(shí)驗(yàn)，結(jié)果表明本文算法分類準(zhǔn)確率更高，更適用于現(xiàn)勘圖像分類應(yīng)用。