王 茜，陳一民，丁友東

(1．上海大學(xué)計算機(jī)工程與科學(xué)學(xué)院，上海200072; 2．上海市公安局刑事偵查總隊科技信息科，上海200083;

3．上海大學(xué) 影視學(xué)院，上海200072)

(*通信作者電子郵箱cathyiii@hotmail．com)

0 引言

隨著現(xiàn)代視頻監(jiān)控在公共安全領(lǐng)域發(fā)揮的作用越來越重要，其架設(shè)規(guī)模和應(yīng)用需求也呈幾何級地不斷拓展。如何在復(fù)雜環(huán)境的非結(jié)構(gòu)化視頻圖像中快速排查出公共安全部門所需鎖定的目標(biāo)車輛已成為迫在眉睫的需求。在傳統(tǒng)車輛識別技術(shù)遇到瓶頸的同時，一種拋開光照、視角、姿態(tài)和角度變化不利影響識別出同一目標(biāo)的目標(biāo)再識別(re-IDentification，re-ID)技術(shù)［1－5］逐漸成為研究的熱點(diǎn)。目前，針對目標(biāo)再識別進(jìn)行的研究主要集中在行人再識別領(lǐng)域［1－4］，而鮮少應(yīng)用于其他目標(biāo)。2015年起，少數(shù)學(xué)者開始嘗試進(jìn)軍車輛再識別領(lǐng)域，但往往僅能應(yīng)用于同尺度同角度圖像，對環(huán)境變化魯棒性弱或算法僅基于小型數(shù)據(jù)集。

計算機(jī)視覺詞包模型由Csurka［6］提出，其方法是先將圖像轉(zhuǎn)換成眾多有效特征作為詞匯(words)的統(tǒng)計向量表示，再通過分類算法實(shí)現(xiàn)對圖像的分類和檢索。近幾年基于有效中級特征的視覺詞袋(Bag of Visual Words，BoVW)被證實(shí)在圖像分類和搜索方向效果突出，尤其適用于多屬性數(shù)據(jù)集的分類和識別。基于該模型的特色和在其他領(lǐng)域的應(yīng)用成效，將其應(yīng)用于車輛再識別領(lǐng)域，在本文中對其應(yīng)用框架、實(shí)施步驟、重點(diǎn)方法和參數(shù)選擇進(jìn)行了重點(diǎn)研究，并通過實(shí)驗(yàn)證明了該算法的優(yōu)勢。

1 再識別框架和方法選擇

基于BoVW模型的車輛再識別算法主要由以下幾個步驟組成:選擇圖像基礎(chǔ)特征;進(jìn)行特征聚類、篩選，構(gòu)建詞匯集;將圖像表述為詞袋中的詞匯表示集，作為圖片的最終特征;計算特征間的距離函數(shù)，進(jìn)行再排序后分類。而各步驟中主要影響識別效果的重點(diǎn)在于:基礎(chǔ)特征構(gòu)建、BoVW特征距離度量和再排序參數(shù)設(shè)定。算法框架如圖1所示。

基礎(chǔ)特征構(gòu)建方面，文獻(xiàn)［6］選用尺度不變特征變換(Scale Invariant Feature Transform，SIFT)匹配算法、局部二值模式(Local Binary Pattern，LBP)等低級特征，識別率不高;文獻(xiàn)［3］中由于采用過多融合特征導(dǎo)致同一圖片被多次編碼;文獻(xiàn)［2］選用了經(jīng)典可變形組件模型(Deformable Part Model，DPM)中級特征，但其目標(biāo)選擇框(bboxes)的手工標(biāo)注方案往往無法明晰目標(biāo)與背景間的邊界。本文采用了改進(jìn)的一對一局部特征(Part-based One-vs-One Feature，POOF)［3］中級特征，但規(guī)避了原有特征獲取方法中存在的標(biāo)注過多及運(yùn)算復(fù)雜等問題，通過標(biāo)記出少量標(biāo)定點(diǎn)以指定不同對象相同部位，從而解決了復(fù)雜環(huán)境中車輛相同部位存在位置、大小差異等問題。同時，本文在原POOF算法基礎(chǔ)上改變特征選取方式后，通過添加標(biāo)定點(diǎn)相對位置信息，解決了BoVW模型中常見的空間位置缺失問題［4］，同時也捕捉到了目標(biāo)形變信息。

圖1 基于BoVW模型的車輛再識別算法示意圖Fig．1 Framework of BoVW model based vehicle re-identification algorithm

BoVW特征構(gòu)建完成后，度量常用的距離主要有:馬氏距離、歐氏距離、余弦距離以及海明(Hamming)距離。馬氏距離往往是大部分已有再識別方案的選擇，但各方法使用的度量函數(shù)不盡相同，其中常見的方法有大間隔最近鄰度量(Large Margin Nearest Neighbor，LMNN)、信息假設(shè)理論度量學(xué)習(xí)(Information Theoretic Metric Learning，ITML)、貝葉斯再訪問(Bayesian face Revisited)、基于簡單而且直接策略度量(Keep It Simple and Straight Metric，KISSME)［7］、局部自適應(yīng)決策函數(shù)(Locally-Adaptive Decision Function，LADF)、交叉視角二次分析(Cross-view Quadratic Discriminant Analysis，XQDA)方法、成對約束學(xué)習(xí)(Pairwise Constraint Metric Learning，PML)等。本文選用了基于貝斯特理論的KISSME算法，并將度量方法融入了BoVW構(gòu)建關(guān)鍵詞匯集和距離度量兩個環(huán)節(jié)，分別使用了歐氏和馬氏兩種距離，最終其有效的分類效果被證明十分有效。

再排序參數(shù)選擇也會引起最后的識別率變化，尤其針對多分類的問題。早期往往采用的是每排序l次進(jìn)行交叉認(rèn)證(l-fold cross validation)的方式［1］，大部分再排序采用 K近鄰(K-Nearest Neighbor，KNN)算法［2，8－9］，文獻(xiàn)［5，9］中提出了多種再排序的權(quán)值設(shè)置方法，并對其效果進(jìn)行了比較;文獻(xiàn)［2］沿用了文獻(xiàn)［9］中添加權(quán)值后的再排序算法，逐步增加排序靠后的高相似度圖像的權(quán)值，本文也采用了類似的方法，不同的是對權(quán)值作出了不同的設(shè)置。

2 詳細(xì)算法實(shí)施步驟

設(shè)C為車輛圖像的集合，其中包含J輛不同車輛的共計I幅圖像。設(shè)xi為排序?yàn)閕的圖片，即

其中同車輛圖片子集設(shè)為Cj(1≤j≤J)，知C=C1∪C2∪…∪CJ，具體實(shí)施如下:

①目標(biāo)中級特征提取。首先對單圖片進(jìn)行基于車輛固定部件的標(biāo)注，獲取r個標(biāo)定點(diǎn)集合R。針對不同的標(biāo)定點(diǎn)參考文獻(xiàn)［3］提取部件特征記為{fa，b}。其中低層特征選擇采用128位HSV顏色直方圖hHSV和梯度方向直方圖特征hHOG(其中胞原大小設(shè)為10×10，塊大小設(shè)置為4×4，塊滑動增量設(shè)為3［10］)。為了保留該部位所在的位置特征，可得:

由于標(biāo)定點(diǎn)a，b間可獲取一對 fa，b和其非對稱特征fb，a，圖片xi可被表述為r個標(biāo)定點(diǎn)間r×(r－1)×2個特征的集合 Fi，即:

但我們發(fā)現(xiàn)，在實(shí)際應(yīng)用中不同視角車輛部件位置會有少量不同，故設(shè)計了基于不同視角θ的標(biāo)定點(diǎn)方案，具體示意見圖2。根據(jù)該標(biāo)定點(diǎn)方案，車輛可標(biāo)定點(diǎn)位置分為正、側(cè)、背三種各9、4、6個，共計19個。每視角圖片標(biāo)定點(diǎn)為9到13個。將 Fi改寫為 Fi，θ，其中加入了角度參數(shù) δi，θ來區(qū)別差異化標(biāo)定點(diǎn)方案導(dǎo)致的特征取值變化:

并將其簡寫成:

將圖片轉(zhuǎn)換為每個基于a，b標(biāo)注部件的(fa，b+fb，a)中層特征的集合，其中 pa，b，i，θ是第 i張圖片標(biāo)定點(diǎn)為 a，b 的中級部件特征。

值得注意的是，對于部分車輛遮擋的問題遵循以下處理原則:一是遮擋部分位于所有標(biāo)點(diǎn)劃定區(qū)域外圍的，對于各pa，b，i，θ的取值無任何影響。二是對于遮擋部位位于少量標(biāo)點(diǎn)劃定區(qū)域內(nèi)的情況，根據(jù)文獻(xiàn)［3］算法可知，每個部件特征pa，b，i，θ已 通 過 主 成 分 分 析 (Principal Component Analysis，PCA)算法實(shí)施過降維操作，小部分特征維度的缺失對于包含多部件的整體車輛特征取值變化導(dǎo)致的識別率影響可忽略不計。三是對于重點(diǎn)部位遮擋或遮擋較多的樣本，在訓(xùn)練集中予以剔除。但對于此類目標(biāo)圖片，也可通過統(tǒng)一減少該角度遮擋部分標(biāo)定點(diǎn)的方式進(jìn)行訓(xùn)練，獲取到變化標(biāo)點(diǎn)中級部件特征Fi，θ'，即通過本文基于非固定數(shù)量部件的靈活部件選取方案，實(shí)現(xiàn)部分遮擋目標(biāo)車輛的特征獲取及后續(xù)識別。

圖2 基于不同視角θ的標(biāo)定點(diǎn)方案示意圖Fig．2 Schematic diagram of labeling scheme based on different viewpoint θ

②選取任意兩張圖片i1和i2，計算每兩張不同車輛同部位特征間的歐氏距離函數(shù):

用基于平方誤差的K-means算法聚類特征，獲取K個聚類中心點(diǎn)，生成詞匯集

③將每張圖片xi生成對應(yīng)詞匯集的詞頻直方圖(frequency histogram)表示:

④用KISSME方法計算目標(biāo)圖像與各訓(xùn)練圖像集的距離函數(shù)。為計算圖片 i1和 i2間的差距 Δ =(pa，b，i1，θ1－ pa，b，i2，θ2)，設(shè)ΓΩ是表示i1和i2為同車輛的類內(nèi)變化值，ΓΘ是表示i1和i2為非同一車輛的類間變化值，由該方法得類內(nèi)和類間概率似然函數(shù)分別為:

其中，NΩ和NΘ分別代表類內(nèi)樣本個數(shù)和類間樣本個數(shù)，本文將i1和i2間的KISSME距離表述為:

得到Eb(i1，i2)如在類內(nèi)距離范圍內(nèi)則判斷其為同一車輛目標(biāo)，反之則為非同一目標(biāo)。

⑤在算法實(shí)施中，往往首先定義Q為目標(biāo)圖片，通過計算Q與圖像集C中每一個圖像xi的距離Eb(Q，xi)，獲取一個按距離從近到遠(yuǎn)對xi基于目標(biāo)Q距離倒敘序的圖片隊列，記為Rank(Q，G)=［y1，y2，…，yi］，其中yi∈C，G為C中任一圖片。由于在復(fù)雜環(huán)境中的各因素的影響，④中獲得的相似度排序往往會發(fā)生極相似目標(biāo)被排序在很后的情況，故此需要引入再排序步驟。本文將Rank(Q，G)作為目標(biāo)圖片集Q的初始排序集，并定義Simm(Q，G)為Q、G兩圖片間的初始相似度分值，首先默認(rèn)初始相似度分值為:

其中，Ra(Q，G)為圖片G在Rank(Q，G)中的排序值。本文對初始 Rank(Q，G) 中前 T個排序圖片［y1，y2，…，yT］中的每個yt作為目標(biāo)圖片，獲取不同的距離倒序隊列Rank(Pt，G)，并對每個Pt設(shè)定一個加權(quán)函數(shù)βt對每個Pt的相似度分值Simm(Pt，G)進(jìn)行加權(quán)，計算出再排序后的相似度分值結(jié)果Simm'(Q，G)表述為:

不同于文獻(xiàn)［4］，令 βt=(Simm(Pt，G)+t+1)－1，以平滑相似度增量。根據(jù)圖3中重新計算的Simm'(Q，G)值，排列出最終相似度序列Rank'(Q，G)。

⑥最終采用最近鄰算法獲取識別結(jié)果。

圖3 再排序方法示意圖Fig．3 Schematic diagram of re-rank step

3 實(shí)驗(yàn)結(jié)果及分析

3．1 數(shù)據(jù)集搭建

測試車輛數(shù)據(jù)集由4個不同路口監(jiān)控云臺采集(安裝位置見圖3)，分別以30°為一個間隔角度，每2 h拍攝同一角度視頻，獲取從正面至背面共計7角度mp4格式視頻圖像。最后以10 s為一個間隔，從視頻中提取出共計20160張3840×2176復(fù)雜場景多車輛圖片集T。由于數(shù)據(jù)采集時充分考慮到大部分?jǐn)?shù)據(jù)集碰到的正樣本數(shù)為零的問題，故設(shè)計監(jiān)控云臺安裝位置于環(huán)路各出口路段，如圖4所示，無論從任何路口進(jìn)入環(huán)路，同一車輛圖像被監(jiān)控1～4捕獲的次數(shù)均為2(重復(fù)進(jìn)入路段車輛除外)。將T中提取出像素大于128的可識別車輛共計45742輛記為D，隨機(jī)選擇80% 生成訓(xùn)練集Dtrain，20% 生成訓(xùn)練集Dtest。

圖4 4個監(jiān)控云臺安裝位置圖示Fig．4 Installation positions of 4 monitors for data collection

3．2 實(shí)驗(yàn)結(jié)果

表1比較了使用本文方法的基礎(chǔ)特征和其他業(yè)界常用方法獲取的第一位(Rank1)識別正確率。由于許多原有方法實(shí)驗(yàn)結(jié)果往往針對同一尺度目標(biāo)，故可自適應(yīng)不同目標(biāo)尺度變化的本文方法，與其他文獻(xiàn)常用的基于基礎(chǔ)特征、部件特征及融合特征的其他方法相比，其Rank1值比第二名冒泡銀行(Bubble Bank，BB)算法［13］仍高出 3．85 個百分點(diǎn)，說明本文算法在標(biāo)定點(diǎn)方案選擇、基礎(chǔ)特征提取方面是正確有效的。

表1 幾種特征提取算法的Rank1識別正確率比較Tab．1 Comparison of Rank1 accuracy of several feature extraction algorithms

表2采用了同樣的特征提取和聚類方法，針對距離度量環(huán)節(jié)分析數(shù)據(jù)庫D中采用KISSME和再排序組合方法的效果，并與多個經(jīng)典度量方法進(jìn)行了比較。結(jié)果表明，本文算法更能適應(yīng)目標(biāo)大小不一、姿態(tài)不同的復(fù)雜環(huán)境目標(biāo)的識別需求，添加再排序方案的改進(jìn)KISSME算法比貝葉斯再訪問算法，在Rank1和Rank20的結(jié)果上有3．14和4．16個百分點(diǎn)的提升。

圖5為在對D中數(shù)據(jù)進(jìn)行目標(biāo)大小歸一化處理后的同尺度D'數(shù)據(jù)集中，分別比較了混合各姿態(tài)樣本的本文自適應(yīng)識別結(jié)果和單獨(dú)取出同一姿態(tài)樣本獲取的Rank1和Rank20的值。為了便于區(qū)分，本文按角度間隔將其分類成7類。其中算法在Rank1低于各角度平均值59．80%，而在Rank20中高于各角度平均值93．58%，符合預(yù)期，驗(yàn)證了算法適應(yīng)位姿變化的魯棒性。同時發(fā)現(xiàn)，有別于以往多數(shù)方法在不同位姿識別率變化較大的情況［11，13］，算法在各個分角度表現(xiàn)得較為均衡，且最高識別率集中在0°，30°，60°三個角度。究其原因，方法在側(cè)面90°圖像增加標(biāo)定點(diǎn)的策略豐富了樣本的特征取值。

表2 幾種算法的識別正確率比較Tab．2 Comparison of accuracy of several algorithms

圖5 基于同尺度數(shù)據(jù)集D'上的Rank1和Rank20識別率比較Fig．5 Comparison of Rank1 and Rank20 accuracybased on same-scaled target dataset D'

最后，本文配置CPU為Intel CPU E3-1231 3．4 GHz，GPU為32G NVIDIA GeForce GTX TITAN X的服務(wù)器，在Matlab 2016a環(huán)境下進(jìn)行算法測試，其比對單張128～576像素圖片(圖片根據(jù)目標(biāo)截取，大小不一，要求為128像素以上)平均耗時為0．81 s，而冒泡銀行(BB)算法特征提取與貝葉斯再訪問組合算法耗時為0．84 s，算法在獲得更高識別率的情況下，總體耗時更優(yōu)。在真實(shí)應(yīng)用中，以每路高清攝像頭每秒生成2張1920×1080大場景圖片，每張平均可提取15個有效車輛目標(biāo)進(jìn)行數(shù)據(jù)量估算，算法可實(shí)現(xiàn)對40路攝像頭拍攝圖像的實(shí)時分析，在包含前期目標(biāo)識別、提取等算法耗時的情況下，整體應(yīng)用響應(yīng)時間不超過3 s，實(shí)現(xiàn)了復(fù)雜場景下十分有效的車輛再識別應(yīng)用。

4 結(jié)語

本文介紹了一種基于BoVW模型的車輛再識別算法，在原有BoVW模型上采用了對于目標(biāo)圖像大小、位置、角度的變化都有較強(qiáng)魯棒性的基于部件的中級特征，以及能對差別細(xì)微的不同車輛進(jìn)行較好識別的基于簡單再排序的改進(jìn)KISSME方法。該方法標(biāo)記量、算法時耗適中，識別率較好，在后面的實(shí)驗(yàn)中將增加數(shù)據(jù)集的擴(kuò)展、實(shí)現(xiàn)自動標(biāo)記，以及在增加數(shù)據(jù)的基礎(chǔ)上進(jìn)一步探索深度學(xué)習(xí)網(wǎng)絡(luò)與距離度量的結(jié)合應(yīng)用。