鄭舟恒，劉 凱

(四川大學 電氣信息學院，四川 成都 610065)

0 引 言

行人重識別問題是在非重疊區(qū)域的攝像頭中，對出現的目標進行判斷是否為同一目標的過程[1]。由于在現實場景中，不同的攝像頭之間存在著巨大光照變化、視角差異以及目標本身的姿態(tài)變化，該問題在實際解決的過程中存在著巨大的問題和挑戰(zhàn)。目前，比較流行的方法大致可以分為兩類：基于特征描述的方法和基于距離度量學習的方法。

首先基于特征描述的方法利用了兩幅圖片之間具有魯棒性的特征來提高目標的識別率，一些特有的特征描述由于對視角和光照變化不敏感，所以具有一定的分辨效果。Bazzani等[2]提出一種結合人體全局和局部特征的行人重識別算法，利用連續(xù)多幀的圖像積累得到全局特征，然后與人體分塊得到特征互相融合得到最終的特征向量；Zhao等[3]將兩幅圖片進行劃分，得到不同的小塊，在一定約束條件下尋找到最為匹配的方塊，然后提取出局部特征；Wang等[4]提出了在圖像中尋找一種顯著特征來對行人進行匹配的方法。然而，由于相同行人在不同的攝像頭中存在光照和視角的差異較大，這些特征通常無法得到較為精確的結果。

基于度量學習的方法主要側重于對現有的數據進行訓練，訓練出來投影矩陣進行解決同一行人的不匹配問題。該類方法能夠利用較為簡單的特征達到較好的分類效果。基于距離度量學習距離的方法的主要思想在于學習一個測度矩陣，將特征向量投影到一個更容易區(qū)分的空間下。BoostMetric[5]是一種基于三元組形式約束的度量學習模型，首先利用一個弱分類器得到半正定矩陣，再通過Boosting來學習矩陣的線性組合作為投影矩陣；Pedagadi等[6]將局部Fisher判定應用于行人重識別當中，利用對散列矩陣求解特征值的方法得到測度矩陣，由于通常求解矩陣的維數過大，會使用主成分分析的方法進行一個降維的過程；Kostinger等[7]利用馬氏距離的思想，提出了簡單有效原則下的度量學習方法，能夠有效得降低訓練復雜度，并且在實際中有不錯的識別效果。

然而，在實際情況中存在遮擋、視角變化、樣本不足等情況，存在過擬合現象。現有的各種算法為了解決這類問題，通常需要在測度矩陣學習的過程中加入各種約束，從而計算復雜度極大的增加。對此，本文提出了一種對測度矩陣正則化的算法。文獻[7]提出了KISSME算法，計算過程簡單且能夠很好地應用于大量數據集的情況，但在訓練樣本過少、樣本質量較差的情況下，過擬合現象比較嚴重。為了對文獻[7]中訓練得到的測度矩陣進行正則化，本文首先正則化生成測度矩陣的兩個協方差矩陣，將兩個協方差矩陣特征值分解后，對其特征值進行平滑和優(yōu)化，然后可以得到正則化后的測度矩陣，算法在公共實驗數據集上的實驗效果顯示改進算法可以有效地提高匹配率。

1 基本原理與方法

1.1 距離測度矩陣學習算法

文獻[7]中提出了一種KISSME的算法,首先一對行人對(i,j)之間的相似關系可以表示為

(1)

其中，S為樣本對(i,j)相關的集合，而D為樣本對(i,j)不相關的集合，P0(i,j)為一行人對(i,j)屬于相關行人對的概率，P1(i,j)表示行人對(i,j)不屬于相關行人的概率。δ(i,j)越小則對應行人對屬于相關行人對的概率越小。利用特定的特征提取方法，行人對(i,j)的圖像特征可以用(xi,xj)表示，由式(1)可以得到

(2)

由于相關和不相關在行人對在特征差空間服從于均值0，協方差分別為ΣS和ΣD的多維正態(tài)分布，于是可以得到

(3)

和

(4)

其中

(5)

(6)

將式(3)和式(4)代入式(2)中可以得到

(7)

由于常數項對于最后的結果沒有影響，式(7)可以化簡為

(8)

式(8)可以看成是馬氏距離的度量，由此可以得到測度矩陣M

(9)

可通過

dij=(xi-xj)TM(xi-xj)

(10)

來計算一組行人對之間的相似度。

1.2 正則化測度矩陣

由上一節(jié)可以看出，行人重識別的精度是由測度矩陣M的準確與否來決定的。但是在實際情況中，通常無法獲得足夠的訓練樣本，同時KISSME計算過程并沒有加入過多的約束條件，容易產生過擬合現象。當訓練樣本過少時，有限的訓練集無法很好地反映出真實模型，訓練得到的測度矩陣在訓練集匹配可以達到非常好的效果，但是在測試集中則無法達到預期的結果。而當訓練集中出現了遮擋、姿態(tài)嚴重變化等質量較差的訓練樣本時，由于無法事先將這些質量較差的樣本去除，同樣產生提高在訓練集合表現，在測試集上效果表現反而欠佳的情況。由于過擬合現象的存在，會對行人重識別的識別精度造成很大的影響，為了防止學習到的測度矩陣過于擬合訓練集中的噪聲和異常值，提高算法的泛化能力，本文對測度矩陣進行了正則化處理。

由式(9)可知，測度矩陣由兩協方差矩陣的逆相減得到，所以分別對協方差矩陣進行正則化，首先對其進行特征值分解，由于對兩個協方差矩陣進行同樣的操作，所以只介紹針對ΣS的操作

Σs=ΨΛΨT

(11)

其中，Λ=diag(λ1,λ2,…,λd)為ΣS的特征值矩陣，特征值從大到小排列，而Ψ是對之對應的特征向量。這里將特征值分為3個子區(qū)間：P區(qū)間，L區(qū)間和N區(qū)間，如式(12)所示，其中P空間為特征值較大的區(qū)間，集中了特征值大部分的能量，L空間為特征值相對較小的區(qū)間，而N區(qū)間則認為是噪聲區(qū)間，該區(qū)間的特征值過小而容易遭受到噪聲的干擾

(12)

其中，p和q是預先確定的不同區(qū)間的分界點。分別計算為

(13)

和

q=max{q|λq<(λmed-(λp-λmed))}

(14)

其中，η為一能量比例參數，為P區(qū)間特征值和所占所有特征值和的比例。λmed為所有特征值的中位數。由于倒數函數能夠較好擬合協方差特征值的分布曲線[8]，本文提出利用3個參數的倒數函數模型來進行擬合

(15)

(16)

(17)

(18)

擬合之后的特征值分布曲線變得更加平滑，能夠在一定程度上抑制噪聲的影響，為了更好估計協方差矩陣的特征值，對擬合得到的特征值進行進一步的處理。當缺乏足夠可靠的訓練樣本時，獲得的協方差矩陣中的大特征值相對于真實特征值會偏大，而較小的特征值相對于真實特征值會偏小[9]。本文提出應當對于不同的子區(qū)間的特征值采用不同的方法進行正則化處理：適當抑制P區(qū)間中大特征值，同時提高L區(qū)間中較小特征值的影響，對于N區(qū)間，由于其對于噪聲十分敏感，所以只進行了平滑處理

(19)

(20)

(21)

2 實驗結果與分析

本文算法在不同實驗測試集上與現有的算法比較所有實驗均基于Matlab實現，實驗平臺為2GB內存，Intel(R) Core(TM) i3-2120 CPU 2.66 GHz的PC臺式機。

2.1 實驗設置與說明

在本文使用了廣泛使用的公共測試數據集VIPeR,ETHZ,CUHK01,能夠有效得對算法性能與其它算法進行比較。在實驗過程中，隨機選取p張行人圖像對為測試集，將余下的行人圖像對作為訓練集。p值取值越大，則對應的訓練樣本越少，過擬合現象則更為嚴重。在測試集中，一對行人圖像分為查詢集合和行人圖像庫，給定一種算法后，其性能體現于在行人圖像庫中能否正確找到查詢集合中對應的行人圖像。

現有的評價指標為積累匹配特性CMC(cumulative match characteristic)。該評價指標是指在行人圖像庫中，相似度排名前r的結果中找到正確匹配的待查詢人圖像的比例。其中最重要的是第1匹配率(Rank1)，當r較小時，其對應的匹配率在實際情況中也具有一定的意義，因為可以通過人工搜索的方式尋找到正確匹配的行人對。對于所有的實驗，均重復10次后做平均作為最后的實驗結果。

2.2 特征提取

為了將本文算法與其它算法進行比較，同文獻[7]中相同，本文對行人圖像只利用底層顏色特征和紋理特征進行描述。首先將圖像分割成重疊的大小為8×16的圖像塊，步進為8×8，并在每一個圖像塊中提取特征。采用的顏色空間包括RGB和LAB兩種顏色空間，每一個顏色通道都提取了24 bin直方圖。紋理特征采用了LBP紋理特征。最后將得到的特征向量進行串聯。由此一副圖像能夠用一個631維度的特征向量進行表示。為了減少冗余信息，利用PCA對特征向量進行降維，將特征維度降低至34維。

2.3 實驗數據集結果與比較

2.3.1 VIPeR數據集實驗結果

在VIPeR中有1264幅圖像，總共632位行人。每一張圖像都已經被人為剪裁為128×48像素大小的圖片。該數據集即使對于相同的行人對之間也存在比較大的光照、姿態(tài)、背景等變化，十分具有挑戰(zhàn)性。由于VIPeR是行人重識別問題最主要的數據集，大多數行人重識別算法都在該數據集下進行比較，所以在該數據集下進行了多種實驗來驗證算法的有效性和先進性。

首先該數據集下分析了參數a和b對于實驗結果的影響。由于兩個參數對于不同的特征值區(qū)域進行調整，兩者相對獨立，在進行參數分析時，將另一參數設置為0。同時為了觀察參數對于過擬合的影響，選擇了較少的訓練樣本，在這里p取值選取為532。圖1顯示了不同參數a對于算法性能影響比較。

圖1 不同a參數對識別結果的影響比較

圖1可以看出，當a取值過大時，會導致最后得到的測度矩陣無法很好得適應訓練樣本，而當a過小，如當a=0時候，相當于只對協方差矩陣的特征值進行了平滑處理，并無法取得較好的實驗效果。實驗結果表明當a在0.05達到了最優(yōu)值。所以在本文接下來的實驗中，a的取值均采用0.05且保持不變。圖2顯示了不同參數b對算法性能的影響。

圖2 不同b參數對算法性能的影響比較

由圖2可以看出，b取值過大會造成測度矩陣過于偏離樣本。b在區(qū)間(0,0.1)內對最后的識別精度效果較好，但是如果b取0，即沒有該參數影響，在r較小的區(qū)域性能明顯低于有參數進行正則化的情況。所以在本文中b同樣選取0.05。由此通過兩個較小的參數a和b，可以對測度矩陣進行一個調整，讓其不過分適用于訓練樣本數據。η則根據經驗值設定為0.8，由于在P區(qū)間附近的特征值均較大，所以η在一定范圍內變化并不會對p,q的取值和最后的分區(qū)造成太大影響。

為了驗證提出的算法優(yōu)于原算法以及其它正則化方法，本文算法與KISSME、RE_KISS[9]和文獻[10]進行了比較，后兩種算法都是對KISSME算法進行正則化的算法。RE_KISS算法思想是對于協方差矩陣進行特征值分解，在特征值較小的區(qū)域取平均值代替其原有特征值，并將得到的特征值與單位陣做加權平均，文獻[10]直接將測度矩陣與單位陣進行加權平均處理。由于不同數量的訓練樣本的會存在不同程度的過擬合現象，所以p值選取316和532來分別進行比較。4種算法在VIPeR的結果見表1。

從表1中可以看出，本文的提出算法可以有效得提高行人重識別的精度。在Rank1，提出的算法與原算法比較，不同數量訓練樣本p=316和p=532性能上分別提高了4%和11%，且在Rank10，Rank25和Rank50的匹配率中，均有明顯的改善。當p=532時候，即只有少量的訓練樣本，過擬合現象十分嚴重，這就導致了其識別效果明顯低于p=316時的情況，在實際情況中通過正則化方法提高識別精度就變得尤為重要。而在樣本較少的情況下，本文提出的算法對于KISSME算法性能的提升效果更為明顯。和RE_KISS算法、文獻[10]提出的算法相比，僅僅在p=316，Rank1時，性能指標低于文獻[10]，其它指標均優(yōu)于這兩種算法。特別是p=532,對于過擬合的抑制效果顯著優(yōu)于另外兩種正則化算法。說明了算法的有效性。

表1 4種算法在VIPeR中的比較

為了驗證本文算法的優(yōu)越性，將本文提出的算法與當前主流的行人重識別算法進行了比較，包括歐式距離，KISSME[7]，LMNN，PRDC，ITML，CVDWA[11]和rPCCA[12]。同樣對于p的取值為316和532。各個算法的結果見表2。

表2 多種算法在VIPeR中的比較

從表2中可以看出，在兩個測試集規(guī)模下，每一個Rank等級的正確率均優(yōu)于目前主流的算法，說明了算法在實際應用中具有良好的識別精度。注意到當p=532，即訓練樣本數量過少時，目前主流的算法識別精度都受了很大影響，而此時本文算法不同Rank等級的正確率優(yōu)勢體現的更為明顯。充分說明了算法對于訓練樣本不足產生的過擬合起到了很好的效果。

2.3.2 ETHZ數據集實驗結果

ETHZ中共計8555張圖片由146位行人組成，圖像由一個移動攝像機中3個視頻序列中提取，同樣將每張圖像尺寸設置為128×48像素大小。在該數據集下，訓練集為73對行人圖像，表3分析了本文算法與KISSME算法的比較。

表3 兩種算法在ETHZ中的比較

由于該數據集采集的圖像由同一個攝像機拍攝，相對于其它數據集而言姿態(tài)、光照條件變化較小。從表3中可以看出，KISSME算法本身的精度較高，提出的算法在識別精度上提高效果不明顯，在Rank1中僅僅提高了2%，在Rank10中甚至略微低于原算法性能。這也說明了算法的局限性，在樣本條件較好的情況下，本文算法對于識別效果的改善空間有限。

2.3.3 CUHK01數據集實驗結果

CUHK01中由3884幅圖像共971個行人組成。每個行人包含了4幅圖像，前兩幅圖像是攝像頭A拍攝一行人前后的圖像，后兩幅圖像是攝像頭B拍攝同一行人側面的圖像，從前兩幅中隨機選取一張，同時從后兩幅圖像中選取一張，從而構成相關行人對。同時將圖像的大小調整為128×48像素。在本文中測試集為485對行人圖像，訓練集為486對行人圖像。從表4中可以看出，本文算法性能在CUHK01數據集上均優(yōu)于KISSME算法，在Rank1中匹配率提高了5%。

表4 兩種算法在CUHK01中的比較

3 結束語

在行人重識別問題中，實際情況訓練樣本不足、質量較差一直是重要而難以解決的問題。由此而帶來的過擬合問題會對算法的準確性造成影響。為了解決這個問題，本文提出了一種基于測度矩陣正則化的方法，實驗結果表明能夠有效緩解過擬合問題對行人重識別精度帶來的不利影響。但是在訓練樣本足夠，樣本質量較好時，對于算法性能的提升并不明顯，在接下來的研究中，將進一步研究更有效的距離度量方法。

[1]Liu Z,Huang K,Tan T.Foreground object detection using top-down information based on EM framework[J].IEEE Transactions on Image Processing,2012,21(9):4204-4217.

[2]Bazzani L,Cristani M,Perina A,et al.Multiple-shot person re-identification by chromatic and epitomic analyses[J].Pattern Recognition Letters,2012,33(7):898-903.

[3]Zhao R,Ouyang W,Wang X.Unsupervised salience learning for person re-identification[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Portland:IEEE,2013:3586-3593.

[4]WANG Cailing,ZHAN Song,JING Xiaoyuan.Pedestrian re-identification based on salient features in non-overlapping areas[J].Journal of Nanjing University of Posts and Telecommunications(Natural Science Edition),2016,36(1):106-111(in Chinese).[王彩玲,詹松,荊曉遠.基于圖像顯著特征的非重疊視域行人再識別[J].南京郵電大學學報(自然科學版),2016,36(1):106-111.]

[5]Shen C,Kim J,Wang L,et al.Positive semi-definite metric learning using boosting-like algorithms[J].Journal of Machine Learning Research,2012,13(4):1007-1036.

[6]Pedagadi S,Orwell J,Velastin S,et al.Local fisher discriminant analysis for pedestrian re-identification[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Portland:IEEE,2013:3318-3325.

[7]K?stinger M,Hirzer M,Wohlhart P,et al.Large scale metric learning from equivalence constraints[C]//Computer Vision and Pattern Recognition.Providence:IEEE,2012:2288-2295.

[8]Sharma A,Paliwal K K.A two-stage linear discriminant analysis for face-recognition[J].Pattern Recognition Letters,2012,33(9):1157-1162.

[9]Tao D,Jin L,Wang Y,et al.Person re-identification by re-gularized smoothing kiss metric learning[J].IEEE Transactions on Circuits and Systems for Video Technology,2013,23(10):1675-1685.

[10]QI Meibin,WANG Yunxia,TAN Shengshun,et al.Person re-identification based on regularization of independent measure matrix[J].Pattern Recognition and Artificial Intelligence,2016,29(6):511-518(in Chinese).[齊美彬,王運俠,檀勝順,等.正則化獨立測度矩陣的行人再識別[J].模式識別與人工智能,2016,29(6):511-518.]

[11]Chen Y C,Zheng W S,Lai J H,et al.An asymmetric distance model for cross-view feature mapping in person re-identification[J].IEEE Transactions on Circuits and Systems for Video Technology,2016,PP(99):1-1.

[12]Xiong F,Gou M,Camps O,et al.Person re-identification using kernel-based metric learning methods[C]//European Conference on Computer Vision.Zurich:Springer,2014:1-16.