王晶 韋永來

摘要：跨攝像頭的行人再識別是智能監(jiān)控系統(tǒng)的基本功能，它為公安干警追蹤犯罪嫌疑人、監(jiān)控犯罪行為提供了有力的技術(shù)支持。文中首先簡單地介紹了行人再識別的概念與難點，然后分別從傳統(tǒng)方法和深度學(xué)習(xí)方法兩個方面詳細(xì)闡述了行人再識別技術(shù)的研究進展，最后針對公安監(jiān)控系統(tǒng)的實際應(yīng)用展望了行人再識別技術(shù)的未來研究方向。

關(guān)鍵詞：行人再識別;深度學(xué)習(xí);公安監(jiān)控

中圖分類號：TP18? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ? ? 文章編號：1009-3044（2018）35-0191-03

Abstract： Cross-camera person re-identification is the basic function of intelligent monitoring system. It provides strong technical support for police to track criminal suspects and monitor criminal acts. This paper first briefly introduces the concept and difficulties of person re-identification， then elaborates the research progress of person re-identification technology from two aspects of traditional methods and deep learning methods， and finally looks forward to the future research direction of person re-identification technology in view of the practical application of public security monitoring system.

Key words： person re-identification; Deep learning; Public security monitoring

隨著我國“平安城市”建設(shè)的穩(wěn)步推進，視頻監(jiān)控設(shè)備已經(jīng)遍布在城市的大街小巷中，形成了一個巨大的視頻監(jiān)控網(wǎng)絡(luò)，這些監(jiān)控設(shè)備捕獲的視頻為公安干警抓捕犯罪嫌疑人、尋找丟失兒童等提供了有力的線索。每當(dāng)類似案件發(fā)生時，目標(biāo)人物一定會在移動過程中出現(xiàn)在某些攝像頭下，相關(guān)部門需要在這些監(jiān)控視頻中尋找目標(biāo)人物。如今的監(jiān)控系統(tǒng)大多采用攝像頭實時錄像加人工監(jiān)察的方式進行，監(jiān)查人員需要持續(xù)的觀察視頻場景的變化，這對監(jiān)查人員的要求極度苛刻。因此，這種以人工監(jiān)察為主的監(jiān)控系統(tǒng)已無法滿足如今監(jiān)控系統(tǒng)的網(wǎng)絡(luò)化發(fā)展趨勢。所以利用計算機自動完成監(jiān)控任務(wù)的智能監(jiān)控系統(tǒng)應(yīng)運而生。最初這類系統(tǒng)普遍采用較為成熟的人臉識別技術(shù)來搜索目標(biāo)行人，但是由于監(jiān)控攝像頭的安裝位置較高、監(jiān)控范圍較廣導(dǎo)致無法獲得較為清晰的人臉圖像，因此這類系統(tǒng)逐漸放棄單純的使用人臉識別技術(shù)來搜索行人，而是選擇使用全身信息作為人臉之外的重要補充，實現(xiàn)對行人的跨攝像頭追蹤。這種被稱之為“行人再識別”的技術(shù)使得智能監(jiān)控系統(tǒng)的命中率發(fā)生了質(zhì)的變化。但是，目前的行人再識別算法依然面臨著巨大的挑戰(zhàn)。例如行人姿態(tài)差異、場景光照變化、攝像頭的視角以及相機成像質(zhì)量等都會使得同一行人在不同攝像頭下的外觀發(fā)生較大的變化。本文將從傳統(tǒng)方法和深度學(xué)習(xí)方法兩個方面詳細(xì)闡述行人再識別技術(shù)的研究進展，并對其未來的研究方向進行了展望。

1 傳統(tǒng)方法

現(xiàn)存的傳統(tǒng)方法主要從兩個方面來提升算法性能：（1）提取更加魯棒性的行人特征描述子來解決行人外觀變化問題;（2）設(shè)計更具判別力的距離測度來計算行人圖像之間的差異。

1.1 特征描述子

特征設(shè)計主要是為了尋找出對光照變化、視角變化、人體形變以及行人遮擋等具有不變性的特征描述子，增強不同行人間的特征差異，同時維持相同行人在不同攝像頭下的外觀不變性。常用的底層特征有顏色特征（RGB、HSV、LAB等）和紋理特征（LBP、SILTP等），但是僅使用底層特征來表示行人圖像難以取得理想效果。近年來，研究人員以底層特征為基礎(chǔ)提出了多種更具魯棒性的特征描述子。Liao等人[1]提出的局部最大發(fā)生特征（LOMO）將顏色特征（HSV）和紋理特征（SILTP）進行了有效的融合，并加入了Multi-scale操作，對圖像進行縮放處理，因此該特征具有良好的尺度魯棒性。Chen等人[2]通過改進LOMO特征得到了多項式特征，該特征由HSV/SILTP、 HSV/HOG、LAB/SILTP、LAB/HOG組合而成，并通過將圖像分成四個子區(qū)域，每個區(qū)域獨立計算匹配距離來挖掘圖像的局部細(xì)節(jié)信息（圖1）。文獻(xiàn)[3]的提取特征方式與上文所述不同，它具體到圖像的每個像素，通過提取每個像素點的坐標(biāo)、梯度、顏色特征作為基礎(chǔ)信息，再經(jīng)過兩級不同的高斯變化得到最終的GOG特征。

圖1中，（a）為特征提取，首先將待提取特征區(qū)域通過滑動窗口劃分出r個局部區(qū)域，再對r個局部區(qū)域提取出c個視覺線索（HSV、HOG等），最后將它們串聯(lián)后降維得到最終區(qū)域特征。（b）為距離測度，首先通過（a）中特征提取方法提取出整幅圖像和四個子區(qū)域的圖像特征，再將它們一一對應(yīng)計算出相應(yīng)的相似度，最后融合五種相似度得到最終的圖像相似度。

1.2 距離測度

通過推導(dǎo)或者優(yōu)化訓(xùn)練尋找一個使得相關(guān)目標(biāo)之間的距離減小，不相關(guān)目標(biāo)之間的距離增大的距離測度方法就稱之為距離測度學(xué)習(xí)。經(jīng)典的距離測度學(xué)習(xí)就是馬氏距離，它首先給出一個先驗的相似度函數(shù)（公式1），然后通過標(biāo)記的訓(xùn)練樣本優(yōu)化求解得到M，最后利用M計算測試樣本之間的距離來衡量樣本之間的相似度。

基于馬氏距離測度學(xué)習(xí)的思想，近年來不斷地有新的距離測度算法被提出，如文獻(xiàn)[4]提出的KISSME算法將相關(guān)行人對與不相關(guān)行人對的概率比值作為相似度表達(dá)，進而推導(dǎo)出測度矩陣M。Liao等人[1]提出的子空間學(xué)習(xí)與距離度量學(xué)習(xí)相結(jié)合的算法（XQDA），其測度矩陣是在學(xué)習(xí)得到的子空間中計算的。同樣利用子空間學(xué)習(xí)來實現(xiàn)行人再識別的還有文獻(xiàn)[5]提出的KCCA算法。還有一些學(xué)者通過將馬氏距離與其他距離相結(jié)合的方法來提高行人再識別性能，如Chen等人[2]提出的SCSP算法同時考慮了馬氏距離和雙線性距離，并利用ADMM優(yōu)化函數(shù)學(xué)習(xí)得到M。最終使得該算法較大程度地提升了行人再識別性能。

隨著各種不同特征描述子和距離測度函數(shù)不斷被提出，部分學(xué)者開始融合這些特征描述子和距離測度函數(shù)以達(dá)到更好的識別效果。比如文獻(xiàn)[11]中提出的融合算法使得其在VIPeR數(shù)據(jù)上的首位命中率（Rank-1）達(dá)到了66.01%，據(jù)我們所知，這也是目前傳統(tǒng)方法在VIPeR數(shù)據(jù)集上取得的最高識別率。需要指出的是不論哪種特征組合都需要尋找出一種與之相適應(yīng)的距離測度，因為只有一個好的特征表達(dá)與有效的度量學(xué)習(xí)相結(jié)合才能實現(xiàn)高效的行人再識別。

2 深度學(xué)習(xí)方法

近年來，深度學(xué)習(xí)在圖像分類、目標(biāo)檢測、人臉識別等各種計算機視覺領(lǐng)域都取得了很大的成功。因此越來越多的學(xué)者將深度學(xué)習(xí)方法應(yīng)用到行人再識別的研究中。比如，Yi等人[6]提出了一種針對行人再識別的Siamese網(wǎng)絡(luò)，該網(wǎng)絡(luò)將輸入圖像劃分為三個重疊的水平部分，經(jīng)過兩個卷積層后再通過一個全連接層進行融合，最終得到原始行人圖像的特征向量。Ahmed等人[7]改進了Siamese網(wǎng)絡(luò)，通過計算兩幅輸入圖像的領(lǐng)域差來學(xué)習(xí)視角不變性特征。Cheng等人[8]使用三元組樣本來訓(xùn)練網(wǎng)絡(luò)，使相同行人之間的特征距離縮小，不同行人之間的特征距離增大。諸如此類的網(wǎng)絡(luò)還有很多，但是這些網(wǎng)絡(luò)的關(guān)注點主要還是在全局特征上，就是利用整幅圖像得到一個特征向量進行圖像匹配。但是后來發(fā)現(xiàn)全局特征遇到了瓶頸，于是漸漸開始研究起局部特征。目前最具代表性的就是曠視科技Face++[9]提出的AlignedReID網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用空間局部距離的自動對齊模型，在不需要額外信息的情況下自動對齊局部特征。

和其他的行人再識別網(wǎng)絡(luò)類似，AlignedReID同樣利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，用難樣本開采后的三元損失作為損失函數(shù)，把圖像特征之間的歐式距離作為兩張圖像的相似度。不同之處在于AlignedReID在學(xué)習(xí)圖像相似度的時候考慮了人體結(jié)構(gòu)的對齊，雖然之前有學(xué)者考慮過這一點，比如：簡單地把行人圖像分成頭、身、腿三部分進行對齊;還有更精細(xì)一點的是通過人體骨架估計，然后再通過骨架信息來對齊，但是這些網(wǎng)絡(luò)要么在結(jié)果上差強人意要么就需要額外的標(biāo)注工作。而AlignedReID通過引入端到端的思想，讓網(wǎng)絡(luò)自動學(xué)習(xí)人體對齊，進而提高行人再識別性能。

AlignedReID不僅提取全局特征，同時也會對各局部提取局部特征。對于兩張行人圖像中的任意一對局部特征，計算它們之間的距離，構(gòu)成一個距離矩陣如圖3所示。再通過動態(tài)規(guī)劃的方法尋找一條從距離矩陣左上角到右下角的最短路徑，這條最短路徑上的一條邊就代表一對局部匹配，這樣的人體對齊方式在保證身體各部分的相對位置時總距離也是最短的。在訓(xùn)練階段，最短路徑長度被加入損失函數(shù)中輔助行人圖像的特征學(xué)習(xí)。仔細(xì)觀察圖3不難發(fā)現(xiàn)，最短路徑中的有些邊是冗余的，例如圖中的第一條邊。其實局部特征不僅要自我匹配，同時也要考慮到整個人體的對齊。為了使局部匹配能夠從頭到腳按順序執(zhí)行，存在一些冗余的匹配是不可避免的。

AlignedReID使得計算機在Market1501和CUHK03上的首位命中率分別達(dá)到了94.0%和96.1%，而一個熟練的標(biāo)注員在Market1501和CUHK03數(shù)據(jù)集上的命中率卻只有93.5%和95.7%。當(dāng)然，目前利用局部信息提升行人再識別性能的不僅僅只有曠世科技的這篇AlignedReID，還有云從科技的MGN[11]、Zhao等人[12]的Spindle net等，其中云從科技的MGN更是將Market1501數(shù)據(jù)集上的首位命中率提升至96.6%。這樣的結(jié)果還是相當(dāng)振奮人心的，但是還不能說行人再識別的任務(wù)被很好地解決了。因為在實際應(yīng)用場景中不可能在所有監(jiān)控環(huán)境下對數(shù)據(jù)進行標(biāo)注、訓(xùn)練再測試。一個可行的思想便是在現(xiàn)有的一些標(biāo)注過的數(shù)據(jù)集上訓(xùn)練，再將訓(xùn)練后的模型在實際場景中微調(diào)應(yīng)用。Deng等人[10]就是基于這樣的思想提出了“Learning via Translation”框架。該框架主要包含兩個部分：1）將源域上帶標(biāo)簽的訓(xùn)練數(shù)據(jù)的風(fēng)格遷移到目標(biāo)域的風(fēng)格之上;2）利用風(fēng)格遷移后的數(shù)據(jù)訓(xùn)練一個行人再識別模型。由于遷移之后的圖像需要用于行人再識別的模型訓(xùn)練，因此需要在圖像遷移前后保證圖像的ID不發(fā)生變化。

基于以上的要求，作者提出了SPGAN網(wǎng)絡(luò)（圖5），該網(wǎng)絡(luò)由兩部分組成：（1）改進的CycleGAN;（2）控制正負(fù)樣本對遠(yuǎn)近的SiaNet。對于CycleGAN部分作者添加了一個identity loss（公式2）來保證轉(zhuǎn)換前后的相似性，而對于SiaNet部分作者同樣設(shè)計了獨立的損失函數(shù)（公式3）。最后再將這兩個網(wǎng)絡(luò)的所有損失函數(shù)聯(lián)合起來（公式4），對整個SPGAN網(wǎng)絡(luò)進行訓(xùn)練。

將在DukeMTMC-reID數(shù)據(jù)集上訓(xùn)練的網(wǎng)絡(luò)模型通過SPGAN遷移到Market-1501上時，首位命中率可以達(dá)到57.7%;這樣的命中率雖然相對于有監(jiān)督訓(xùn)練還有較大的差距，但是對于在缺少標(biāo)簽信息指導(dǎo)的情況下還是相當(dāng)可觀的，同時這樣的遷移學(xué)習(xí)方法更接近于實際應(yīng)用場景。

3 總結(jié)與展望

行人再識別技術(shù)是當(dāng)前計算機視覺的熱門研究方向，主要解決跨攝像頭下的行人匹配問題，具有非常重要的理論意義和研究價值。例如，在大型公眾場所小朋友與其父母走失后，公安干警可通過行人再識別技術(shù)幫助其父母迅速找回丟失兒童;而犯罪嫌疑人在犯罪逃竄后，公安干警同樣可利用行人再識別技術(shù)追蹤犯罪嫌疑人的逃跑路徑。

本文從傳統(tǒng)方法和深度學(xué)習(xí)方法兩個方面分別闡述了最近幾年的研究進展。傳統(tǒng)行人再識別算法的主要目標(biāo)是尋找更具魯棒性的行人特征和學(xué)習(xí)更具判別性的距離測度，這種算法的實現(xiàn)簡單、實時性好且不需要大量的訓(xùn)練數(shù)據(jù);但是這種算法易受數(shù)據(jù)量影響，在數(shù)據(jù)量增大時其性能會顯著下滑?；谏疃葘W(xué)習(xí)的行人再識別算法會通過深度神經(jīng)網(wǎng)絡(luò)提取出圖像的深度特征，具有較強的泛化能力，在大數(shù)據(jù)集上表現(xiàn)也是異常優(yōu)秀。同時利用遷移學(xué)習(xí)技術(shù)可以有效地解決實際應(yīng)用場景中缺乏標(biāo)注數(shù)據(jù)的問題。

雖然行人再識別技術(shù)已經(jīng)發(fā)展多年，但是因為實際監(jiān)控系統(tǒng)的復(fù)雜性及不穩(wěn)定性使得其依舊面臨著諸多挑戰(zhàn)：1）有限的訓(xùn)練數(shù)據(jù);從現(xiàn)有的行人再識別數(shù)據(jù)集來看，當(dāng)前收集的數(shù)據(jù)相對于真實數(shù)據(jù)的時空分布是非常有限的和局部的。同時，與其他計算機視覺任務(wù)的數(shù)據(jù)集相比其數(shù)據(jù)規(guī)模也是非常小的。2）非理想場景下行人外觀變化大;行人不對齊、圖像質(zhì)量低和部分遮擋都會使得行人外觀發(fā)生巨大變化。3）大規(guī)模數(shù)據(jù)集下的算法效率問題;雖然現(xiàn)有行人再識別算法在小數(shù)據(jù)集上的表現(xiàn)優(yōu)異，但是隨著監(jiān)控網(wǎng)絡(luò)的擴大，其運算量將呈指數(shù)增長。這一系列的問題阻止了行人再識別技術(shù)的落地應(yīng)用，但同時也為未來的技術(shù)研究提供了方向，例如，可以通過優(yōu)化算法，提高計算機運算速度來解決大規(guī)模數(shù)據(jù)集下的算法速率問題;總而言之，隨著技術(shù)的發(fā)展，這一個個問題終將在不久的將來被一一解決。

參考文獻(xiàn)：

[1] S. Liao， Y. Hu， X. Zhu， and S. Z. Li. Person re-identification by local maximal occurrence representation and metric learning. In CVPR， 2015.

[2] D. Chen， Z. Yuan， B. Chen， N. Zheng. Similarity Learning with Spatial Constraints for Person Re-identification. In CVPR， 2016.

[3] T. Matsukawa， T. Okabe， E. Suzuki， Y. Sato. Hierarchical Gaussian Descriptor for Person Re-Identification. In CVPR， 2016.

[4] M.Koestinger，M.Hirzer，P.Wohlhart，et al.Large scale metric learning fromequivalence constraints.In CVPR，2012.

[5] Zhang L，Xiang T，Gong S.Learning a Discriminative Null Space for Person Re-identification.In CVPR， 2016，1239-1248.

[6] D. Yi， Z. Lei， S. Liao， S. Z. Li et al.Deep metric learning for person re-identification. In ICPR，vol. 2014， 2014， 34-39.

[7] E. Ahmed， M. Jones， and T. K. Marks. An improved deeplearning architecture for person re-identification. In CVPR，2015.

[8] D. Cheng， Y. Gong， S. Zhou， J. Wang， and N. Zheng. Personre-identification by multi-channel parts-based cnn withimproved triplet loss function. In CVPR， 2016.

[9] Zhang X， Luo H， Fan X， et al. AlignedReID： Surpassing Human-Level Performance in Person Re-Identification[J]. 2017.

[10] Deng W， Zheng L， Ye Q， et al. Image-Image Domain Adaptation with Preserved Self-Similarity and Domain-Dissimilarity for Person Re-identification[J]. 2017.

[11] Mumtaz S， Mubariz N， Saleem S， et al. Weighted hybrid features for person re-identification[C]//International Conference on Image Processing Theory. IEEE， 2018：1-6.

[通聯(lián)編輯：唐一東]