宋麗麗，李 彬，趙俊雅，劉國峰

1.成都理工大學 工程技術(shù)學院，四川 樂山614000

2.武漢輕工大學 機械工程學院，武漢430023

3.武漢理工大學 理學院，武漢430070

1 引言

行人再識別任務(wù)的目的是在監(jiān)控網(wǎng)絡(luò)中對跨越攝像頭場景的行人目標進行再次識別[1-2]。該技術(shù)在安防管理、目標跟蹤以及公安系統(tǒng)等領(lǐng)域有著廣泛應(yīng)用前景。行人再識別系統(tǒng)能夠有效追溯行人的行為軌跡，查詢、定位目標人物，極大程度節(jié)省了人力和財力成本，避免了漏檢、誤檢等錯誤，因此吸引了大量科研工作者投入到該領(lǐng)域的研究中。

基于圖像的行人再識別技術(shù)，主要通過圖像的特征模型，得到其特征向量，然后基于特征向量進行目標的分類識別。因此，人們引入了圖像分類識別的相關(guān)算法，但由于行人再識別應(yīng)用場景過于復(fù)雜，行人圖像受到光照條件、步態(tài)、拍攝角度以及背景等因素的影響，導(dǎo)致樣本圖像分類特征不穩(wěn)定，行人再識別精度不理想。為了提高行人再識別精度，科研人員主要從以下兩個方面進行研究：（1）設(shè)計一種魯棒的具有強分辨能力的外觀特征模型；（2）建立一種有效的相似性度量算法。

現(xiàn)有的行人再識別方法主要針對特征表達模型和度量模型。對于特征表達模型的研究，主要基于區(qū)域或者分塊特征模型方法，其中一些優(yōu)秀的特征模型是通過結(jié)合多種類型的特征，組成混合特征表達。比如：對稱驅(qū)動局部累積特征（SDALF）[3]、自定義圖案結(jié)構(gòu)特征（CPS）[4]、生物學啟發(fā)特征和協(xié)方差描述（BiCov）[5]以及局部fisher向量編碼混合特征（eLDFV）[6]等。Yang等人[7]利用color name建立圖像色彩特征表達模型，該模型對于光照變化及局部幾何變換魯棒性更強。廖勝才等人[8]利用色彩和紋理直方圖建立特征表達方法，提出了LOMO模型，以此計算局部色彩紋理特征，得到一個超高維度的特征向量。雖然上述特征模型在圖像外觀表達能力和分辨能力上取得了顯著的提升效果，但由于行人圖像特征變化過于復(fù)雜，上述模型對于最終識別精度的提升有限。

在度量模型研究領(lǐng)域，人們針對行人再識別任務(wù)的特殊性，提出了更加有效的有監(jiān)督的度量學習模型。Zheng 等人[9]提出了一種相對距離比較算法（RDC），該算法通過約束正樣本距離小于負樣本來學習距離度量的投影空間。K?stinger M等人[10]則通過統(tǒng)計推斷的方法，提出了KISSME 度量模型。Weinberger 等人[11]通過約束樣本的k 近鄰樣本相似性與負樣本相似性之間的距離，來學習一個決策邊界。Jing等人[12]則通過半耦合低秩字典表達的方法度量模型，提出了SLDDL算法，并進一步改進，建立了多視角的MVSLDDL行人再識別算法[13]。Liao 等人[8]則結(jié)合KISSME 算法和FDA 算法，建立了一種交叉二次判別模型（XQDA）。Gao等人[14]利用字典表達的方法，學習一種具有視覺不變性的正交字典，提升了模型的分辨能力。Li等人[15]則引入深度學習等方法，建立了FPNN深度網(wǎng)絡(luò)模型。Ahmed等人[16]在FPNN 的基礎(chǔ)上，利用人體結(jié)構(gòu)信息，提出了Improved Deep深度網(wǎng)絡(luò)結(jié)構(gòu)。

通過上述算法，行人再識別任務(wù)的識別精度得到了顯著的發(fā)展，但是行人再識別中樣本特征變化過于復(fù)雜，現(xiàn)有數(shù)據(jù)庫所包含的行人外觀特征變化遠少于實際，這導(dǎo)致度量模型在訓練數(shù)據(jù)上過擬合。因此，本文通過半監(jiān)督學習方法對度量學習算法進行改進，以此提高度量模型對測試樣本的魯棒性。本文創(chuàng)新點主要有：

（1）在原有度量模型基礎(chǔ)上，提出了一種半監(jiān)督學習方法，有效地改進了算法泛化能力。

（2）對現(xiàn)有度量學習算法識別精度低的根本原因進行了深入分析，得出過擬合問題導(dǎo)致算法泛化能力弱的結(jié)論。針對該問題提出了一種重采樣的方法，在增加樣本的多樣性的同時，增強了度量模型對待識別樣本的適應(yīng)性。

（3）針對半監(jiān)督方法對度量模型分辨能力的弱化問題（rank ＞10 的識別精度下降）。本文提出了一種組合度量策略，在增強了模型泛化能力的同時，保障了模型的分辨力。

2 行人再識別與交叉二次判別算法

2.1 特征提取

基于度量學習算法的行人圖像相似性度量，需要首先將圖像轉(zhuǎn)化成外觀特征描述。由于行人跨越監(jiān)控場景時外觀變化的復(fù)雜性，因此特征模型的魯棒性對于最終識別結(jié)果至關(guān)重要。本文選取LOMO特征模型對行人圖像特征進行表達，包含HSV空間下和Lab空間下的色彩直方圖以及SILTP紋理直方圖。

如圖1所示為特征提取模型，首先將原始圖像分割成尺寸為8×16 的局部像素塊，然后對每個局部像素塊提取HSV空間和Lab空間下的色彩直方圖，并將每個通道壓縮為24個級數(shù)，隨后通過LBPs算子提取圖像的局部紋理特征。但該特征維度過高，不便于進行度量子空間的學習。因此，基于PCA算法學習一個投影子空間，對原始圖像外觀特征進行降維。

圖1 特征模型

2.2 相似性度量模型

行人圖像面臨著光線、背景以及幾何變換等各種問題，導(dǎo)致圖像特征十分不穩(wěn)定。在對樣本進行度量時，基于歐式距離等度量方法由于圖像中行人空間分布的錯位問題，無法有效地對行人圖像的相似性進行比較。此外，基于歐式距離的判別分析度量模型在VIPeR數(shù)據(jù)集上的rank-1識別精度只有35.49%，而基于馬氏距離的識別精度則達到了40.02%。因此，本文選取了馬氏距離，基于樣本的正態(tài)分布假設(shè)，在投影子空間中，建立統(tǒng)計樣本的統(tǒng)計推斷模型。

行人再識別研究的難點，在于兩個不重疊攝像頭得到的行人圖像相似性匹配問題。給定樣本集和樣本集分別表示兩個攝像頭拍攝到的行人圖像特征，xAi為A 攝像頭下的第i 個人，xBj為B 攝像頭下的第j 個人。用表示一個待識別的樣本對，lij則表示該樣本對的標簽。lij=1 表示正樣本對；反之lij=0 表示負樣本對。行人再識別任務(wù)就是對的樣本特征相似性進行度量。目前基于度量學習的行人再識別方法，是對兩個樣本特征的差向量進行處理。定義表示一個待識別樣本對中兩個樣本的特征差向量，因此行人再識別問題轉(zhuǎn)化為對特征差向量的二分類問題，即判別lij=1 或0。樣本相似性通過定義一個相似距離來進行度量，歐式距離等傳統(tǒng)距離度量方式的識別結(jié)果精度較差。因此，通過學習一個馬氏距離，來優(yōu)化樣本的相似性度量，如式（1）所示：

其中，M 為馬氏距離的度量矩陣。行人再識別度量學習模型的目標是學習一個距離，使得在該距離度量空間中，正樣本對距離小于負樣本對的距離，由此得到相對距離函數(shù)：

通過最小化所有樣本的相對距離總體，建立距離度量模型的目標函數(shù)：

2.3 基于交叉二次判別分析的行人再識別算法

交叉二次判別分析（XQDA）算法[8]是一種基于Fisher判別分析（FDA）算法理論，建立的行人再識別度量學習模型。該算法包含兩個方面：（1）學習一個度量投影子空間，使得正樣本對總體散度盡量小，負樣本對總體散度盡量大；（2）在投影子空間中學習一個馬氏距離。

因此，距離度量模型改寫為如下形式：

其中W 可以看作為差值特征向量的子空間投影矩陣。于是行人再識別度量學習問題轉(zhuǎn)化為一個投影子空間的學習問題。對于該子空間的學習，投影矩陣W 的目標是使得在投影空間中，正負樣本對總體之間的差異盡量大，類內(nèi)散度盡量小。

其中SI,SE分別表示正負樣本對總體散度。

投影子空間的學習通過解決最大化式（8）所示的Fisher判別函數(shù)的優(yōu)化問題來實現(xiàn)。

式（8）所示的Fisher判別準則等價于如下形式：

式（9）所示的問題可以通過拉格朗日方法來求解。于是公式（9）優(yōu)化問題轉(zhuǎn)化為廣義的特征根問題：

此外，基于正負樣本對的總體分布假設(shè)，在投影空間內(nèi)學習一個馬氏距離來提高樣本相似性度量的效果。從統(tǒng)計推斷的角度看，待檢測樣本對(的相似性優(yōu)化決策方案，可以通過樣本對分布概率的統(tǒng)計推斷模型進行求解：

3 改進的交叉二次判別算法

針對行人再識別小樣本問題導(dǎo)致的度量模型的偏差問題，本文引入半監(jiān)督學習理論，設(shè)計完成了一種基于樣本正態(tài)性重采樣的迭代優(yōu)化度量學習模型。

3.1 半監(jiān)督的交叉二次判別分析度量學習算法

交叉二次判別分析算法的假設(shè)前提是訓練樣本與測試樣本服從相同的分布。然而，由于訓練數(shù)據(jù)與測試數(shù)據(jù)均為樣本總體的極小一部分，導(dǎo)致了基于訓練樣本的模型參數(shù)估計是有偏的，使得度量模型對訓練樣本過擬合，故該假設(shè)與實際情況不符。本文利用已有的有限數(shù)據(jù)，通過提升度量模型的適應(yīng)能力和分辨性，去提升度量學習算法的識別精度。本文涉及的設(shè)計方法分為兩個部分，首先通過度量模型對樣本進行相似性度量，得到初始度量結(jié)果。然后通過度量結(jié)果產(chǎn)生潛在相似樣本對，再利用半監(jiān)督學習方法對度量模型進行修正，最后將基于訓練樣本的度量模型擴展到測試樣本，以增強模型的泛化能力。

將待識別樣本與k 個最近鄰樣本任意組合，可以得到k 個潛在相似樣本對。同時除去k 個最近鄰樣本，并在剩余樣本中隨機選取k 個樣本，對應(yīng)得到k 個負樣本對。本文提出的重采樣方法是為了增強度量模型對于待識別樣本的適應(yīng)性，增加樣本的多樣性，提升算法的泛化能力。對于潛在樣本選取，本文在初始度量空間中，選取與待識別樣本相似性最高的k 個樣本組成樣本對。這些樣本對為潛在的相似樣本，在外觀特征上存在很大相似性，從而實現(xiàn)對模型適應(yīng)性的改進。對于k 值的設(shè)置，本文通過實驗的方法，綜合考慮算法的計算復(fù)雜度，設(shè)置參數(shù)k=3。

通過潛在正樣本對和負樣本對，得到虛擬標簽信息，并對于每個待識別的樣本，都可以得到k 個正（負）樣本對，通過潛在正樣本對Pi和任意潛在負樣本對Pi′ ，得到k 個具有虛擬標簽的數(shù)據(jù)集，帶入交叉二次判別分析模型中進行訓練，得到新的度量模型：

其中，α 表示虛擬度量模型的權(quán)重參數(shù)，且0 ＜α ＜1。

通過上述操作，得到聯(lián)合度量模型，對測試樣本進行相似度量，得到新的度量矩陣D2。通過對度量結(jié)果的排序，可以得到新的虛擬標簽信息，重復(fù)上述的半監(jiān)督學習過程，并進行循環(huán)優(yōu)化，從而得到新的相似度量模型，結(jié)合每次循環(huán)優(yōu)化產(chǎn)生的度量模型，建立循環(huán)優(yōu)化的半監(jiān)督度量模型，如公式（16）所示：

其中，c 表示循環(huán)的次數(shù)，β 表示循環(huán)優(yōu)化權(quán)重參數(shù)，且0 ＜β ＜1。

3.2 計算方法

基于本文提出的循環(huán)優(yōu)化半監(jiān)督度量學習模型，設(shè)計行人再識別方法如下所示：輸入：帶標簽的訓練集XL和無標簽的測試集XT。

（2）通過初始度量模型對無標簽的測試樣本進行識別，得到相似距離矩陣D1。

（3）對相似距離進行排序，選取前k 個樣本組成潛在相似正樣本對{ }Pi，隨機選取k 個負樣本組成負樣本對

（4）將潛在的正樣本對和負樣本對按照排名組成虛擬數(shù)據(jù)集，根據(jù)公式（10）和（12）學習得到新的度量模型。

（5）根據(jù)公式（16）計算半監(jiān)督學習的聯(lián)合度量結(jié)果，并對測試樣本進行相似度量，產(chǎn)生新的相似距離矩陣D2。

（6）重復(fù)步驟（2）～（5），并通過公式（16）進行相似距離度量，直到循環(huán)次數(shù)滿足終止條件m=c。

根據(jù)KISSME 和交叉二次判別分析的行人再識別模型方法，假設(shè)行人圖像正、負樣本對的特征差向量分別服從不同參數(shù)的正態(tài)分布，且0均值，即O+～Ν(0,Σ+)，O-～Ν(0,Σ-)。在交叉二次判別分析模型中，通過學習一個投影子空間W ，使得正樣本散度SO+遠遠小于負樣本散度SO-。然而，通過VIPeR數(shù)據(jù)集上實驗統(tǒng)計結(jié)果發(fā)現(xiàn)，測試數(shù)據(jù)中正樣本對到分布中心的平均距離為142.3，計算方法如下：

因此，現(xiàn)有的度量模型學習到的度量子空間是有偏的，度量子空間對訓練數(shù)據(jù)過擬合，從而導(dǎo)致模型的泛化能力較差。

典型的行人圖像外觀特征向量維度數(shù)以千計，而訓練樣本圖像數(shù)量則遠低于維度數(shù)。行人圖像特征的總體分布是未知的，并且以現(xiàn)有的數(shù)據(jù)樣本是難以估計的。即使得到該樣本總體，利用體量如此龐大的數(shù)據(jù)進行子空間的學習，其計算量過于龐大，也是無法實現(xiàn)的。

本文提出的半監(jiān)督方法，采用一種新穎的方式，在無法求得行人圖像總體分布的情況下，通過鄰域重采樣方法，對度量模型進行修正，使得待識別樣本中的正樣本對()，在投影空間中盡可能靠近訓練數(shù)據(jù)的分布，即：

然而，待識別樣本對應(yīng)的正樣本對是求解目標，是未知的。本文利用半監(jiān)督的方法，找到潛在目標，對度量子空間進行修正。對于每個待識別的樣本，其鄰域內(nèi)包含了真實的匹配圖像或外觀特征相似的圖像。為了提高目標函數(shù)（18）的概率值，本文重新計算投影子空間W ，使得待識別樣本加入后的正樣本對散度盡可能小于負樣本對總體的散度，即：

4 仿真實驗

4.1 數(shù)據(jù)庫與仿真設(shè)定

本文研究中選取了VIPeR 和CUHK01 兩個數(shù)據(jù)集對本文算法的精度進行驗證。VIPeR[3]數(shù)據(jù)集是最早被公開的用于行人再識別任務(wù)的圖像數(shù)據(jù)庫之一。該數(shù)據(jù)庫包含了2個不同戶外監(jiān)控場景中拍攝到的632個行人，由于每個行人在每個場景中僅有一張圖像，因此數(shù)據(jù)庫共有1 264 張行人圖像。且每張圖像尺寸為128×48像素大小。CUHK[6]提供了多種場景和假設(shè)的測試環(huán)境，是目前數(shù)據(jù)量最大的數(shù)據(jù)庫之一。該數(shù)據(jù)庫中每個行人在統(tǒng)一攝像頭下對應(yīng)多張圖像。本文使用的是其中CUHK01 數(shù)據(jù)庫，它共包含有971 個行人的樣本圖像，其中每個行人在同一攝像頭下均有2 張樣本圖像，庫中所有圖像樣本均被歸一化到160×60的尺寸。

為了與其他算法進行對比，本文采用常見的測試策略，即將樣本通過隨機抽樣的方式，平均分為兩個部分，分別用以模型的訓練和測試。此外，設(shè)定算法參數(shù)，本文設(shè)定c=1,α=0.8,β=0.3。

4.2 評價指標

本文使用累計精度曲線（CMC curve）[5，13]作為算法識別精度的評價指標，計算方法如下：

其中，l 表示CMC 累積精度的rank=l ，即測試距離按照從小到大的排名為l,N 為測試樣本中g(shù)allery的樣本個數(shù)。II(?)為符號函數(shù)，即函數(shù)內(nèi)變量為真時則對應(yīng)函數(shù)值為1，否則為0。rank(?)表示樣本距離排名計算，Pi為第i 個gallery 樣本的正樣本距離，rank(Pi)表示其正樣本的排序。

4.3 仿真實驗

基于LOMO 特征模型提取得到的行人圖像特征是一個超高維的特征向量，不利于計算。本文通過PCA降維，基于投影得到投影特征并進行度量子空間的學習。PCA投影矩陣與度量學習得到的投影矩陣融合，得到投影子空間中的度量投影矩陣。如表1 所示給出了不同PCA 投影維度下的算法識別精度統(tǒng)計結(jié)果(c=1、β=0.3)。

表1 算法識別精度統(tǒng)計表

由表1中的統(tǒng)計結(jié)果可以看出，PCA投影特征維度不同，則對應(yīng)的識別精度也不同，當PCA 維度超過150時，算法的精度變化不明顯，設(shè)置基本不變。這是因為原始的高維特征中包含了大量冗余變量，通過PCA 降維得到主要的分辨信息的同時，有效保留了信息的完整性。此外，PCA降維還顯著減小了算法的計算復(fù)雜度。

如表2 所示為基于VIPeR 數(shù)據(jù)庫進行10 次重復(fù)獨立實驗，計算平均值作為識別精度的測試結(jié)果。如表2所示，給出了rank-1、rank-5、rank-10和rank-20識別精度的統(tǒng)計結(jié)果。從表中數(shù)據(jù)可以清楚地看出，本文算法在所有指標上均取得了最優(yōu)的識別結(jié)果，尤其在rank-1的識別精度上，相較于MLAPG 算法精度提升了7.79%。此外，本文給出了迭代次數(shù)c=2、β=0.3,c=1、β=0.8 以及c=1、β=0.3 三種參數(shù)條件下的識別精度。從結(jié)果可以看出，迭代次數(shù)增加雖然能夠一定程度上提升rank-1的識別精度，但使得rank ＞5 的識別精度存在顯著下降。而當β=0.3 時，rank-1 具有穩(wěn)定的識別精度，且能保證rank ＞1 的識別精度。訓練數(shù)據(jù)量p=316，即316個行人的數(shù)據(jù)用于訓練。

表2 算法識別精度統(tǒng)計表

此外，本文對不同c、β 和α 取值下的算法識別精度進行了分析，從而選取合適的參數(shù)設(shè)置。如圖2 所示，給出了三個參數(shù)在不同值設(shè)置下排序前1、前5、前10和前20的識別精度值，根據(jù)精度的變化，本文設(shè)置c、β 和α 的參數(shù)值分別為2、0.3 和0.8。其中，在測試c 的參數(shù)靈敏性時，固定β=0.5,α=0.5。測試β 時，固定c=1,α=0.5，測試α 時，固定c=1,β=0.5。

圖3 中選取了排名前50 的累積識別精度繪制曲線。從圖中可以看出，本文算法的識別精度在所有對比算法中達到了最優(yōu)的識別精度。

本文對不同訓練數(shù)據(jù)量大小下的算法識別精度進行了測試。如圖4 所示，給出了訓練數(shù)據(jù)量在p=316、200 和150 三種條件下的算法識別精度，從圖中可以看出，當訓練數(shù)據(jù)量大小顯著下降時，本文算法能夠保持較高的識別精度，對于訓練數(shù)據(jù)量大小的變化具有較強的魯棒性。

圖4 不同訓練數(shù)據(jù)大小下的算法識別精度對比

此外，本文在CUHK01數(shù)據(jù)庫上對本文提出的算法進行了識別精度測試，訓練數(shù)據(jù)量p=485，其識別精度對比結(jié)果如表3所示。從表中可以顯著看出，本文算法具有良好的識別效果，在所有選定排名上的識別精度均達到了最優(yōu)識別結(jié)果，尤其在rank-1上的識別精度達到了69.66%，超過了最好的對比算法NFST算法4.68%。

表3 行人再識別在CUHK01數(shù)據(jù)庫上的測試結(jié)果

本文算法在現(xiàn)有度量學習算法的基礎(chǔ)上進行了改進，提出了一種半監(jiān)督的度量學習模型，算法的核心在于通過特征根問題的求解，計算投影子空間。該部分的計算復(fù)雜度與矩陣的維度有關(guān)，是一個O(N3)的算法，隨著矩陣維度的增加，計算復(fù)雜度呈3次方增長。本文循環(huán)優(yōu)化的方法會提高計算復(fù)雜度，具體與迭代次數(shù)相關(guān)，是一個c×O(N3)的算法，c 為迭代次數(shù)。但同時本文算法有效提高了算法的泛化能力和魯棒性，可以大大減小矩陣維度需求，提升計算效率。

圖3 算法識別精度對比

如圖5 所示給出了交叉二次判別分析算法和本文改進算法在不同矩陣維度下rank-1 識別精度。圖中曲線所示為在不同矩陣維度下的識別精度。可以看出，本文算法在較低維度下即可快速達到較高的識別精度?，F(xiàn)有的交叉二次判別分析算法則的特征維度為316。本文設(shè)置矩陣為100，大大減小了矩陣維度和計算量。

圖5 不同矩陣維度下rank-1識別精度

對比一些優(yōu)秀的算法，本文算法耗時統(tǒng)計結(jié)果如表4所示。

表4 算法耗時在VIPeR數(shù)據(jù)庫上的測試結(jié)果

5 結(jié)束語

本文提出了一種基于樣本正態(tài)分布假設(shè)的重采樣度量學習算法。首先，在樣本初次識別時，采用交叉二次判別算法，學習得到現(xiàn)有樣本初始度量，并計算樣本馬氏距離；其次，基于樣本特征的正態(tài)性，對待識別樣本進行重采樣，產(chǎn)生潛在相似樣本對和訓練數(shù)據(jù)。然后，將重采樣后的數(shù)據(jù)集代入度量學習模型循環(huán)訓練，得到新的度量模型。接著，重采樣后訓練的泛化模型與初始有監(jiān)督的度量模型，通過綜合加權(quán)建立了新的聯(lián)合度量模型。最后，基于聯(lián)合度量模型結(jié)果，重復(fù)半監(jiān)督學習過程進行循環(huán)優(yōu)化，計算聯(lián)合相似度量，并輸出最終結(jié)果。為了驗證本文方法的有效性，實驗選取了VIPeR和CUHK01兩個數(shù)據(jù)庫對算法進行了測試，測試結(jié)果顯示本文算法在rank1，rank2，rank3，和rank4 等級別的準確率均優(yōu)于改進前的交叉二次判別算法和相關(guān)行人再識別算法，尤其在rank-1 上的識別精度分別超過了MLAPG 算法和NFST 算法7.79%和4.68%，且本文算法對于訓練數(shù)據(jù)量的變化具有較強的魯棒性。