石祥濱，吳天宇

(沈陽航空航天大學 計算機學院，沈陽 110136)

行人重識別(Person Re-Identification)，又稱行人再識別技術(shù)，是通過圖像或視頻序列比對其他圖像中是否存在特定目標的計算機視覺技術(shù)，被廣泛定義為圖像檢索的子問題[1]。常見的重識別目標包括車輛、行人、動物等，本文研究對象主體為行人。行人是典型的非剛性對象，易形變且檢索難度大。行人重識別有著廣泛的應(yīng)用，如智能安防、無人超市監(jiān)控、人機交互、相冊聚類等，是跨攝像機跟蹤、人體行為分析等領(lǐng)域的重要基礎(chǔ)。行人重識別包括特征提取和檢索匹配兩個步驟，通過對行人提取外觀特征來判斷輸入端身份，因此提取高精度特征是行人重識別的重要研究方向。

傳統(tǒng)算法提取行人外觀特征，通?；陬伾?、紋理、形狀、梯度等基礎(chǔ)視覺信息，如WH算法[2]、LOMO算法[3]、SIFT算法[4]、Fish算法[5]等，但傳統(tǒng)的手工特征描述表達能力有限。近些年基于深度學習的特征提取方法逐漸成為主流，與傳統(tǒng)算法不同，基于深度學習的方法可以提取出復雜且高精度的行人特征。基于深度學習的行人重識別可劃分為表征學習的Re-ID方法、度量學習的Re-ID方法、局部特征的Re-ID方法[6]。基于表征學習的方法將行人重識別看作分類問題或是驗證問題。Geng等[7]利用分類損失和驗證損失來訓練網(wǎng)絡(luò)，每個損失對應(yīng)一個子網(wǎng)絡(luò)，分類子網(wǎng)絡(luò)對圖片的ID身份進行預(yù)測，而驗證子網(wǎng)絡(luò)作為二分類網(wǎng)絡(luò)來判斷兩張圖片是否屬于同一身份；Lin等[8]在公共數(shù)據(jù)集中標注了額外的屬性，例如性別、頭發(fā)、衣著等，網(wǎng)絡(luò)不僅需要預(yù)測給定圖像的身份標簽，同時需要準確預(yù)測行人的屬性，加強了網(wǎng)絡(luò)的泛化能力。度量學習旨在通過卷積神經(jīng)網(wǎng)絡(luò)學習出行人圖像間的相似度，表現(xiàn)為同一行人的不同樣本圖片間的相似度高于不同行人的樣本圖片間的相似度。其中，定義一個映射f(x)將行人圖像映射到一維向量空間Rf，再定義一個距離函數(shù)d(x,y)來計算兩個向量間的距離。通過最小化網(wǎng)絡(luò)的損失值，尋求一個最優(yōu)的映射f(x)。常用的度量損失函數(shù)有對比損失(Contrastive Loss)[9]、三元組損失(Triplet Loss)[10]、四元組損失(Quadruplet Loss)[11]、難采樣三元組損失(Tri-Hard Loss)[12]、邊界挖掘損失(MSML)[13]等?；诰植刻卣鞯男腥酥刈R別算法使用圖像等分切塊的方式，或者融合骨架關(guān)鍵點信息、姿態(tài)矯正等學習特征。PCB算法[14]將行人圖像水平分為6塊，分別進行身份分類后拼接成統(tǒng)一向量再進行度量。PBF引入姿態(tài)估計模型[15]估計出14個行人關(guān)鍵點，并用仿射變換將關(guān)鍵點對齊，提取出不同尺度上的局部特征。

上述研究中，缺乏對行人跨攝像機發(fā)生形態(tài)變化的考量，只通過增加三元組中不同視域的正例數(shù)量，來提升模型應(yīng)對行人圖像風格轉(zhuǎn)換的問題。不少研究還在使用黑色圖像塊模擬遮擋，但這種方法破壞了圖像的原始結(jié)構(gòu)。為了解決光照變換帶來的影響，使用灰色圖像代替原始圖像成了常見的方法，但該策略丟失了圖像的色彩信息。在眾多度量Re-ID的工作中，為了解決三元組損失收斂困難的問題，通常將與分類損失結(jié)合使用，這種方式收斂條件不明確，損害特征空間的可分離性。

為解決以上問題，本文引入IBN模塊應(yīng)對圖像風格變換的問題，將它嵌入至ResNet50中，組合使用Circle Loss和Center Loss，結(jié)合動態(tài)學習率策略，能夠提升模型的精度和收斂速度，并加強特征的內(nèi)聚性。本文提出一種隨機灰度擦除的數(shù)據(jù)增強方法，配合多種數(shù)據(jù)圖像預(yù)處理手段，有效應(yīng)對光照變化對模型的影響。

1 ResNet-IBN

行人重識別中存在風格轉(zhuǎn)換的問題，如形態(tài)變化和視角切換等。為了解決這些問題，本文引入了 IBN模塊，它將BN(Batch Normalization)和IN(Instance Normalization)組合，BN使批次數(shù)據(jù)分布一致，IN從單例圖像中學習圖像風格，適應(yīng)風格變化，提升模型適應(yīng)視域變化的能力。IBN結(jié)合兩種結(jié)構(gòu)的優(yōu)勢，在網(wǎng)絡(luò)淺層保留圖像風格信息，在深層使數(shù)據(jù)前后分布一致，有益于加速網(wǎng)格模型的收斂，防止梯度消失。

在網(wǎng)絡(luò)訓練過程中，通常將圖像分批次送入網(wǎng)絡(luò)中，使每個批次訓練的數(shù)據(jù)具有不同的分布，BN用于對每一批數(shù)據(jù)作歸一化處理，使其分布一致。它將數(shù)據(jù)歸一化至均值為0、方差為1的正態(tài)分布上，這樣不僅能使數(shù)據(jù)分布一致，而且可以避免出現(xiàn)梯度消失。通過計算每個批次的均值與方差，沿著批次維度對該批次作歸一化，同時引入縮放和平移變量，保證每一次數(shù)據(jù)經(jīng)過歸一化后還保留原有學習來的特征，如式(1)所示

(1)

其中：B={x1…xm}表示批次；μ表示一個批次的均值；σ2表示批次方差；γ、β是縮放和平移變量；是浮點數(shù)據(jù)誤差補償值。

IN對單圖像實例在長寬維度上對圖像的每個像素進行歸一化。當訓練圖像風格變化時，生成結(jié)果主要依賴于某個圖像實例，整批次歸一化不適合圖像風格化，而IN學習的特征不受外觀變化的影響，如顏色、樣式等，能夠消除外觀變化對特征學習產(chǎn)生的影響。IN可在不增加模型計算代價的情況下，有效提升模型泛化能力，同時IN能較為容易地與主流網(wǎng)絡(luò)骨架結(jié)合，具體如式(2)所示

(2)

可以看出，BN增強了特征間的差異性，但破壞了如光照、姿態(tài)、顏色等淺層信息，而IN能夠保留這些淺層信息，并在一定程度上適應(yīng)圖像風格的轉(zhuǎn)化。IBN結(jié)構(gòu)結(jié)合了兩者的優(yōu)點，可以提升Re-ID模型對行人外觀變化的適應(yīng)性，加強模型對行人跨視域運動的適應(yīng)能力。本文將IBN嵌入至經(jīng)典殘差網(wǎng)絡(luò)骨架ResNet50中。ResNet50中包含了4個layer結(jié)構(gòu)，每個layer中又包含了個數(shù)不同的殘差塊。將IBN嵌入每個殘差塊的第一、二個卷積層后，一半通道使用IN，一半通道使用BN，合并它們的輸出送入第三個卷積層。隨著網(wǎng)絡(luò)深度的加深，無法通過IN學習到淺層信息，本文只在前3個layer使用IBN殘差塊，layer4使用原始的殘差結(jié)構(gòu)。如圖1所示，圖1a為原始殘差塊，圖1b為嵌入IBN后的結(jié)構(gòu)塊。

圖1 原始殘差塊與嵌入IBN后的對比圖

網(wǎng)絡(luò)的深度擴展了深層特征的信息量，在ResNet50中包含了4個layer結(jié)構(gòu)，為了獲取深層信息的同時豐富特征的粒度，將刪除主干網(wǎng)絡(luò)layer 4中最后的空間向下采樣操作，即將最后一層的最后一個殘差塊的步距設(shè)置為1[16]。當輸入圖像的尺寸為256×128時，經(jīng)過ResNet50骨架網(wǎng)絡(luò)后特征圖大小變?yōu)?×4。但將步距設(shè)為1后，輸出特征圖大小變?yōu)?6×8，提升了特征圖包含的粒度信息，更高的空間分辨率使網(wǎng)絡(luò)學到更豐富的信息，同時這種操作并沒有顯著增加計算成本。

2 隨機灰度擦除

為了使模型能夠應(yīng)對遮擋情況，大多數(shù)工作在訓練過程中選擇用黑色圖像塊模擬遮擋，使模型適應(yīng)遮擋情況。使用黑色方塊遮擋圖片會破壞原始圖像結(jié)構(gòu)，丟失部分數(shù)據(jù)信息。另一部分工作在訓練期間使用灰色圖像代替原始圖像，目的在于降低光照對行人重識別模型帶來的不利影響，這種方式丟失了圖像的顏色信息，降低了模型對色彩的辨識能力。綜合考量兩種方案，本文提出一種隨機灰度擦除的數(shù)據(jù)增強方式。它在模擬遮擋的前提下保留了部分色彩信息，灰色圖像塊的使用使模型在一定程度上適應(yīng)光照變換，其對比圖如圖2所示。

圖2 隨機擦除與隨機灰度擦除對比圖

這種增強方式不占用多余的計算資源和顯存，也能夠與其他圖像預(yù)處理方式如Padding、灰度化、水平翻轉(zhuǎn)、色度調(diào)整、圖像標準化等相互補充，如圖3所示。

圖3 圖像預(yù)處理技巧

在訓練模型過程中，以一定概率pr對輸入圖像進行灰度圖像擦除，1-pr的概率不對圖像做任何處理，其流程是隨機選取一個矩形區(qū)域，并將矩形區(qū)域中的像素替換為灰度圖像中相同矩形區(qū)域的像素。設(shè)Sl和Sh分別是隨機生成矩形區(qū)域的最小面積和最大面積，r1和r2是隨機生成矩陣區(qū)域的最小縱橫比和最大縱橫比，xT和yT為隨機生成的左上角坐標，確保生成的坐標和生成的矩陣框落在原圖像中，當找到滿足要求的生成矩陣后，用灰度圖像塊替換掉原圖像在生成矩陣位置的圖像，本文使用加權(quán)平均法對圖像灰度化。

3 損失函數(shù)

行人重識別中最常用的兩種方法為身份分類和特征度量，前者從帶有身份類別標簽的數(shù)據(jù)中學習，將每個人看作一個類別進行任務(wù)分類；后者從帶有成對標簽的數(shù)據(jù)中學習，網(wǎng)絡(luò)模型用于特征空間中“拉近”相同身份特征，“推遠”不同身份特征，通過計算目標間相似度來判斷是否為同身份，如圖4所示。在訓練階段同時使用兩種范式，會引發(fā)損失函數(shù)對所有樣本相似度產(chǎn)生一致懲罰的問題，忽視了它們之間的對應(yīng)關(guān)系。

圖4 3種Loss方式

在度量學習中通常會引入一個決策邊界m，使得類間相似度sn和類內(nèi)相似度sp之間拉開間距，但這個決策邊界存在歧義性。給出兩組樣本的相似度參數(shù),其中s1的類間相似度和類內(nèi)相似度分別為sn,sp={0.1,0.4}，s2為sn,sp={0.5,0.8}，它們同時滿足sn-sp=-0.3的決策邊界，但前者sp甚至小于后者sn，這樣的收斂條件損害特征空間的可分離性。

本文引用Circle Loss作為損失函數(shù)[17]，它統(tǒng)一分類與度量兩種損失并明確收斂狀態(tài)。Circle Loss認為這兩種學習方法沒有本質(zhì)區(qū)別，它們共同的目標是在提升類內(nèi)相似度sp的同時最小化類間相似度sn，不斷優(yōu)化sn-sp使其最小，直至收斂。使用Circle Loss會將sn和sp給予相同尺度的關(guān)注，不會只偏向降低sn或提升sp。

(3)

其中：γ是尺度因子控制損失維度；m是決策邊界閾值，它由兩個范式組成。

當給定身份標簽時，設(shè)N是訓練的類別數(shù)，計算x與分類層中權(quán)重向量wi(i=1,2,…,N)的余弦相似度。x與N-1類之間的相似度得分如式(4)所示，其中wj指第j個非目標類的權(quán)重向量，同時獲得關(guān)于單一樣本x的類內(nèi)相似度得分如式(5)所示

(4)

(5)

在分類任務(wù)中，單樣本x中同標簽圖像為一類整體，式(3)可轉(zhuǎn)換為AM-SoftMax[18]，如式(6)所示。若取m=0，γ=1且用矩陣乘法代替余弦相似度，則公式最終退化為SoftMax損失。

(6)

(7)

其中：max[·]+=max(0,x)，式(7)中使用了softplus=lg(1+ex)≈max(0,x)進行近似轉(zhuǎn)換，當γ趨近正無窮時，式(3)退化為難例挖掘三元組損失。

(8)

分類損失在訓練初期對網(wǎng)絡(luò)模型提升高，但后期易過擬合，而難例挖掘三元組損失容易受超參影響經(jīng)常難以收斂。Circle Loss可以有效地加快收斂速度，明確收斂條件并統(tǒng)一兩種損失值，保證類內(nèi)的緊湊性和類間的可分離性。為了加強同身份標簽特征的內(nèi)聚性，本文加入Center Loss作為Circle Loss的補充，其定義如式(9)所示

(9)

其中：yj是一個批次中第j張圖像的標簽；B代表批次的數(shù)目；f指代特征；cyj表示第yj個類的中心特征。式(9)有效地表達類內(nèi)變化和特征之間的關(guān)系，即學習每個類的中心特征，并懲罰與其距離較遠的特征，因此Center Loss增加了類內(nèi)緊湊性。最終本文綜合的損失函數(shù)如式(10)所示，其中β為超參權(quán)重，取0.005。

L=losscircle+βlosscenter

(10)

如圖5所示，對比各種損失下特征在二維空間中的分布情況，不同深淺的點代表來自不同類的特征。

圖5 二維可視化特征在空間的分布對比

綜上所述，本文提出的最終網(wǎng)絡(luò)模型如圖6所示。

圖6 適應(yīng)跨域的行人重識別網(wǎng)絡(luò)模型

4 實驗

4.1 實驗配置與準備

本文使用標準行人重新識別數(shù)據(jù)集Market1501[19]和Duke-ReID[20]，它們共同包含多季節(jié)、多時間、跨視域、高清晰和低清晰度攝像機行人圖像，并具有豐富的場景和背景以及復雜的燈光變化。本文使用最常見的評估行人重識別指標Rank-1和mAP[21]，實驗在CUDA10.1、OpenCV4.2、Pytorch1.7、顯卡GTX2070、8G顯存的環(huán)境下進行。

在實驗階段使用了開源行人重識別框架ReID Baseline。在準備階段，首先將圖片大小調(diào)整為256×128，并通過圖3中的方法進行預(yù)處理，以50%的概率對圖像進行水平翻轉(zhuǎn)，同時使用文中提出的隨機灰度擦除方法對圖像進行增強，pr選擇0.4。圖像批次輸入數(shù)目為32，網(wǎng)絡(luò)骨架使用ResNet50-IBN，初始學習率設(shè)為0.000 35，網(wǎng)絡(luò)共經(jīng)歷120個epochs。訓練采用線性Warm-Up策略，在訓練初期學習率逐步提升至3.5×10-4，在前10個epoch逐步提升至初始學習率；經(jīng)歷40次迭代后，網(wǎng)絡(luò)趨于穩(wěn)定，此時使用余弦退火的策略逐漸降低學習率，相比傳統(tǒng)的截斷式降低學習率方法，更能保證網(wǎng)絡(luò)穩(wěn)定性，不會出現(xiàn)損失值震蕩的情況，如圖7所示。學習率優(yōu)化器使用SGD，損失函數(shù)使用Circle Loss和Center Loss的線性結(jié)合，其中邊界閾值m=2.5，γ=32，β=0.005。

圖7 學習率策略對比

4.2 實驗結(jié)果

將提出的模型與Baseline以及其他優(yōu)秀Re-ID算法進行比對實驗，結(jié)果見表1所示。其中IDE為身份分類的表征Re-ID，TriNets為使用了難例挖掘采樣三元組的度量Re-ID，在采用同樣預(yù)處理方案訓練的前提下，使用本文提出的損失函數(shù)大幅提升了模型精度，Rank-1在兩個數(shù)據(jù)集分別達到92.13%和86.37%，mAP達到74.02%和73.85%。PBF使用雙基線網(wǎng)絡(luò)，同時提取表征和行人關(guān)鍵點，結(jié)合了姿態(tài)信息，AlignedRe-ID與PCB為局部Re-ID，通過提取局部信息提升模型精度，本文的方法使用全局特征，并且沒有引入額外的信息，設(shè)計簡單，更容易復現(xiàn)。實驗修改開源框架，在Market1501數(shù)據(jù)集中，Rank-1達到94.2%，mAP達到84%;在DukeMTMC-ReID數(shù)據(jù)集中，Rank-1達到了86.5%，mAP達到76.6%。通過消融實驗可以看出本文提出的方法有效地提升了Baseline的水準，并超過了上述經(jīng)典ReID算法，證明了方法的有效性。

表1 對比實驗 %

圖8展示了Rank-1和mAP隨訓練時間增長的變化，在第20個epoch時模型已經(jīng)獲取較高精度，驗證了本文提出的損失函數(shù)可以加快收斂速度。

圖8 Rank-1與mAP曲線

4.3 實際應(yīng)用

在現(xiàn)實環(huán)境中，Reid模型需要應(yīng)用到實時環(huán)境中，高精度模型往往計算量大、推斷速度慢、延遲高，所以在實驗中使用簡單的模型蒸餾，以上述方案得到的模型作為教師模型，將其中的知識傳遞給較小的模型ResNet18-IBN，在不降低精度的前提下，盡可能提升速度。

應(yīng)用KL離散度衡量教師和學生學習特征的差異，在蒸餾階段需要對教師模型進行推理得到輸出的預(yù)測身份向量，因此在蒸餾階段需要使用SoftMax作為損失函數(shù)，加入溫度T，本文T=10°。在知識蒸餾過程中，將平滑后的教師輸出與學生平滑預(yù)測結(jié)果通過KL離散度得到蒸餾損失，蒸餾過程如圖9所示。

圖9 知識蒸餾流程

最終得到學生模型ResNet18-IBN,其精度對比如表2所示。

表2 與非蒸餾模型的結(jié)果對比 %

使用蒸餾方案得到的R18-IBN模型與ResNet50-IBN相比在精度上降低了2%，對比使用非蒸餾方案訓練R18-IBN模型有8%左右的精度提升。以32張行人圖像為一個批次傳入網(wǎng)絡(luò)中，速度從78.6 ms降低至25.9 ms，在推理速度上有較大幅度提升。圖10展示了CMC曲線，將排名前15的模型準確率可視化顯示。

圖10 CMC曲線

挑選一名測試集中的行人與查詢集進行度量，得到了Rank-10的度量排名，如圖11所示，查詢得到的10張圖標號皆為深色，表示與查詢目標身份相同。可以看出通過本文提出方法得到的模型在測試集中有著良好的表現(xiàn)。

圖11 查詢測試Rank-10

行人重識別常應(yīng)用到視頻查詢?nèi)蝿?wù)，本文將模型應(yīng)用于校園監(jiān)控視頻中。給定n張待查詢圖像輸入到網(wǎng)絡(luò)中，隨后在一個降采樣的視頻中通過檢測器獲取候選目標，并逐一進行度量，同時記錄相關(guān)信息并做出相似性排序。算法流程如圖12所示。本文提出的方法可以代替人力查詢視頻，降低查詢成本。

圖12 離線視頻查詢目標

5 結(jié)論

本文修改傳統(tǒng)分類網(wǎng)絡(luò)ResNet50，加入IBN模塊，使模型適應(yīng)風格轉(zhuǎn)換。提出一種隨機灰度擦除的圖像預(yù)處理方案，降低了光照變化對模型的影響。使用Circle Loss損失函數(shù)替換SoftMax Loss和Triplet Loss的線性組合，提升了模型收斂速度，明確了收斂目標，并引入Center Loss，加強了學習得到模型的內(nèi)聚性。結(jié)合了Warm-Up和余弦退火的學習率策略使網(wǎng)絡(luò)能夠穩(wěn)定收斂。通過開源框架ReID-Baseline進行實驗，在Market1501和Duke-ReID兩個數(shù)據(jù)集中均有明顯的提升。最后讓本文提出的模型作為教師模型，通過知識蒸餾得到表現(xiàn)良好的ResNet18-IBN學生模型，它能夠在現(xiàn)實中完成跨視域查詢?nèi)蝿?wù)，取得了不錯的效果。在未來的研究中，將進一步配合跟蹤算法，完成跨攝像機的多目標跟蹤任務(wù)。