鄒業(yè)欣，蔣 敏

(江南大學(xué) 人工智能與計算機學(xué)院，江蘇 無錫 214122)

0 引 言

傳統(tǒng)單模態(tài)行人重識別[1]是一項從不相交的攝像頭中，對可見光行人圖像進行匹配的任務(wù)，而跨模態(tài)行人重識別是在查詢集中選定一特定行人的可見光圖像或紅外光圖像，從相應(yīng)的另一種模態(tài)下的圖庫集中匹配同一行人身份圖像的任務(wù)[2]。紅外光圖像丟失了豐富的顏色信息，并且兩種圖像的波長范圍不同。二者的巨大差異導(dǎo)致跨模態(tài)行人圖像匹配異常困難[3]。

為提高跨模態(tài)行人重識別的精度，文獻[4]提出使用生成對抗網(wǎng)絡(luò)生成與真實可見光圖像對應(yīng)的虛擬紅外光圖像，并將其與真實紅外光圖像進行匹配。文獻[5]利用一個自監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)生成X模態(tài)的圖像作為輔助輸入，使得網(wǎng)絡(luò)能夠提取公共空間中的跨模態(tài)共享信息。但是基于造圖的方法需要耗費昂貴的計算資源，并且會破壞生成圖像中的空間結(jié)構(gòu)和顏色信息[6]。文獻[7-9]采用了基于歐氏距離的三元組損失來限制相同行人特征在公共空間的距離小于不同行人之間的距離。但是基于歐式距離的三元組損失函數(shù)不能有效地約束特征向量之間的角度。

針對上述問題，本文提出了一種對于跨模態(tài)行人重識別的多粒度特征學(xué)習(xí)網(wǎng)絡(luò)，通過有效結(jié)合全局特征和不同粒度的局部特征，提高網(wǎng)絡(luò)提取可鑒別性行人特征的能力。本文采用了能夠有效約束特征向量在公共空間上角度的角距離度量學(xué)習(xí)方法，并結(jié)合異質(zhì)中心的思想，提出了基于角距離的異質(zhì)中心三元組損失函數(shù)。最后在SYSU-MM01和RegDB數(shù)據(jù)集上進行實驗，以驗證本文方法的有效性。

1 相關(guān)工作

1.1 多粒度特征學(xué)習(xí)

跨模態(tài)行人重識別存在遮擋問題[10]，局部特征在處理遮擋問題時往往起著關(guān)鍵作用。為了提取具有可鑒別性的局部特征，文獻[11]提出了卷積基準(zhǔn)模塊結(jié)合精確部分池化的網(wǎng)絡(luò)模型，可以學(xué)習(xí)到部分層級局部特征，這使得屬于同一類的不同模態(tài)樣本在學(xué)習(xí)到的特征子空間上更緊密地聚集，但這種特征切塊策略容易導(dǎo)致特征不連續(xù)以及特征不對齊[12]。文獻[13]提出了多粒度網(wǎng)絡(luò)，有3個分支，每個分支對特征進行不同處理，并使用多損失來進行學(xué)習(xí)，在單模態(tài)行人重識別上性能取得了顯著的提升。但這種模型對硬件要求較高，且實驗時間較長。為此，本文提出了多分支不同粒度特征切塊策略，粗粒度、細粒度的局部特征與全局特征三者互為補充，使網(wǎng)絡(luò)學(xué)習(xí)到更具判別性的行人特征。

1.2 多粒度特征學(xué)習(xí)

為了縮小跨模態(tài)之間固有的差異，文獻[14]提出了學(xué)習(xí)跨模態(tài)可共享特征的匹配模型，其中三元組損失是不可或缺的。然而在傳統(tǒng)三元組的采樣方法中，每個batch中所涉及和更新的信息非常有限，容易重復(fù)訓(xùn)練，使得網(wǎng)絡(luò)難以收斂。為此文獻[15]提出了pk采樣來緩解上述問題，其隨機選取p個行人身份，每個行人身份采樣k張圖像，依此形成三元組樣本對。但當(dāng)出現(xiàn)異常樣本時，即在一類行人圖像中，異常樣本偏離其它同類樣本的距離過遠，這會破壞其它學(xué)習(xí)的好的成對距離。為解決此類問題，文獻[16]提出了異質(zhì)中心三元組損失，通過計算批樣本類中心與其它批樣本類中心的距離來校正跨模態(tài)和相同模態(tài)樣本類之間的中心距離?？紤]到跨模態(tài)行人重識別的輸入為紅外光圖像和可見光圖像，本文采用2pk采樣方法，并結(jié)合異質(zhì)中心三元組損失來減小計算量，同時增強模型的魯棒性。

1.3 度量學(xué)習(xí)

現(xiàn)今跨模態(tài)行人重識別主要是聚焦于學(xué)習(xí)具有語義表示的高級特征(如屬性和深度特征)和低級特征(如形狀、顏色和紋理)，后者更具鑒別性[17]?；诙攘繉W(xué)習(xí)的方法可以更好地學(xué)習(xí)數(shù)據(jù)之間的潛在相關(guān)性和更具鑒別性的特征。文獻[18]基于度量學(xué)習(xí)提出了三元組損失，拉近相同行人身份特征之間的距離，推遠與不同行人身份特征之間的距離。但是由于三元組損失函數(shù)自身有限的局部優(yōu)化使得網(wǎng)絡(luò)難以收斂[19]。文獻[20]提出使用角距離作為度量學(xué)習(xí)的策略，與身份驗證損失相結(jié)合，可以更容易實現(xiàn)局部以及全局優(yōu)化。為此，本文采用了基于角距離的三元組損失，有效地測量特征向量之間的角度，從而模型能夠正確分離公共空間中的特征向量。

2 方 法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計的CM-MGN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要由ResNet50骨干網(wǎng)絡(luò)、池化層、1×1卷積降維層，全連接層(FC)和多種損失函數(shù)構(gòu)成。

圖1 CM-MGN網(wǎng)絡(luò)結(jié)構(gòu)

ResNet50骨干網(wǎng)絡(luò)的前兩個殘差塊(stage)提取不同模態(tài)的特定特征，參數(shù)不共享；后3個殘差塊則提取不同模態(tài)的共享特征，參數(shù)共享。經(jīng)過stage5得到特征圖(Feature map)后，依次進入3個分支(Branch)。分支一對特征圖直接進行廣義平均池化(GeM)[21]以及卷積降維(1×1 Conv)操作；分支二在水平方向上對特征圖均等分為3塊，得到粗粒度的局部特征，再進行GeM以及卷積降維操作；分支三在水平方向上對特征圖均等分為6塊，得到細粒度的局部特征，再進行池化和降維操作。最后，將3個分支提取到的特征使用HCAT損失和平滑身份損失進行聯(lián)合訓(xùn)練，從而縮小跨模態(tài)內(nèi)相同行人特征的差異。

由于本文需要對粒度進行分塊切割的特點，對提取到的特征維度有一定要求。為此，本文刪除了殘差塊stage5后面的平均池化層和全連接層，直接得到Feature map后分別進入各分支進行處理。為了清晰地展示各分支維度變化，在圖1中特征圖下方均標(biāo)明了對應(yīng)的維度。

2.2 異質(zhì)中心角距離三元組損失(HCAT)

傳統(tǒng)三元組損失函數(shù)的設(shè)計思想是拉近錨點圖像與所有正樣本之間的距離，推遠與所有負樣本之間的距離，通常使用的是歐式距離。此外，設(shè)置了超參數(shù)δ使得具有相同行人身份的特征向量之間的距離小于不同行人身份之間的距離，如式(1)所示

(1)

其中，a，p，n表示一個基準(zhǔn)三元組樣本對，分別代表著錨點樣本圖像、正樣本圖像和負樣本圖像，表示batch的大小，F(xiàn)e(·) 表示特征提取器，D(·) 表示歐式距離，[·]+表示裁剪函數(shù)，δ表示校正距離的超參數(shù)。

(2)

(3)

其中，I代表圖像，上標(biāo)v，ir分別表示可見光模態(tài)和紅外光模態(tài)，下標(biāo)a，p，n分別表示錨點樣本、正樣本和負樣本，式(2)中的基準(zhǔn)三元組樣本對為可見光錨點圖像，正樣本紅外光圖像和負樣本紅外光圖像。式(3)中的基準(zhǔn)三元組樣本對為紅外光錨點圖像，正樣本可見光圖像和負樣本可見光圖像?？偟目缒B(tài)三元組損失如式(4)所示

(4)

傳統(tǒng)三元組損失函數(shù)需要計算錨點樣本與其它所有樣本之間的距離，計算復(fù)雜度是巨大的。另外，若選取樣本中存在離其類中心過遠的異常樣本案例時，會破壞其它學(xué)習(xí)好的成對距離。為此，本文選擇計算錨點類樣本中心與其它類樣本中心的距離。在一個batch中，本文計算錨點類樣本中心的計算方式如式(5)和式(6)所示

(5)

(6)

(7)

然而，基于歐式距離的三元組損失函數(shù)并不能有效地測量特征向量的角度，未能分離其在公共空間上的方向。同時，在跨模態(tài)行人重識別中三元組損失會經(jīng)常結(jié)合身份驗證損失一起使用，身份驗證損失利用相對距離使得分類器進行更好的分類，然而基于歐式距離的三元組損失使用的是絕對距離。二者的關(guān)注點是不同的，角距離關(guān)注的是相對距離，并且可以有效測量特征向量在公共空間中的角度。因此，結(jié)合異質(zhì)中心的思想，提出了基于角距離的異質(zhì)中心三元組損失，如式(8)所示

(8)

圖2 HCAT損失

2.3 總損失函數(shù)

為了提高模型正確匹配圖像的能力，本文采用了通過將每個行人視為一個類來整合特定身份信息的身份驗證損失，增大了不同類的間距。同時為了解決模型訓(xùn)練過擬合的問題，本文加入了標(biāo)簽平滑的操作[22]，平滑身份驗證損失如式(9)所示

(9)

其中，H表示行人身份類別數(shù)目，pi表示標(biāo)簽平滑參數(shù)，表示防止訓(xùn)練模型過于相信訓(xùn)練集的超參數(shù)，υ在本文的實驗中設(shè)置為0.1，y表示真實值的標(biāo)簽，qi表示模型預(yù)測類別為i的概率值，如式(10)所示

(10)

其中，wj表示全連接層中第j類的權(quán)重向量，T表示矩陣的轉(zhuǎn)置，b表示偏置參數(shù)，xi表示屬于yi類別的第i個樣本提取到的特征向量。

網(wǎng)絡(luò)包含全局特征分支一，粗粒度局部特征分支二和細粒度局部特征分支三。每個分支都有各自相應(yīng)的損失，其中，分支二和分支三中的每一個分塊都有相應(yīng)的損失，如式(11)所示

(11)

總的損失如式(12)所示

Lall=LBranch-1+LBranch-2+LBranch-3

(12)

3 實 驗

3.1 實驗數(shù)據(jù)集

SYSU-MM01是跨模態(tài)行人重識別中應(yīng)用最廣泛的一個數(shù)據(jù)集，圖像由4個可見光攝像機和兩個紅外光攝像機拍攝而成，總共有491個行人。訓(xùn)練集中有395個行人身份，其中296個行人身份用作訓(xùn)練集，剩下的99個用作驗證集，總共有22 258幅可見光圖像和11 909幅紅外光圖像。測試集中有96個行人身份，隨機選擇301幅可見光圖像作為圖庫集，剩下的3803幅紅外光圖像作為查詢集。共有全局搜索模式，全局搜索模式是指將可見光攝像機(1，2，4，5)拍攝的圖像作為圖庫集，而紅外光攝像機(3，6)拍攝的圖像作為查詢集，特點是隨機選取行人圖像作為圖庫集，查詢集中的圖像都是紅外光圖像。室內(nèi)搜索模式是指圖庫集和查詢集只采用室內(nèi)攝像機(1，2，3，6)拍攝的圖像。由于室外圖像存在更多的噪聲，全局搜索模式比室內(nèi)搜素模式更具有挑戰(zhàn)性。

RegDB[23]數(shù)據(jù)集總共有412個行人身份，每個行人身份都有相對應(yīng)的10幅可見光圖像和10幅紅外光圖像，總共有8240幅圖像。數(shù)據(jù)集被隨機均等分為兩部分，一部分作為訓(xùn)練集，另一部分則作為測試集。在測試階段，隨機選取其中一種模態(tài)的圖像作為圖庫集，則另一種模態(tài)的圖像作為查詢集。圖3是兩個數(shù)據(jù)集中部分行人圖像展示，第一行是可見光行人圖像，第二行是紅外光行人圖像，每一列展示的行人身份是相同的。

圖3 跨模態(tài)行人重識別數(shù)據(jù)集

3.2 實驗設(shè)置

本文采用的深度學(xué)習(xí)框架是PyTorch 1.6，使用在Ima-geNet上預(yù)訓(xùn)練過的ResNet50模型作為本文的骨干網(wǎng)絡(luò)，并在單張NVIDIA 2080Ti GPU上進行訓(xùn)練。在訓(xùn)練階段，兩種輸入圖像的維度均為3×288×144，填充設(shè)置為10，并采用了隨機翻轉(zhuǎn)和裁剪的數(shù)據(jù)增強策略。采用SGD優(yōu)化器對網(wǎng)絡(luò)進行優(yōu)化，并將動量設(shè)置為0.9，學(xué)習(xí)率設(shè)置如式(13)所示

(13)

其中，lr表示學(xué)習(xí)率，t表示訓(xùn)練周期。本文使用的是經(jīng)典的2pk采樣方法，由于兩個數(shù)據(jù)集大小并不同，對于SYSU-MM01數(shù)據(jù)集，p設(shè)置為6，k設(shè)置為8，訓(xùn)練總批次為120；對于RegDB數(shù)據(jù)集，p設(shè)置為8，k設(shè)置為4，訓(xùn)練總批次為80。

3.3 實驗評估標(biāo)準(zhǔn)

本文采用Rank-1、Rank-10和Rank-20的標(biāo)準(zhǔn)累積匹配特征CMC(cumulative matching characteristics)和平均精度均值mAP(mean average precision)作為評估標(biāo)準(zhǔn)。對查詢圖像特征與圖庫集圖像特征的差異進行排序，差異最小的圖庫集圖像排在首位。Rank-1表示圖庫集中排序第一的圖像身份與查詢圖像身份相同的概率，Rank-10表示在圖庫集中排序前十的圖像身份是否有一張圖像的行人身份與查詢圖像身份相同的概率。平均精度(AP)是指每一類行人圖像所有正確匹配率之和除以正確匹配圖像的數(shù)量，mAP是指所有查詢集行人圖像類的平均AP。

3.4 實驗結(jié)果分析

為了驗證本文方法的有效性，數(shù)據(jù)集RegDB上是可見光圖像匹配紅外光圖像，數(shù)據(jù)集SYSU-MM01上采用了全局搜索模式，與現(xiàn)今跨模態(tài)行人重識別主流方法進行對比，采用統(tǒng)一的評估指標(biāo)mAP和Rank-n。其中AliGAN[4]、HiCMD[24]和XIV[5]算法都是采用對抗生成網(wǎng)絡(luò)造圖的方法，對實驗的硬件條件要求較高，且消耗的計算資源較大，本文算法不僅減小了計算復(fù)雜度，同時也增強了模型的魯棒性。對比效果最佳的XIV算法，在RegDB和SYSU-MM01數(shù)據(jù)集上的mAP和Rank-1分別提升了23.94%和30.12%/8.16%和12.20%，從結(jié)果可以看出，本文算法大幅優(yōu)于基于造圖方法的跨模態(tài)行人重識別。其中AGW[1]、CIDL[25]和HCTri[26]算法均采用了關(guān)注相對距離的三元組損失和關(guān)注絕對距離的身份驗證損，忽略了二者關(guān)注點不協(xié)調(diào)的問題，而本文算法提出的HCAT損失有效解決了上述問題。對比效果最佳的HCTri算法，在RegDB和SYSU-MM01數(shù)據(jù)集上的mAP和Rank-1分別提升了1.84%和2.28%/2.09%和2.44%。具體結(jié)果見表1。

表1 RegDB和SYSU-MM01數(shù)據(jù)集上不同方法的性能比較結(jié)果

從表1的實驗結(jié)果可知，本文方法在兩個數(shù)據(jù)集上均取得了較優(yōu)的效果。在SYSU-MM01數(shù)據(jù)集上Rank-1和mAP分別達到了62.83%和60.89%，在RegDB數(shù)據(jù)集上Rank-1和mAP分別達到了92.33%和86.12%。本文通過有效結(jié)合全局特征和不同粒度的局部特征提升了模型的判別能力，提高了跨模態(tài)行人重識別的精確度。

3.5 消融實驗

為了驗證本文CM-MGN以及HCAT損失的有效性，本文分別在SYSU-MM01以及RegDB上設(shè)計了一系列消融實驗來評估它們對整體實驗結(jié)果的影響?；€網(wǎng)絡(luò)(BS)未提取多粒度局部特征，僅用到全局特征，并且使用的是傳統(tǒng)的三元組損失。實驗結(jié)果見表2。

表2 不同模塊組合在數(shù)據(jù)集上的實驗結(jié)果

從表2實驗結(jié)果可以得知，在基線網(wǎng)絡(luò)單獨引入HCAT損失后，SYSU-MM01/RegDB數(shù)據(jù)集實驗評價指標(biāo)Rank-1和mAP的提升分別是3.03%/3.42%和3.32%/6.16%首位命中率的提升可以發(fā)現(xiàn)HCAT損失有效地提升了網(wǎng)絡(luò)的魯棒性。在基線網(wǎng)絡(luò)上單獨引入CM-MGN后，SYSU-MM01/RegDB數(shù)據(jù)集實驗評價指標(biāo)Rank-1和mAP的提升分別是11.20%/20.23%和9.09%/16.00%。這表明多粒度局部特征可以對全局特征進行有效的補充。通過將二者結(jié)合，可以取得更進一步的精度提升。

HCAT損失計算的成對距離是錨點所在批樣本中心與其它批樣本中心的距離，與傳統(tǒng)三元組損失(TL)相比，極大地減小了計算量。如表3所示，在一個有2pk張圖像的batch中，傳統(tǒng)三元組需要計算2pk×(2k-1) 的成對距離來進行最困難的正樣本挖掘，需要計算2pk×2(p-1)k的成對距離來進行最困難的負樣本挖掘。而HCAT損失只需計算2p的成對距離來進行最困難的正樣本挖掘，只需計算2p×2(p-1) 的成對距離來進行最困難的負樣本挖掘。

表3 不同損失需要計算的成對距離量

同時，為了更為清晰地展示特征向量在公共空間上的方向得到了有效地分離。如圖4所示，圖4(a)為在公共特征空間中使用基線網(wǎng)絡(luò)提取后的特征分布；圖4(b)為在公共特征空間中使用本文的方法提取后的特征分布。

圖4 特征在公共空間中的分布

圖中圓圈表示可見光行人特征，方塊表示紅外光行人特征。圖4(a)中行人A可見光圖像和紅外光圖像特征分布顯示了相同行人不同模態(tài)特征分布相近，但分布較為分散，且不同行人的特征未能得到有效分離。而圖4(b)中，行人A不同模態(tài)特征得到了更有效地聚合，并且在公共特征空間上，不同行人身份的特征得到了有效地分離。

另外，本文實驗了多種不同的池化方法，采用了現(xiàn)今最流行的平均池化(GAP)、最大池化(GMP)和GeM方法，表4展示的是分別采用上述池化方法的結(jié)果，實驗表明，使用GeM可以取得最佳的效果。

表4 不同池化方法在數(shù)據(jù)集上的實驗結(jié)果

其次，由于身份驗證損失采用的是相對距離對分類器進行分類，而基于歐式距離的傳統(tǒng)三元組損失使用的是絕對距離，二者對距離的選取并不匹配。為此，本文實驗了基于歐式距離和角距離的三元組損失對實驗的影響，結(jié)果見表5?；诮蔷嚯x的三元組損失取得了更佳的效果，這表明當(dāng)身份驗證損失和三元組損失關(guān)注的都是相對距離的時候，可進一步提高模型的準(zhǔn)確率。

表5 不同度量方法在數(shù)據(jù)集上的實驗結(jié)果

最后，本文設(shè)計了去除某一局部特征分支后對模型精度影響的實驗，以驗證粗粒度局部特征分支和細粒度局部特征分支起到互相補充的作用。結(jié)果見表6。

表6 不同分支組合在數(shù)據(jù)集上的實驗結(jié)果

為了更為直觀地展示所提方法的跨模態(tài)行人重識別效果，如圖5所示，在SYSU-MM01數(shù)據(jù)集上進行了部分結(jié)果的可視化。從查詢集中隨機選取3張所需查詢圖像，取相對應(yīng)Rank-10的結(jié)果進行可視化。圖像框具有外邊框表示匹配結(jié)果正確，無外邊框表示匹配結(jié)果錯誤?？梢暬纠x取的是姿勢變換、有遮擋樣本，所提方法通過有效結(jié)合行人粗細粒度局部特征和全局特征，從而正確匹配出不同模態(tài)下同一行人身份。通過可視化結(jié)果可以發(fā)現(xiàn)，前列正確匹配結(jié)果的準(zhǔn)確率較好。

圖5 SYSU-MM01數(shù)據(jù)集可視化結(jié)果

4 結(jié)束語

本文提出了一種有效結(jié)合全局特征和不同粒度局部特征的跨模態(tài)行人重識別網(wǎng)絡(luò)結(jié)構(gòu)，粗細粒度下的局部特征與全局特征互為補充，避免了信息的缺失，以此來縮小跨模態(tài)行人特征的差異。同時，提出了基于角距離的異質(zhì)中心三元組損失，不僅可以減小計算復(fù)雜度，還可以增強模型的魯棒性。在RegDB和SYSU數(shù)據(jù)集上的實驗結(jié)果表明，本文的方法可以顯著提高跨模態(tài)行人重識別任務(wù)的性能。后續(xù)將從提高網(wǎng)絡(luò)提取可鑒別性行人特征能力的方面來進一步提升識別的精度。