陳林鋒，雷景生，吳宏毅，朱陳思聰，葉仕超

浙江科技學(xué)院 信息與電子工程學(xué)院，杭州 310000

隨著安防需求的日益增加，越來越多的攝像頭安裝在學(xué)校、游樂園、銀行、停車場(chǎng)、社區(qū)等場(chǎng)所，形成了大型分布式監(jiān)控網(wǎng)絡(luò)。成熟的監(jiān)控網(wǎng)絡(luò)能夠切實(shí)保障社會(huì)的平穩(wěn)運(yùn)行、人身以及財(cái)產(chǎn)安全。學(xué)校安裝攝像頭可以保證學(xué)生的人身以及財(cái)產(chǎn)安全，銀行可以通過監(jiān)控視頻識(shí)別與跟蹤不法分子，社區(qū)安裝攝像頭來保證居民的人身以及財(cái)產(chǎn)安全。在面對(duì)不同攝像頭下行人身份關(guān)聯(lián)的問題時(shí)，由于攝像機(jī)拍攝角度以及分辨率的原因，無(wú)法得到可靠的人臉圖片進(jìn)行身份識(shí)別，這時(shí)候就需要行人重識(shí)別技術(shù)。行人重識(shí)別是指在跨攝像頭跨場(chǎng)景下行人的識(shí)別與檢索，即給定一個(gè)要查詢的人，確定這個(gè)人是否在不同的時(shí)間出現(xiàn)在另一個(gè)地方，由不同的攝像頭捕捉到。由于光照變化、攝像頭視角變化、行人在視頻畫面中姿態(tài)變化以及遮擋等問題的存在，使得同一行人在不同時(shí)刻不同場(chǎng)景下被攝像頭捕捉到的圖像差別很大，這為行人重識(shí)別帶來了巨大的挑戰(zhàn)[1]。

近年來，隨著機(jī)器學(xué)習(xí)的理論以及應(yīng)用取得了巨大的進(jìn)步，深度學(xué)習(xí)作為其重要分支，也在各個(gè)領(lǐng)域大放異彩?；谏疃葘W(xué)習(xí)的行人重識(shí)別方法增強(qiáng)了表征信息的提取，促進(jìn)了度量學(xué)習(xí)方法的革新，提升了在各個(gè)數(shù)據(jù)集上的檢索性能。

全局特征學(xué)習(xí)方法通過使用先進(jìn)的深度學(xué)習(xí)技術(shù)來提取行人的表征信息，然而，在光照、遮擋等不受限的環(huán)境下，只依靠全局特征的行人重識(shí)別方法無(wú)法解決較大的類內(nèi)差異，通常會(huì)導(dǎo)致檢索性能大幅下降，無(wú)法再準(zhǔn)確識(shí)別行人[2]。為了解決這個(gè)問題，基于局部特征的方法廣泛地應(yīng)用到行人重識(shí)別問題當(dāng)中。Sun等人[3]提出了基于局部的卷積網(wǎng)絡(luò)，將從特征提取器獲得的特征水平分割成若干塊，對(duì)每一個(gè)特征塊提取細(xì)粒度局部信息，同時(shí)利用精修部件池化（refined part pool）改善直接分塊造成邊緣粗糙的缺點(diǎn)。Wang等人[4]將特征圖進(jìn)行分割來提取多粒度的行人肢體語(yǔ)義信息。模型采用了三分支結(jié)構(gòu)，一個(gè)分支用來提取全局特征，其他兩個(gè)分支用于局部特征表示，通過融合全局信息以及具有辨識(shí)力的多粒度局部信息來增強(qiáng)行人的特征表達(dá)。由于圖片中行人的身體各部位有不對(duì)齊的情況，直接使用基于局部特征的方法在計(jì)算特征相似度時(shí)會(huì)帶來噪聲，Suh等人[5]提出了基于身體部位對(duì)齊的雙流網(wǎng)絡(luò)，其預(yù)訓(xùn)練權(quán)重由姿勢(shì)估計(jì)數(shù)據(jù)集訓(xùn)練而得，一個(gè)分支用于提取全局外觀特征，另一個(gè)分支用于提取局部身體特征，并通過雙線性池化將兩者進(jìn)行融合。Zhang等人[6]提出了基于密集語(yǔ)義對(duì)齊的行人重識(shí)別模型，通過引入DensePose（dense human pose estimation in the wild）來定位行人身體各個(gè)部件，有效地解決了空間語(yǔ)義不對(duì)齊問題，同時(shí)也解決了姿態(tài)變化、遮擋等常見問題，顯著地提高了算法的精度。Sun等人[7]提出一種可見性感知局部模型（visibility-aware part model），VPM可估計(jì)出兩張行人圖像之間的共享區(qū)域，并在評(píng)估圖片相似性時(shí)聚焦共享區(qū)域，顯著提高了行人重識(shí)別的準(zhǔn)確率。

注意力機(jī)制因其增強(qiáng)重要特征以及抑制無(wú)關(guān)特征的特性被廣泛應(yīng)用在行人重識(shí)別領(lǐng)域當(dāng)中，它能夠改善行人姿態(tài)變化、視角變化、檢測(cè)器檢測(cè)誤差等問題帶來的干擾[8]。Li等人[9]聯(lián)合硬注意力與軟注意力機(jī)制學(xué)習(xí)區(qū)域級(jí)別和像素級(jí)別的重要特征來解決同一行人不同圖片之間差距大的問題，同時(shí)提出了交叉注意力交互學(xué)習(xí)機(jī)制（cross-attention interaction）來高效地聯(lián)合學(xué)習(xí)全局特征與局部特征。Chen等人[10]采用不同階次的注意力模塊提取高階統(tǒng)計(jì)量，從而顯著增強(qiáng)了注意力信息的辨別力和豐富性。此外，引入對(duì)抗學(xué)習(xí)約束來防止模型在訓(xùn)練階段時(shí)高階模塊坍塌為低階模塊。Xia等人[11]結(jié)合非局部機(jī)制與二階注意力來挖掘特征圖中點(diǎn)與點(diǎn)之間相關(guān)性，有效學(xué)習(xí)到豐富的全局信息，在局部分支加入了DropBlock進(jìn)行特征擦除來提升模型的魯棒性。Chen等人[12]將一對(duì)互補(bǔ)的注意力模塊融入到骨干網(wǎng)絡(luò)中，分別提取通道以及空間域的注意力信息，避免注意力機(jī)制過度集中于前景，同時(shí)引入正交規(guī)范化對(duì)特征空間以及神經(jīng)網(wǎng)絡(luò)權(quán)重進(jìn)行約束以確保重識(shí)別特征的多樣性。Park等人[13]提出基于非局部機(jī)制的關(guān)系網(wǎng)絡(luò)，充分考慮了身體各個(gè)部位與其他部位之間的關(guān)系，使得每個(gè)局部特征都包含了相應(yīng)部位本身以及身體其他部位的信息，使其更具區(qū)分性，并提出全局對(duì)比池化來（global contrast pool）獲得行人圖片的細(xì)粒度全局特征。

鑒于注意力機(jī)制與局部特征學(xué)習(xí)方法對(duì)行人姿態(tài)變化、遮擋、視角變化等問題的魯棒性，本文提出了結(jié)合注意力與局部特征融合的行人重識(shí)別算法。該算法將ResNeSt-50[14]作為特征提取器，由雙分支結(jié)構(gòu)組成，分別提取行人細(xì)粒度全局和局部特征，通過關(guān)注不同特征之間共享的空間域信息以及同一特征不同水平區(qū)域之間的特征相關(guān)性，提出了空間感知特征融合模塊（spatial-aware feature fusion module）以及跨區(qū)域特征融合模塊（cross-region feature fusion module）。在Market-1501[15]、DukeMTMC-reID[16]以及CUHK03[17]數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明該算法極大程度上提升了網(wǎng)絡(luò)的檢索能力，同時(shí)與現(xiàn)有算法進(jìn)行比較，凸顯出優(yōu)越性能。

1 結(jié)合注意力與局部特征融合的算法介紹

1.1 算法網(wǎng)絡(luò)框架

ResNet-50憑借其引入的殘差結(jié)構(gòu)，使得網(wǎng)絡(luò)能夠向更深的方向發(fā)展，提取到豐富的高層語(yǔ)義信息，避免了出現(xiàn)梯度爆炸和梯度消失問題。目前絕大部分行人重識(shí)別工作都選擇ResNet-50[18]作為骨干網(wǎng)絡(luò)來提取行人圖像的初始特征。然而，像ResNet等一系列基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)是針對(duì)圖像分類而設(shè)計(jì)，這些基礎(chǔ)的卷積神經(jīng)網(wǎng)絡(luò)會(huì)受到感受野的限制同時(shí)缺乏跨通道之間的相互作用。最近，新提出的ResNeSt在圖像分類、對(duì)象檢測(cè)、實(shí)例分割和語(yǔ)義分割任務(wù)中達(dá)到了最先進(jìn)的性能，它通過基于通道的注意力機(jī)制來捕獲跨通道之間的關(guān)系。此外，它采用核大小為3×3的平均池化來代替ResNet-50中使用3×3卷積來進(jìn)行下采樣，這樣不會(huì)損失很多空間信息。ResNeSt網(wǎng)絡(luò)目前在行人重識(shí)別任務(wù)中還未廣泛使用，本文選用最新的ResNeSt-50作為骨干網(wǎng)絡(luò)來拓展其在行人重識(shí)別任務(wù)中的應(yīng)用。

圖1給出了本文提出的行人重識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)圖，與單純使用ResNeSt-50不同的是，在ResNeSt-50的每個(gè)split-attention block中融入了空間感知特征融合模塊，目的是對(duì)不同的特征圖進(jìn)行跨通道關(guān)聯(lián)之前，讓每一個(gè)特征圖經(jīng)過一個(gè)共享權(quán)重的空間域注意力模塊，這樣能夠幫助網(wǎng)絡(luò)先挑選重要的特征并抑制無(wú)關(guān)的噪聲，進(jìn)一步增強(qiáng)特征魯棒性的同時(shí)加快網(wǎng)絡(luò)的收斂。

圖1 算法網(wǎng)絡(luò)框架Fig.1 Algorithm network framework

基于全局特征的單流網(wǎng)絡(luò)結(jié)構(gòu)能夠從圖像中提取行人身上顯著的辨別特征，來區(qū)分不同身份的行人，但是單流結(jié)構(gòu)無(wú)法提取關(guān)鍵的非顯著性特征，而且學(xué)習(xí)到的特征容易受背景信息的干擾，在面對(duì)遮擋、行人姿態(tài)變化等問題時(shí)很難完成行人身份的分類[19]。為了解決這個(gè)問題，多分支結(jié)構(gòu)被廣泛應(yīng)用在行人重識(shí)別任務(wù)中，通過多個(gè)分支學(xué)習(xí)不同粒度信息來獲得更強(qiáng)大的行人表征，例如雙流結(jié)構(gòu)以及三分支結(jié)構(gòu)等[20]。雖然多分支結(jié)構(gòu)能夠挖掘更豐富的語(yǔ)義信息，增強(qiáng)網(wǎng)絡(luò)的檢索能力，但同時(shí)也加大了網(wǎng)絡(luò)訓(xùn)練的難度，減慢了網(wǎng)絡(luò)的收斂。因此本文在設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)上，選用雙流網(wǎng)絡(luò)結(jié)構(gòu)，這樣不僅可以通過多分支結(jié)構(gòu)增強(qiáng)行人的特征表示，而且不會(huì)因?yàn)檫^多的網(wǎng)絡(luò)分支造成訓(xùn)練難以收斂[21]。在圖1中，從ResNeSt-50 Layer1，2，3開始分開為兩個(gè)分支，分別是全局分支（global branch）以及部件關(guān)聯(lián)分支（part-association branch）。其中，全局分支強(qiáng)調(diào)學(xué)習(xí)行人整體的表征信息，部件關(guān)聯(lián)分支則強(qiáng)調(diào)學(xué)習(xí)行人各個(gè)身體部位的細(xì)粒度表征信息。在全局分支中，行人圖片通過ResNeSt-50 Layer1，2，3后，進(jìn)入到ResNeSt-50 Layer4時(shí)使用下采樣，之后特征圖經(jīng)過平均池化層，核大小為12×4，得到2 048維特征向量。該特征向量先通過一個(gè)全連接層，得到1 024維的輸出特征fg_1,fg_1在測(cè)試階段被視為行人圖片的全局特征，在訓(xùn)練階段用來計(jì)算硬三元組損失。接著，fg_1進(jìn)入一個(gè)全連接層得到輸出特征fg_2，此特征向量在訓(xùn)練階段用來計(jì)算交叉熵?fù)p失。在部件關(guān)聯(lián)分支中，與全局分支不同的是進(jìn)入到ResNeSt-50 Layer4時(shí)為了保留足夠的語(yǔ)義信息，沒有使用下采樣，之后特征圖經(jīng)過降維層（Reduction）后進(jìn)入跨區(qū)域特征融合模塊，讓每個(gè)身體部位的特征融合到其他身體部位來增強(qiáng)局部特征的豐富性，使得網(wǎng)絡(luò)能夠自適應(yīng)地關(guān)注到圖片中的行人區(qū)域，減少背景噪聲的干擾。模塊生成的各個(gè)局部特征先通過一個(gè)卷積塊進(jìn)行特征融合，再經(jīng)過平均池化層得到1 024維的輸出特征fp_1，其在測(cè)試階段被視為行人圖片的局部特征，在訓(xùn)練階段用來計(jì)算硬三元組損失。接著，fp_1進(jìn)入一個(gè)全連接層得到輸出特征fp_2，此特征向量在訓(xùn)練階段用來計(jì)算交叉熵?fù)p失。網(wǎng)絡(luò)將行人圖片的全局特征fg_1與局部特征fp_1按通道方向拼接在一塊，組成2 048維特征向量ftotal作為行人圖片的特征表示，如公式（1）所示：

1.2 空間感知特征融合模塊

由于ResNeSt網(wǎng)絡(luò)結(jié)構(gòu)中融入了基于通道的注意力機(jī)制，因此能夠捕獲跨通道的潛在語(yǔ)義信息，獲得更加精細(xì)化的行人表征。在行人重識(shí)別任務(wù)中，除了利用通道間的相互作用來增強(qiáng)特征的區(qū)別力之外，還可以捕獲空間域的重要特征信息，增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)行人特征表示的辨別能力，提升算法精度。鑒于以上分析，采用軟注意力機(jī)制，抑制特征圖中的噪聲，引導(dǎo)網(wǎng)絡(luò)關(guān)注對(duì)識(shí)別行人身份起到關(guān)鍵作用的空間位置，從而為后續(xù)的跨通道交互起到互補(bǔ)作用。

給定在ResNeSt的某一個(gè)Bottleneck中分組卷積后輸出的特征映射組F={F1,F2,…,FT}，即該分組卷積的結(jié)果有T個(gè)特征圖。如圖2（b）所示，輸入的每一個(gè)特征圖都先經(jīng)過一個(gè)共享權(quán)重的空間注意力塊（spatial attention block）來優(yōu)化空間信息，最后將每一個(gè)優(yōu)化后的特征圖進(jìn)行累加融合，其結(jié)果作為跨通道交互的輸入特征。在圖2（a）中，空間注意力塊的輸入特征先通過一個(gè)按通道方向取每個(gè)特征位置平均值的全局池化層（Pool），從而得到通道數(shù)為1的三維特征向量，再經(jīng)過三個(gè)3×3卷積層(φ1、φ2、φ3)來擴(kuò)大感受野，捕獲更豐富的空間信息，利用Sigmoid函數(shù)將卷積操作后的特征向量映射成空間注意力矩陣Xt，輸入特征與該注意力矩陣點(diǎn)乘后的結(jié)果通過一個(gè)殘差結(jié)構(gòu)得到優(yōu)化過空間信息的特征圖。特征映射組F經(jīng)過此空間感知特征融合模塊后得到融合特征，如公式（2）、公式（3）所示：

圖2 空間注意力塊和空間感知特征融合模塊Fig.2 Spatial attention block and spatial-aware feature fusion module

1.3 跨區(qū)域特征融合模塊

最近的一些工作表明基于局部特征學(xué)習(xí)的方法有助于挖掘行人精細(xì)化表示，減少因遮擋產(chǎn)生的噪聲[11]。相比于其他方法將特征圖水平劃分為若干個(gè)區(qū)域并對(duì)這些區(qū)域采用池化方法來直接獲得局部特征不同，本文方法基于非局部注意力機(jī)制，充分考慮不同身體部件之間潛在的語(yǔ)義相關(guān)性，通過遍歷融合不同部位的局部特征來挖掘關(guān)鍵的非顯著性信息。數(shù)據(jù)經(jīng)過ResNeSt-50 Layer1，2，3之后，進(jìn)入部件關(guān)聯(lián)分支學(xué)習(xí)細(xì)粒度局部特征，通過ResNeSt-50 Layer4，進(jìn)入跨區(qū)域特征融合模塊學(xué)習(xí)不同身體部位之間的潛在語(yǔ)義信息，該模塊分為空間關(guān)聯(lián)注意力以及通道聚合注意力兩個(gè)子模塊。給定輸入特征P∈RC×H×W，其中C是特征圖的通道總數(shù)，H和W分別是特征圖的高和寬。首先把P水平劃分為K個(gè)特征區(qū)域Pi∈RC×(H/K)×W，將這些特征區(qū)域經(jīng)過空間關(guān)聯(lián)注意力子模塊，利用不同身體部件之間的空間位置的相關(guān)性進(jìn)行局部特征融合來得到輸出特征Ps_i，再將這些特征輸入到通道聚合注意力子模塊學(xué)習(xí)通道域中不同身體部件之間的非顯著信息，最后得到精細(xì)化行人局部特征Ps_c_i。通過聯(lián)合行人的細(xì)粒度全局特征和細(xì)粒度局部特征，行人特征的完整性以及豐富性得到進(jìn)一步提升，網(wǎng)絡(luò)的檢索能力也因此大大增強(qiáng)。在圖1中展示了跨區(qū)域特征融合模塊的框架結(jié)構(gòu)，對(duì)其各個(gè)子模塊的詳細(xì)說明如下。

1.3.1 空間關(guān)聯(lián)注意力子模塊

水平劃分的局部特征Pi∈RC×(H/K)×W首先拼接成完整特征圖P∈RC×H×W,再讓特征圖P通過兩個(gè)1×1卷積層(γs,μs)進(jìn)行降維得到兩個(gè)輸出特征，對(duì)這兩個(gè)特征進(jìn)行reshape操作后的結(jié)果分別進(jìn)行矩陣乘積以及Sigmoid激活函數(shù)得到空間注意力系數(shù)矩陣As。為了挖掘局部特征的空間域相關(guān)性，根據(jù)Pi與Pj在特征圖P中的位置，即可從系數(shù)矩陣中找到Pj對(duì)應(yīng)于Pi的空間相關(guān)系數(shù)子矩陣As_i_j，如公式（4）所示：

由于單個(gè)局部特征內(nèi)部的相關(guān)性較高而局部特征之間的相關(guān)性較低，為了挖掘到更多關(guān)鍵但非顯著的重要特征，在特征融合操作時(shí)沒有將局部特征本身的空間相關(guān)性As_i_i計(jì)算在內(nèi)。在圖3中，特征融合操作通過殘差結(jié)構(gòu)和一個(gè)1×1卷積層(σs)得到局部特征Pi的對(duì)應(yīng)輸出特征，如公式（5）所示：

圖3 空間關(guān)聯(lián)注意力Fig.3 Spatial association attention（SAA）

1.3.2 通道聚合注意力子模塊

在行人重識(shí)別任務(wù)中，高層特征的通道往往有很強(qiáng)的相關(guān)性，一些通道共享相似的語(yǔ)義信息，例如衣服、鞋子、褲子、背景等。通過挖掘每個(gè)局部特征與其他局部特征之間的通道相關(guān)性來進(jìn)行特征融合，增強(qiáng)重識(shí)別特征的豐富性與多樣性。

從空間關(guān)聯(lián)注意力子模塊輸出的特征圖Ps_i按通道方向拼接成完整特征圖,將Ps與自身reshape操作后的特征圖進(jìn)行矩陣乘積再通過歸一化得到通道注意力系數(shù)矩陣Ac。為了挖掘局部特征的通道域相關(guān)性，根據(jù)Ps_i與Ps_j在特征圖Ps中的位置，即可從系數(shù)矩陣中找到Ps_j對(duì)應(yīng)于Ps_i的通道相關(guān)系數(shù)子矩陣Ac_i_j，如公式（6）所示：

同樣考慮到局部特征內(nèi)部的相關(guān)性較高而局部特征之間的相關(guān)性較低，在特征融合操作時(shí)沒有將局部特征本身的通道相關(guān)性Ac_i_i計(jì)算在內(nèi)。特征融合操作通過殘差結(jié)構(gòu)和一個(gè)1×1卷積層(σc)得到局部特征Ps_i的對(duì)應(yīng)輸出特征，如公式（7）所示：

1.4 損失函數(shù)

為了在訓(xùn)練過程中讓網(wǎng)絡(luò)學(xué)習(xí)到有身份鑒別力的特征，使用交叉熵?fù)p失（cross entropy loss）作為損失函數(shù)之一。交叉熵?fù)p失用來度量網(wǎng)絡(luò)預(yù)測(cè)類別分布與真實(shí)類別發(fā)布的差異性，被廣泛應(yīng)用于機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)的分類問題當(dāng)中。在行人重識(shí)別任務(wù)中使用交叉熵?fù)p失意味著將重識(shí)別問題轉(zhuǎn)化為分類問題，即給定一張行人圖片，判斷它屬于哪個(gè)身份并把它歸到那一類別。通過將身份信息作為監(jiān)督信號(hào)，能夠有效地引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)到具有身份鑒別力的特征表示，保證在訓(xùn)練過程網(wǎng)絡(luò)能夠平穩(wěn)收斂。然而，行人重識(shí)別本質(zhì)上是一個(gè)圖像檢索問題，它通過比較查詢圖片與候選圖片之間的特征相似性進(jìn)行排序，排名越靠前的圖片越有可能是與查詢圖片具有相同的身份。度量學(xué)習(xí)，即相似度學(xué)習(xí)，近幾年被廣泛應(yīng)用在模式識(shí)別領(lǐng)域，它采用神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，目標(biāo)是使得不同類別的圖片相似度小而相同類別的圖片相似度大。因此，將硬三元組損失（hard triplet loss）[22]作為另一個(gè)損失函數(shù)來引入度量學(xué)習(xí)。網(wǎng)絡(luò)將原始像素域信息映射到編碼空間，硬三元組損失通過拉近相同類別圖片距離的同時(shí)加大不同類別圖片的距離來達(dá)到聚類的效果，因此基于硬三元損失的模型更適用于行人重識(shí)別領(lǐng)域。由于僅僅依靠硬三元組損失進(jìn)行模型訓(xùn)練會(huì)缺乏身份監(jiān)督信號(hào)，導(dǎo)致訓(xùn)練過程緩慢，因此聯(lián)合交叉熵?fù)p失與硬三元損失作為模型的損失函數(shù)，這樣不僅引入了身份監(jiān)督信號(hào)，能夠?qū)W習(xí)到具有身份鑒別力的特征，加速網(wǎng)絡(luò)的平穩(wěn)收斂，而且拉近了同類圖片距離的同時(shí)加大不同類別圖片的距離，提升了檢索性能。

對(duì)于交叉熵?fù)p失，本文的目標(biāo)是減少預(yù)測(cè)標(biāo)簽分布與真實(shí)分布的差異性來學(xué)習(xí)行人的身份鑒別力特征。在圖1中，把網(wǎng)絡(luò)學(xué)習(xí)到的特征fp_2與fg_2用于計(jì)算交叉熵?fù)p失。交叉熵定義如公式（8）所示，其中N表示一個(gè)批次行人圖片總數(shù)，C表示訓(xùn)練集行人標(biāo)簽總數(shù)，qi,j表示預(yù)測(cè)的標(biāo)簽概率，pi,j表示真實(shí)的標(biāo)簽。

對(duì)于硬三元組損失，本文的目標(biāo)是讓距離最遠(yuǎn)的相同標(biāo)簽的行人圖片距離小于最近的不同標(biāo)簽的行人圖片距離來提升檢索的準(zhǔn)確性。在圖1中，把網(wǎng)絡(luò)學(xué)習(xí)到的特征fp_1與fg_1用于計(jì)算硬三元組損失。硬三元組損失定義如公式（9）所示，其中分別是采樣得到的錨、積極以及消極特征，這里的積極是指與錨具有相同的標(biāo)簽，消極是指與錨的標(biāo)簽不同，P指的是一個(gè)批次采樣的行人標(biāo)簽總數(shù)，R表示對(duì)一個(gè)行人標(biāo)簽采樣的圖片個(gè)數(shù)，m是用來約束不同類別樣本距離的閾值。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集是在行人重識(shí)別任務(wù)中廣泛使用的Market-1501、DukeMTMC-reID以及CUHK03。

Market-1501數(shù)據(jù)集是在清華大學(xué)校園內(nèi)通過5個(gè)高分辨率攝像頭和1個(gè)低分辨率攝像頭拍攝到的1 501個(gè)行人、32 668張行人圖片。數(shù)據(jù)集提供訓(xùn)練集以及測(cè)試集的劃分，其中訓(xùn)練集包含751個(gè)行人、12 936張行人圖片，測(cè)試集包含750個(gè)行人、19 732張行人圖片，每類圖片最少被2個(gè)攝像頭拍攝到。

DukeMTMC-reID數(shù)據(jù)集是在杜克大學(xué)校園內(nèi)通過8個(gè)高分辨率攝像頭拍攝到的1 812個(gè)行人、36 411張行人圖片。數(shù)據(jù)集提供訓(xùn)練集以及測(cè)試集劃分，其中訓(xùn)練集包含702個(gè)行人、16 522張行人圖片，訓(xùn)練集包含702個(gè)行人、17 661張行人圖片，并且提供了手工標(biāo)注的邊界框（bounding box）。

CUHK03數(shù)據(jù)集是在香港大學(xué)校園內(nèi)通過5對(duì)攝像頭拍攝到的1 467個(gè)行人、14 097張行人圖片，提供檢測(cè)器檢測(cè)（Detected）和人工標(biāo)注（Labeled）兩個(gè)數(shù)據(jù)集。采取新的測(cè)試協(xié)議，將訓(xùn)練集和測(cè)試集中行人個(gè)數(shù)分別劃分為767和700。相比于舊版本，新測(cè)試協(xié)議的訓(xùn)練圖片大大減少而測(cè)試圖片大大增加，因此加大了重識(shí)別的難度。

選擇第n次命中準(zhǔn)確率(Rank-n)以及平均匹配度（mAP）作為網(wǎng)絡(luò)在數(shù)據(jù)集上測(cè)試效果的評(píng)價(jià)指標(biāo)。Rank-n表示待查詢圖像與候選庫(kù)圖像按照相似度從大到小排序的前n張候選圖片中存在與查詢圖像屬于同一身份的準(zhǔn)確率，計(jì)算如公式（10）所示，其中N表示查詢數(shù)據(jù)集中行人的數(shù)目，即總共進(jìn)行N次查詢和排序，ri表示在按相似度排序后的候選圖片中第一個(gè)與查詢圖片屬于同一身份的行人圖像的位置。

mAP計(jì)算公式如公式（11）所示，其中C表示行人身份的類別數(shù)，AP(c)表示行人身份c的平均精度。平均精度是指同一個(gè)類別的每個(gè)待查詢行人圖像的精確率累加之和與該類樣本總數(shù)G的比值，AP的計(jì)算如公式（12）所示。精確率Precision指的是檢索出來的正樣本中正確的比例，Precision計(jì)算如公式（13）所示，其中TP表示被預(yù)測(cè)為正樣本，實(shí)際上也是正樣本的樣本數(shù)目，F(xiàn)P表示被預(yù)測(cè)為負(fù)樣本，實(shí)際上是正樣本的樣本數(shù)目。

在所有實(shí)驗(yàn)中，不使用重新排序（re-ranking）算法以及多次查詢?nèi)诤希╩ulti-query fusion）進(jìn)一步提升評(píng)價(jià)性能。

2.2 實(shí)施細(xì)節(jié)

遵循常見的行人重識(shí)別設(shè)置，將所有圖像的大小調(diào)整為384×128，并通過隨機(jī)翻轉(zhuǎn)、隨機(jī)裁剪和隨機(jī)擦除來增強(qiáng)訓(xùn)練圖像。使用在ImageNet[23]上預(yù)訓(xùn)練的ResNeSt-50作為骨干網(wǎng)絡(luò)，在其網(wǎng)絡(luò)結(jié)構(gòu)中去掉最后的全局平均池化以及全連接層。為了在部件關(guān)聯(lián)分支中保留足夠的語(yǔ)義信息，把Layer4下采樣層中平均池化的核大小設(shè)置為1×1，stride設(shè)置為1。使用Adam作為梯度優(yōu)化器，將學(xué)習(xí)率初始設(shè)置為0.000 3，并在訓(xùn)練階段的第30輪以及第60輪衰減10倍直至訓(xùn)練結(jié)束。批量大小設(shè)置為64，P=16,R=4,T=2,m=0.3,K=4。使用兩階段遷移學(xué)習(xí)算法來訓(xùn)練網(wǎng)絡(luò)參數(shù)，首先凍結(jié)骨干網(wǎng)絡(luò)的權(quán)重，僅僅訓(xùn)練分類器150輪，然后將整個(gè)網(wǎng)絡(luò)再訓(xùn)練300輪。本文方法在pytorch框架上實(shí)現(xiàn)，并在一塊3.6 GHz的Intel i9-9900KF CPU和NVIDIA TITAN RTX GPU環(huán)境下訓(xùn)練，所有數(shù)據(jù)集共享與上述相同的實(shí)驗(yàn)設(shè)置。

2.3 現(xiàn)有方法的對(duì)比實(shí)驗(yàn)

在本節(jié)中，將提出的方法與現(xiàn)有的最先進(jìn)方法在三個(gè)主流數(shù)據(jù)集上進(jìn)行對(duì)比來表明本文方法的優(yōu)越性能，具體在每個(gè)數(shù)據(jù)集上的情況說明如下。

2.3.1 Market-1501

表1中展示了在該數(shù)據(jù)集上本文提出的方法與現(xiàn)有最先進(jìn)方法的比對(duì)結(jié)果，在該數(shù)據(jù)集上實(shí)現(xiàn)了95.9%Rank-1、98.7%Rank-5、99.2%Rank-10以及89.1%mAP。

表1 在Market-1501數(shù)據(jù)集上的對(duì)比結(jié)果Table 1 Results comparisons over Market-1501 %

對(duì)比使用單一局部特征的PCB，本文方法挖掘局部特征之間的相關(guān)性來增強(qiáng)行人表征的豐富性，分別在Rank-1和mAP提高3.6和11.7個(gè)百分點(diǎn)。對(duì)比同樣把ResNeSt-50作為骨干網(wǎng)絡(luò)的FastReID，本文方法分別在Rank-1和mAP提升了0.9和2.1個(gè)百分點(diǎn)，這得益于本文結(jié)合注意力以及局部特征融合的方法，增強(qiáng)重識(shí)別特征多樣性的同時(shí)提高了其魯棒性。GCP雖然充分地考慮身體各部位之間的相關(guān)性來挖掘具有身份鑒別力的特征，但是直接地水平劃分身體部件區(qū)域會(huì)導(dǎo)致邊界粗糙，本文提出的方法在局部關(guān)聯(lián)分支劃分身體部件之前已經(jīng)通過一系列軟注意力機(jī)制來優(yōu)化邊界特征，分別在Rank-1和mAP性能提升了0.7和0.2個(gè)百分點(diǎn)。

2.3.2 DukeMTMC-reID

在表2中，本文方法在該數(shù)據(jù)集上達(dá)到了89.1%Rank-1、94.3%Rank-5、95.8%Rank-10以及78.9%mAP。

表2 在DukeMTMC-reID數(shù)據(jù)集上的對(duì)比結(jié)果Table 2 Results comparisons over DukeMTMC-reID %

和只考慮局部特征的PCB相比，本文模型聯(lián)合全局特征以及局部特征來提升行人表征的完整性，分別在Rank-1和mAP提高了7.4和12.8個(gè)百分點(diǎn)。P2Net雖然充分挖掘行人以及外部裝飾的特征來提升精度，但是網(wǎng)絡(luò)的關(guān)注區(qū)域容易被行人圖片的背景所干擾，本文方法分別在Rank-1、Rank-5、Rank-10以及mAP提高了2.6、1.2、0.8、5.8個(gè)百分點(diǎn)。和充分考慮身體各個(gè)部位與其他部位之間的關(guān)系的GCP相比，本文模型在Rank-1上低了0.6個(gè)百分點(diǎn)，但在mAP上提高了0.3個(gè)百分點(diǎn)，這是由于該數(shù)據(jù)集的行人圖片被遮擋現(xiàn)象嚴(yán)重，存在較多的背景干擾，GCP在該數(shù)據(jù)集上的魯棒性比較強(qiáng)。

2.3.3 CUHK03

該數(shù)據(jù)集的標(biāo)注分為檢測(cè)器檢測(cè)（Detected）與人工標(biāo)注（Labeled）兩種。在Labeled數(shù)據(jù)集中，本文方法達(dá)到了85.5%Rank-1和82.1%mAP，在Detected數(shù)據(jù)集中，該方法達(dá)到了83.3%Rank-1和77.8%mAP，如表3。

本文方法在這兩個(gè)數(shù)據(jù)集上的性能大大超過其他方法，在Detected數(shù)據(jù)集Rank-1、mAP上提高了3.7和3.3個(gè)百分點(diǎn)，在Labeled數(shù)據(jù)集Rank-1、mAP上提高了4.4和4.7個(gè)百分點(diǎn)。本文方法與僅提取局部特征的PCB相比，在Detected數(shù)據(jù)集Rank-1、mAP上提高了19.6和20.3個(gè)百分點(diǎn)。對(duì)比同樣考慮身體部件關(guān)聯(lián)的GCP，將其原有性能提高了大約10個(gè)百分點(diǎn)，這得益于本文模型提取的細(xì)粒度全局特征以及細(xì)粒度局部特征，提高了行人表征的鑒別力，提高了重識(shí)別特征的完整性。

2.4 消融實(shí)驗(yàn)

為了驗(yàn)證本文提出的每個(gè)注意力模塊的有效性以及探索局部特征劃分個(gè)數(shù)的問題。在Market-1501、DukeMTMC-reID和CUHK03這三個(gè)數(shù)據(jù)集上設(shè)計(jì)了幾個(gè)不同設(shè)置的消融實(shí)驗(yàn)。

表3 在CUHK03數(shù)據(jù)集上的對(duì)比結(jié)果Table 3 Results comparisons over CUHK03 %

首先驗(yàn)證注意力模塊的有效性，實(shí)驗(yàn)的具體設(shè)置顯示在表4中，其中SFFM表示空間感知特征融合模塊，SAA表示跨區(qū)域特征融合模塊中的空間關(guān)聯(lián)注意力子模塊，CAA表示跨區(qū)域特征融合模塊中的通道聚合注意力子模塊。在表格的前兩行可以看到，為了驗(yàn)證SFFM的有效性，在ResNeSt的split-attention block結(jié)構(gòu)中融入SFFM顯著提高了行人重識(shí)別的性能，在CUHK03-Labeled的Rank-1和mAP上提升3.9和3.8個(gè)百分點(diǎn)，在CUHK03-Detected的Rank-1和mAP上提升3.5和3.6個(gè)百分點(diǎn)。為了驗(yàn)證不同特征融合模塊對(duì)模型性能的影響，在第三、四行分別對(duì)ResNeSt-50結(jié)構(gòu)中增加SAA以及CAA，可以看到不管是SAA還是CAA都有助于模型性能的提升。實(shí)驗(yàn)結(jié)果表明，將SAA融入ResNeSt-50結(jié)構(gòu)后，在CUHK03-Labeled的Rank-1和mAP上提升6.7和5.7個(gè)百分點(diǎn)，在CUHK03-Detected的Rank-1和mAP上提升6.2和5.3個(gè)百分點(diǎn)，這得益于空間關(guān)聯(lián)子模塊將不同身體部位進(jìn)行關(guān)聯(lián)，來學(xué)習(xí)身體部件之間的空間位置的相關(guān)性，增強(qiáng)局部特征的鑒別力。將CAA融入ResNeSt-50結(jié)構(gòu)后，在CUHK03-Labeled的Rank-1和mAP上提升5.1和6.9個(gè)百分點(diǎn)，在CUHK03-Detected的Rank-1和mAP上提升5.5和6.5個(gè)百分點(diǎn)，這得益于通道聚合子模塊通過挖掘局部特征與其他局部特征的通道相關(guān)性，來加強(qiáng)學(xué)習(xí)局部特征之間的非顯著性信息。第五行將它們聯(lián)合使用，進(jìn)一步提高了精確度。為了驗(yàn)證軟注意力（SFFM）與非局部注意力（SAA、CAA）的互補(bǔ)作用，從第六行開始分別對(duì)它們不同的組合進(jìn)行實(shí)驗(yàn)，可以看到無(wú)論哪一種組合都比舍棄對(duì)應(yīng)模塊的性能要強(qiáng)得多。最后一行將所有模塊組合在一起，實(shí)驗(yàn)結(jié)果表明它在這兩個(gè)數(shù)據(jù)集上達(dá)到最先進(jìn)的性能。整個(gè)模型在CUHK03-Labeled的Rank-1和mAP上相較于單流網(wǎng)絡(luò)ResNeSt-50分別提升了12.8和13.1個(gè)百分點(diǎn)，在CUHK03-Detected的Rank-1和mAP上相較于單流網(wǎng)絡(luò)ResNeSt-50分別提升了13.2和12.5個(gè)百分點(diǎn)，這表明全局分支與部件關(guān)聯(lián)分支具有互補(bǔ)作用，通過聯(lián)合網(wǎng)絡(luò)分支結(jié)構(gòu)學(xué)習(xí)到的細(xì)粒度全局特征與細(xì)粒度局部特征，提高了重識(shí)別特征的完整性與準(zhǔn)確性，極大程度增強(qiáng)了模型的檢索性能。

其次，研究了部件關(guān)聯(lián)分支中身體部件劃分個(gè)數(shù)對(duì)模型性能的影響，在圖4中展示了不同身體部件劃分個(gè)數(shù)的模型在不同數(shù)據(jù)集上mAP指標(biāo)的變化?？梢钥吹诫S著部件數(shù)量的增加，mAP在不同數(shù)據(jù)集上的趨勢(shì)都是先逐步升高再緩慢下降，當(dāng)部件數(shù)量設(shè)置為4時(shí)在各個(gè)數(shù)據(jù)集上的性能達(dá)到最高。這個(gè)觀察結(jié)果表明，局部特征的劃分個(gè)數(shù)會(huì)直接影響模型的性能，過少的部件數(shù)不能充分提取細(xì)粒度局部特征而過多的部件數(shù)會(huì)減弱部件關(guān)聯(lián)分支的效果，進(jìn)而降低特征表達(dá)的能力。

圖4 不同部件數(shù)量的對(duì)比實(shí)驗(yàn)Fig.4 Comparative experiment of different part numbers

接著，利用Grad-Cam[31]可視化了一些圖像在不同模型中關(guān)注的區(qū)域情況。如圖5所示，第1列為輸入到模型的原始圖像，第2列和第3列分別是ResNeSt-50和本文提出的模型的圖像熱力圖。在圖5中，和ResNeSt-50相比，本文模型的關(guān)注區(qū)域更集中在行人身上以及覆蓋區(qū)域更廣，這是因?yàn)橥ㄟ^聯(lián)合軟注意力和非局部注意力機(jī)制來挖掘更多的全局信息，提升了關(guān)注區(qū)域的豐富性，還利用身體部件之間的關(guān)聯(lián)性來融合不同層次的語(yǔ)義信息，增強(qiáng)了關(guān)注區(qū)域的魯棒性。

表4 注意力模塊的消融實(shí)驗(yàn)Table 4 Ablation experiment of attention modules %

圖6 Market-1501數(shù)據(jù)集部分圖像查詢結(jié)果Fig.6 Market-1501 dataset partial image query results

圖5 Market-1501數(shù)據(jù)集部分圖像熱力圖Fig.5 Market-1501 dataset partial image heatmap

圖6展示了在遮擋、背景雜亂、圖片分辨率低等復(fù)雜情況下ResNeSt-50與本文算法的一些查詢前5名的對(duì)比結(jié)果。第一、二、三排行人的查詢圖片在被背包遮擋的情況下，本文算法相較于ResNeSt-50仍然可以準(zhǔn)確地檢索，這是由于本文算法融合了軟注意力以及非局部注意力機(jī)制，模型能夠發(fā)現(xiàn)更多具有鑒別力的行人特征，因此誤檢率更低。第四排、第五排查詢圖像在背景雜亂以及圖片模糊的情況下，本文算法相比于ResNeSt-50有更好的檢索性能，即使圖片出現(xiàn)較大的不對(duì)齊情況，仍然能找出對(duì)應(yīng)圖片，這得益于部件關(guān)聯(lián)分支充分地挖掘局部特征之間的潛在語(yǔ)義關(guān)系，使得算法提取到的細(xì)粒度局部特征提升了行人表征的魯棒性與豐富性。

3 結(jié)束語(yǔ)

在本文中，基于ResNeSt-50骨干網(wǎng)絡(luò)，提出了結(jié)合注意力與局部特征融合的方法，通過兩個(gè)分支網(wǎng)絡(luò)，分別提取行人的細(xì)粒度全局特征和細(xì)粒度局部特征。通過聯(lián)合軟注意力以及非局部注意力機(jī)制挖掘更豐富的全局信息，讓網(wǎng)絡(luò)提取到的特征更具區(qū)分力，同時(shí)通過挖掘身體各個(gè)部件之間的潛在語(yǔ)義相關(guān)性，融合不同層次的語(yǔ)義信息，增強(qiáng)了行人表征的魯棒性與豐富性，通過聯(lián)合全局特征與局部特征的方法進(jìn)一步提升了行人表征的完整性，提高了網(wǎng)絡(luò)的重識(shí)別性能。將ResNeSt網(wǎng)絡(luò)高效地應(yīng)用在行人重識(shí)別任務(wù)，促進(jìn)其在更多領(lǐng)域上的推廣。大量實(shí)驗(yàn)證明，提出的每個(gè)注意力模塊的有效性以及提出的方法相較于現(xiàn)有方法的優(yōu)越性。