摘 要 ：行人重識(shí)別是一項(xiàng)利用計(jì)算機(jī)視覺(jué)技術(shù)判斷圖像中是否存在特定行人的任務(wù)。為研究Re-ID模型使用身份標(biāo)簽不能有效地學(xué)習(xí)不同行人之間的相似局部外觀問(wèn)題，提出了一種基于多任務(wù)損失的Re-ID方法。首先，通過(guò)主干網(wǎng)絡(luò)提取全局特征以及局部特征，借助姿態(tài)估計(jì)算法檢測(cè)行人身體部位，將身體部位的特征與局部特征組進(jìn)行融合形成人體姿態(tài)引導(dǎo)特征；其次，通過(guò)多任務(wù)損失方法指導(dǎo)模型對(duì)人體姿態(tài)引導(dǎo)特征以及全局特征進(jìn)行優(yōu)化，從而增強(qiáng)模型對(duì)遮擋以及不具有區(qū)分性局部外觀的魯棒性。結(jié)果表明：多任務(wù)損失方法在Occluded-Duke、Market 1501和DukeMTMC-reID數(shù)據(jù)集上的mAP/Rank - 1的精度分別達(dá)到了59.7%/67.9%，88.4%/94.9%和80.6%/89.9%。為避免訓(xùn)練集與測(cè)試集數(shù)據(jù)之間分布的差異性導(dǎo)致預(yù)訓(xùn)練模型產(chǎn)生次優(yōu)檢索結(jié)果的問(wèn)題，提出了一種基于圖卷積網(wǎng)絡(luò)的重排序方法，該方法利用圖卷積算子在圖上將行人的最近鄰特征傳播，從而優(yōu)化了每個(gè)圖像的表示，以獲得更優(yōu)的檢索結(jié)果。

關(guān)鍵詞 ：行人重識(shí)別；姿態(tài)估計(jì)算法；多任務(wù)損失；圖卷積算子；重排序

中圖分類(lèi)號(hào)：TP 751

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1672 - 9315（2024）02 - 0400 - 09

DOI ：10.13800/j.cnki.xakjdxxb.2024.0220 "開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Multi-task loss design of person re-identification model

BAI Zongwen，ZHANG Zhe

（School of Physics and Electronic Information，

Yan’an University，Yan’an 716000，China）

Abstract ：

Person re-identification "is a task that utilizes computer vision technology to discern the presence of specific pedestrians within images.In tackling the problem of Re-ID models struggling to effectively

learn similar local appearance between different pedestrians "when

employing identity labels，a approach based on multi-task loss has been introduced.Initially，global and local features are extracted via the backbone network，with a pose estimation algorithm utilized to detect pedestrian body parts.Then，integrate the features of body parts with local features to form human pose-guided features.Subsequently，through a specially designed multi-task loss methodology，the model is guided to optimize both human pose-guided features and global features，thereby fortifying its robustness against occlusion and non-discriminative local appearances.The results indicate that this approach achieves precision rates of 59.7%/67.9%，88.4%/94.9%，and 80.6%/89.9% for mAP/Rank-1 across the Occluded-Duke，Market 1501，and DukeMTMC-reID datasets，respectively.To mitigate the impact of distribution discrepancies between training and testing datasets on the performance of pre-trained models，a re-ranking strategy based on graph convolutional networks is proposed.By leveraging graph convolution operators，this method propagates nearest neighbor features of pedestrians on the graph to refine the representation of each image，thereby enhancing retrieval outcomes.

Key words ：person re-identification;pose estimation algorithm;multi-task loss;graph convolution operators;re-ranking

0 引 言

行人重識(shí)別是一種計(jì)算機(jī)視覺(jué)任務(wù)，該任務(wù)在不同的相機(jī)場(chǎng)景中檢索特定的行人。而行人圖像通常會(huì)受到復(fù)雜背景、姿態(tài)變化以及其他行人遮擋等因素的干擾，導(dǎo)致行人重識(shí)別任務(wù)非常具有挑戰(zhàn)性。

為了降低這些因素的影響，張濤和熊煒等通過(guò)采用全局方法對(duì)整個(gè)圖像進(jìn)行特征提取[1 - 2]，這些方法將目標(biāo)行人的全局表示作為單一的特征向量，以捕獲行人的整體外觀信息，并將這種全局特征直接用作最終的匹配特征。然而，這種全局方法可能會(huì)受到遮擋物和行人誤導(dǎo)性外觀的影響，導(dǎo)致這些方法在面對(duì)遮擋問(wèn)題時(shí)表現(xiàn)出一定的局限性。為了克服這一局限性，肖雅妮，徐家臻等利用行人圖像的局部特征來(lái)提高識(shí)別性能[3 - 6]。其中SU等通過(guò)圖像切割，將輸入的特征圖水平劃分為局部特征向量，然后對(duì)這些局部特征向量進(jìn)行單獨(dú)分類(lèi)；匡澄等結(jié)合全局特征設(shè)計(jì)了多粒度網(wǎng)絡(luò)，得到了不同細(xì)粒度的行人局部特征，從而為行人重識(shí)別模型提供了更為豐富的行人表示。但是，這種基于局部的方法同樣存在問(wèn)題。身份損失以及三元組損失這兩種標(biāo)準(zhǔn)的行人重識(shí)別損失函數(shù)，通常假設(shè)不同的行人個(gè)體具有不同的外觀，因此它們的全局特征向量應(yīng)當(dāng)是不同的。但當(dāng)使用基于局部的特征向量時(shí)，由于兩個(gè)不同身份的行人在某些身體部位上可能具有高度相似的局部外觀，導(dǎo)致這個(gè)假設(shè)不再成立。如果直接將用于全局表示的身份損失函數(shù)應(yīng)用在局部表示上，可能會(huì)導(dǎo)致模型性能不佳。為了解決這一問(wèn)題，通過(guò)設(shè)計(jì)多任務(wù)損失方法來(lái)指導(dǎo)模型優(yōu)化人體姿態(tài)引導(dǎo)特征和主干網(wǎng)絡(luò)提取的全局特征，來(lái)增強(qiáng)模型對(duì)遮擋和不具有區(qū)分性的局部外觀的魯棒性。

訓(xùn)練集數(shù)據(jù)與測(cè)試集數(shù)據(jù)之間分布的差異性，可能會(huì)導(dǎo)致預(yù)訓(xùn)練模型產(chǎn)生次優(yōu)的檢索性能，對(duì)采用多任務(wù)損失方法引導(dǎo)行人重識(shí)別模型優(yōu)化后的特征進(jìn)行重排序。重排序通過(guò)引入其他信息計(jì)算行人之間的相似性，并使用一些復(fù)雜的相似性度量方法對(duì)模型直接獲得的檢索結(jié)果進(jìn)行重新排序。通過(guò)這種重排序的方法，行人重識(shí)別模型的檢索精度會(huì)得到極大地提升。其中，最常用的是ZHONG等提出的K個(gè)相互近鄰編碼（K-Reciprocal Encoding，KR）的重排序方法[7]。該方法對(duì)于每一個(gè)查詢樣本，都需要計(jì)算查詢樣本與數(shù)據(jù)集中所有其他樣本之間的復(fù)雜距離度量，并涉及到互逆鄰居和擴(kuò)展鄰居的概念。這不僅包括直接的歐氏距離，還需要考慮樣本之間是否互為最近鄰居，以及通過(guò)額外的擴(kuò)展近鄰步驟增強(qiáng)這種關(guān)系的穩(wěn)定性。這種檢索過(guò)程雖然有效提高了檢索性能，但是由于其高復(fù)雜度的計(jì)算量，導(dǎo)致其在大型數(shù)據(jù)集上的檢索效率低下。

為了提高檢索效率，首先設(shè)計(jì)了一種基于圖卷積網(wǎng)絡(luò)（Graph Convolution Networks，GCN）的重排序算法，該方法通過(guò)圖卷積算子在圖上將目標(biāo)行人最近鄰的特征進(jìn)行傳播，從而優(yōu)化每個(gè)圖像的表示，并獲得改進(jìn)的特征表示。然后，使用歐氏距離對(duì)改進(jìn)的特征表示進(jìn)行計(jì)算，并生成排名列表。這種排序方法不僅效率更高，而且檢索精度也得到了提升。

1 基于多任務(wù)損失的行人重識(shí)別方法

Re-ID模型采用雙分支網(wǎng)絡(luò)架構(gòu)，第一分支通過(guò)姿態(tài)估計(jì)器檢測(cè)人體關(guān)鍵點(diǎn)，第二分支采用羅浩等提出的TransReID[8]網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，用以提取全局特征以及局部特征，全局特征和局部特征描述為 f g∈R1×d 和 f parts∈Rp×d 。其中 d 為特征維度， p 為局部特征的數(shù)量共256個(gè)。將局部特征按照順序分為16個(gè)局部特征組，每組包含16個(gè)局部特征?；诙嗳蝿?wù)損失的行人重識(shí)別模型框架，如圖1所示。

1.1 全局特征分支

由于目標(biāo)行人的全局特征中可能會(huì)包括來(lái)自遮擋物和其他行人誤導(dǎo)性的外觀信息，即相同身份的2個(gè)全局特征中至少有一個(gè)可能包含誤導(dǎo)性信息，如圖2所示，這意味著2個(gè)全局特征從本質(zhì)上來(lái)說(shuō)應(yīng)該有所不同。在訓(xùn)練過(guò)程中，如果在全局特征空間中應(yīng)用三元組損失函數(shù)，這2個(gè)全局特征可能會(huì)被緊密地拉近，從而對(duì)模型性能產(chǎn)生不利影響，導(dǎo)致檢索精度下降。

為了解決上述問(wèn)題，通過(guò)使用身份損失函數(shù)指導(dǎo)模型對(duì)全局特征進(jìn)行優(yōu)化訓(xùn)練，見(jiàn)式（1）。

Lid global=－∑ N i=1 q i（log（p i））

（1）

式中 "p i 為第 i 個(gè)行人身份ID的概率； q i 為第 i 個(gè)行人身份ID，

q i通過(guò)圖片的ID標(biāo)簽得到，假設(shè)圖片的ID標(biāo)簽為y，則q i=1時(shí)，y=i;

而y≠i時(shí)，q i=0;

N 為行人的數(shù)量。

但是這種算法設(shè)計(jì)應(yīng)用在行人重識(shí)別任務(wù)中存在一定的問(wèn)題。比如把負(fù)樣本標(biāo)簽統(tǒng)一標(biāo)記為0來(lái)進(jìn)行損失計(jì)算會(huì)忽略了不同負(fù)樣本間的差異。同樣地，使用1來(lái)區(qū)分正負(fù)樣本，也可能會(huì)忽略它們之間的關(guān)聯(lián)性。而且在實(shí)際訓(xùn)練中，使用one-hot編碼對(duì)負(fù)樣本進(jìn)行標(biāo)簽編碼會(huì)導(dǎo)致負(fù)樣本的log值接近于負(fù)無(wú)窮，這可能會(huì)引發(fā)一系列問(wèn)題，如模型訓(xùn)練時(shí)出現(xiàn)過(guò)擬合或訓(xùn)練速度減慢等。

為了解決以上問(wèn)題，采用了標(biāo)簽平滑技術(shù)[9]，對(duì)標(biāo)簽的編碼方式進(jìn)行優(yōu)化。在常規(guī)情況下，標(biāo)簽編碼會(huì)被視為一個(gè)軟標(biāo)簽，見(jiàn)式（2）。

q k= "1－ N－1 N "·ε，

若i=y

0， """"其他

（2）

式中 "q k 為平滑后的標(biāo)簽概率； ε 為平滑參數(shù)，用于控制標(biāo)簽平滑的程度， ε 設(shè)置為0.1。較低的平滑參數(shù)使得真實(shí)類(lèi)別的概率較高，但仍然可以為其他類(lèi)別提供較小的概率。這樣可以幫助模型避免在訓(xùn)練數(shù)據(jù)上過(guò)擬合，并增加了模型對(duì)于輸入數(shù)據(jù)的泛化能力，相較于one-hot編碼更容易學(xué)習(xí)到最優(yōu)的情況。

1.2 姿態(tài)引導(dǎo)的局部特征分支

基于多任務(wù)損失的行人重識(shí)別模型的第一分支通過(guò)HRNet網(wǎng)絡(luò)[10]設(shè)計(jì)了姿態(tài)估計(jì)算法。HRNet是一種高分辨率的網(wǎng)絡(luò)，由4個(gè)階段組成，每個(gè)階段都包含一個(gè)基本過(guò)渡結(jié)構(gòu)。除第一階段外，其他階段的基本結(jié)構(gòu)都是由多個(gè)分辨率的分支所構(gòu)成；并且在不同分辨率的分支之間讓特征進(jìn)行交互，HRNet網(wǎng)絡(luò)能夠充分捕捉不同尺度的特征信息。在特征交互的過(guò)程中，通過(guò)使用步長(zhǎng)為2的3×3卷積來(lái)完成分辨率從高到低的轉(zhuǎn)換，這不僅有助于擴(kuò)充網(wǎng)絡(luò)的有效感受野，并且可以提高特征的表達(dá)能力。而低分辨率轉(zhuǎn)換到高分辨率的特征上采樣則是通過(guò)1×1卷積來(lái)統(tǒng)一通道數(shù)，采用最近鄰插值方法完成上采樣操作。同分辨率特征的融合采用了恒等映射，以保持特征信息的完整性，僅使用第一階段的高分辨率分支，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

人體姿態(tài)估計(jì)器在COCO數(shù)據(jù)集上進(jìn)行預(yù)先訓(xùn)練，該數(shù)據(jù)集標(biāo)注的人體關(guān)鍵點(diǎn)數(shù)量為 J=17 ，從0～16依次編號(hào)，分別代表鼻子、左右眼睛、左右耳朵、左右肩膀、左右肘部、左右手腕、左右臀、左右膝蓋以及左右腳踝，如圖4所示。

對(duì)于每個(gè)關(guān)鍵點(diǎn)，姿態(tài)估計(jì)算法都會(huì)預(yù)測(cè)其坐標(biāo)以及置信度分?jǐn)?shù)，并利用關(guān)鍵點(diǎn)生成熱圖 {M|M j∈M，j=1，2，…，J} ， M 表示關(guān)鍵點(diǎn)生成的熱圖集合， M j 表示第 j 個(gè)熱圖。對(duì)熱圖進(jìn)行下采樣，下采樣之后的大小為 （H/4）×（W/4） ， H 和 W 分別表示圖像的高和寬，置信點(diǎn)表示見(jiàn)式（3）。

M j= "（x j，y j），若s j≥γ

0， "其他 "（j=1，…，17）

（3）

式中 "（x j，y j） 為第 j 個(gè)置信點(diǎn)的坐標(biāo)； s j 為置信度分?jǐn)?shù)； γ 為過(guò)濾置信度分?jǐn)?shù)較低的閾值，設(shè)置為0.3。當(dāng) M j=0 時(shí)，相應(yīng)熱圖的值設(shè)置為0。

為了使模型更多地關(guān)注行人身體部位的信息，將檢測(cè)到的人體姿態(tài)信息與局部特征組進(jìn)行融合。首先將全連接層應(yīng)用于熱圖 M ，以獲得新熱圖 M′ ；其次，通過(guò)將 M′ 與局部特征組進(jìn)行多次映射，就可以獲得豐富的人體姿態(tài)引導(dǎo)的局部特征集 G=［G 1，G 2，…，G J］ 。

由于兩個(gè)身份不同行人的某些局部區(qū)域上可能具有非常相似的外觀，如圖5所示，依賴這些局部特征不足以進(jìn)行準(zhǔn)確的身份識(shí)別?？紤]到在局部特征表示上使用身份損失會(huì)對(duì)模型性能產(chǎn)生破壞性影響，通過(guò)使用局部平均三元組損失函數(shù)指導(dǎo)模型對(duì)人體姿勢(shì)引導(dǎo)的局部特征進(jìn)行優(yōu)化，見(jiàn)式（4）。

dij pose= ∑ J j=1 L eucl（fi j，fk j） J

（4）

式中 "L eucl 為歐氏距離。其次分別使用局部正樣本和局部負(fù)樣本的平均距離 dap pose 部分和 dan pose 部分來(lái)計(jì)算局部平均三元組損失，見(jiàn)式（5）。

Ltri pose=［dap pose－dan pose+α］ +

（5）

式中 "dap pose 和 dan pose 分別為錨定樣本到正樣本和負(fù)樣本的距離； α 為一個(gè)控制參數(shù)，用來(lái)調(diào)節(jié)損失函數(shù)中正樣本與負(fù)樣本之間的距離，設(shè)置為0.6。

通過(guò)局部平均三元組損失從一組候選負(fù)樣本中選擇局部平均樣本作為負(fù)樣本，這樣可以使每個(gè)訓(xùn)練步驟都有機(jī)會(huì)專(zhuān)注于最具有魯棒性和鑒別性的局部特征。

1.3 基于圖卷積的重排序

由于K個(gè)相互近鄰編碼的重排序方法計(jì)算復(fù)雜度很高，導(dǎo)致其在處理海量數(shù)據(jù)的快速檢索時(shí)面臨一定的困難。為了克服K個(gè)相互近鄰編碼復(fù)雜度高的問(wèn)題，設(shè)計(jì)了基于圖卷積的重排序算法（Graph Convolution for Re-ranking，GCR）。該方法將來(lái)自最近鄰居的特征傳播到目標(biāo)圖像，從而優(yōu)化目標(biāo)圖像的表示，這樣不僅可以通過(guò)有效保留在預(yù)訓(xùn)練模型中學(xué)到的信息，使得模型的檢索精度提高，而且還極大提高了計(jì)算效率?；趫D卷積算法的重排序檢索過(guò)程，如圖6所示。

通過(guò)給出的查詢和圖庫(kù)樣本，構(gòu)建無(wú)向圖。其中每個(gè)節(jié)點(diǎn)表示一個(gè)樣本，邊表示兩個(gè)樣本之間的關(guān)系。通過(guò)利用12個(gè)最近鄰圖進(jìn)行特征傳播，詳細(xì)描述如下。

首先，通過(guò)原始特征計(jì)算查詢樣本與圖庫(kù)樣本之間的相似度，來(lái)獲得第 i 個(gè)圖像最密集的鄰圖N i，見(jiàn)式（6）。

A i，j= "exp（－ ‖e i－e j‖2 2/δ），j∈N i 1， """"""""j=i 0， """"""""其他

（6）

式中 "‖e i－e j‖2 2 指樣本 e i 和 e j 之間的歐氏距離的平方。

其次，通過(guò)將歐氏距離的平方除以帶寬參數(shù) δ 來(lái)測(cè)量樣本間的距離，并使用指數(shù)函數(shù)將距離映射到0到1之間，設(shè)置 δ 值為0.2，這樣可以使非常接近的樣本才會(huì)對(duì)彼此有較大的影響。當(dāng)兩個(gè)樣本非常相似時(shí)，該函數(shù)值接近1。當(dāng)樣本不相似時(shí)，函數(shù)值接近0。

在標(biāo)準(zhǔn)圖的卷積層中使用圖卷積算子對(duì)樣本最近鄰的特征進(jìn)行傳播，見(jiàn)式（7）。

X ～ =D－ 1 2 "rowA ～

D － 1 2 "colX

（7）

式中 "X∈RN×d 為輸入的特征矩陣； N 為行人的數(shù)量； d 為特征維度； "D "為相似度矩陣的度矩陣；

X ～ "為輸出的特征矩陣。

最后，通過(guò)迭代來(lái)更新特征，見(jiàn)式（8）。

X t+1=D－ 1 2 "rowA ～ "D － 1 2 "colX t

（8）

式中 "t 為迭代索引。

1.4 訓(xùn)練和測(cè)試

在訓(xùn)練階段，將人體姿態(tài)引導(dǎo)的局部特征以及全局特征一起訓(xùn)練，見(jiàn)式（9）。

L=μLtri pose+（1－μ）Lid global

（9）

式中 ""μ 為平衡局部平均三元組損失以及身份損失對(duì)整體損失的影響， μ 值設(shè)置為0.5。

在測(cè)試階段，由于目標(biāo)行人的全局特征可能包含來(lái)自遮擋的信息，只將姿態(tài)引導(dǎo)的局部特征集連接起來(lái)作為最終特征表示，見(jiàn)式（10）。

G=［G 1，G 2，…，G J］

（10）

2 結(jié)果分析

2.1 數(shù)據(jù)集、評(píng)價(jià)指標(biāo)以及參數(shù)設(shè)置

2.1.1 數(shù)據(jù)集

行人重識(shí)別數(shù)據(jù)集根據(jù)使用場(chǎng)景的不同分為遮擋行人數(shù)據(jù)集以及標(biāo)準(zhǔn)行人數(shù)據(jù)集，下面分別介紹這些數(shù)據(jù)集。

1）遮擋行人重識(shí)別數(shù)據(jù)集。

Occluded-Duke[11]是DukeMTMC收集的子數(shù)據(jù)集，用于Re-ID的遮擋任務(wù)。它由702個(gè)人的15 618張訓(xùn)練圖像，2 210張遮擋查詢圖像和17 661張庫(kù)圖像組成。

2）標(biāo)準(zhǔn)行人重識(shí)別數(shù)據(jù)集。

Market 1501[12]是由6個(gè)攝像機(jī)捕獲的標(biāo)準(zhǔn)Re-ID數(shù)據(jù)集。它包括751個(gè)行人的12 936張訓(xùn)練圖像，750個(gè)行人的19 732 張庫(kù)圖像和750個(gè)行人的3 368張圖像作為查詢。此數(shù)據(jù)集中的圖像很少被遮擋。

DukeMTMC-reID[13]包含8個(gè)攝像機(jī)視點(diǎn)捕獲的1 404身份的36 411圖像。它由702個(gè)身份的16 522張訓(xùn)練圖像，17 661張庫(kù)圖像以及2 228張查詢圖像組成。

2.1.2 評(píng)價(jià)指標(biāo)

行人重識(shí)別領(lǐng)域通常采用CMC（Cumulative Match Characteristic）曲線，將Rank - 1，Rank - 5，Rank - 10等作為評(píng)價(jià)指標(biāo)，由于該指標(biāo)不能有效表達(dá)同一類(lèi)別存在多個(gè)樣本命中的情況，通過(guò)引入平均準(zhǔn)確度mAP（mean Average Precision）來(lái)對(duì)模型性能進(jìn)行更準(zhǔn)確的評(píng)判[14]。

2.1.3 參數(shù)設(shè)置

采用ImageNet預(yù)先訓(xùn)練的模型來(lái)初始化模型，將訓(xùn)練圖像和測(cè)試圖像的大小均調(diào)整為256×128，并且通過(guò)隨機(jī)水平翻轉(zhuǎn)、填充、隨機(jī)裁剪和隨機(jī)擦除來(lái)增強(qiáng)訓(xùn)練圖像。將批次大小設(shè)置為64，即獲得訓(xùn)練集中16個(gè)不同行人ID的4張行人圖像形成批次參與訓(xùn)練，并且將特征維度 d 設(shè)置為768。學(xué)習(xí)速率在余弦學(xué)習(xí)率衰減的0.008處初始化。整體網(wǎng)絡(luò)訓(xùn)練300個(gè)周期。所有試驗(yàn)均在Nvidia Tesla T4 GPU上，采用PyTorch 1.6.0深度學(xué)習(xí)框架。

2.2 對(duì)比試驗(yàn)

2.2.1 在Occluded-Duke上的對(duì)比試驗(yàn)

多任務(wù)損失方法與其他方法在Occluded-Duke數(shù)據(jù)集上的對(duì)比結(jié)果見(jiàn)表1。文中將對(duì)比的方法劃分為3組：第1組采用全局方法對(duì)行人進(jìn)行重識(shí)別[15 - 18]；第2組采用姿態(tài)關(guān)鍵點(diǎn)方法對(duì)行人進(jìn)行重識(shí)別[19 - 20]；第3組采用局部方法對(duì)行人進(jìn)行重識(shí)別[21 - 22]。

從對(duì)比結(jié)果可以觀察到，多任務(wù)損失方法在Occluded-Duke數(shù)據(jù)集達(dá)到67.9%的Rank - 1精度以及59.7%的mAP精度。與采用姿態(tài)估計(jì)算法的方法HOReID相比，多任務(wù)損失方法在Occluded-Duke數(shù)據(jù)集上提高了至少12.8%的Rank - 1精度和15.9%的mAP精度。與基于局部方法的TransReID相比，多任務(wù)損失方法在Occluded-Duke上增加了2.2%的Rank - 1精度和1.3%的mAP精度。

多任務(wù)損失方法相較于其他方法表現(xiàn)良好是因?yàn)槎嗳蝿?wù)損失能夠更好地指導(dǎo)模型對(duì)人體姿態(tài)引導(dǎo)的局部特征以及全局特征進(jìn)行優(yōu)化，從而有效地緩解遮擋和不具有區(qū)分性外觀對(duì)行人重識(shí)別模型帶來(lái)的影響。

2.2.2

在Market 1501和DukeMTMC-reID上的對(duì)比試驗(yàn)

為了驗(yàn)證多任務(wù)損失方法在其他數(shù)據(jù)集上的有效性，還將該方法應(yīng)用于標(biāo)準(zhǔn)行人重識(shí)別數(shù)據(jù)集：Market 1501和DukeMTMC-reID，與其他方法的對(duì)比試驗(yàn)結(jié)果[23 - 26]，見(jiàn)表2。通過(guò)對(duì)試驗(yàn)結(jié)果的分析發(fā)現(xiàn)，在Market 1501以及DukeMTMC-reID數(shù)據(jù)集上，模型的精度僅有略微提升，這主要是因?yàn)樵摂?shù)據(jù)集中的行人圖像受到遮擋的情況較少。結(jié)果表明多任務(wù)損失方法在處理不同類(lèi)型的數(shù)據(jù)集時(shí)，都能維持其有效性。

2.3 消融試驗(yàn)

為了進(jìn)一步分析每個(gè)模塊對(duì)行人重識(shí)別模型精度的影響，在Occluded-Duke數(shù)據(jù)集上進(jìn)行了一系列的消融試驗(yàn)。

2.3.1 姿態(tài)估計(jì)算法的有效性

基于多任務(wù)損失的行人重識(shí)別模型采用了兩種不同的姿態(tài)估計(jì)算法來(lái)檢測(cè)人體的姿態(tài)信息，即AlphaPose[27]和HRNet，見(jiàn)表3。結(jié)果表明，采用的HRNet姿態(tài)估計(jì)算法對(duì)行人重識(shí)別模型的精度提升最大。同時(shí)說(shuō)明通過(guò)將姿態(tài)信息以及局部特征組融合，形成的人體姿態(tài)引導(dǎo)特征能夠引導(dǎo)模型更加精準(zhǔn)地關(guān)注于行人身體部位，從而提升了行人重識(shí)別模型的檢索精度。

2.3.2 多任務(wù)損失方法的有效性

主要探討了身份損失和三元組損失的不同組合方式對(duì)模型訓(xùn)練精度的影響，見(jiàn)表4，其中“√”表示應(yīng)用該損失函數(shù)，索引表示試驗(yàn)序列。具體而言，對(duì)于全局特征，采用身份損失進(jìn)行監(jiān)督；而對(duì)于局部特征，采用局部平均三元組損失進(jìn)行監(jiān)督。試驗(yàn)1簡(jiǎn)單地在所有特征上應(yīng)用這兩種損失函數(shù)只能達(dá)到次優(yōu)的檢索精度。試驗(yàn)2與試驗(yàn)1的對(duì)比結(jié)果證明在全局特征上應(yīng)用身份損失會(huì)使模型精度提升。試驗(yàn)3與試驗(yàn)1的對(duì)比結(jié)果證明在局部特征上使用三元組損失對(duì)模型精度會(huì)有略微提升。試驗(yàn)4的結(jié)果表明，通過(guò)對(duì)全局特征使用身份損失進(jìn)行監(jiān)督，對(duì)局部特征使用局部平均三元組損失進(jìn)行監(jiān)督優(yōu)化時(shí)，模型才能達(dá)到最佳精度，這意味著多任務(wù)損失方法可以增強(qiáng)模型對(duì)遮擋以及不具有區(qū)分性局部外觀的魯棒性。

2.3.3 基于圖卷積的重排序算法的有效性

由于訓(xùn)練集與測(cè)試集數(shù)據(jù)之間分布的差異性導(dǎo)致預(yù)訓(xùn)練模型產(chǎn)生次優(yōu)的檢索精度，因此對(duì)行人重識(shí)別模型提取的特征進(jìn)行重排序。由于傳統(tǒng)的重排序方法如KR算法，需要計(jì)算每對(duì)樣本之間的相似度，這通常會(huì)導(dǎo)致計(jì)算效率低下，意味著重排序過(guò)程較為耗時(shí)。與KR算法相比，基于圖卷積的重排序方法能顯著降低重排序所需時(shí)間，試驗(yàn)結(jié)果見(jiàn)表5。該方法通過(guò)圖卷積算子在圖結(jié)構(gòu)上將每個(gè)樣本最近鄰的特征傳播到目標(biāo)圖像，僅需要簡(jiǎn)單的矩陣運(yùn)算就能大幅提升計(jì)算效率。與KR算法相比，GCR算法在精度上也有提升，結(jié)果見(jiàn)表6。這進(jìn)一步證明了基于圖卷積的重排序算法不僅能提高檢索精度，還能提升計(jì)算效率，為處理大規(guī)模數(shù)據(jù)檢索場(chǎng)景提供了一種更為高效和準(zhǔn)確的解決方案。

2.4 結(jié)果可視化

為了更形象地說(shuō)明多任務(wù)損失方法以及基于圖卷積的重排序算法的有效性，在Occluded-Duke數(shù)據(jù)集上通過(guò)兩組行人檢索結(jié)果的可視化來(lái)展示多任務(wù)損失方法以及基于圖卷積的重排序算法克服遮擋的影響。如圖7所示，左側(cè)的第一張是被遮擋的查詢圖像，右側(cè)的第一行是TransReID模型所產(chǎn)生的6個(gè)最匹配圖像，右側(cè)的第二行是文中方法所產(chǎn)生的6個(gè)最匹配圖像，其中綠色方框標(biāo)記的是正確的檢索結(jié)果，而紅色的方框標(biāo)記的是錯(cuò)誤的檢索結(jié)果。對(duì)比而言，TransReID容易檢索到圖像中具有相似障礙物的不同行人。

3 結(jié) 論

1）基于多任務(wù)損失的行人重識(shí)別方法通過(guò)指導(dǎo)模型對(duì)人體姿態(tài)引導(dǎo)特征以及全局特征進(jìn)行優(yōu)化，提升了行人重識(shí)別模型在處理遮擋以及不具有區(qū)分性局部外觀時(shí)的魯棒性。在Occluded-Duke、Market1501和DukeMTMC-reID數(shù)據(jù)集上的mAP/Rank - 1的精度分別達(dá)到了59.7%/67.9%，88.4%/94.9%和80.6%/89.9%，該方法有效地提高了行人重識(shí)別模型的識(shí)別精度。

2）基于圖卷積的重排序方法通過(guò)圖卷積算子在特征圖上傳播信息，優(yōu)化每個(gè)圖像的表示，進(jìn)而得到最終特征表示，并使用歐氏距離對(duì)最終特征表示進(jìn)行排序，該方法可以有效提升檢索精度以及效率。

參考文獻(xiàn)（References）：

[1] ""張濤，易爭(zhēng)明，李璇，等.一種基于全局特征的行人重識(shí)別改進(jìn)算法[J].激光與光電子學(xué)進(jìn)展，2020，57（24）：324 - 330.

ZHANG Tao，YI Zhengming，LI Xuan，et al.Improved algorithm for person re-identification based on global features[J].Laser and Optoelectronics Progress，2020，57（24）：324 - 330.

[2] 熊煒，楊荻椿，熊子婕，等.基于全局特征拼接的行人重識(shí)別算法研究[J].計(jì)算機(jī)應(yīng)用研究，2021，38（1）：316 - 320.

XIONG Wei，YANG Dichun，XIONG Zijie，et al.Person re-identification algorithm based on global feature stitching[J].Application Research of Computers，2021，38（1）：316 - 320.

[3] SU C，LI J N，ZHANG S L，et al.Pose-driven deep convolutional model for person re-identification[C]//Proceedings of the IEEE International Conference on Computer Vision，2017：3960 - 3969.

[4]

匡澄，陳瑩.基于多粒度特征融合網(wǎng)絡(luò)的行人重識(shí)別[J].電子學(xué)報(bào)，2021，49（8）：1541 - 1550.

KUANG Cheng，CHEN Ying.Multi-granularity feature fusion network for person re-identification[J].Acta Electronica Sinica，2021，49（8）：1541 - 1550.

[5] 肖雅妮，范馨月，陳文峰.多分支融合局部特征的行人重識(shí)別算法[J].計(jì)算機(jī)工程與應(yīng)用，2021，57（18）：213 - 219.

XIAO Yani，F(xiàn)AN Xinyue，CHEN Wenfeng.Research on person re-identification based on integrating local features under multi-branches[J].Computer Engineering and Applications，2021，57（18）：213 - 219.

[6] 徐家臻，李婷，楊巍.多尺度局部特征選擇的行人重識(shí)別算法[J].計(jì)算機(jī)工程與應(yīng)用，2020，56（2）：141 - 145.

XU Jiazhen，LI Ting，YANG Wei.Person re-identification by multi-scale local feature selection[J].Computer Engineering and Applications，2020，56（2）：141 - 145.

[7] ZHONG Z，ZHENG Z，CAO D L，et al.Re-ranking person re-identification with k-reciprocal encoding[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2017：1318 - 1327.

[8] HE S T，LUO H，WANG P C，et al.Transreid：Transformer-based object re-identification[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision，2021：15013 - 15022.

[9]

SZEGEDY C，VANHOUCKE V，IOFFE S，et al.Rethinking the inception architecture for computer vision[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016：2818 - 2826.

[10] SUN K，DONG B，LIU X，et al.Deep high-resolution representation learning for human pose estimation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019：5693 - 5703.

[11] MIAO J X，WU Y，LIU P，et al.Pose-guided feature alignment for occluded person re-identification[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision，2019：542 - 551.

[12] LIANG Z，SHEN L Y，LU T，et al.Scalable person re-identification：A benchmark[C]//Proceedings of the IEEE International Conference on Computer Vision，2015：1116 - 1124.

[13] RISTANI E，SOLERA F，ZOU R，et al.Performance measures and a data set for multi-target，multi-camera tracking[C]//European Conference on Computer Vision.Cham：Springer International Publishing，2016：17 - 35.

[14] 趙安新，楊金橋，史新國(guó)，等.視覺(jué)行人重識(shí)別研究方法分析及評(píng)價(jià)指標(biāo)探討[J].西安科技大學(xué)學(xué)報(bào)，2022，42（5）：1003 - 1012.

ZHAO Anxin，YANG Jinqiao，SHI Xinguo，et al.Analysis of visual person re-identification’s research methods and evaluation indicator’discussion[J].Journal of Xi’an University of Science and Technology，2022，42（5）：1003 - 1012.

[15] 任雪娜，張冬明，包秀國(guó)，等.語(yǔ)義引導(dǎo)的遮擋行人再識(shí)別注意力網(wǎng)絡(luò)[J].通信學(xué)報(bào)，2021，42（10）：106 -116.

REN Xuena，ZHANG Dongming，BAO Xiuguo，et al.Semantic guidance attention network for occluded person re-identification[J].Journal on Communications，2021，42（10）：106 - 116.

[16]

王淳浩，閉家銘，阮利，等.自動(dòng)駕駛安全關(guān)鍵場(chǎng)景生成技術(shù)綜述[J].信息與控制，2024，53（1）：17 - 32.

WANG Chunhao，BI Jiaming，RUAN Li，et al.Survey on automatic driving safety-critical scenario generation technology[J].Information and Control，2024，53（1）：17 - 32.

[17] WANG Z K，ZHU F，TANG S X，et al.Feature erasing and diffusion network for occluded person re-identification[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2022：4754 -4763.

[18]

YAN C，PANG G S，JIAO J L，et al.Occluded person re-identification with single-scale global representations[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision，2021：11875 - 11884.

[19]

景葉怡然，余增，時(shí)云瀟，等.基于偽標(biāo)簽的無(wú)監(jiān)督領(lǐng)域自適應(yīng)行人重識(shí)別研究綜述[J].計(jì)算機(jī)科學(xué)，2024，51（1）：72 - 83.

JINGYE Yiran，YU Zeng，SHI Yunxiao，et al.Review of unsupervised domain adaptive person re-identification based on pseudo-labels[J].Computer Science，2024，51（1）：72 - 83.

[20] WANG G A，YANG S，LIU H Y，et al.High-order information matters：Learning relation and topology for occluded person re-identification[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2020：6449 - 6458.

[21] LI Y L，HE J F，ZHANG T Z，et al.Diverse part discovery：Occluded person re-identification with part-aware transformer[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2021：2898 - 2907.

[22] SUN H，CHEN Z Y，YAN S Y，et al.Mvp matching：A maximum-value perfect matching for mining hard samples，with application to person re-identification[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision，2019：6737 - 6747.

[23] CHEN G Y，ZHANG T R，LU J W，et al.Deep meta metric learning[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision，2019：9547- 9556.

[24] LUO C C，CHEN Y T，WANG N Y，et al.Spectral feature transformation for person re-identification[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision，2019：4976 - 4985.

[25] HOU R B，MA B P，CHANG H，et al.Interaction-and-aggregation network for person re-identification[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019：9317 - 9326.

[26] SUN Y F，CHENG C M，ZHANG Y H，et al.Circle loss：A unified perspective of pair similarity optimization[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2020：6398 -6407.

[27] FANG H S，LI J F，TANG H Y，et al.Alphapose：Whole-body regional multi-person pose estimation and tracking in real-time[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2023，45（6）：7157 - 7173.

（責(zé)任編輯：劉潔）