殷雨昌，王洪元*，陳莉，馮尊登，肖宇

（1.常州大學(xué)計(jì)算機(jī)與人工智能學(xué)院阿里云大數(shù)據(jù)學(xué)院，江蘇常州 213000；2.常州工程職業(yè)技術(shù)學(xué)院，江蘇常州 213000）

0 引言

行人重識(shí)別旨在識(shí)別不同攝像頭下，不同視角、不同時(shí)間的同一個(gè)身份。隨著深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的快速發(fā)展，作為智能視頻監(jiān)督系統(tǒng)關(guān)鍵技術(shù)的視頻行人重識(shí)別也取得了巨大的進(jìn)步［1-5］?，F(xiàn)有的大多數(shù)的視頻行人重識(shí)別方法采用有監(jiān)督學(xué)習(xí)的方式，這類方法非常地依賴大量的有標(biāo)簽數(shù)據(jù)。由于大規(guī)模數(shù)據(jù)集的標(biāo)注十分的費(fèi)力且耗時(shí)，一些研究者逐漸開始關(guān)注半監(jiān)督視頻行人重識(shí)別［6-7］。

基于單標(biāo)注樣本（one-shot）的行人重識(shí)別［8-10］屬于半監(jiān)督行人重識(shí)別方法的一種。對(duì)于單標(biāo)注樣本視頻行人重識(shí)別，訓(xùn)練集中每個(gè)身份僅有一個(gè)有標(biāo)簽的視頻片段，其余的數(shù)據(jù)都為無(wú)標(biāo)簽數(shù)據(jù)。在這樣嚴(yán)苛的環(huán)境下，如何高效地利用這些無(wú)標(biāo)簽數(shù)據(jù)就成為一個(gè)關(guān)鍵點(diǎn)。常規(guī)的方法是先為無(wú)標(biāo)簽的數(shù)據(jù)分配偽標(biāo)簽，然后選擇部分可靠的偽標(biāo)簽數(shù)據(jù)加入原訓(xùn)練集，最后利用擴(kuò)充的新數(shù)據(jù)集再次訓(xùn)練模型。這類方法的核心在于標(biāo)簽估計(jì)和數(shù)據(jù)選擇。目前主要有兩種策略來(lái)擴(kuò)充新數(shù)據(jù)集：一種方法是設(shè)置預(yù)先定義的閾值，然后選擇標(biāo)簽預(yù)測(cè)置信度高于閾值的偽標(biāo)簽數(shù)據(jù)。這種靜態(tài)策略每次選擇固定數(shù)量的樣本用于訓(xùn)練，優(yōu)點(diǎn)是整個(gè)訓(xùn)練過(guò)程比較平穩(wěn)，模型性能不會(huì)有較大的波動(dòng)，同時(shí)也存在訓(xùn)練周期冗長(zhǎng)、數(shù)據(jù)利用率低的缺點(diǎn)。另一種方法采用漸進(jìn)的策略選擇偽標(biāo)簽樣本數(shù)量。這種方法根據(jù)預(yù)測(cè)的置信度動(dòng)態(tài)地選擇可靠的偽標(biāo)簽數(shù)據(jù)，隨著訓(xùn)練過(guò)程不斷地進(jìn)行，模型的性能也逐漸提高；但是這種策略需要考慮樣本數(shù)量選擇的效率問(wèn)題：如果每次選擇的偽標(biāo)簽樣本數(shù)量較少，訓(xùn)練周期就會(huì)延長(zhǎng)，而且由于初始的有標(biāo)簽樣本數(shù)量少，在訓(xùn)練過(guò)程中容易出現(xiàn)過(guò)擬合的情況；如果每次選擇的偽標(biāo)簽樣本數(shù)量較多，又會(huì)導(dǎo)致偽標(biāo)簽估計(jì)準(zhǔn)確率偏低，后續(xù)模型的訓(xùn)練也會(huì)因此受到影響。

本文考慮采用漸進(jìn)學(xué)習(xí)的策略［10］。整個(gè)過(guò)程可以簡(jiǎn)單分為3 個(gè)步驟：1）為無(wú)標(biāo)簽數(shù)據(jù)生成偽標(biāo)簽；2）選擇部分可靠的偽標(biāo)簽數(shù)據(jù)與有標(biāo)簽數(shù)據(jù)組合，作為新的訓(xùn)練集；3）利用新的訓(xùn)練集再次訓(xùn)練模型。由于訓(xùn)練初期標(biāo)簽樣本數(shù)量少，模型容易過(guò)擬合，判別力不強(qiáng)，并且未被選擇的無(wú)標(biāo)簽樣本沒(méi)有發(fā)揮作用，本文設(shè)計(jì)了一個(gè)多損失學(xué)習(xí)（Multi-Loss Learning，MLL）策略。具體地，對(duì)于有標(biāo)簽數(shù)據(jù)和偽標(biāo)簽數(shù)據(jù)，為了適應(yīng)檢索任務(wù)的需求，增強(qiáng)模型的判別力，采用標(biāo)簽平滑正則化損失（Label-Smoothing Regularization Loss，LSR Loss）［11］和交叉熵?fù)p失（CrossEntropy Loss，CE Loss）進(jìn)行聯(lián)合優(yōu)化；對(duì)于沒(méi)有被選擇無(wú)標(biāo)簽數(shù)據(jù)，則采用排他損失（Exclusive Loss，Ex Loss）［10］對(duì)其進(jìn)行優(yōu)化，令其在特征空間中相互遠(yuǎn)離，減少對(duì)標(biāo)簽分配的影響，避免模型學(xué)習(xí)到無(wú)關(guān)的特征。在標(biāo)簽分配時(shí)，為了進(jìn)一步提高標(biāo)簽估計(jì)的準(zhǔn)確率，本文還設(shè)計(jì)了一個(gè)新的聯(lián)合距離度量（Joint Distance Metric，JDM），該度量能夠考慮到樣本分布的影響，保證后期選擇的偽標(biāo)簽數(shù)據(jù)的可靠性。

本文的主要工作如下：1）提出了MLL 策略，針對(duì)不同類型的數(shù)據(jù)，采用相對(duì)應(yīng)的損失函數(shù)進(jìn)行優(yōu)化，以充分地利用數(shù)據(jù)，有效緩解模型魯棒性不足的問(wèn)題，提高模型的判別力。2）設(shè)計(jì)了JDM 用于偽標(biāo)簽估計(jì)，以有效提升偽標(biāo)簽預(yù)測(cè)的準(zhǔn)確率。3）在MARS 和DukeMTMC-VideoReID 兩個(gè)大規(guī)模視頻行人數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，驗(yàn)證了本文方法的有效性。

1 相關(guān)工作

近年來(lái)，基于深度學(xué)習(xí)的視頻行人重識(shí)別發(fā)展迅速，并在各大數(shù)據(jù)集上取得了令人矚目的成果［12-16］。和基于圖片的行人重識(shí)別相比，視頻行人重識(shí)別包含更多的行人身份信息，同時(shí)也伴隨著更多的噪聲和挑戰(zhàn)。如何獲得具有判別力的序列級(jí)特征是有監(jiān)督視頻行人重識(shí)別的核心。為了解決這個(gè)問(wèn)題，研究者們主要從視頻的時(shí)空信息出發(fā)，再通過(guò)整合注意力機(jī)制提取更有效的行人特征。文獻(xiàn)［12］中提出了一種聯(lián)合時(shí)空特征整合網(wǎng)絡(luò)，同時(shí)學(xué)習(xí)質(zhì)量感知模型和幀感知模型，旨在獲得基于注意力的整合的時(shí)空特征；文獻(xiàn)［13］中主要關(guān)注行人重識(shí)別中的遮擋問(wèn)題，提出了一個(gè)時(shí)空完成網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用每一幀圖片的空間結(jié)構(gòu)和行人視頻序列的時(shí)間模式去復(fù)原遮擋部分的信息；文獻(xiàn)［14］中提出了一個(gè)協(xié)同分割啟發(fā)的架構(gòu)，利用視頻的多幀的相互共識(shí)，獲得一組突出的特征；文獻(xiàn)［15］中利用動(dòng)態(tài)圖來(lái)解決視頻行人重識(shí)別問(wèn)題，讓相鄰區(qū)域之間的聯(lián)系發(fā)揮作用；文獻(xiàn)［16］中提出了一種多粒度超圖的框架，從多個(gè)不同的粒度提取時(shí)空信息，進(jìn)而獲得更好的表征能力。

與有監(jiān)督行人重識(shí)別方法相比，半監(jiān)督行人重識(shí)別受到的關(guān)注較少。早期的半監(jiān)督行人重識(shí)別方法性能不佳［6-7］，做法局限，并且沒(méi)有在大規(guī)模的行人重識(shí)別數(shù)據(jù)集上進(jìn)行驗(yàn)證實(shí)驗(yàn)。與之前的工作不同，文獻(xiàn)［8］中基于單標(biāo)注樣本來(lái)進(jìn)行行人重識(shí)別研究，利用灰度圖像學(xué)習(xí)具備顏色不變性的特征，以解決顏色分布差異。由于這種單標(biāo)注樣本的設(shè)置十分接近現(xiàn)實(shí)的場(chǎng)景，之后的許多研究者也開始關(guān)注這個(gè)問(wèn)題［17-20］。文獻(xiàn)［18］中設(shè)計(jì)了一個(gè)特征空間正則化損失調(diào)整樣本在特征空間的分布，并且利用類間距離作為標(biāo)簽估計(jì)的距離度量；但是在利用類間距離作為標(biāo)簽估計(jì)的度量時(shí)，在訓(xùn)練后期會(huì)出現(xiàn)標(biāo)簽估計(jì)誤差大的現(xiàn)象。文獻(xiàn)［19］中采用了一種新的數(shù)據(jù)選擇策略，通過(guò)設(shè)置置信度分?jǐn)?shù)來(lái)選擇可靠的偽標(biāo)簽樣本；但是對(duì)于樣本選擇的結(jié)果影響較小，效果不明顯。文獻(xiàn)［20］中學(xué)習(xí)有監(jiān)督行人重識(shí)別特征提取的方法，設(shè)計(jì)了一個(gè)局部全局特征提取網(wǎng)絡(luò)，并用自適應(yīng)的損失平衡兩部分的作用，緩解行人圖片不對(duì)齊的問(wèn)題；但是由于單標(biāo)注樣本初始有標(biāo)簽數(shù)據(jù)比較少，模型魯棒性不足，很難提取有效的特征，并且忽視了關(guān)鍵的標(biāo)簽估計(jì)的部分。為能有效地利用無(wú)標(biāo)簽樣本，提高偽標(biāo)簽預(yù)測(cè)的準(zhǔn)確率，本文提出了一種基于單標(biāo)注樣本的多損失學(xué)習(xí)與聯(lián)合度量視頻行人重識(shí)別方法。

2 本文方法

如圖1 所示，本文采用一種迭代的方式訓(xùn)練模型。整個(gè)框架主要包含兩個(gè)部分：特征提取和標(biāo)簽估計(jì)。在特征提取階段，本文方法利用標(biāo)簽平滑正則化損失、交叉熵?fù)p失和排他損失分別對(duì)有標(biāo)簽數(shù)據(jù)、偽標(biāo)簽數(shù)據(jù)以及未選擇數(shù)據(jù)進(jìn)行訓(xùn)練，訓(xùn)練完成后評(píng)估當(dāng)前模型的性能，隨后進(jìn)入標(biāo)簽估計(jì)階段。需要注意的是，在初始階段只存在有標(biāo)簽數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)，因?yàn)槌跏茧A段還沒(méi)有進(jìn)行標(biāo)簽估計(jì)，所以不會(huì)存在偽標(biāo)簽數(shù)據(jù)。在標(biāo)簽估計(jì)階段，利用之前訓(xùn)練得到的模型將有標(biāo)簽數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)映射到特征空間，隨后根據(jù)特定的度量分配偽標(biāo)簽，選擇較為可靠的偽標(biāo)簽樣本作為下一次訓(xùn)練的子集，剩余的數(shù)據(jù)即作為未選擇數(shù)據(jù)。

圖1 本文方法的整體迭代框架Fig.1 Overall iterative framework of the proposed method

特別地，在每次迭代中，選擇的偽標(biāo)簽樣本數(shù)量是不斷增加的。為了方便調(diào)整選擇的偽標(biāo)簽樣本的數(shù)量，本文設(shè)置了一個(gè)參數(shù)p來(lái)控制每次迭代增加的偽標(biāo)簽樣本的比率。

2.1 多損失學(xué)習(xí)策略

本文采用基于單標(biāo)注樣本的實(shí)驗(yàn)設(shè)置，在初始階段訓(xùn)練數(shù)據(jù)被劃分成兩個(gè)部分：有標(biāo)簽數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)。在隨后的過(guò)程中，每次標(biāo)簽估計(jì)之后會(huì)從無(wú)標(biāo)簽數(shù)據(jù)中選擇部分可靠的偽標(biāo)簽數(shù)據(jù)作為下次訓(xùn)練的子集。此時(shí)，無(wú)標(biāo)簽數(shù)據(jù)中仍剩余部分?jǐn)?shù)據(jù)未被選擇，這些數(shù)據(jù)由于置信度較低，被認(rèn)為是不可靠的樣本。在文獻(xiàn)［9］中分配偽標(biāo)簽之后，就丟棄了這部分未被選擇的數(shù)據(jù)。由于漸進(jìn)的策略在初期選擇的偽標(biāo)簽樣本數(shù)量比較少，這種做法不能充分地利用無(wú)標(biāo)簽數(shù)據(jù)，因此，為了在訓(xùn)練階段高效地利用樣本，本文設(shè)計(jì)了一個(gè)MLL 策略。

該策略的整體結(jié)構(gòu)如圖2 所示，在t次迭代時(shí)，訓(xùn)練集將有三種類型的數(shù)據(jù)：有標(biāo)簽數(shù)據(jù)L、偽標(biāo)簽數(shù)據(jù)Pt和未選擇數(shù)據(jù)Nt。行人重識(shí)別本質(zhì)上來(lái)說(shuō)是一個(gè)視頻檢索任務(wù)，為了更適合實(shí)際的需求，本文將其作為分類問(wèn)題來(lái)處理。在分類任務(wù)中，交叉熵?fù)p失是常用的損失函數(shù)。

圖2 MLL策略Fig.2 MLL strategy

其中：xi表示輸入的數(shù)據(jù)，yi是與之對(duì)應(yīng)的真實(shí)標(biāo)簽；n表示樣本總數(shù)；p(yi|xi)表示xi被預(yù)測(cè)為yi的概率。在單標(biāo)注樣本的環(huán)境下，每個(gè)行人只有一個(gè)有標(biāo)簽視頻段，可用于訓(xùn)練的樣本數(shù)量很少。在訓(xùn)練時(shí)，模型學(xué)習(xí)到的特征少，泛化性和判別力不強(qiáng)，容易陷入過(guò)擬合的情況，因此在標(biāo)簽估計(jì)時(shí)，偽標(biāo)簽預(yù)測(cè)錯(cuò)誤的情況十分常見，對(duì)后續(xù)模型的訓(xùn)練造成消極的影響。

針對(duì)這個(gè)問(wèn)題，本文在訓(xùn)練時(shí)采用標(biāo)簽平滑正則化損失［11］，該損失能有效緩解模型訓(xùn)練中的過(guò)擬合問(wèn)題。該損失表示如下：

其中：k∈{1，2，…，K}是訓(xùn)練數(shù)據(jù)預(yù)先定義的類別；p(k)是樣本被預(yù)測(cè)為k的概率；ε∈[0，1]是一個(gè)超參數(shù)。針對(duì)數(shù)據(jù)浪費(fèi)的問(wèn)題，本文使用排他損失對(duì)未被選擇的數(shù)據(jù)進(jìn)行優(yōu)化。使用該損失的目的是在特征空間中，希望未被選中的數(shù)據(jù)相互遠(yuǎn)離，避免模型學(xué)習(xí)到無(wú)關(guān)的特征，影響到標(biāo)簽估計(jì)的準(zhǔn)確率。該損失表示如下：

其中：vi=?(θ；xi)是樣本xi的歸一化特征嵌入；τ是用來(lái)控制分布的參數(shù)?？偟膩?lái)說(shuō)，本文提出的策略在三種類型的數(shù)據(jù)上聯(lián)合優(yōu)化模型。根據(jù)式（1）～（3）可以得到最終用于訓(xùn)練的目標(biāo)函數(shù)：

其中λ是一個(gè)超參數(shù)，用來(lái)平衡兩個(gè)部分對(duì)于模型訓(xùn)練的影響。

2.2 聯(lián)合距離度量

標(biāo)簽估計(jì)是目前半監(jiān)督行人重識(shí)別任務(wù)的主要挑戰(zhàn)［21-23］，如何為無(wú)標(biāo)簽數(shù)據(jù)分配正確的偽標(biāo)簽對(duì)于模型訓(xùn)練起著至關(guān)重要的作用。在以往的工作［9-10］中，通常采用最近鄰分類的方法來(lái)分配偽標(biāo)簽。具體地，無(wú)標(biāo)簽數(shù)據(jù)的偽標(biāo)簽由特征空間中距離它最近的有標(biāo)簽數(shù)據(jù)分配。但是這種方法存在一定的缺陷，在選取的偽標(biāo)簽數(shù)量較多時(shí)，標(biāo)簽估計(jì)的準(zhǔn)確率會(huì)下降，影響模型的性能。如圖3 所示，圓圈包含的空心圓表示有標(biāo)簽數(shù)據(jù)，圓圈包含的實(shí)心圓表示偽標(biāo)簽數(shù)據(jù)，圓圈外的實(shí)心圓表示無(wú)標(biāo)簽數(shù)據(jù)，u1、u2是特征空間中兩個(gè)無(wú)標(biāo)簽數(shù)據(jù)。如果使用最近鄰分類來(lái)分配偽標(biāo)簽，那么左上方空心圓的標(biāo)簽會(huì)被分配給u1，而u2因?yàn)榫嚯x兩個(gè)有標(biāo)簽數(shù)據(jù)較遠(yuǎn)，模型難以正確地分配標(biāo)簽，但是明顯u2距離u1較近，有很大可能屬于同一個(gè)類別。針對(duì)上述問(wèn)題，本文提出了一個(gè)JDM 用于標(biāo)簽估計(jì)。首先，計(jì)算有標(biāo)簽數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)之間的距離，本文將這個(gè)距離稱為樣本距離DSi。

圖3 JDM用于標(biāo)簽估計(jì)示意圖Fig.3 Schematic diagram of JDM for label estimation

其中：vi表示有標(biāo)簽數(shù)據(jù)，vj表示無(wú)標(biāo)簽數(shù)據(jù)，‖ ‖?表示歐氏距離。本文選擇有標(biāo)簽數(shù)據(jù)的K最近鄰樣本稱為Cl。本文設(shè)計(jì)了一個(gè)近鄰距離來(lái)表示無(wú)標(biāo)簽數(shù)據(jù)和有標(biāo)簽數(shù)據(jù)的最近鄰樣本Cl的關(guān)系。該距離表示如下：

根據(jù)式（5）、（6），可以得到最終的JDM：

其中：DS是樣本距離矩陣，DN是近鄰距離矩陣，DJ是聯(lián)合距離矩陣，α是一個(gè)用來(lái)調(diào)整兩種距離的作用的參數(shù)。在特征空間中，相似的樣本應(yīng)該具有相似的分布。為了達(dá)到這個(gè)目的，本文設(shè)計(jì)了JDM 來(lái)進(jìn)行標(biāo)簽估計(jì)。在分配標(biāo)簽時(shí)，不僅考慮樣本和有標(biāo)簽數(shù)據(jù)之間的聯(lián)系，而且參考了有標(biāo)簽數(shù)據(jù)的近鄰樣本的信息，以提高標(biāo)簽估計(jì)的準(zhǔn)確率。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

本文實(shí)驗(yàn)使用的數(shù)據(jù)集是當(dāng)前視頻行人重識(shí)別領(lǐng)域兩個(gè)主流的大規(guī)模數(shù)據(jù)集MARS 和DukeMTMC-VideoReID。

MARS 數(shù)據(jù)集［24］包含由6 個(gè)攝像頭捕捉的20 478 個(gè)視頻片段，其中17 503 個(gè)視頻片段為有效片段，其余3 248 個(gè)視頻片段是干擾片段；出現(xiàn)的行人總數(shù)為1 261，訓(xùn)練集中出現(xiàn)625，測(cè)試集中出現(xiàn)636。

DukeMTMC-VideoReID 數(shù)據(jù)集［9］是DukeMTMC 的子集，包含1 812 個(gè)行人，4 832 個(gè)視頻片段，其中訓(xùn)練集中包含702個(gè)行人，2 196 個(gè)視頻片段；測(cè)試集中包含702 個(gè)行人，2 636個(gè)視頻片段。

評(píng)估模型性能時(shí)，采用通用的累積匹配特征（Cumulative Matching Characteristic，CMC）曲線和平均準(zhǔn)確率（mean Average Precision，mAP）作為評(píng)價(jià)指標(biāo)。

3.2 實(shí)驗(yàn)設(shè)置

本文采用和文獻(xiàn)［10］基本相同的實(shí)驗(yàn)設(shè)置，CNN 提取器為移除最后一層分類層的ResNet-50 網(wǎng)絡(luò)。為了便于MLL 策略的訓(xùn)練，本文在CNN 提取器前增加了全連接層和分類層。GPU 設(shè)備為NVIDIA GeForce RTX 2080Ti。特別地，在使用MLL 策略訓(xùn)練時(shí)：ε的值設(shè)為0.1；τ值設(shè)為0.1；λ的初始值設(shè)為0.8，在最后15 個(gè)周期中變?yōu)?；在利用JDM 進(jìn)行標(biāo)簽估計(jì)時(shí)，α值設(shè)置為0.5，K設(shè)置為3，并通過(guò)實(shí)驗(yàn)驗(yàn)證。

3.3 實(shí)驗(yàn)結(jié)果和對(duì)比

為了驗(yàn)證所提方法的有效性，在兩個(gè)大規(guī)模數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)并和先進(jìn)的方法比較。如表1 所示，比較方法有EUG（Exploit the Unknown Gradually）［9］、PL（Progressive Learning）［10］、DGM+IDE（Dynamic label Graph Matching+IDdiscriminative Embedding）［17］、SCLU（Semi-supervised Collaboration between the Labeled and Unlabeled）［19］、LGF（Local-Global Feature）［20］、Stepwise（Stepwise metric promotion）［25］、PUL（Progressive Unsupervised Learning）［26］、BUC（Bottom-Up Clustering）［27］等方法，其中，Baseline（one-shot）［10］表示只使用單個(gè)有標(biāo)簽數(shù)據(jù)訓(xùn)練，不進(jìn)行數(shù)據(jù)集擴(kuò)充的方法。

表1 各方法在兩個(gè)大規(guī)模數(shù)據(jù)集上的性能比較 單位：%Tab.1 Performance comparison of different methods on two large-scale datasets unit：%

從表2 可以看出：在MARS 數(shù)據(jù)集上，本文方法的rank-1最高達(dá)到了68.5%，mAP 達(dá)到了最高47.8%；在DukeMTMCVideoReID 數(shù)據(jù)集上，本文方法的rank-1 最高達(dá)到了76.5%，mAP 最高達(dá)到了68.7%，遠(yuǎn)超DGM+IDE、Stepwise、BUC 等方法。和先進(jìn)方法PL 相比，當(dāng)p=0.10 時(shí)：本文方法在MARS 數(shù)據(jù)集上rank-1 提升了7.6 個(gè)百分點(diǎn)，mAP 提升了9.3 個(gè)百分點(diǎn)；在DukeMTMC-VideoReID 數(shù)據(jù)集上rank-1 提升了5.2 個(gè)百分點(diǎn)，mAP 提升了5.6 個(gè)百分點(diǎn)。當(dāng)p=0.05 時(shí)：本文的方法在MARS 數(shù)據(jù)集上rank-1 提升了5.7 個(gè)百分點(diǎn)，mAP 提升了5.2 個(gè)百分點(diǎn)；在DukeMTMC-VideoReID 數(shù)據(jù)集rank-1 提升了3.6 個(gè)百分點(diǎn)，mAP 提升了5.4 個(gè)百分點(diǎn)?？梢钥闯觯疚姆椒ǖ男阅芴嵘黠@。特別地，由于LGF 采用全局特征和局部特征整合的方法，在DukeMTMC-VideoReID 數(shù)據(jù)集上有極佳的效果，超過(guò)了有監(jiān)督的方法，但是在MARS 數(shù)據(jù)集效果不佳，而本文方法在兩個(gè)數(shù)據(jù)集上都取得了不錯(cuò)的效果。

為了進(jìn)一步證明本文方法的有效性，比較了該方法和其他方法在兩個(gè)數(shù)據(jù)集上的標(biāo)簽估計(jì)準(zhǔn)確率。如表2 所示，表中dis 表示采用不相似性模式（dissimilarity mode），cls 表示采用分類模式（classification mode），con 表示采用置信度模式（confidence score），實(shí)驗(yàn)采用的p為0.10。和PL 相比：本文方法在MARS 數(shù)據(jù)集上標(biāo)簽估計(jì)準(zhǔn)確率達(dá)到了66.3%，提升了10.6 個(gè)百分點(diǎn)；在DukeMTMC-VideoReID 數(shù)據(jù)集上，本文方法標(biāo)簽估計(jì)準(zhǔn)確率達(dá)到了76.8%，提升了5.6 個(gè)百分點(diǎn)。

表2 各方法的標(biāo)簽估計(jì)準(zhǔn)確率對(duì)比 單位：%Tab.2 Comparison of label estimation precision among different methods unit：%

綜合以上分析，可以看出本文的方法取得的rank-1、mAP 以及標(biāo)簽估計(jì)的準(zhǔn)確率都高于當(dāng)前同類的方法，驗(yàn)證了本文方法的優(yōu)越性。

3.3.1 MLL策略的有效性

圖4 為p=0.10 時(shí)，在兩個(gè)數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果，其中：JDM 表示只使用JDM，MLL 表示只是用MLL 策略，JDM+MLL 表示同時(shí)使用MLL 策略和JDM。

圖4 p=0.10時(shí)在兩個(gè)數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果Fig.4 Ablation experiment results on two datasets withp=0.10

從圖4 可以看出，在MARS 數(shù)據(jù)集上，同時(shí)使用兩種方法時(shí)效果最優(yōu)，而且MLL 策略的效果要優(yōu)于JDM 的效果；而在DukeMTMC-VideoReID 數(shù)據(jù)集上，兩種方法的效果比較接近，同時(shí)使用兩種策略仍能取得不錯(cuò)的效果?？偟膩?lái)說(shuō)，只使用MLL 策略或者只使用JDM 都能在兩個(gè)數(shù)據(jù)集上取得優(yōu)于PL的表現(xiàn)，當(dāng)使用MLL+JDM 時(shí)，算法表現(xiàn)最好，這也證明了本文的MLL 策略和JDM 的有效性。具體的數(shù)值如表3 所示。

表3 p取不同值時(shí)在MARS和DukeMTMC-VideoReID數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果 單位：%Tab.3 Ablation experiment results on MARS and DukeMTMC-VideoReID datasets with differentp values unit：%

3.3.2 聯(lián)合距離度量α取值的分析

本文采用JDM 來(lái)進(jìn)一步提高標(biāo)簽估計(jì)的準(zhǔn)確率，該度量包含了樣本距離和近鄰距離，其中α是一個(gè)重要參數(shù)，能夠決定兩種距離對(duì)于偽標(biāo)簽分配的影響。表4 為在DukeMTMCVideoReID 數(shù)據(jù)集上使用不同α的JDM 的比較?？梢钥吹?，隨著α的增加，rank-1 和mAP 也逐漸增加，當(dāng)α=0.5 時(shí)效果最佳，當(dāng)α=0.6 時(shí)，rank-1 和mAP 又開始下降?？梢钥闯?，某一個(gè)距離過(guò)大或過(guò)小，對(duì)于標(biāo)簽估計(jì)的準(zhǔn)確率影響都比較大，所以為了平衡兩個(gè)距離的作用，本文將α設(shè)為0.5。

表4 在DukeMTMC-VideoReID上使用不同α的JDM性能的比較 單位：%Tab.4 Performance comparison of JDM with differentα on DukeMTMC-VideoReID unit：%

3.3.3 聯(lián)合距離度量的K取值的分析

在使用JDM 時(shí)，選取適當(dāng)?shù)挠袠?biāo)簽數(shù)據(jù)的K近鄰也是一個(gè)重要的問(wèn)題。表5 為本文方法在DukeMTMC-VideoReID 數(shù)據(jù)集上選擇不同K值的JDM?？梢钥闯?，在K=3 時(shí)，整體效果最好。當(dāng)選擇的K值較小時(shí)，對(duì)難樣本的標(biāo)簽分配準(zhǔn)確率低；而當(dāng)K值較大時(shí)，近鄰中會(huì)包含錯(cuò)誤的樣本，對(duì)偽標(biāo)簽的分配不利。綜合以上的考慮，本文選擇K=3 進(jìn)行實(shí)驗(yàn)，保證JDM 的有效性。

表5 在DukeMTMC-VideoReID上使用不同K值的JDM的性能比較 單位：%Tab.5 Performance comparison of JDM with differentK on DukeMTMC-VideoReID unit：%

4 結(jié)語(yǔ)

本文關(guān)注基于單標(biāo)注樣本的視頻行人重識(shí)別問(wèn)題。針對(duì)單標(biāo)注樣本設(shè)置下有標(biāo)簽數(shù)據(jù)不足和無(wú)標(biāo)簽數(shù)據(jù)浪費(fèi)的問(wèn)題，設(shè)計(jì)了一個(gè)多損失學(xué)習(xí)（MLL）策略，以減輕模型過(guò)擬合的情況，增強(qiáng)模型的判別力。為了進(jìn)一步提升標(biāo)簽預(yù)測(cè)的準(zhǔn)確度，本文還設(shè)計(jì)了一個(gè)聯(lián)合距離度量（JDM），在標(biāo)簽估計(jì)時(shí)能考慮相似的數(shù)據(jù)間的分布情況，分配更準(zhǔn)確的偽標(biāo)簽。在兩個(gè)大規(guī)模數(shù)據(jù)集上的優(yōu)異表現(xiàn)驗(yàn)證了本文方法的有效性。雖然本文方法有效地提高了偽標(biāo)簽估計(jì)的準(zhǔn)確率，但數(shù)據(jù)集中仍存在一些外觀相似且人眼都難以分辨的樣本，如何進(jìn)一步提高識(shí)別的準(zhǔn)確率還需要進(jìn)一步探索。