汪榮貴，李 懂，楊 娟，薛麗霞

（合肥工業(yè)大學計算機與信息學院，合肥 230601）

0 概述

隨著深度學習的發(fā)展，行人重識別已成為計算機視覺領域的研究熱點，因其在行人行為分析［1］、行人追蹤［2-4］等方面的廣泛應用而備受關注。行人重識別技術與行人檢測算法相結合，普遍適用于智能視頻監(jiān)控系統(tǒng)［5］。

行人重識別的研究面臨行人姿態(tài)變化、圖像分辨率低、行人遮擋姿態(tài)不完整以及由鏡頭切換導致行人視角轉變、光照和背景變化等諸多挑戰(zhàn)。由于拍攝場景的多樣性，即使同一行人在不重疊視域的多攝像機或不同環(huán)境條件下表現(xiàn)的體貌特征也可能存在較大的差異，而不同行人可能因體型或衣著相似導致特征區(qū)分度低。此外，行人重識別數(shù)據(jù)獲取難度較大，雖然通過目標檢測方法［6］或基于深度學習的行人跟蹤算法能夠自動提取圖像中的行人區(qū)域，但仍需人工標注行人身份ID。文獻［7］根據(jù)已標注行人數(shù)據(jù)，采用生成對抗網(wǎng)絡（Generative Adversarial Network，GAN）［8］快速生成行人樣本，然而生成的圖像分辨率較低，且模型性能提升有限。文獻［9］提出結合行人外觀和結構空間特征，通過GAN 生成高質量的圖像樣本，進一步提高模型性能。

雖然數(shù)據(jù)集規(guī)模的擴充能夠提高行人重識別模型的準確率，在一定程度上解決數(shù)據(jù)集規(guī)模過小的問題，但是GAN 網(wǎng)絡在訓練過程中仍需標注大量樣本。此外，不同行人重識別數(shù)據(jù)集在樣本量和圖像風格上存在較大差異，使得在一個數(shù)據(jù)集上訓練的模型直接應用到未知數(shù)據(jù)時，會出現(xiàn)準確率顯著下降的情況。針對該問題，無監(jiān)督行人重識別方法［10-12］將無標注或僅部分標注的目標數(shù)據(jù)集加入到訓練中，模型能夠學習到目標數(shù)據(jù)集的樣本特征，在一定程度上解決行人重識別的跨域問題。然而無監(jiān)督行人重識別方法缺乏足夠的標注信息，其與監(jiān)督學習模型在準確率上存在較大差距。為進一步提升無監(jiān)督行人重識別的準確度，文獻［13］利用聚類方法將具有相似視覺特征的圖像分配相同的偽標簽，并用此方式獲得的數(shù)據(jù)作為標注樣本。文獻［14］通過迭代選擇聚類無標記的目標域以生成弱標簽。文獻［15］提出深度軟多標簽參考學習網(wǎng)絡，將每張無標注行人圖像與一組輔助參照樣本進行對比，使得軟多標簽在不同視角相機下保持一致性。文獻［16］提出一種基于軟化相似度學習的無監(jiān)督行人重識別框架，采用重新分配軟標簽分布的分類網(wǎng)絡對約束平滑的相似圖像進行學習。以上方法未能同時利用已有的標注數(shù)據(jù)來探索無標注數(shù)據(jù)內(nèi)部特征關聯(lián)。行人重識別域自適應的目標是利用有標記的源域與未標記的目標域學習一個具有較高泛化能力的行人重識別模型。當前主流方法多為減小源域和目標域之間的特征分布差異，而忽略了無標注目標域的域內(nèi)變化。

以上行人重識別算法的無標注數(shù)據(jù)檢索準確度低，為此，本文提出一種域自適應無監(jiān)督行人重識別算法。利用跨域特征提取器（CSTE）挖掘不同行人重識別數(shù)據(jù)集間潛在的特征關聯(lián)，在無任何標注信息的情況下，特征庫從一個未知數(shù)據(jù)集中學習判別性特征，建立無標注目標域潛在的內(nèi)部樣本關聯(lián)，從而提高行人重識別模型在無標注目標域的泛化能力。

1 域自適應無監(jiān)督行人重識別網(wǎng)絡結構

1.1 模型架構

源域和目標域分別代表已標注與無標注的行人重識別數(shù)據(jù)集，給定包括Ns張行人圖像的源域數(shù)據(jù)集{Xs，Ys}，每張行人圖像標注有ID 信息；目標域數(shù)據(jù)集{Xt}包含Nt張行人圖像，所有行人無ID標注信息，其中s、t 分別表示源域與目標域。本文將已標注源域與無標注的目標域行人樣本加入訓練，學習一個在目標域具有較強泛化能力的特征表示。

本文所提的域自適應無監(jiān)督行人重識別模型架構如圖1 所示。

圖1 本文模型架構Fig.1 Framework of the proposed model

本文模型架構由ResNet-50 骨干網(wǎng)絡、跨域特征提取器（CSTE）和存儲目標域特征的特征庫3 個模塊構成。ResNet-50 作為模型骨干網(wǎng)絡，初步提取輸入圖像特征。CSTE 通過學習源域與目標域行人的遷移不變性特征以挖掘不同行人重識別數(shù)據(jù)集間潛在的特征關聯(lián)。特征庫是利用無監(jiān)督學習聚類算法從目標域中挖掘潛在的內(nèi)部樣本關聯(lián)，以保存無標注目標域的樣本特征。

模型的輸入包括標注的源域行人數(shù)據(jù)集{Xs，Ys}與無標注的目標域行人數(shù)據(jù)集{Xt}。對于行人樣本xi，ResNet-50 骨干網(wǎng)絡提取中間卷積層Layer 3 與Layer 4 的特征，并 對Layer 4 卷積層的輸出用全局平均池化（Global Average Pooling，GAP）提取2 048 維特征向量。模型訓練過程分為有監(jiān)督學習過程和無監(jiān)督學習過程2 個階段，主要包括：1）在ResNet-50 骨干網(wǎng)絡的分類模塊與CSTE 分類模塊，應用ID 分類損失函數(shù)對輸入的已標注源域樣更新模型參數(shù)；2）對于無標注的目標數(shù)據(jù)集，CSTE 模塊對ResNet-50 Layer 3 層的輸出提取2 048 維的特征向量，并與ResNet-50 輸出的同維向量相連，以得到4 096 維特征向量作為訓練階段目標域行人特征，并將其存入在訓練過程中實時更新的特征庫，同時依據(jù)特征庫計算目標域損失Ltgt以更新網(wǎng)絡模型。評估階段是對所有目標域輸入圖像進行提取，得到4 096 維Eval 特征向量，并作為模型的輸出，將計算得到各行人Eval 特征向量的余弦距離作為其相似度，對相似度進行排序并作為行人檢索結果以評估模型性能。

1.1.1 跨域特征提取器

監(jiān)督行人重識別算法無法利用無標注的目標域行人樣本來更新模型參數(shù)，使得模型難以有效學習目標域的行人特征。本文所提CSTE 可以挖掘不同行人重識別數(shù)據(jù)集間潛在的特征關聯(lián)。CSTE 提取輸入的源域行人樣本的特征向量，通過全連接分類層輸出對應于源域行人ID 數(shù)維度的向量，使用分類損失函數(shù)對輸入的源域圖像更新模型參數(shù)。同時，CSTE 提取無標注的目標域行人樣本的提取2 048 維特征向量，將其與ResNet-50 輸出的同維向量相連并作為訓練階段目標域行人特征，并將該特征存儲到特征庫的對應位置。CSTE 結構如圖2所示。

圖2 跨域特征提取器結構Fig.2 CSTE structure

給定輸入特征X∈RC×H×W，其中C表示輸入特征通道數(shù)，H、W分別表示特征圖高與寬，CSTE 模塊提取流程主要有5 個步驟。

步驟1保持輸入特征圖X通道數(shù)C不變，并在寬和高兩個方向上展開得到矩陣A=[C×N]，AT=[N×C]，如式（1）所示：

其中：n∈{1，2，…，H×W}；w+h×W=n；N=H×W，即將二維特征圖在寬和高兩個維度上展開為特征向量，方便后續(xù)計算。

步驟2將Softmax 函數(shù)應用于矩陣A×AT與AT×A以更新參數(shù)，從圖2 可以看出，通過上下兩個通路提取通道與特征圖寬和高兩個方向對應的特征矩陣，如式（2）、式（3）所示：

其中：aij為矩陣A的第i行、第j列元素。在步驟2 中分別提取了源域與目標域在通道與特征圖方向的共性特征，并將其融合以挖掘兩個數(shù)據(jù)域間潛在的特征關聯(lián)。

步驟3將原始特征圖A分別與第2 步得到的矩陣相乘，如式（4）、式（5）所示：

步驟4將步驟3 的輸出恢復為原始輸入特征圖X的大小，如式（6）、式（7）所示：

步驟5將Xout1與Xout2分別與原輸入特征圖X對應的元素相加，再經(jīng)全局平均池化（GAP）得到2 個大小為1 024 的特征向量，最后將2 個向量直接相連作為CSTE 模塊的最終輸出，如式（8）所示：

其中：⊕為特征按元素求和操作；GGAP為全局平均池化。在無監(jiān)督學習設置下，將2 048 維的特征與ResNet-50 輸出的同維向量相連接，作為目標域的樣本特征并存儲在特征庫的相應位置。CSTE 利用ID 分類損失對源域行人樣本進行監(jiān)督學習。

1.1.2 特征庫

為提高行人重識別算法在實際應用場景下的準確度，本文將無標注的目標域行人樣本加入進行訓練。由于有監(jiān)督學習方法無法將分類損失函數(shù)應用于無標注數(shù)據(jù)中，本文提出FB 模塊以存放目標域行人的特征向量，并在模型訓練階段實時更新特征庫，在目標域中通過無監(jiān)督學習聚類算法挖掘潛在的內(nèi)部樣本關聯(lián)。本文定義特征庫，其 中，索引i表示目標域第i個樣本，Nt表示目標域樣本總數(shù)，vi為維度D（4 096）的特征向量，分別對應于目標域各樣本的實時特征。特征庫初始化為，以表示模型提取目標域樣本的特征向量，在模型訓練過程中通過式（9）實時更新特征庫：

其中：|| ·||2為L2 正則化；參數(shù)α為控制特征庫更新率，并隨著模型輪回數(shù)的增加而減小，α越大表示當前階段特征更新越緩慢。

在模型訓練過程中，特征庫存儲所有目標域樣本的特征向量，通過計算樣本間特征余弦距離以搜索與目標域中具有相似特征的行人。定義為目標域所有行人余弦距離矩陣，如式（10）所示：

其中：Ε[i][j]∈[0，1]；V[j]為特征庫中圖像的特征向量。若兩個樣本的余弦距離大于一定的閾值θ（0.5）時，則表示該樣本對為同一行人，否則將其視為不同的ID。式（11）定義的Κ[i][j]表示輸入圖像和是否為同一行人。Κ[i][j]=1 表示輸入樣本與屬于同一行人，相反Κ[i][j]=0 表示兩個行人身份ID 不同。

本文利用無標注樣本間的潛在特征關聯(lián)選擇目標域中特征相近的樣本作為同一聚類，通過最小化目標域相似樣本間的距離來拉近正樣本對，定義如下?lián)p失函數(shù)，如式（12）所示：

其中：|| ·||為對所有元素求和；利用Softmax 函數(shù)計算行人xt身份ID 為i的概率，如式（13）所示：

其中：η為Softmax 函數(shù)的溫度參數(shù)，η越大則函數(shù)結果越平滑，反之越尖銳，本文取值為0.1；V[j]表示特征庫第j列，即vj。

在訓練過程中將目標域中所有樣本視為不同的行人，Lpush損失函數(shù)使得不同行人之間的距離最大化，從而提高模型挖掘無標注樣本潛在區(qū)別性特征的能力，如式（14）所示：

本文通過無監(jiān)督學習挖掘目標域中的特征關聯(lián)，設計Lpush和Lpull損失函數(shù)以拉近特征相似的正樣本對，從而推遠特征相差較大的負樣本對。本文用Ltgt表示上述兩個損失函數(shù)之和，如式（15）所示：

1.1.3 多損失函數(shù)學習

本文利用源域與目標域行人數(shù)據(jù)來更新模型，將訓練過程分為監(jiān)督和無監(jiān)督2 個階段。在監(jiān)督學習階段，本文采用分類交叉熵損失函數(shù)Lsrc更新ResNet-50 骨干網(wǎng)絡，如式（16）所示：

用于模型訓練的總損失函數(shù)如式（18）所示：

其中：參數(shù)λ、β、ζ為控制上述3種損失函數(shù)的相對權重，在實驗中分別設置為0.3、0.7、0.5。最小化LCSTE能夠提高模型有效挖掘源域與目標域之間特征關聯(lián)的能力。

2 實驗結果分析

2.1 實驗數(shù)據(jù)與評價準則

為驗證所提算法的有效性，本文在行人重識別三大公開數(shù)據(jù)集Market-1501［17］、DukeMTMC-reID［2］與MSMT17［18］上進行實驗，采用平均精度均值（mAP）［17］和累積匹配特性曲線（CMC）［19］作為算法性能的評估指標。Market-1501數(shù)據(jù)集包括在6個攝像頭視角下的1 501個行人，其中751個行人的12 936幅圖像用作訓練，750個行人的19 732幅圖像用于評估模型性能。DukeMTMC-reID作為DukeMTMC數(shù)據(jù)集的子集，包括在8個攝像頭下采集的1 812個行人的16 522個樣本，2 228幅檢索圖像。MSMT17數(shù)據(jù)集包括在12個室外和3個室內(nèi)共15個攝像頭采集的4 101個行人的126 441幅圖像，是目前規(guī)模最大的行人重識別數(shù)據(jù)集。

2.2 實驗環(huán)境

本文使用ImageNet 數(shù)據(jù)集［20］預訓練ResNet-50模型［21］作為骨干網(wǎng)絡。實驗采用Linux 環(huán)境下開源Pytorch 框 架［22］，在NVIDIA GeForce RTX 2080Ti GPU 上進行80 個輪回數(shù)，將所有輸入的圖像尺寸調整為256×128，并以0.5 的概率進行隨機水平翻轉和隨機擦除［23］，采用隨機梯度下降（SGD）優(yōu)化器［24］，學習率為0.1，動量因子為0.9。

2.3 其他先進算法對比

近年來，其他先進跨域行人重識別算法主要有PTGAN［18］、CamStyle［25］、SPGAN［10］、MMFA［26］、TJ-AIDL［27］、HHL［28］、ECN［29］等，其 中PTGAN［18］、CamStyle［25］通過擴充樣本提高模型的泛化能力，SPGAN［10］、MMFA［26］、TJ-AIDL［27］、HHL［28］與ECN［29］為域自適應無監(jiān)督行人重識別算法。本文在三大公開行人重識別數(shù)據(jù)集上對本文算法與其他算法進行性能對比，以驗證本文所提算法各模塊在不同實驗設置下的有效性。在Market-1501/DukeMTMC-reID數(shù)據(jù)集上不同算法的性能指標對比如表1 所示。當DukeMTMC-reID 為源域，Market-1501 為目標域時（DukeMTMC-reID to Market-1501），本文算法的mAP指標和Rank-1 指標相較于ECN 算法分別提高20.1 和8.9個百分點。當DukeMTMC-reID 為目標域，Market-1501為源域時（Market-1501 to DukeMTMC-reID），本文算法mAP 和Rank-1 指標相較于ECN 算法分別提高8.7 和6.8 個百分點。在Market-1501/DukeMTMC-reID 數(shù)據(jù)集，本文所提算法的CMC 與mAP 指標均優(yōu)于近年來無監(jiān)督行人重識別算法。

表1 在Market-1501 和DukeMTMC-reID 數(shù)據(jù)集上不同算法的性能指標對比Table 1 Performance indexs comparison among different algorithms on Market-1501 and DukeMTMC-reID datasets %

為進一步驗證本文算法的有效性，表2 表示MSMT17 為目標域時不同算法的性能指標對比。當Market-1501 為源域時，相比ECN 算法，本文算法的Rank-1 和mAP 分別提高了6.1 和2.9 個百分點。當DukeMTMC-reID 為源域時，相比ECN 算法，本文算法的Rank-1 和mAP 指標分別提高4.5 和2.8 個百分點，說明本文算法在大規(guī)模行人重識別數(shù)據(jù)集具有通用性與適應性。

表2 在MSMT17 數(shù)據(jù)集上不同算法的性能指標對比Table 2 Performance indexs comparison among different algorithms on MSMT17 dataset %

本文模型經(jīng)過80 個輪回數(shù)訓練后的性能測試用時如表3 所示。實驗數(shù)據(jù)集規(guī)模由小到大依次為：Market-1501、DukeMTMC-reID 與MSMT17。從表3 可以看出，模型訓練和測試用時與數(shù)據(jù)集包括的圖像數(shù)量成正相關。

表3 訓練與測試各數(shù)據(jù)集時間對比Table 3 Comparison of training and testing time of each dataset

2.4 消融實驗

在Market-1501/DukeMTMC-reID 數(shù)據(jù)集上，本文算法有無Ltgt的準確率對比如圖3 所示。從圖3 可以看出，模型在約70 個輪回數(shù)時出現(xiàn)收斂的情況。為驗證本文算法中各模塊的有效性，在本文算法中加入FB 模塊和同時加入FB 和CSTE 模塊的性能指標對比如表4所示。在以DukeMTMC-reID 作為源域的Market-1501數(shù)據(jù)集上，同時加入FB 和CSTE 模塊相較于只加入FB模塊算法的Rank-1 和mAP 分別提升了1.9 和2.6 個百分點，在以Market-1501 作為源域的DukeMTMC-reID數(shù)據(jù)集上，Rank-1和mAP分別提升1.9和2.3個百分點。因此，同時加入FB 和CSTE 模塊能夠高效地利用源域與目標域的特征屬性，有助于提升算法提取行人特征的能力，從而提高算法的準確性。

圖3 本文算法有無Ltgt的準確率對比Fig.3 Accuracy comparison of the proposed algorithm with and without Ltgt

表4 本文算法有無CSTE/FB 模塊的性能指標對比Table 4 Performance indexs comparison of the proposed algorithm with and without CSTE/FB modules %

圖4 展示了在Market-1501 與DukeMTMC-reID數(shù)據(jù)集上本文算法有無FB/FB+CSTE 模塊的部分行人檢索結果，輸出與查詢圖像最相似的10 張行人檢索圖片。圖中空心矩形框包圍的圖像檢索結果與查詢圖像屬于不同的行人，即錯誤的檢索結果。其他圖像表示檢索結果與查詢圖像屬于同一行人，具有相同標簽為正確的檢索結果。從圖4 可以看出，在Market-1501 與DukeMTMC-reID 數(shù)據(jù)集上引入CSTE 模塊均能改進模型的檢索效果。

圖4 本文算法有無FB/（FB+CSTE）模塊的部分行人檢索結果Fig.4 Part of pedestrian search results of the proposed algorithm with and without FB/（FB+CSTE）modules

3 結束語

本文提出一種域自適應的無監(jiān)督行人重識別算法，利用跨域特征提取器挖掘不同行人重識別數(shù)據(jù)集間潛在的特征關聯(lián)關系，以提高算法在未知數(shù)據(jù)集上的泛化能力，同時通過特征庫存儲的無標注樣本屬性特征從未知數(shù)據(jù)集中學習判別性特征，建立目標域潛在的內(nèi)部樣本關聯(lián)關系。實驗結果表明，相比ECN、PTGAN 等算法，本文算法具有較強的可擴展性和識別性能，能夠顯著提高無監(jiān)督跨域行人重識別的準確度。下一步將利用現(xiàn)有數(shù)據(jù)改進模型泛化能力，研究適用于多源域多目標域應用場景的行人重識別算法。