胡月琳，蔡曉東，劉玉柱

桂林電子科技大學 信息與通信學院，廣西 桂林541004

行人重識別（ReID），旨在給定查詢對象的情況下，在大型數(shù)據(jù)庫中檢索指定行人的圖像。由于大規(guī)模數(shù)據(jù)集的出現(xiàn)，以及特征提取和度量學習方法的不斷改進，近年來，在單域情況下，ReID 任務已經(jīng)得到了巨大進展。然而，當在不可見的目標域中直接利用模型時，性能會有巨大的下降，這在新數(shù)據(jù)集上測試模型時尤為明顯[1-3]。這就是在機器學習領域普遍存在的域適應問題。

在跨域行人重識別中，訓練集為源域，而測試集為目標域，兩個域之間通常存在顯著的域差。例如，公開數(shù)據(jù)集Market1501[4]采集在夏天國內校園，行人多著短袖，色彩相對鮮明，而DukeMTMC-reID[5-6]采集于冬季國外校園，行人多著厚重冬裝，色彩相對暗沉。這種顯著的著裝風格差異塑造了兩個數(shù)據(jù)集之間的域差，并降低模型在這兩個數(shù)據(jù)集之間跨域使用的準確率。

為增強跨域行人重識別模型的泛化能力，近年來提出的算法分別從域間和域內兩個方面來增強域自適應性。針對域間變化，Deng和Wei等人[1-2]提出域間風格遷移的方法，通過把源域訓練樣本風格遷移到目標域的測試集，在原始圖像層面減小域差，但這類方法大多需要依賴生成對抗網(wǎng)絡（GAN）來實現(xiàn)風格遷移。

針對域內變化，Zhong 等人[7]提出目標域內風格遷移的方法，該方法不直接在源域和目標域之間進行風格遷移，而是在目標域內部進行細粒度的風格遷移，利用StarGAN[8]讓目標域不同相機圖像之間互相遷移風格，但這種方法忽略了目標域中潛在的正樣本對，可能導致ReID 模型對目標域中的其他特征敏感，例如姿勢和背景變化。Huang 等人[9]在目標域進行輔助的監(jiān)督學習，利用在目標域額外的人工解析幫助模型區(qū)分語義部件，從而增進泛化能力，然而該方法需要通過額外訓練姿勢估計模型來找關鍵點，增大了實驗的復雜性和訓練時間。Zhong和Yu等人[10-11]在目標域引入一些無監(jiān)督學習任務，提高模型在目標域的泛化能力。其中，Zhong 等人[10]利用源域模型給目標域圖像生成各自的軟標簽，雖然這個標簽不夠準確，但卻可以被巧妙地用來監(jiān)督深度嵌入學習。Yu等人[11]引入樣本不變性，相機風格不變性和鄰域不變性約束，通過示例性存儲器來存儲目標域的特征并適應3個不變性屬性，有效提高了模型的泛化能力。這兩種方法僅考慮目標域內的無監(jiān)督學習任務，并未考慮域間的不變性信息。

為盡可能地挖掘源域與目標域內的可用信息，本文同時結合域間和域內變化來增強行人重識別的域自適應性。首先，采用PR 策略將行人特征圖進行分區(qū)處理。具體地說，將特征圖均勻分區(qū)為P個水平區(qū)域，用于匯集局部特征，而統(tǒng)一劃分不可避免地會在每個區(qū)域產生異常值，這些異常值與其他區(qū)域更相似，因此，對P個水平區(qū)域進行“軟化”處理，將這些異常值重新分配給它們最接近的區(qū)域，從而提高了區(qū)域內部一致性。然后，提出域間姿勢不變性，將目標域的行人學習源域行人的姿勢特征生成新的行人圖像加入訓練，縮小源域和目標域的姿勢差距。接著，提出域內姿勢不變性，將目標域內不同行人的姿勢特征相互學習，縮小域內姿勢差距。最后，引入域內樣本不變性，相機風格不變性和鄰域不變性并采用樣本存儲器存儲目標域的特征并適應不變性。將本文方法分別在Market1501和DukeMTMCreID 進行實驗，驗證了PR 策略和5 個不變性對行人重識別中的跨域問題是有益的。

1 增強域自適應的方法設計

1.1 系統(tǒng)框架

本文提供完全記的源域{XS,D(XS)}和未標記的目標域XT。其中，XS和XT分別表示源域和目標域的圖像域，D(XS)表示源域的身份域。源域中任一行人圖像xS,j與其身份d(yS,j)相對應。

本文的系統(tǒng)框架如圖1 所示。首先，在訓練期間，標記的源域和未標記的目標域數(shù)據(jù)被前饋到ReID網(wǎng)絡以獲得最新表示。接著，結合域間和域內變化設計兩條線路來優(yōu)化ReID網(wǎng)絡。第一條線路是具有區(qū)域對齊與“軟化”處理的分類模塊，用于計算源域數(shù)據(jù)的交叉熵損失。第二條線路是不變性學習模塊，用于計算域間姿勢不變性，域內姿勢不變性，樣本不變性，相機風格不變性和鄰域不變性五個不變性損失。

圖1 系統(tǒng)框架圖

1.2 區(qū)域對齊與“軟化”處理的ReID模型

最近的研究表明，將行人身體部位進行對齊處理對跨域行人重識別是有益的，因此，本文根據(jù)PR策略提出一種具有區(qū)域對齊與“軟化”處理的ReID模型（PR）。首先參考最先進的部件模型PCB[12]，將行人特征圖均勻分區(qū)為P個水平區(qū)域，用于匯集局部特征。接著，由于統(tǒng)一劃分不可避免地會在每個區(qū)域產生異常值，而這些異常值與其他區(qū)域更相似，因此，將這些異常值重新分配給它們最接近的區(qū)域，即對原始水平區(qū)域進行“軟化”處理進而提高區(qū)域內部的一致性。

本文采用在ImageNet[13]上預訓練的ResNet-50[14]為基礎網(wǎng)絡，并將其參照PCB[12]進行重塑。具體來說，原始全局平均池（GAP）層之前的結構與基礎網(wǎng)絡保持完全相同，只是刪除GAP 層及其后續(xù)內容。當輸入圖像從基礎網(wǎng)絡向前經(jīng)過堆疊的卷積層時，形成了3D 張量P。接著，用傳統(tǒng)的平均池化層代替了原始的全局池化層，以在空間上將T下采樣為P個列向量g。最后，與PCB不同，在本文中，放棄使用卷積層減小g的尺寸，直接將列向量g輸入到分類器中。其中，每個分類器都通過添加4 096 維完全卷積（FC）層和Softmax 函數(shù)實現(xiàn)。在訓練過程中，每個分類器都會預測輸入圖像的身份，并受到交叉熵損失的監(jiān)督，每個區(qū)域的交叉熵損失Lid計算方法如公式（1）所示，不同區(qū)域的損失累積和LP計算方式如公式（2）所示：

其中，nS表示訓練批次中的源域圖像數(shù)。p(d(xS,i)|xS,i)表示源域圖像xS,i屬于身份d(xS,i)的預測概率，其由分類模塊獲得。

均勻地將特征圖分割為P個水平區(qū)域，然后在每個區(qū)域中應用池化以獲得局部特征。但是，統(tǒng)一劃分不可避免地會在每個區(qū)域產生異常值。例如，不同圖像的相同區(qū)域不對應于相同的身體部位，這些異常值與其他身體部位更相似，因此，將這些異常值進行重新分配給最接近的區(qū)域。若區(qū)域內所屬身體部位一致，T的同一區(qū)域中的列向量f應該彼此相似，并且與其他區(qū)域中的列向量不相似。

為此，需要對T中的所有列向量f進行動態(tài)分類?；谝呀?jīng)學習的T，按照公式（3）使用線性層和Softmax激活作為“軟化”處理的方式。

其中P(Pi|f)表示f屬于零件Pi的預測概率，W表示“軟化”方法的可訓練權重矩陣。

將f分配給Pi并以P(Pi|f)作為置信度，相應地，從所有列向量f中以P(Pi|f)作為采樣權重對每個區(qū)域Pi進行采樣。

其中F是張量T中列向量的完整集合，{}表示形成集合的采樣操作。

經(jīng)過“軟化”處理進行重新分區(qū)后，源域所有區(qū)域的平均損失如公式（5）所示。

其中，Lid表示不同區(qū)域的交叉熵損失，計算方法如公式（1）所示。

1.3 域間與域內的不變性學習

把在源域訓練的ReID模型直接在目標域的進行測試通常取得不理想的效果。通過了解域間與域內變化有助于提高跨域ReID中的模型自適應性。本文從域間姿勢不變性、域內姿勢不變性、樣本不變性、相機風格不變性和鄰域不變性5個方面來挖掘跨域ReID中不變性信息。

樣本不變性（E）。擴大不同身份的樣本之間的距離對提高ReID 識別能力是有益的。因此，樣本不變性的作用是使每個樣本相互遠離，目標是最小化目標域訓練集上的負似然對數(shù)。

其中，d表示真實的圖像xT的身份。

鄰域不變性（N）。樣本不變性強制每個樣本相互遠離，但是具有相同身份的樣本也會相距甚遠，這對ReID 系統(tǒng)是不利的。因此，引入鄰域不變性來鼓勵每個樣本及其鄰居彼此接近能彌補樣本不變性帶來的不足。首先在樣本存儲器中找到與目標樣本xT,i最為相似的k個樣本，并定義它們的索引為M(xT,i,k)。因此，將xT,i屬于類j的概率的權重分配如公式（7）所示：

因此，鄰域不變性的目標表達式如公式（8）所示：

域間姿勢不變性（R）。姿勢的變化是影響跨域ReID 的重要因素。不同數(shù)據(jù)集有不同的行人分布特征，減小源域與目標域的特征分布差異有助于增強跨域ReID 的性能。本文提出域間姿勢不變性，并采用DG-Net[15]為目標域生成源域的姿勢。DG-Net不需要任何額外的輔助數(shù)據(jù)，僅利用現(xiàn)有的源域數(shù)據(jù)集內姿勢便可為無標簽的目標域生成相似的姿勢，并在Market1501與DukeMTMC-reID 等大型數(shù)據(jù)集上表現(xiàn)良好。通過DG-Net 可以為目標域生成多個圖像，這些圖像保留衣服和鞋子，改變了其姿勢，但每個真實的圖像xT應與它改變姿勢后的圖像xTr屬于相同的身份。因此，域間姿勢不變性的損失函數(shù)計算如公式（9）所示：

其中，d表示真實的圖像xT與改變域間姿勢后的圖像xTr的身份。

域內姿勢不變性（A）。目標域訓練集數(shù)據(jù)的多樣性有助于提高ReID模型的泛化能力。為有效地擴大目標域訓練集樣本數(shù)量，本文提出域內姿勢不變性，并采用DG-Net[15]將現(xiàn)有目標域內行人的姿勢特征相互交換。交換姿勢特征后行人的圖像xTa應與其真實的圖像xT擁有相同的身份。因此，域內姿勢不變性的損失函數(shù)計算如公式（10）所示：

其中，d′表示真實圖像xT與改變域內姿勢后的圖像xTa的身份。

相機風格不變性（C）。相機風格的不同也會影響ReID 的識別效果。對于目標域訓練集，分別將每個攝像機視為一種樣式域，采用StarGAN[8]為目標域訓練攝像機樣式（CamStyle）傳輸模型[16]。利用所學習的Cam-Style 傳遞模型，從任一相機收集的每個真實目標圖像用其他相機的圖像樣式進行增強。每個真實的圖像和它的風格轉移對應的人擁有相同的身份。因此，相機風格不變性的目標損失函數(shù)如公式（11）所示：

其中，d″表示真實的圖像xT與相機風格轉移后的圖像xTc的身份。

不變性損失累積和。通過結合域間域內變化的五種不變性特性，目標域訓練集的不變性學習的整體損失如公式（10）所示。當i=j時，通過將分類為自己的類來利用樣本不變性，相機風格不變性，域間和域內姿勢不變性優(yōu)化網(wǎng)絡。當i≠j時，通過引導T,i接近它的中的臨近值來利用鄰域不變性優(yōu)化網(wǎng)絡。

1.4 樣本存儲器

為計算并轉發(fā)ReID 網(wǎng)絡的最新特征表示，本文采用樣本存儲器[11]來適應5 個不變性，其具有密鑰存儲器（K）和值存儲器（V），其中，K負責存儲FC-4096的L2標準化特征，V 負責存儲標簽。在每次訓練迭代期間，對于目標訓練樣本xT,i，通過ReID網(wǎng)絡轉發(fā)它并獲得FC-4096 的L2 標準化特征f(xT,i)。在反向傳播期間，不斷更新訓練樣本xT,i的密鑰存儲器中的特征。

1.5 網(wǎng)絡總損失

為提高ReID 模型的跨域自適應性，網(wǎng)絡的損失函數(shù)如公式（13）所示：

其中，α∈[0,1]，它控制著源域和目標域所占比重。

2 實驗數(shù)據(jù)與結果分析

本文研究實驗平臺的設置：Intel Xeon CPU E5-2640 v4 @ 2.40 GHz 處理器，11 GB 內存，GTX1080Ti顯卡以及Ubuntu 14.04 操作系統(tǒng)，并使用pytorch 深度學習框架和Python編程語言實現(xiàn)。

2.1 數(shù)據(jù)集

為了方便對比實驗結果，本文選擇Market150 和DukeMTMC-reID兩個廣泛使用的數(shù)據(jù)集。本次實驗依次將Market1501 和DukeMTMC-reID 數(shù)據(jù)集做為源域和目標域。訓練和測試時輸入圖像均裁剪為128×256。

2.2 實施細節(jié)

（1）模型。實驗使用ResNet-50[14]作為主干，將Conv5的步幅從2 改為1。在ResNet-50 的“pool5”層之后，附加一個4 096 維的完全連接層，接著添加批處理規(guī)范化和ReLU。在“pool5”層上應用Dropout，并將其值設為0.5。分區(qū)數(shù)P設置為6。

（2）訓練。通過水平翻轉和歸一化來增強訓練圖像。將批處理大小設置為64，區(qū)域對齊訓練時學習率初始化為0.1，40個epoch后衰減為0.01。當采用“軟化”處理進行增強時，將學習率設置為0.01，再次訓練10 個epochs進行重新分區(qū)。

（3）不變性。設定鄰域不變性的正樣本數(shù)k=6，損失權重α=0.2。

2.3 實驗結果及分析

2.3.1 PR模型和5種不變性的有效性

本文依次將Market1501 和DukeMTMC-reID 作為源域，驗證PR模型和5種不變性學習的有效性，對比結果如表1所示。其中，IDE表示基于ResNet-50的標準基線模型。在相同的實驗平臺設置下，將Market1501作為源域進行訓練時，IDE、PCB[12]和PR對齊分別在25、40和55 個epoch 達到收斂，如圖2 中（a）、（b）和（c）所示。完成模型訓練總耗時分別約為35、55和70分鐘，PCB訓練時間的增加主要是由于取消了Conv5 層中最后一次空間向下采樣操作，從而將張量T擴大了4倍，PR訓練時間的增加主要是添加了4 096維的全連接層。

圖2 模型訓練曲線圖

表1 PR和5種不變性學習的有效性 %

由表1 可以看出，在對標準IDE 進行統(tǒng)一分區(qū)與“軟化”處理后，得到的PR 模型在加大訓練時長的前提下有效地提高了跨域ReID 的識別準確度。在PR 模型的基礎上添加樣本不變性，相機風格不變性和鄰域不變性后，Top-1 和mAP 的識別精度得到了極大提升。當繼續(xù)添加域間和域內姿勢不變性后，Top-1 和mAP的識別精度又略微上升。具體而言，在PR 模型的基礎上結合域間與域內變化的5 個不變性特性后，分別在DukeMTMC-reID 和Market1501 上進行測試，Top-1 從44.1%提高到65.4%，從59.5%提高到77.5%；mAP 從24.7%提高到42.2%，從28.1%提高到45.1%。實驗結果說明，PR 模型和5 種不變性特性對提高跨域ReID 的域自適應性是有益的。

2.3.2 與其他方法的比較

分別在Market1501 和DukeMTMC-reID 測試時，與目前僅考慮域間和域內變化的方法比較，結果如表2所示。

表2 比較了PTGAN[2]和SPGAN[1]兩種提出域間風格遷移的方法，它們把源域訓練樣本風格遷移到目標域的測試集上。HHL[7]在目標域內進行細粒度風格遷移的方法，ECN[11]引入樣本不變性、相機風格不變性和鄰域不變性約束的方法。

表2 與其他方法的比較 %

與目前領先的跨域ReID方法相比，本文提出的PR策略和結合域間與域內的5 種不變性約束的方法（PRA）明顯優(yōu)于它們。具體而言，當使用Market1501作為源域并在DukeMTMC-reID 上進行測試時，實現(xiàn)了Top-1 和mAP 分別為65.4%和42.2%的準確度。當使用DukeMTMC-reID 作為源域并在Market1501 上測試時，獲得Top-1和mAP分別為77.5%和45.1%的準確度。在DukeMTMC-reID和Market1501上分別測試時，Top-1準確度比目前領先的ECN[8]高2.1個百分點和2.4個百分點。

3 結語

本文提出一種結合域間與域內變化來增強跨域行人重識別中的域自適應性方法。對源域行人圖像統(tǒng)一分區(qū)和“軟化”處理可有效提高跨域行人重識別的區(qū)域對齊的性能，進而提高模型的泛化能力。結合域間與域內變化添加5 個不變性約束，可極大地挖掘域間與域內的有用信息，提高跨域行人重識別中的域自適應性。實驗表明，本文方法能有效地增強跨域行人重識別中的域自適應性。然而，對于姿勢不變性、行人姿勢改變前后只有衣服和鞋子是保持不變的，而體型和頭部信息發(fā)生改變，因此，姿勢特征的學習并不十分精準。進一步研究可以用更加精確的姿態(tài)轉移算法，使原始行人的姿勢特征可以更加準確地傳遞給目標行人。