肖雅妮，范馨月，陳文峰

1.重慶郵電大學 通信與信息工程學院，重慶400065

2.光通信與網(wǎng)絡重點實驗室（重慶郵電大學），重慶400065

在當今社會，各地政府在公共場所關鍵點、交通路口、生活小區(qū)、停車場等區(qū)域安裝大量攝像頭，因此獲得了海量的行人數(shù)據(jù)，而針對如何在復雜場景下獲取人臉、步態(tài)等信息，并進行行人檢索的問題，就需要行人重識別技術。行人重識別是指在已知來源與非重疊攝像機拍攝范圍的視頻序列中識別出特定行人的技術，即指給定某攝像頭拍攝到的某行人圖片，在資料庫中檢索該行人被其他攝像頭拍到的圖片[1]。由于攝像頭位置、角度和參數(shù)設置不同，行人姿態(tài)頻繁變化，以及背景干擾、遮擋和成像質(zhì)量不穩(wěn)定等原因，同一行人在不同時刻不同攝像頭拍攝的圖片中存在較大差異[2]，這使得行人重識別的研究具有很大的挑戰(zhàn)性。而深層網(wǎng)絡可以提取到的行人細節(jié)相比傳統(tǒng)算法效果更顯著，因此目前的行人重識別研究主要以深度學習的方向為主。

由于人體結構具有強分辨[3]，所以大部分算法的研究重心放在如何使模型獲得更多的行人表征特征上。目前大部分算法是從整體圖片獲取到行人的特征，具有代表性的如文獻[4]提出的是行人重識別最基礎的網(wǎng)絡框架，相比傳統(tǒng)算法效果得到了一定提升但由于特征學習部分未引入增強機制，錯失對局部的學習、算法效果不顯著。文獻[3]在行人身份ID的基礎上，額外增加行人屬性，算法效果提升一些的同時增加了復雜度，由于忽略了部分不顯著或不經(jīng)常出現(xiàn)的詳細信息，相比文獻[4]算法效果增益小，且僅使用全局特征在算法的測試部分不利于分辨不同行人和同一個行人不同攝像頭的照片。為了進一步提高算法效果，行人重識別的研究針對特征學習，將重點從全局轉(zhuǎn)移到局部。因為加強網(wǎng)絡對局部特征的學習，能更多地獲取行人細節(jié)信息。如文獻[5]通過對定位人體骨骼來學習身體區(qū)域的特征，相比僅使用全局特征的方法得到了提升，但由于對骨骼定點大大增加網(wǎng)絡復雜度，同時關注行人姿勢大于對局部的學習，因此最后的效果增益較小。文獻[6]先將行人分開再對齊學習特征、最后測試部分使用融合特征，雖然該方法有對局部特征的學習，但缺乏對局部注意力特征的學習和多分支網(wǎng)絡更好的融合設計。而文獻[7]是加強網(wǎng)絡對于人體姿勢的學習，因此引入行人姿勢估計的算法，需要提前預訓練，這大大提升了算法難度。綜上所述，為強化網(wǎng)絡學習行人特征信息和保證網(wǎng)絡的復雜度、訓練難度，本文設計了一種端到端的多分支網(wǎng)絡機構，一共三個分支：隨機擦除的分支、全局學習分支、局部學習分支。

在算法結構中全局學習分支的引入有兩個目的，一是聯(lián)合訓練確保算法精度，二是獲取人體的驅(qū)干信息。局部學習分支在本文的網(wǎng)絡結構中是對被均分成三等分后的特征圖部分分別進行學習，其分支能獲得行人局部細節(jié)信息，隨機擦除分支通過固定面積的掩膜隨機地對特征圖進行遮擋，加強網(wǎng)絡對未遮擋部分的注意力特征學習，可看做是一種加強特征學習的策略，因為遮擋使用的掩膜無網(wǎng)絡參數(shù)，所以不會增加網(wǎng)絡規(guī)模。考慮到會有噪音干擾，本文的三個分支在結構上僅共享骨干網(wǎng)絡部分，其余部分獨立，最后本文結合最小二乘法，根據(jù)實驗數(shù)據(jù)，做損失函數(shù)的權重分配。最后本文使用三個分支得到的融合特征進行測試，實驗結果表明，本文提出的方法在Market-1501數(shù)據(jù)集、DukeMTMC-reID數(shù)據(jù)集、CUHK03-Label、CUHK03-Detect數(shù)據(jù)集上都取得了更好的準確率。

1 相關工作與多分支網(wǎng)絡設計

雖然深層的網(wǎng)絡仍可根據(jù)人體不同的身體部位語義信息來初步區(qū)分，但缺失關鍵和細微的行人特征信息和學習到額外的背景信息都會導致算法增益小。且文獻[8]和表1的結果數(shù)據(jù)顯示，當網(wǎng)絡結構分支增加、圖片細分增多，將增強網(wǎng)絡單個分支對圖片的注意力，提高算法效果。因此本文在網(wǎng)絡結構的設計上，選擇的不是單分支的結構而是多分支的結構。而本文在分支的選擇上考慮單個分支的算法效果與運算量以及訓練難度，同時結合上述理論。

表1 在數(shù)據(jù)集DukeMTMC-reID上未調(diào)權重的對比實驗Table 1 Comparative experiment of unadjusted weights on DukeMTMC-reID dataset %

根據(jù)文獻[8-9]，本文首先選擇了三個分支：全局學習分支、局部學習分支、隨機擦除分支。其中，全局學習分支強調(diào)對行人驅(qū)干和行人圖片全局的學習，局部學習分支強調(diào)的是對行人局部以及圖片局部的學習，而隨機擦除分支的引入目的是在前兩個特征學習分支上，增強網(wǎng)絡對局部注意力特征和弱特征部分的學習，同時有助于緩解因行人姿勢改變和重疊導致局部特征在訓練卷積神經(jīng)網(wǎng)絡時被抑制的問題。全局學習分支的結構設計參照最基礎的單分支網(wǎng)絡，未引入任何加強特征學習的機制。而局部分支的設計，考慮網(wǎng)絡隨著特征分支數(shù)量的增加，提升對局部注意力的同時也會增加復雜度。經(jīng)本文實驗獲知，單個分支相比，均分四分支的算法運算量比均分三等分的分支大，且嘗試與其他分支組合的訓練的過程中，模型收斂慢、訓練不穩(wěn)定，同時且算法效果也僅比三等分高零點幾點精度。所以本文選擇的是均分三等分的局部學習分支，在此基礎上，為保證訓練精度、緩解各個分支間訓練時產(chǎn)生的干擾，在局部學習分支上又引入一個全局學習分支作為聯(lián)合訓練。第三個隨機擦除分支參照局部學習分支也引入一個全局學習分支作為聯(lián)合訓練，包含掩膜用于對未遮擋部分學習的分支將對網(wǎng)絡輸出的一個batch的特征圖進行操作。

確定分支類型后，在選擇分支數(shù)量和類型的問題上，本文先在數(shù)據(jù)集DukeMTMC-reID上做了網(wǎng)絡結構的對比實驗，一是僅有單分支的網(wǎng)絡結構：隨機擦除分支、局部學習分支、全局學習分支。二是兩個分支的組合：全局學習分支和隨機擦除分支，全局學習分支和局部學習分支，隨機擦除分支和局部學習分支。三是三個分支：全局學習分支和隨機擦除分支、局部學習分支，四是在三分支的基礎上增加全局學習分支的四分支網(wǎng)絡結構，表1中未包含隨機擦除分支和局部分支分別加在三分支的實驗數(shù)據(jù)，一是因為開始訓練時服務器因為內(nèi)存報錯，二是降低了訓練的batchsize和epoch后與其他實驗數(shù)據(jù)對比誤差大。

從表1獲悉，兩分支和三分支的網(wǎng)絡結構算法結果相比單分支的網(wǎng)絡結構，其精度提到了至少10點以上，并且兩分支放在同一網(wǎng)絡都會在原有基礎上提升算法效果，這側(cè)面反映了分支在網(wǎng)絡結構中具有互補的作用，隨機擦除分支與全局學習分支學習到全局信息，并增加對局部和弱特征注意力。全局學習分支與局部學習分支的組合學習到了全局信息與局部信息。隨機擦除分支與局部學習分支的組合在二分支的網(wǎng)絡結構里效果最好，分析原因可能與隨機擦除分支能緩解局部特征在訓練時被抑制的問題，同時隨機擦除分支也有助于網(wǎng)絡學習弱特征和注意力的區(qū)域。因此兩兩分支放在同一個網(wǎng)絡中，能互相增強彼此對特征的學習。雖然在三分支基礎上增加全局學習分支的四分支結構的算法結果最高，但訓練過程中，由于分支過多，導致網(wǎng)絡收斂慢，測試部分耗時，最后的結果也僅比三分支的效果高0.11。綜上所述，根據(jù)算法結果和訓練難易，本文最后使用的是由全局學習分支、隨機擦除分支、局部學習分支構成的三分支網(wǎng)絡而不是四分支的網(wǎng)絡結構。三個分支僅共享骨干網(wǎng)絡部分，在訓練過程中分別學習其他分支未注意到的特征部分，通過這樣的網(wǎng)絡設計，使得模型的注意力不僅僅關注行人的驅(qū)干部分，而是融合三個分支的注意力，增強網(wǎng)絡提取特征的能力。在單個分支的對比中，局部學習分支獲得的效果最好，這可能與網(wǎng)絡越深越會注重區(qū)域的局部學習和監(jiān)督學習本身會強迫網(wǎng)絡不斷地去獲取具有強辨別力的特征有關。

2 多分支算法介紹

2.1 三個分支的介紹

由于ResNet-50在其他行人重識別算法中取得了良好的結果，所以在本文中采取的骨干網(wǎng)絡是ResNet-50，其框架相比于其他網(wǎng)絡，具有網(wǎng)絡層數(shù)深、獲取到的特征信息更為豐富，引入殘差塊、避免梯度爆炸和梯度消失的優(yōu)點。在本文圖1所示的算法結構中，與ResNet-50有所區(qū)分的是后面的輸出分支被分為三個分支。在圖1中，方塊表示的是特征圖，為了方便顯示采取的是三維的立方體，從ResNet-50 stage1，2，3開始分開的三分支從上往下，分別是隨機擦除分支（RE branch）、全局學習分支（Global branch）、局部學習分支（Part branch），在每個分支上繼續(xù)編號，從上往下分別是R_0、R_1、G_0、P_0、P_1。

圖1 算法網(wǎng)絡框架Fig.1 Algorithm network framework

隨機擦除分支（RE branch）包含R_0、R_1分支，在R_0分支上，數(shù)據(jù)通過ResNet-50 stage1，2，3后，進入到resnet的con4和conv5后，為了保留足夠的信息，沒有在res_conv5_1區(qū)塊使用下采樣，之后為防止過擬合會通過一個bottelneck，之后特征圖會經(jīng)過平均池化層，核大小為24×8，經(jīng)實驗驗證，本文網(wǎng)絡使用平均池化層優(yōu)于最大池化，分析原因，平均池化層比最大池化層保留的特征信息更多，這有助于各個分支學習強調(diào)的特征內(nèi)容。經(jīng)過池化層，特征圖再通過掩膜（mask），其掩膜比例經(jīng)過多次試驗調(diào)試確定為（1，0.33）。其中，隨機擦除分支掩膜部分會對特征圖像按照比例掩膜進行隨機擦除，最后得到特征圖像，再經(jīng)過正則化、1×1卷積層后特征圖維數(shù)會降維到256得到特征zp_0，之后通過全連接層得到特征zp_0_0，在整個過程中，全連接層不共享參數(shù)，每個分支到損失函數(shù)的路徑也獨立。

全局學習分支（Global branch）僅包含G_0分支，G_0與隨機擦除分支的R_1、局部學習的P_0，在結構和設置的區(qū)別僅在于res_conv5_1區(qū)塊使用下采樣和沒有引入bottelneck、池化層設置的核大小為12×4，而R_1與P_0的池化層核大小為24×8。在該分支，數(shù)據(jù)經(jīng)歷骨干網(wǎng)絡后，通過平均池化層，從1×1卷積層輸出特征fg_1，從全連接層輸出特征fg_1_0。而R1分支是從1×卷積層輸出特征fg_0，從全連接層輸出特征fg_0_0。與R_1的構造一致的P_0分支，從1×1卷積層輸出特征fg_2，從全連接層輸出特征fg_2_0，

局部學習分支（Part branch）包含P_0、P_1分支，而P_1分支的數(shù)據(jù)通過ResNet-50 stage1，2，3、進入到resnet的con4和conv5后，也沒有在res_conv5_1區(qū)塊使用下采樣，同隨機擦除R_0的分支一樣，也引入了bottelneck，通過核的大小為24×8的平均池化層后的特征圖會被均分成三等分然后分別送往1×1卷積層分別獲得特征fp_0、fp_1、fp_2,從全連接層輸出特征fp_0_0、fp_1_0、fp_2_0。在算法測試部分，本文使用的是每個分支經(jīng)過降維后的輸出特征融合在一起的特征，如公式（1）所示：

在圖1的算法網(wǎng)絡框架中，一共包含七個小分支的三個大分支的融合特征的過程如圖2所示。在圖2中，左圖為數(shù)據(jù)集Market-1501的訓練圖片，分支上的符號為上文的特征圖名稱，分別相加后獲得測試使用的融合特征f。

圖2 融合展示Fig.2 Fusion display

表2為三分支與四分支網(wǎng)絡結構輸出的融合特征圖維數(shù)對比。結合數(shù)據(jù)計算可得三分支網(wǎng)絡結構（RE branch、Global branch、Part branch）加上全局學習分支的四分支網(wǎng)絡結構的融合特征維數(shù)為2 048，同理在三分支網(wǎng)絡結構的基礎上加上隨機擦除分支和局部學習分支，其融合特征維數(shù)分別在三分支融合特征維數(shù)的基礎上增多512和1 024，由于大分支里又包含小分支而在本文設計里骨干網(wǎng)絡后分支獨立，因此增加一個大分支，除了增大特征圖的維數(shù)還會增加池化層、卷積層、全連接層的數(shù)量，所以三分支結構的算法訓練更快，測試時大約每秒處理2.8幀。而四分支網(wǎng)絡結構算法在前期訓練除了加上全局學習分支的四分支結構，其余的四分支算法如果不降低epoch和batchsize，就會在訓練時出現(xiàn)問題。所以在實驗的對比上，四分支只選了維數(shù)增加最少的三分支基礎上加入全局學習分支的四分支網(wǎng)絡組合。其在訓練測試時大約每秒處理1.5幀。這從側(cè)面反應了三分支的網(wǎng)絡相比四分支測試速度更快，而網(wǎng)絡結構也比四分支的更為簡單，通過實驗，也獲悉訓練時，三分支的網(wǎng)絡比四分支更加容易收斂。

表2 分支組合維數(shù)對比Table 2 Comparison of branch combination dimensions

2.2 分支與損失函數(shù)

在全局學習分支（global branch）中使用同時使用Ltriplet[10]和Lsoftmax，網(wǎng)絡結構中剩余的兩個大分支里作為聯(lián)合訓練的全局學習分支R_1、P_0和其設置一樣的損失函數(shù)。分別是Ltriplet和Lsoftmax，其損失函數(shù)如公式（2）、（3）所示：

在公式（2）中，N代表訓練的過程，C代表數(shù)據(jù)集，代表數(shù)據(jù)集中行人類別對應的權重向量，fi代表各個分支學習到的特征，包含圖1中通過全連接層的特征。在公式（3）中，fa、fp、fn分別對應anchor的特征、挖掘到的正樣本特征和負樣本特征，都是從訓練的minibatch獲取，包含圖1所示全局學習分支降維后輸出的特征。p為每個batch訓練時，抽取的行人數(shù)目，k對應訓練中抽取每個行人抽取的圖片數(shù)量。P_1分支的三個小分支和隨機擦除分支的R_0分支失函數(shù)為公式（2）中的Lsoftmax。

2.3 最小二乘法的權重分配

多任務學習分支在訓練過程中存在分支由于復雜度和學習率不同，從而導致分支間訓練時有干擾現(xiàn)象。為緩解上述問題，本文在設計網(wǎng)絡結構時，分別在隨機擦除分支和局部學習分支額外引入全局學習分支進行聯(lián)合訓練。但還是存在一定的干擾性，因此本文又在損失函數(shù)引入權重分配。有算法[11]可對多任務學習網(wǎng)絡進行損失函數(shù)權值調(diào)整，但本身具有不穩(wěn)定性，同時也會大大提升網(wǎng)絡復雜度。由于本文僅使用了兩個loss，且公式（2）Lsoftmax的使用率遠大于公式（3）Ltriplet的使用率，因此在調(diào)整權重時，為降低復雜度，本文僅關注Lsoftmax的權重值，而將Ltriplet的權重設為1，最后將總損失L定義為公式（4）：

其中，λ為損失函數(shù)對應的權重，j對應本文的網(wǎng)絡分支。

最小二乘法是在曲線預測中被使用廣泛，同時高階的非線性函數(shù)曲線易出現(xiàn)波峰。而本文選擇的算法評判標準之一的mAP（mean Average Precision），其定義是將圖片的相似度從高到低，統(tǒng)計從第一項到最后一項相同行人圖片之間正確識別的平均概率。因此本文將mAP設為縱軸、將λ設為橫軸，利用實驗數(shù)據(jù)結合最小二乘法預測從低階到高階的mAP和λ的曲線，借此找到mAP的最高波峰對應的λ區(qū)域，然后進行l(wèi)oss權重λ的調(diào)節(jié)，通過這樣的方式可減少不必要的工作量，其中誤差公式如公式（5）所示：

在公式（5）中，mAP為本文通過實驗獲取的實際平均精度均值，yi為本文結合最小二乘法獲得的預測值。

3 實驗與結果分析

本文的實驗使用的數(shù)據(jù)集是在行人重識別中具有代表性的Market-1501和DukeMTMC-reID，CUHK03-Label和CUHK03-detect。在實驗指標上選擇Rank-n和mAP，Rank-n指將圖片的相似度從高到低排序，前n項包含被查詢行人圖片的概率。實驗服務器GPU配置是英偉達1080Ti，框架為pytorch，為顯示清楚，下文表格和正文中的數(shù)據(jù)集名稱使用略寫：DukeMTMC-reID（Duke），Market-1501（Market），CUHK03-Label（Label），CUHK03-Detect（Detect）表3為數(shù)據(jù)集詳細信息。

表3 數(shù)據(jù)集信息Table 3 Information of datasets

根據(jù)圖3可知，數(shù)據(jù)集Market拍攝于夏日白天，因此數(shù)據(jù)集的光線比冬天拍攝的Duke和在過道拍攝的Label、Detect要亮，且場景簡單，同時Duke的行人被遮擋現(xiàn)象更為嚴重，背景時而清晰時而與行人混雜，而Label和Detect存在較多行人側(cè)面和背面的圖像，同時根據(jù)表3，也可知，Detect的訓練行人類型少于Label。

圖3 Market、Duke、Label、Detect數(shù)據(jù)集對比Fig.3 Comparison of Market，Duke，Label，Detect dataset

因此相比之下，四個數(shù)據(jù)集的難度從易到難的排序分別為Market、Duke、Label、Detect。然后本文基于數(shù)據(jù)集DukeMTMC-reID隨機地調(diào)公式（3）中的λ，分別2、5、10、12、15、20、30、40，然后運行算法獲得九組mAP結果數(shù)據(jù)：75.24%、75.96%、75.58%、75.64%、74.87%、75.02%、75.66%、74.33%、73.12%，因λ大于20時，mAP下降顯著，所以將橫軸λ限定在0~20，同時為清晰顯示，將mAP與λ的預測曲線的縱軸顯示區(qū)域限定在74%~100%。因為曲線階數(shù)越高，波動越明顯，因此本文從低階到高階做曲線預測，即從1階開始實驗，直到預測的mAP曲線出現(xiàn)波峰為止，不同次數(shù)方程曲線擬合結果，從1到9階的結果如圖4所示。

圖4 最小二乘法預測曲線Fig.4 Least squares forecast curve

當預測曲線為8階時，得到調(diào)試權重的建議即λ在2到5之間有最高的mAP出現(xiàn)，最后經(jīng)過在兩個數(shù)據(jù)集上的實驗，最后使算法結果到達最佳的λ為3。綜上所述，本文又分別在四個數(shù)據(jù)集進行上實驗，為了提升，本文在數(shù)據(jù)處理部分加入了常用的加強算法Random Erasing[12]，但精度不升反降。分析原因，可能是因為隨機擦除了行人的關鍵特征，導致模型學習到的行人特征變少，影響正負樣本的挖掘。最后本文加入Re-Rank[13]算法，精度再此提升，Re_Rank算法原理是在利用馬氏距離和Jaccard距離，在模型訓練完成后再進行挖掘正負樣本的工作，以此更好地提升精度[13]。

為了進一步驗證算法的有效性，本文又分別選取了四個算法作對比，分別是在基礎網(wǎng)絡結構上引入行人對齊的PAN[14]，一個在全連接層引入奇異值分解的SVDNet[15]，一個提出深層金字塔特征學習的DPEL[16]，以及本文參考僅使用全局學習分支和隨機擦除分支未加入局部學習分支的論文方法BDB[9]，在數(shù)據(jù)集Duke和Market的對比結果如表4所示，在數(shù)據(jù)集Label和Deteted的對比結果如表5所示。

從表4獲悉，本文的算法未加強也比前三個算法在mAP和Rank-1分別高出10多個百分點，相比參考方法[9]，在兩個數(shù)據(jù)集上，mAP分別高出了4個百分點和1個百分點，而經(jīng)過加強的本文算法結果在數(shù)據(jù)集Duke、Market上mAP更是到達了88.11%和93.19%，Rank-1分別能達到93.14%、95.5%。

表4 Duke、Market數(shù)據(jù)集結果對比Table 4 Comparison of Duke and Market data set results %

從表5獲悉，在數(shù)據(jù)集Label與Detect上，相比前三個算法精度提高了至少10個百分點及以上，而本文加入Re-Rank的算法精度更是提高了20多個百分點，在數(shù)據(jù)集Label和Detect上mAP分別到達了76.26%和74.86%，Rank-1分別到達了74.07%和72.57%。表5中，BDB[9]算法雖然在Label、Detect數(shù)據(jù)集上的結果比本文未加強的算法稍好，但本文的未加強的算法精度在Market和Duke數(shù)據(jù)集上的精度分別領先1個百分點和4個百分點，且Label、Detect數(shù)據(jù)集上，本文加強后的算法結果比其mAP，分別領先4.56個百分點和5.56個百分點。

表5 Label、Detect數(shù)據(jù)集結果對比Table 5 Comparison of Label and Detect data set results %

4 結束語

本文提出了一種融合全局學習分支、隨機擦除分支、局部學習分支的算法，并結合最小二乘法進行權重分配，相比對行人進行骨骼定點和增加行人屬性的算法，無需預訓練也不需對數(shù)據(jù)集進行額外的屬性標注。最后在pytorch框架下，分別在三個數(shù)據(jù)集上，做了對比實驗，其結果顯示，本文融合全局學習分支、隨機擦除分支、局部學習分支的算法具有有效性，在結果上相比參考算法，得到一定提升。在接下來的工作中，本文就加強網(wǎng)絡對行人特征學習，將結合對齊框架進行下一步的研究。