宋曉茹，楊佳，高嵩，陳超波，宋爽

(西安工業(yè)大學(xué)電子信息工程學(xué)院，西安 710021)

隨著大規(guī)模高清攝像頭的普及以及高速通信網(wǎng)絡(luò)的發(fā)展，行人重識(shí)別技術(shù)被廣泛應(yīng)用于智能尋人系統(tǒng)、智能安防、自動(dòng)駕駛等領(lǐng)域。行人重識(shí)別，即對(duì)特定的監(jiān)控行人圖像，檢索跨攝像頭跨場(chǎng)景的該行人圖像。目前行人重識(shí)別技術(shù)已經(jīng)有了很多研究成果，但由于遮擋和視角姿態(tài)等問題的影響仍然面臨著巨大的挑戰(zhàn)，因此提取具有魯棒性的行人特征成為了解決行人重識(shí)別的關(guān)鍵性問題[1]。

傳統(tǒng)的行人重識(shí)別需要手動(dòng)提取顏色(RGB、HSV)或紋理(LBP、SIFT)[2]等特征后，使用度量方法對(duì)特征進(jìn)行相似性度量，使特征間的類內(nèi)距離盡可能小，類間距離盡可能大。然而，由于手動(dòng)提取特征復(fù)雜且提取特征能力有限，隨著深度學(xué)習(xí)的發(fā)展以及卷積神經(jīng)網(wǎng)絡(luò)在ImageNet圖像識(shí)別大賽上取得的巨大成功，基于深度學(xué)習(xí)的行人重識(shí)別逐漸成為研究熱點(diǎn)[3]。

基于深度學(xué)習(xí)的行人重識(shí)別根據(jù)損失函數(shù)的不同分為基于表征學(xué)習(xí)的行人重識(shí)別和基于度量學(xué)習(xí)的行人重識(shí)別[4]?；诒碚鲗W(xué)習(xí)的行人重識(shí)別可被當(dāng)做分類或驗(yàn)證問題[5]。Zheng等[6]提出了一個(gè)孿生網(wǎng)絡(luò)，該網(wǎng)絡(luò)結(jié)合了兩種模型的優(yōu)勢(shì)，同時(shí)計(jì)算分類損失和驗(yàn)證損失并利用其互補(bǔ)性質(zhì)提高了模型的學(xué)習(xí)判別能力。Lin 等[7]提出了一種行人重識(shí)別網(wǎng)絡(luò)，在學(xué)習(xí) Re-ID 嵌入的同時(shí)，能夠預(yù)測(cè)行人屬性，這種多任務(wù)方法聚合了分類損失和屬性損失，提高了網(wǎng)絡(luò)的泛化能力。隨著研究的深入，研究者們通常增加網(wǎng)絡(luò)對(duì)局部特征的學(xué)習(xí)，F(xiàn)u等[8]通過對(duì)行人圖片水平分割的方法提取局部特征，還有一些研究通過預(yù)訓(xùn)練的人體骨架信息，但需要引入額外的圖片切塊或姿態(tài)點(diǎn)定位。

基于度量學(xué)習(xí)的行人重識(shí)別旨在學(xué)習(xí)兩張圖像的相似性，通過最小化度量損失函數(shù)，使行人正樣本對(duì)特征間的距離更近，負(fù)樣本對(duì)特征間的距離更遠(yuǎn)[9]。三元組損失[10]強(qiáng)制使得關(guān)于同一個(gè)目標(biāo)圖像與其正樣本的距離小于與其負(fù)樣本的距離，從而在縮小圖像類內(nèi)差的同時(shí)增大其類間差。常用的度量損失還有邊緣挖掘損失[11]、四元組損失[12]等。

這些方法雖然已經(jīng)取得了極高的準(zhǔn)確率，但往往存在以下問題：①卷積神經(jīng)網(wǎng)絡(luò)通常取網(wǎng)絡(luò)的最高層特征作為識(shí)別依據(jù)，但高層特征的分辨率低；②現(xiàn)有的行人重識(shí)別模型忽略了圖像的關(guān)鍵性細(xì)節(jié)特征。為此，針對(duì)現(xiàn)有模型提取的行人特征通常無法充分的表達(dá)行人信息，提出了基于注意力機(jī)制與多尺度特征融合的行人重識(shí)別方法。其中注意力機(jī)制旨在使網(wǎng)絡(luò)抽取出更加關(guān)鍵的信息，同時(shí)不會(huì)對(duì)模型的計(jì)算和存儲(chǔ)帶來更大開銷，多尺度特征融合能利用多層特征間的互補(bǔ)特性改善模型，防止在訓(xùn)練過程中的特征丟失，使得模型得到深層次的特征表達(dá)，提高學(xué)習(xí)效率和準(zhǔn)確率。

1 基于注意力機(jī)制與多尺度特征融合的行人重識(shí)別模型設(shè)計(jì)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

設(shè)計(jì)基于注意力機(jī)制與多尺度特征融合的行人重識(shí)別模型如圖1所示，主要由骨干網(wǎng)絡(luò)、注意力機(jī)制模塊和多尺度特征融合模塊組成。行人圖像經(jīng)過骨干網(wǎng)絡(luò)提取特征后，對(duì)不同尺度的卷積層嵌入注意力機(jī)制得到關(guān)鍵特征，再通過尺度變換將特征尺寸歸一化后進(jìn)行特征融合，采用聯(lián)合交叉熵?fù)p失、難樣本采樣三元組損失和中心損失的多損失函數(shù)策略對(duì)模型進(jìn)行訓(xùn)練。

1.1.1 骨干網(wǎng)絡(luò)

骨干網(wǎng)絡(luò)使用改進(jìn)的R-ResNet50網(wǎng)絡(luò)，ReLU激活函數(shù)雖然求解梯度信息時(shí)收斂速度十分迅速，但是在神經(jīng)元的輸入值為負(fù)數(shù)時(shí)，通過ReLU函數(shù)計(jì)算的輸出將全為0，經(jīng)過這些神經(jīng)元的梯度信息將都為0，這些神經(jīng)元處于了一種“死亡”狀態(tài)，這樣會(huì)導(dǎo)致神經(jīng)元權(quán)值也將無法得到更新，影響網(wǎng)絡(luò)的表達(dá)能力。RReLU函數(shù)相較于ReLU函數(shù)，在神經(jīng)元的輸入為負(fù)值時(shí)，不會(huì)過濾掉所有負(fù)值，而是對(duì)負(fù)值賦予一個(gè)非零斜率，盡可能地保留負(fù)半軸的有效信息，RReLU的數(shù)學(xué)表達(dá)式為

(1)

式(1)中：在訓(xùn)練階段，x為神經(jīng)元的輸入；參數(shù)a服從均勻分布。

使用RReLU函數(shù)替換ResNet50殘差塊結(jié)構(gòu)中的ReLU激活函數(shù)，改進(jìn)后的殘差塊結(jié)構(gòu)如圖2所示，使用改進(jìn)后的殘差塊結(jié)構(gòu)按照ResNet50的網(wǎng)絡(luò)結(jié)構(gòu)搭建方式，提出了R-ResNet50網(wǎng)絡(luò)模型。

1.1.2 注意力機(jī)制模塊

視覺注意力在人類大腦中用來處理大腦的視覺反饋信號(hào)，人體的視覺感官在不同時(shí)間內(nèi)都會(huì)接受大量的外界信息，但是大腦中并不是所有的神經(jīng)元都處于激活狀態(tài)，所以在處理一些任務(wù)信息時(shí)大腦會(huì)有選擇性的關(guān)注一些重點(diǎn)信息，而忽略不重要的信息，注意力機(jī)制的啟發(fā)來源于認(rèn)知科學(xué)中對(duì)視覺感知的研究，基本思想是讓系統(tǒng)自主學(xué)會(huì)注意力。

由于在行人重識(shí)別任務(wù)中攝像頭角度不同且行人圖片背景復(fù)雜，將Fu等[13]提出的雙注意力機(jī)制(dual attention network for scene segmentation，DANet)嵌入在行人重識(shí)別結(jié)構(gòu)中，使得網(wǎng)絡(luò)能夠像大腦一樣忽略無關(guān)的背景信息而關(guān)注行人的關(guān)鍵性信息。DANet是CBAM(convolutional block attention module)和Non-local的融合變形，由空間注意力機(jī)制和通道注意力機(jī)制并行組成，對(duì)特征圖使用自相關(guān)矩陣相乘的形式分別得到空間注意力和通道注意力，最后將空間注意力和通道注意力的輸出結(jié)果進(jìn)行相加融合，得到聚合特征圖后用于下一步操作，雙注意力機(jī)制DANet避免了CBAM中手工設(shè)計(jì)池化、多層感知機(jī)等一些復(fù)雜操作。

1.1.3 多尺度特征融合模塊

卷積神經(jīng)網(wǎng)絡(luò)在進(jìn)行特征提取時(shí)采取模塊逐層抽取的方式，每個(gè)模塊輸出尺寸不同，通常行人重識(shí)別都是取網(wǎng)絡(luò)最高層的輸出特征作為識(shí)別依據(jù)，卷積神經(jīng)網(wǎng)絡(luò)中的高層特征語義信息表征能力強(qiáng)，但缺乏空間細(xì)節(jié)特征；低層特征幾何信息豐富，但語義信息表征能力弱。通過多尺度特征融合的方式將不同網(wǎng)絡(luò)層的特征進(jìn)行融合,提高網(wǎng)絡(luò)的特征表達(dá)能力。

在對(duì)輸入圖像進(jìn)行特征提取時(shí)，Conv3_X的輸出尺寸為32×16×512，Conv4_X為16×8×1 024，Conv5_X為8×4×2 048。為了將特征尺度統(tǒng)一，首先使用雙線性插值，分別將Conv4_X放大為32×16×1 024，Conv5_X放大為 32×16×2 048，然后用1×1 卷積將Conv3_X、Conv4_X升維為32×16×2 048，最后將3個(gè)相同尺度的特征拼接為f={Conv3_X,Conv4_X,Conv5_X}，特征f既能將3個(gè)特征層的優(yōu)劣勢(shì)互補(bǔ)，還能防止網(wǎng)絡(luò)在訓(xùn)練過程中的特征丟失。

1.2 損失函數(shù)

為了提高網(wǎng)絡(luò)識(shí)別率，使用聯(lián)合交叉熵?fù)p失、難樣本采樣三元組損失和中心損失的多損失函數(shù)策略進(jìn)行訓(xùn)練。交叉熵?fù)p失函數(shù)為

(2)

式(2)中：k為批量大?。籲′為類別數(shù)，xi為第yi類中第i個(gè)樣本的特征向量；W為權(quán)值；b為偏置量。

三元組損失函數(shù)在訓(xùn)練時(shí)從每批次訓(xùn)練樣本中選出一張目標(biāo)樣本、一張正樣本和一張負(fù)樣本, 以樣本之間的距離作為約束條件，縮小樣本間的類內(nèi)距離增大類間距離。但在網(wǎng)絡(luò)訓(xùn)練時(shí)，通常都是簡單易區(qū)分的樣本對(duì)，網(wǎng)絡(luò)學(xué)習(xí)的特征不足以描述圖像信息，所以使用改進(jìn)的難樣本采樣三元組損失函數(shù)，其表達(dá)式為

(3)

式(3)中：a為目標(biāo)圖像；p為正樣本；n為負(fù)樣本；A為相同ID的圖像集；B為不同ID的圖像集；dap(η)為正樣本對(duì)距離；dan(η)為負(fù)樣本對(duì)距離，N為每批次訓(xùn)練樣本數(shù)，α表示距離間隔。

由于三元組損失的輸入是在數(shù)據(jù)集中隨機(jī)采集的圖片，所以很難保證類內(nèi)距離小于類間距離，中心損失能夠減少樣本之間的類內(nèi)距離使得模型學(xué)習(xí)到的特征具有更強(qiáng)的識(shí)別能力，中心損失公式為

(4)

式(4)中：cyi為第yi個(gè)類別的特征中心；xi為樣本i的特征向量。

將交叉熵?fù)p失函數(shù)、難樣本采樣三元組損失和中心損失函數(shù)聯(lián)合起來作為行人重識(shí)別網(wǎng)絡(luò)訓(xùn)練所使用的損失函數(shù)，可表示為

L=Lsoftmax+Lth_loss+Lcenter_loss

(5)

2 仿真實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

通過在公開數(shù)據(jù)集Market1501[14]和DukeMTMC-ReID[15]對(duì)設(shè)計(jì)的行人重識(shí)別模型進(jìn)行仿真實(shí)驗(yàn)驗(yàn)證，驗(yàn)證模型的有效性。

Market1501數(shù)據(jù)集在清華大學(xué)中采集，由6個(gè)攝像頭拍攝的1 501個(gè)行人的32 668張圖像組成, 訓(xùn)練集有751人，12936張圖像,測(cè)試集有750人，19 732張圖像。

DukeMTMC-ReID數(shù)據(jù)集在杜克大學(xué)中采集，由8個(gè)高分辨率攝像機(jī)拍攝的1 404個(gè)行人的36 411張圖像組成，訓(xùn)練集有16 522張，測(cè)試集有17 661張，查詢集2 228張。訓(xùn)練集和測(cè)試集都有702個(gè)行人，平均每個(gè)人有23.5張圖片作為訓(xùn)練數(shù)據(jù)。

2.2 實(shí)驗(yàn)環(huán)境及參數(shù)

實(shí)驗(yàn)操作系統(tǒng)為Windows10,CPU參數(shù)為Intel(R)Core(TM)i9-9900 CPU @3.60 GHz,64 GB內(nèi)存，使用顯卡NVIDIA RTX 2080Ti進(jìn)行運(yùn)算加速，Python編寫程序，依賴開源框架Pytorch，網(wǎng)絡(luò)權(quán)值更新采用Adam優(yōu)化算法，初始學(xué)習(xí)率為0.000 1，dropout率為0.5，批量數(shù)為32，epoch為60。模型訓(xùn)練參數(shù)設(shè)置如表1所示。

在技術(shù)可行性方面，醫(yī)院只要裝有普通的電腦即可不需要什么復(fù)雜的設(shè)備和機(jī)器。在經(jīng)濟(jì)上，社區(qū)門診服務(wù)系統(tǒng)肯定比大型的開發(fā)成本和維護(hù)費(fèi)用較小，系統(tǒng)性價(jià)比很高。從使用目的來分析，社區(qū)門診服務(wù)系統(tǒng)是針對(duì)小醫(yī)院應(yīng)用開發(fā)，功能簡潔，操作方便，非常符合小型醫(yī)院的使用要求。因此社區(qū)門診服務(wù)系統(tǒng)應(yīng)該是可行的。

表1 模型參數(shù)設(shè)置

2.3 評(píng)價(jià)指標(biāo)

為了衡量算法性能，將首位命中率Rank-1和平均精度均值mAP作為本文算法評(píng)估標(biāo)準(zhǔn)。

行人重識(shí)別算法的目標(biāo)是在不同的攝像機(jī)下找到與待查詢目標(biāo)最相似的行人，這可以看作是排序問題。Rank-1則表示在排序列表中第一張圖片與待查詢圖片屬于同一ID的準(zhǔn)確率。

mAP由平均精度(average precision.AP)求和取平均得到，計(jì)算公式為

(6)

2.4 仿真實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證所提出模型的有效性，以骨干網(wǎng)絡(luò)為基礎(chǔ)分別對(duì)不同模塊進(jìn)行仿真實(shí)驗(yàn)，分析各個(gè)模塊對(duì)實(shí)驗(yàn)結(jié)果的影響。

2.4.1 注意力機(jī)制模塊的仿真實(shí)驗(yàn)結(jié)果

為了驗(yàn)證注意力機(jī)制模塊對(duì)行人重識(shí)別結(jié)果的影響，模型去除了多尺度特征模塊，在Conv3_X、Conv4_X、Conv5_X的輸出特征后添加注意力機(jī)制DANet進(jìn)行仿真實(shí)驗(yàn)。將骨干網(wǎng)絡(luò)與注意力機(jī)制相結(jié)合后，在Market1501數(shù)據(jù)集的訓(xùn)練結(jié)果如圖3所示，其中訓(xùn)練集的識(shí)別率為0.996，損失率為0.028；測(cè)試集的識(shí)別率為0.889，損失率為0.275，Rank-1為90.7%，mAP為75.1%，相比于單一的使用骨干網(wǎng)絡(luò)Rank-1、mAP分別提高了1.3%和0.8%。

圖3 注意力機(jī)制在Market1501數(shù)據(jù)集的訓(xùn)練結(jié)果

在DukeMTMC-ReID的訓(xùn)練結(jié)果如圖4所示，其中訓(xùn)練集的識(shí)別率為0.994，損失率為0.031；測(cè)試集的識(shí)別率為0.841，損失率為0.445，Rank-1為84.3%，mAP為67.5%，相比于單純使用骨干網(wǎng)絡(luò)Rank-1、mAP分別提高了2.1%和2.4%。

圖4 注意力機(jī)制在DukeMTMC-ReID數(shù)據(jù)集的訓(xùn)練結(jié)果

實(shí)驗(yàn)結(jié)果表明，注意力機(jī)制能夠使得網(wǎng)絡(luò)結(jié)構(gòu)更加關(guān)注于行人圖片中的關(guān)鍵信息，將更多的資源分配給這些信息，合理的對(duì)網(wǎng)絡(luò)資源進(jìn)行分配，提高模型的識(shí)別率。

多尺度特征融合通過將模型中不同卷積塊的輸出特征相融合，使得模型最終輸出特征既包含了幾何細(xì)節(jié)信息表征能力強(qiáng)的低層特征，也包含了語義信息表征能力強(qiáng)的高層特征。為了驗(yàn)證多尺度特征模塊對(duì)行人重識(shí)別結(jié)果的影響，模型去除了圖1中行人重識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)的注意力機(jī)制模塊，只保留了骨干網(wǎng)絡(luò)和多尺度特征模塊進(jìn)行仿真實(shí)驗(yàn)分析。在Market1501數(shù)據(jù)集的訓(xùn)練結(jié)果如圖5所示，其中訓(xùn)練集的識(shí)別率為0.996，損失率為0.027；測(cè)試集的識(shí)別率為0.892，損失率為0.230，Rank-1為91.1%，mAP為76.3%，相比于單一的使用骨干網(wǎng)絡(luò)Rank-1、mAP分別提高了1.7%和2.0%。

圖5 多尺度特征融合在Market1501數(shù)據(jù)集的訓(xùn)練結(jié)果

在DukeMTMC-ReID數(shù)據(jù)集的訓(xùn)練結(jié)果如圖6所示，其中訓(xùn)練集的識(shí)別率為0.993，損失率為0.031；測(cè)試集的識(shí)別率為0.853，損失率為0.433，Rank-1為85.1%，mAP為68.3%，相比于單一的使用骨干網(wǎng)絡(luò)Rank-1、mAP分別提高了2.9%和3.2%，表明多尺度特征融合可以提高特征的表達(dá)能力。

圖6 多尺度特征融合在DukeMTMC-ReID數(shù)據(jù)集的訓(xùn)練結(jié)果

2.4.3 結(jié)合注意力機(jī)制與多尺度特征融合的仿真實(shí)驗(yàn)結(jié)果

將骨干網(wǎng)絡(luò)R-ResNet50、注意力機(jī)制模塊與多尺度特征融合模塊結(jié)合起來設(shè)計(jì)行人重識(shí)別模型，并在主流數(shù)據(jù)集上分別進(jìn)行仿真實(shí)驗(yàn)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，在Market1501數(shù)據(jù)集的訓(xùn)練結(jié)果如圖7所示，其中訓(xùn)練集的識(shí)別率為0.997，損失率為0.020；測(cè)試集的識(shí)別率為0.911，損失率為0.165，Rank-1為92.7%，mAP為80.4%，相比于單一的使用骨干網(wǎng)絡(luò)Rank-1、mAP分別提高了3.3%和6.1%。

圖7 注意力機(jī)制+多尺度特征融合在Market1501數(shù)據(jù)集的訓(xùn)練結(jié)果

在DukeMTMC-ReID數(shù)據(jù)集的訓(xùn)練結(jié)果如圖8所示，其中，訓(xùn)練集的識(shí)別率為0.994，損失率為0.027；測(cè)試集的識(shí)別率為0.883，損失率為0.350，Rank-1為86.4%，mAP為71.0%，相比于單一使用骨干網(wǎng)絡(luò)Rank-1、mAP分別提高了4.2%和5.9%。

圖8 注意力機(jī)制+多尺度特征融合在DukeMTMC-ReID數(shù)據(jù)集的訓(xùn)練結(jié)果

相較于將注意力機(jī)制模塊和多尺度特征融合模塊單獨(dú)使用時(shí)，兩者結(jié)合起來識(shí)別率和損失率更快達(dá)到最高值并趨于穩(wěn)定。表明所提出的基于注意力機(jī)制和多尺度特征融合的行人重識(shí)別網(wǎng)絡(luò)模型能夠增強(qiáng)模型的特征提取能力，提高行人重識(shí)別的識(shí)別率。

2.4.4 與主流方法的對(duì)比

為了驗(yàn)證所提出的行人重識(shí)別方法的優(yōu)越性，將本文所提出的方法在Market1501數(shù)據(jù)集、DukeMTMC-ReID數(shù)據(jù)集上分別與多種主流算法進(jìn)行對(duì)比，結(jié)果如表2所示。在Market1501數(shù)據(jù)集中，本文算法相較于PCB方法Rank-1、mAP分別提高了0.3%和3.1%，相較于Part-aligned方法Rank-1、mAP分別提高了1.0%和0.8%。在DukeMTMC-ReID數(shù)據(jù)集中，本文算法相較于PCB方法Rank-1、mAP分別提高了4.5%和5.7%，相較Part-aligned方法Rank-1、mAP分別提高了2.0%和1.7%。實(shí)驗(yàn)仿真結(jié)果證明了所提出的行人重識(shí)別模型在不同數(shù)據(jù)集的優(yōu)越性，能夠提高行人重識(shí)別的準(zhǔn)確率。

表2 與主流算法的對(duì)比

2.4.5 可視化結(jié)果

使用本文方法對(duì)待檢索圖像進(jìn)行行人重識(shí)別，相似度排行前十的可視化結(jié)果如圖9、圖10所示。通過可視化結(jié)果可知，所提出的基于注意力機(jī)制與多尺度特征融合的行人重識(shí)別方法顯著提高了在公開數(shù)據(jù)集Market1501和DukeMTMC-ReID的識(shí)別效果。

黑色實(shí)線矩形表示檢索正確；紅色虛線矩形表示檢索錯(cuò)誤；Query表示待檢索圖像；Top-10表示檢索出相似度排行前10的圖像

黑色實(shí)線矩形表示檢索正確；紅色虛線矩形表示檢索錯(cuò)誤；Query表示待檢索圖像；Top-10表示檢索出相似度排行前10的圖像

3 結(jié)論

提出了基于注意力機(jī)制與多尺度特征融合的行人重識(shí)別方法。首先對(duì)殘差網(wǎng)絡(luò)ResNet50中的殘差模塊進(jìn)行改進(jìn)，克服了ReLU激活函數(shù)神經(jīng)元“死亡”的缺點(diǎn)。其次在模型結(jié)構(gòu)中加入注意力機(jī)制模塊，使得行人重識(shí)別任務(wù)更關(guān)注一些行人的重點(diǎn)信息，減少不相關(guān)的信息對(duì)識(shí)別任務(wù)造成的干擾。最后，對(duì)骨干網(wǎng)絡(luò)中的不同尺度特征進(jìn)行采樣融合，實(shí)現(xiàn)了網(wǎng)絡(luò)結(jié)構(gòu)中的低層特征與高層特征的優(yōu)缺點(diǎn)互補(bǔ)，并使用多損失函數(shù)策略對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，增強(qiáng)模型的泛化性。通過對(duì)行人重識(shí)別公開數(shù)據(jù)集的仿真實(shí)驗(yàn)表明，所提出的方法具有更高的準(zhǔn)確率。