陳小慧，何宜慶

(1.南昌大學(xué) 人文學(xué)院，江西 南昌 330031；2.南昌大學(xué) 經(jīng)濟(jì)管理學(xué)院，江西 南昌 330031)

0 引 言

基于視頻攝像頭的安防系統(tǒng)[1]在現(xiàn)代社會安全保障中發(fā)揮著重要作用，為了減少城市安防系統(tǒng)中所需大量的人力與時間成本，行人重識別[2，3](person re-identification)應(yīng)運(yùn)而生。行人重識別旨在海量監(jiān)控視頻中運(yùn)用計(jì)算機(jī)視覺技術(shù)來檢索特定的行人，該技術(shù)在刑事偵查、社會治安、嫌疑人追蹤與定位等方面具有廣泛的應(yīng)用前景。傳統(tǒng)的行人重識別方法主要是根據(jù)行人圖像中提取的初級視覺特征(顏色、紋理和邊緣信息等)來進(jìn)行相似性匹配?，F(xiàn)有的方法在全局特征的基礎(chǔ)上附加上行人局部圖像塊的信息來提升模型的鑒別能力，但是許多時候行人圖像局部塊也存在著與行人ID無關(guān)的噪聲，且局部塊之間的上下文信息并沒有被模型很好地關(guān)聯(lián)與學(xué)習(xí)。為了平滑這些局部無關(guān)噪聲與學(xué)習(xí)局部上下文信息，本文提出了一種交叉姿態(tài)標(biāo)簽平滑的行人重識別方法應(yīng)用于智能監(jiān)控管理領(lǐng)域中，主要貢獻(xiàn)如下：

(1)提出了一種基于關(guān)鍵點(diǎn)語義交叉劃分策略，通過提取人體骨架點(diǎn)對圖像進(jìn)行水平、垂直方向的重疊語義劃分，獲取具有交叉語義連貫性的局部上下文信息；

(2)設(shè)計(jì)了一種相對姿態(tài)偏移量來定義和關(guān)聯(lián)局部塊之間的上下文信息，進(jìn)而捕獲行人局部區(qū)域之間的姿態(tài)細(xì)微變化。為了平滑交叉語義劃分后局部圖像噪聲，通過相對姿態(tài)偏移量來獲取平滑因子來設(shè)計(jì)一種基于交叉姿態(tài)上下文的局部標(biāo)簽平滑方法，使得網(wǎng)絡(luò)模型對行人姿態(tài)的細(xì)微變化更為魯棒與敏感；

(3)通過大量實(shí)驗(yàn)分析表明了本文提出的方法能夠有效地平滑局部圖像引入的噪聲信息，并使得網(wǎng)絡(luò)模型具有鑒別行人細(xì)微姿態(tài)變化的能力。

1 相關(guān)工作

近年來，卷積神經(jīng)網(wǎng)絡(luò)[4-7]被逐漸應(yīng)用于行人重識別技術(shù)之中。其主要研究方向主要分為全局表征學(xué)習(xí)與局部表征學(xué)習(xí)。全局的表征學(xué)習(xí)將重識別視為一個多分類任務(wù)來進(jìn)行訓(xùn)練，進(jìn)而獲取全局信息。Zhou等[4]提出了一種全尺度網(wǎng)絡(luò)，通過設(shè)計(jì)多個卷積特征流組成的殘差塊來進(jìn)行行人的全方位特征學(xué)習(xí)。Chen等[5]提出了一種提出了高階注意模塊，利用注意機(jī)制中復(fù)雜的高階統(tǒng)計(jì)信息來捕捉行人之間的細(xì)微差異，并產(chǎn)生有鑒別力的注意力區(qū)域。Zhang等[6]提出了一種有效的關(guān)系感知全局注意力模塊來捕獲全局結(jié)構(gòu)信息，從而更好地進(jìn)行注意力的學(xué)習(xí)。Chang等[7]設(shè)計(jì)了一種多層分解網(wǎng)絡(luò)來進(jìn)行區(qū)分高級與低級語義，整個網(wǎng)絡(luò)將人類視覺的外觀分解為多個語義層且無需任何認(rèn)為的標(biāo)注成本。

局部表征學(xué)習(xí)是在全局信息的基礎(chǔ)上結(jié)合不同具有鑒別力的局部顯著信息來進(jìn)行特征提取。Sun等[8]提出了基于部分卷積的基準(zhǔn)網(wǎng)絡(luò)，利用平均分片策略將特征輸出均勻地切成若干塊，隨后提出了部分精煉池化對這些特征塊重新分配極端值。Suh等[9]提出一個基于人體部位對齊的孿生網(wǎng)絡(luò)模型，該模型可以將人體姿勢表示為部分特征圖，并將它們直接與外觀整體特征圖結(jié)合以計(jì)算對齊的行人部位表示。Zheng等[10]提出了一個知識提煉的姿勢引導(dǎo)特征學(xué)習(xí)網(wǎng)絡(luò)，運(yùn)用行人姿態(tài)信息來實(shí)現(xiàn)身體部位特征的語義對齊。Wu等[11]提出了一種新的多級上下文感知部分注意模型去學(xué)習(xí)有鑒別力且魯棒的局部特征。Fan等[12]提出一種空間通道并行網(wǎng)絡(luò)，其中每個通道的特征都關(guān)注著不同的行人身體部分，空間與通道的對應(yīng)關(guān)系使網(wǎng)絡(luò)能夠?qū)W習(xí)到更具有鑒別力的全局和局部特征。

2 本文方法

本文提出了一種基于交叉姿態(tài)標(biāo)簽平滑的行人重識別方法，旨在緩解平滑局部圖像塊引入的無關(guān)噪聲與獲取局部上下文信息。整個方法的流程分為兩個模塊，如圖1所示。

圖1 本文方法整體流程

(1)首先利用OpenPose框架[15]對全局圖像提取行人骨架的關(guān)鍵點(diǎn)坐標(biāo)信息，再通過這些坐標(biāo)信息對圖像進(jìn)行水平與垂直方向的局部塊劃分，從而獲取具有交叉語義上下文信息的局部圖像塊，隨后將全局圖像和局部圖像塊輸入到網(wǎng)絡(luò)模型中訓(xùn)練；

(2)為了量化地定義行人姿態(tài)的細(xì)微差異，設(shè)計(jì)了一種相對姿態(tài)偏移量。根據(jù)在水平與垂直方向上的局部區(qū)域內(nèi)所有關(guān)鍵點(diǎn)坐標(biāo)的均值差來得到相應(yīng)的姿態(tài)偏移量，再輸入到映射函數(shù)后來獲取局部圖像的偽標(biāo)簽。整個訓(xùn)練過程在局部交叉熵?fù)p失與全局三元組損失的共同監(jiān)督下將全局圖像的ID信息與局部圖像塊的細(xì)微姿態(tài)變化信息結(jié)合起來進(jìn)行訓(xùn)練，能夠在有效學(xué)習(xí)行人全局與局部特征的同時進(jìn)一步平滑局部區(qū)域帶來的噪聲。

2.1 關(guān)鍵點(diǎn)語義交叉劃分策略

在真實(shí)的交通監(jiān)控場景中，同一個行人經(jīng)過不同地點(diǎn)時的姿態(tài)往往不同，這將導(dǎo)致拍攝的行人外觀差異大，而不同身份的行人在相同姿態(tài)的情況下外觀差異卻很小。先前的方法主要是通過將圖像水平均勻地切成若干個局部圖像塊，通過同時學(xué)習(xí)全局與局部特征來獲取姿態(tài)不變性表征。隨后也有研究運(yùn)用人體骨架關(guān)鍵點(diǎn)將圖像劃分為不同語義的局部區(qū)域，通過訓(xùn)練過程中進(jìn)行語義對齊來緩解姿態(tài)變化的影響。但是這些方法劃分的局部區(qū)域都沒有語義關(guān)聯(lián)，即局部區(qū)域之間沒有重疊的語義信息，這將導(dǎo)致學(xué)習(xí)的局部信息互相獨(dú)立。此外，大多數(shù)局部區(qū)域劃分方法是基于水平方向切割的，并沒有考慮縱向的局部區(qū)域信息。本文提出了一個基于關(guān)鍵點(diǎn)語義交叉劃分策略來緩解上述挑戰(zhàn)，整個劃分策略如圖2所示。

圖2 關(guān)鍵點(diǎn)交叉語義劃分策略

首先利用OpenPose框架估計(jì)出18個行人骨架關(guān)鍵點(diǎn)，在全局圖像的左上方構(gòu)建直角坐標(biāo)系，假設(shè)關(guān)鍵點(diǎn)坐標(biāo)集合S={{si(x，y)∣i=0，2，…，17}}； 隨后從水平方向?qū)D片劃分兩個局部區(qū)域Nh1和Nh2(上半身與下半身)，在垂直方向上劃分的局部區(qū)域分別為Nv1和Nv2(左半身與右半身)；最后為了讓這些局部區(qū)域具有語義關(guān)聯(lián)性，本文采用交叉切割的方式來保證局部圖像塊之間具有重疊的語義交集Nh和Nv， 且滿足下式的關(guān)系

(1)

從式(1)可以看出，Nh與Nv確保了水平、垂直方向的兩個局部塊之間的語義連貫性。與此同時，為了讓兩個方向的局部區(qū)域也建立語義交集，交叉劃分策略也保證了Nh與Nv之間具有人體骨架關(guān)鍵點(diǎn)的交集。

2.2 基于交叉姿態(tài)上下文的局部偽標(biāo)簽平滑

本節(jié)分為3個部分，首先通過計(jì)算相對姿態(tài)偏移量來獲得平滑因子；然后結(jié)合平滑因子設(shè)計(jì)基于交叉姿態(tài)上下文的局部偽標(biāo)簽；最后通過全局損失函數(shù)與局部損失函數(shù)的共同監(jiān)督下來進(jìn)行表征學(xué)習(xí)。

2.2.1 相對姿態(tài)偏移量

現(xiàn)有針對姿態(tài)變化的研究主要是通過先驗(yàn)知識來進(jìn)行姿態(tài)特征的語義對齊，進(jìn)而消除姿態(tài)變化對行人重識別精度的影響。由于行人姿態(tài)的變化是一個極為抽象的概念，導(dǎo)致現(xiàn)有數(shù)據(jù)集中缺乏具體的行人姿態(tài)標(biāo)簽信息，如何將行人姿態(tài)信息進(jìn)行合理的量化與定義是緩解姿態(tài)影響的關(guān)鍵。

圖3 相對姿態(tài)偏移量計(jì)算

計(jì)算水平方向與垂直方向的相對姿態(tài)偏移量Ph和Pv如式(2)和式(3)所示

(2)

(3)

SNh1和SNh2分別表示屬于局部區(qū)域Nh1和Nh2內(nèi)的所有關(guān)鍵點(diǎn)坐標(biāo)，num(Nh1) 和num(Nh2) 分別為局部區(qū)域Nh1和Nh2內(nèi)的關(guān)鍵點(diǎn)坐標(biāo)數(shù)目；SNv1、SNv2、Nv1、Nv2同理可得。從上述公式可以得出，相對姿態(tài)偏移量能夠定量地描述行人在水平與垂直方向上的姿態(tài)變化，同時局部區(qū)域之間的關(guān)鍵點(diǎn)均值差距也能直接地反應(yīng)不同行人姿態(tài)之間的細(xì)微差異。

2.2.2 局部偽標(biāo)簽編碼

本文將語義交叉劃分后的局部圖像塊作為全局圖像的擴(kuò)充部分同時進(jìn)行訓(xùn)練，由于單個的局部圖像塊并不能完整地描述一個行人的身份，因此局部圖像塊的標(biāo)簽并不能直接使用全局圖像的標(biāo)簽信息，而且在單個局部圖像塊中存在著一些與整個行人身份無關(guān)的像素信息。

(4)

圖4展示了整個網(wǎng)絡(luò)模型訓(xùn)練過程中全局圖像與局部圖像的標(biāo)簽編碼規(guī)則，其中全局圖像使用One-hot標(biāo)簽編碼(如圖4(a)所示)，即在圖像的標(biāo)簽向量中賦予真實(shí)類別權(quán)重為1，其它類別的權(quán)重為0。局部圖像則使用本文提出的交叉姿態(tài)上下文的偽標(biāo)簽編碼(如圖4(b)所示)，先將平滑因子分配給局部圖像所對應(yīng)的全局One-hot編碼，然后局部圖像經(jīng)過網(wǎng)絡(luò)模型的Softmax函數(shù)后，輸出預(yù)測向量來進(jìn)一步進(jìn)行權(quán)重的分配，最終獲得基于交叉姿態(tài)上下文的局部偽標(biāo)簽編碼。該標(biāo)簽?zāi)芨玫貙W(xué)習(xí)表達(dá)局部圖像的上下文信息與行人局部區(qū)域的細(xì)微姿態(tài)差異。

圖4 全局圖像與局部圖像的標(biāo)簽編碼規(guī)則

2.2.3 損失函數(shù)

(5)

3 實(shí)驗(yàn)結(jié)果及分析

本節(jié)在Market-1501[16]和DukeMTMC-reID[17，18]數(shù)據(jù)集上通過特征可視化分析，最新方法的比較、多種消融實(shí)驗(yàn)分析來驗(yàn)證本文方法的性能。

3.1 實(shí)驗(yàn)環(huán)境與設(shè)置

本文所有實(shí)驗(yàn)結(jié)果是在Pytorch框架中運(yùn)行的，其中操作系統(tǒng)環(huán)境為Ubuntu 20.04.1 LTS，CPU處理器配置為11th Gen Intel?CoreTMi7-11700K @ 3.60 GHz×16，顯卡型號為Nvidia RTX A1000(24 GB)。在整個訓(xùn)練過程中使用ResNet作為基準(zhǔn)網(wǎng)絡(luò)模型，batch_size為80，每個行人圖像的尺寸統(tǒng)一裁剪為224×224，訓(xùn)練迭代總次數(shù)為100次，學(xué)習(xí)率初始化為0.000 35，weight_decay初始化為0.0005，同時使用隨機(jī)梯度下降法(SGDM)進(jìn)行模型參數(shù)的更新與調(diào)優(yōu)。

3.2 數(shù)據(jù)集與評價(jià)指標(biāo)

本文在兩個公共開源的數(shù)據(jù)集Market-1501和DukeMTMC-reID上分別進(jìn)行實(shí)驗(yàn)。

Market-1501數(shù)據(jù)集來源于清華大學(xué)，整個數(shù)據(jù)通過6個攝像機(jī)拍攝了1501個行人，共計(jì)32 668張圖片。其中751個身份的行人作為訓(xùn)練集，共計(jì)12 936張圖片；另外采樣的750個行人作為測試集，共計(jì)19 732張圖片。

DukeMTMC-re-ID數(shù)據(jù)集是由杜克大學(xué)開源發(fā)布的，由8個攝像機(jī)拍攝而成。它包含1404個行人對應(yīng)的36 411張訓(xùn)練圖片，其中訓(xùn)練集擁有16 522張圖片，測試集則采樣了17 661張圖片，訓(xùn)練集和測試集分別采樣了702個行人樣本。

本文將首位命中率(Rank-1 accuracy)、均值平均精度(mean average precision，mAP)和CMC曲線作為評價(jià)行人重識別方法的性能指標(biāo)。Rank-1是指在排序列表中第一個候選樣本就檢索出目標(biāo)行人的概率，mAP則是反映了正確匹配的行人樣本在整個排序列表中名次靠前的程度。CMC曲線表示Top-n的擊中概率，同ROC曲線一樣是模式識別系統(tǒng)重要評價(jià)指標(biāo)，本文將其用于評價(jià)行人重識別算法的性能。

3.3 可視化分析

本小節(jié)通過對網(wǎng)絡(luò)模型熱力圖可視化與排序列表可視化來形象地分析本文方法在處理細(xì)微姿態(tài)變化問題上的表現(xiàn)力。

3.3.1 熱力圖可視化

圖5 網(wǎng)絡(luò)模型熱力圖對比

3.3.2 排序列表可視化

圖6列舉了ResNet-50和本文模型在兩個檢索目標(biāo)上的排序結(jié)果(排名前5個)，其中灰色方框的樣本代表ID身份與檢索目標(biāo)相同，黑色方框的樣本代表ID身份與檢索目標(biāo)不同。在ResNet-50與本文方法的Top-5排序列表結(jié)果中可以看出，本文方法的列表中包含了更多不同姿態(tài)的正確樣本，而ResNet-50模型的列表中存在著許多行人衣著與姿態(tài)相似的錯誤樣本。這些現(xiàn)象驗(yàn)證了本文方法能夠提取更加細(xì)微且有鑒別力的行人特征，可以精準(zhǔn)地匹配不同姿態(tài)下的同一身份的行人。

圖6 排序結(jié)果Top-5對比

3.4 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文所提方法在識別行人細(xì)微姿態(tài)差異問題上的有效性與魯棒性，本節(jié)內(nèi)容展示了4種類型的消融實(shí)驗(yàn)。

3.4.1 不同模塊的影響分析

為了分析本文中的所有模塊對行人重識別精度的影響，分別將語義交叉劃分與局部偽標(biāo)簽進(jìn)行了消融對比分析。實(shí)驗(yàn)結(jié)果見表1，在Market-1501數(shù)據(jù)集上本文方法比使用均勻劃分和局部偽標(biāo)簽的Rank-1與mAP分別提升了2.95%與2.40%，因?yàn)檎Z義交叉劃分相比于均勻劃分能學(xué)習(xí)更多的局部信息塊之間的關(guān)聯(lián)性；本文方法比僅使用語義交叉劃分模塊的Rank-1與mAP分別高出4.35%與7.80%，由于加入局部偽標(biāo)簽的平滑學(xué)習(xí)，能夠充分學(xué)習(xí)不同行人之間的細(xì)微姿態(tài)差異。同時，在DukeMTMC-reID數(shù)據(jù)集上本文方法也比使用均勻劃分和局部偽標(biāo)簽方法的Rank-1與mAP分別提升了3.70%與1.64%；比僅使用語義交叉劃分模塊的Rank-1與mAP分別高出6.64%與6.65%。這些結(jié)果表明同時使用語義交叉劃分與局部偽標(biāo)簽?zāi)苁沟镁W(wǎng)絡(luò)模型獲得更好的檢索性能。

表1 不同模塊的對比結(jié)果

3.4.2 不同局部表征學(xué)習(xí)方法比較

通過比較一些最新的局部表征學(xué)習(xí)方法來證實(shí)本文方法在局部特征學(xué)習(xí)上的優(yōu)越性。如表2所示，本文的網(wǎng)絡(luò)相比于其它局部表征學(xué)習(xí)方法的精度有顯著的優(yōu)勢。PCB模型雖然通過平均分片策略來學(xué)習(xí)判別能力強(qiáng)的細(xì)微特征，但對行人姿態(tài)沒有進(jìn)行定義與度量學(xué)習(xí)。精度表現(xiàn)第二好MMGA方法利用人體局部掩模引導(dǎo)注意網(wǎng)絡(luò)來監(jiān)督行人上半身于下半身區(qū)域的特征學(xué)習(xí)，但是MMGA并沒有對局部圖像進(jìn)行單獨(dú)的平滑訓(xùn)練，因此并沒有完全充分地學(xué)習(xí)局部區(qū)域的所有細(xì)微特征。相較于以上方法，本文方法通過語義交叉局部區(qū)域劃分與局部圖像的標(biāo)簽平滑訓(xùn)練來指導(dǎo)網(wǎng)絡(luò)模型進(jìn)行局部表征學(xué)習(xí)，充分地利用了局部圖像并學(xué)習(xí)了相應(yīng)的細(xì)微特征。因此本文方法對行人姿態(tài)變化的魯棒性要優(yōu)于其它方法。

表2 不同基準(zhǔn)網(wǎng)絡(luò)的對比結(jié)果

3.4.3 不同損失函數(shù)的影響分析

表3探討了3種損失函數(shù)對行人重識別精度的影響，三元組損失與對比損失雖然通過計(jì)算行人ID信息的差異來優(yōu)化模型，但僅僅停留在ID級別的層面，并不能精確到充行人姿態(tài)信息。而本文的損失通過相對姿態(tài)偏移量的大小來映射姿態(tài)變化的權(quán)重，能有效地表達(dá)不同行人之間的細(xì)微姿態(tài)變化，因此本文方法的檢索精度要遠(yuǎn)高于其它兩種損失函數(shù)。以上結(jié)果可以看出級聯(lián)三元組損失函數(shù)能更好量化與表達(dá)不同行人之間姿態(tài)變化信息。

表3 不同損失函數(shù)的對比結(jié)果

3.4.4 CMC曲線分析

圖7(a)和圖7(b)分別為是否使用本文方法在兩個數(shù)據(jù)集上得到的CMC曲線。通過觀察可以觀察到本文方法始終比基礎(chǔ)方法的重識別效果更好，尤其是在Rank-1至Rank-5之間。因?yàn)楸疚姆椒ㄍㄟ^局部上下文的交叉姿態(tài)學(xué)習(xí)促使模型提取了更具鑒別力的細(xì)微特征，從而將排序靠后的正樣本提升了排名，最終進(jìn)一步改善了Rank的精度。

圖7 不同行人重識別數(shù)據(jù)集的CMC曲線(%)對比結(jié)果

3.5 與其它最新方法比較

表4展示了本文方法與其它最新方法在Market-1501和DukeMTMC-reID數(shù)據(jù)集上的精度對比結(jié)果，從中可以看出本文方法在Market-1501數(shù)據(jù)集上獲得了95.52%的Rank-1和87.09%的mAP；在DukeMTMC-reID數(shù)據(jù)集上獲得了88.96%的Rank-1和76.51%的mAP。重識別性能排名第二的DG-Net模型通過端到端的形式來生成新的圖像并實(shí)時地微調(diào)整個行人重識別模型，但是由于生成圖像存在著一些像素級別的噪聲，導(dǎo)致網(wǎng)絡(luò)模型對提取生成圖像特征的能力有限。相較于DG-Net模型，本文方法通過已有的全局圖像進(jìn)行語義交叉劃分局部圖像塊能夠避免新生成圖像的像素級噪聲，同時應(yīng)用局部偽標(biāo)簽編碼方法能夠降低局部圖像中的無關(guān)噪聲。RANGEv2利用一個雙流網(wǎng)絡(luò)結(jié)構(gòu)聯(lián)合學(xué)習(xí)了排序上下文信息和外觀特征來獲取更有鑒別力的特征，盡管在雙流網(wǎng)絡(luò)結(jié)構(gòu)中引入了部件的細(xì)粒度特征來緩解排序過程中不正確匹配問題，但是該方法提取的局部特征依然是對外觀特征進(jìn)行平均地劃分，并沒有很好地考慮局部特征之間的關(guān)聯(lián)性，所以仍然低于本文方法的精度。MGS通過多粒度形狀學(xué)習(xí)來捕獲局部的3D信息與增強(qiáng)三維形狀特征多樣性。CDNet方法提出了一種新的組合深度空間，并通過一個輕量化的網(wǎng)絡(luò)架構(gòu)來進(jìn)行特征提取與學(xué)習(xí)。以上兩種方法都沒有考慮如何有效地平滑局部特征的噪聲。而本文方法借助交叉姿態(tài)來有效地平滑局部噪聲，因此本文方法取得了最好的表現(xiàn)且明顯優(yōu)于MGS與CDNet。

表4 與最新方法的對比結(jié)果

4 結(jié)束語

本文提出了一種交叉姿態(tài)標(biāo)簽平滑的行人重識別方法來學(xué)習(xí)行人的局部細(xì)微信息，該方法通過行人骨架點(diǎn)的坐標(biāo)信息來劃分局部區(qū)域，然后結(jié)合水平與垂直方向的相對姿態(tài)偏移量與映射函數(shù)來對局部圖像進(jìn)行偽標(biāo)簽編碼，通過全局圖像的度量與局部圖像的標(biāo)簽平滑來提升網(wǎng)絡(luò)模型對行人姿態(tài)的鑒別能力。大量實(shí)驗(yàn)結(jié)果表明本文方法能夠有效地平滑局部區(qū)在訓(xùn)練階段引入的噪聲，并且促使網(wǎng)絡(luò)模型能夠獲取更多的局部上下文信息，有效地緩解了治安監(jiān)控管理問題。