吉海瑞,張寶華

(內(nèi)蒙古科技大學(xué) 信息工程學(xué)院,內(nèi)蒙古 包頭 014010)

行人重識(shí)別(Person Re-identification,ReID)旨在研究同一身份行人在非重疊監(jiān)控場(chǎng)景下的匹配檢索問(wèn)題.在實(shí)際場(chǎng)景中,不同攝像機(jī)捕獲的同一行人圖像分辨率差異顯著,直接跨分辨率匹配會(huì)使網(wǎng)絡(luò)性能下降.

為解決分辨率不匹配問(wèn)題,JIAO等[1]人提出一種級(jí)聯(lián)超分辨率(Super Resolution,SR)模型和Re-ID子網(wǎng)絡(luò)的方法,通過(guò)多尺度的SR網(wǎng)絡(luò)重建低分辨率圖像中的高頻信息. WANG等[2]人通過(guò)級(jí)聯(lián)多個(gè)GAN網(wǎng)絡(luò),通過(guò)尺度自適應(yīng)放大因子逐步重建低分辨率圖像中的細(xì)節(jié),以解決跨分辨率圖像特征不一致問(wèn)題.這些方法利用級(jí)聯(lián)圖像超分辨率或GAN網(wǎng)絡(luò)的優(yōu)勢(shì)解決跨分辨率問(wèn)題,而SR和ReID聯(lián)合網(wǎng)絡(luò)的兼容性問(wèn)題并未得到有效解決.為此,CHENG等[3]人利用超分辨率技術(shù)和行人重識(shí)別之間的底層關(guān)聯(lián)信息增強(qiáng)子網(wǎng)絡(luò)之間的兼容性,從訓(xùn)練策略角度優(yōu)化超分辨率技術(shù)和行人重識(shí)別的聯(lián)合框架,以提高網(wǎng)絡(luò)性能.ZHANG等[4]人利用教師學(xué)生模型分階段訓(xùn)練網(wǎng)絡(luò),以減少跨分辨率圖像之間的特征分布差異.而這些方法卻忽略了如何在超分辨率重建過(guò)程中獲取有效的判別區(qū)域.

為此,提出了一種基于動(dòng)態(tài)前景聚焦與偽孿生網(wǎng)絡(luò)的跨分辨率行人重識(shí)別算法.該算法利用動(dòng)態(tài)前景聚焦超分辨率網(wǎng)絡(luò),恢復(fù)低分辨率圖像.然后構(gòu)建偽孿生網(wǎng)絡(luò),實(shí)現(xiàn)對(duì)不同粒度特征進(jìn)行自適應(yīng)特征提取,以學(xué)習(xí)細(xì)粒度局部特征和粗粒度全局特征.

1 基本原理

1.1 網(wǎng)絡(luò)框架

整體網(wǎng)絡(luò)框架由2部分組成,分別為動(dòng)態(tài)前景聚焦超分辨率網(wǎng)絡(luò)(Dynamic Foreground Focusing Super Resolution, DFFSR)和偽孿生網(wǎng)絡(luò)(Pseudo Siamese Network, PSN)模塊,如圖1所示.

圖1 整體網(wǎng)絡(luò)架構(gòu)

1.2 DFFSR網(wǎng)絡(luò)

DFFSR網(wǎng)絡(luò)由編碼器(Encoder),動(dòng)態(tài)感知模塊(Dynamic Perception Network, DPN)和解碼器(Decoder)3部分組成,其中,動(dòng)態(tài)感知模塊是由n個(gè)Attention in Attention Block(A2B)網(wǎng)絡(luò)構(gòu)建而成鏈?zhǔn)阶泳W(wǎng)絡(luò),每個(gè)A2B由非注意力分支(Non-attention Branch),注意力分支(Attention Branch)和動(dòng)態(tài)注意模塊(Dynamic Attention Module, DAM)3分支組成,如圖2所示.

圖2 動(dòng)態(tài)前景聚焦網(wǎng)絡(luò)

首先,原圖像經(jīng)過(guò)編碼器學(xué)習(xí)得到中間特征Fc,通過(guò)動(dòng)態(tài)感知模塊動(dòng)態(tài)感知中間特征中的顯著區(qū)域,得到具有判別信息的中間特征Fd.其次,經(jīng)過(guò)解碼器進(jìn)行超分辨率重建,得到超分辨率圖像.最后,利用高斯掩碼抑制背景雜波干擾.

編碼器用兩個(gè)以步幅為2的卷積層對(duì)輸入圖像進(jìn)行下采樣,得到中間特征Fc,然后將其輸入到動(dòng)態(tài)感知模塊,得到具有判別區(qū)域的中間特征Fd.公式如下:

(1)

式中:f(·)為非注意力分支和注意力分支與由輸入特征確定的動(dòng)態(tài)權(quán)重相結(jié)合的函數(shù).

在每個(gè)A2B中,動(dòng)態(tài)注意力模塊分支利用加權(quán)求和方式平衡注意力分支和非注意力分支,控制兩分支的動(dòng)態(tài)加權(quán)貢獻(xiàn),自動(dòng)丟棄不重要的注意力特征.計(jì)算公式如下:

(2)

πn=fatt(xn) .

(3)

式中:fatt為動(dòng)態(tài)注意力模塊計(jì)算函數(shù).

提取到具有判別性的中間特征后,通過(guò)解碼器對(duì)Fd進(jìn)行重建.首先使用最近鄰插值對(duì)其上采樣,并在低層和高層之間添加跳躍連接,保留原始圖像中的視覺(jué)線索,提高重建圖像的質(zhì)量.最后對(duì)輸入圖像特征和重建后特征融合,生成超分辨率特征Fsr.

行人前景可以為行人重識(shí)別提供更多的特征信息,為了在行人前景上恢復(fù)更多視覺(jué)線索并抑制雜亂的背景,提出動(dòng)態(tài)前景聚焦SR損失LDFFSR,計(jì)算公式如下:

(4)

1.3 PSN網(wǎng)絡(luò)

單獨(dú)應(yīng)用DFFSR網(wǎng)絡(luò)不足以挖掘深層語(yǔ)義信息,并且低分辨率和高分辨率圖像傳達(dá)的視覺(jué)線索數(shù)量不同.為此,設(shè)計(jì)了PSN網(wǎng)絡(luò)進(jìn)行分辨率自適應(yīng)特征提取.在PSN網(wǎng)絡(luò),首先利用Stage0、Stage1和Stage2提取特定分辨率特征圖的低頻信息;然后將Stage3和Stage4設(shè)置為具有共享參數(shù)的偽孿生網(wǎng)絡(luò)框架進(jìn)行粗細(xì)粒度特征學(xué)習(xí),實(shí)現(xiàn)分辨率自適應(yīng)特征提取.

在細(xì)粒度分支,經(jīng)過(guò)Stage4后將n個(gè)局部特征向量連接成單個(gè)列向量,學(xué)習(xí)具有局部分辨率的判別特征:

(5)

進(jìn)一步用于產(chǎn)生ID預(yù)測(cè)損失:

(6)

式中:Wj、Wyi分別為權(quán)重矩陣W(g的單個(gè)分類器)的第j列和第yi列對(duì)應(yīng)的權(quán)值.

該分支采用難樣本挖掘三元組損失作為細(xì)粒度分支損失函數(shù)Lf_tri,對(duì)于batch中的每個(gè)特征fa,通過(guò)挖掘最難正負(fù)樣本對(duì)fp和fn來(lái)構(gòu)造三元組以計(jì)算細(xì)粒度分支損失.

在粗粒度分支,采用異中心三元組損失函數(shù)[5]作為粗粒度分支損失函數(shù)Lc_tri.對(duì)于每個(gè)行人,通過(guò)關(guān)注跨分辨率正中心對(duì)和最難(模態(tài)內(nèi)和模態(tài)間)負(fù)中心對(duì).PSN模塊總損失為:

LPSN=Lf_tri+Lid(f)+Lc_tri+Lid(fc) .

(7)

式中:Lf_tri為細(xì)粒度三元組損失,Lid(f)為細(xì)粒度分支分類損失;Lc_tri為粗粒度三元組損失,Lid(fc)為粗粒度分支分類損失.

1.4 跨分辨率數(shù)據(jù)特征間的約束準(zhǔn)則構(gòu)建

在目標(biāo)函數(shù)構(gòu)建方面.行人重識(shí)別任務(wù)的目標(biāo)是最小化同一個(gè)人圖像之間的距離,同時(shí)保持不同人圖像之間的較大距離.考慮到行人圖像分辨率的影響,將跨分辨率行人重識(shí)別的目標(biāo)函數(shù)O定義為:

(8)

式中:Fsim為計(jì)算同一行人兩張圖像之間的特征距離函數(shù);Fdif為計(jì)算不同行人兩張圖像之間的特征距離函數(shù);r1和r2分別為距離計(jì)算中2個(gè)圖像的分辨率.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集評(píng)估與評(píng)價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)所涉及的數(shù)據(jù)集包括2個(gè)用于傳統(tǒng)行人重識(shí)別任務(wù)的高分辨率數(shù)據(jù)集(MLR-Market-1501[6]、MLR-DukeMTMC-ReID[7]),2個(gè)以隨機(jī)的下采樣率對(duì)所有圖像進(jìn)行預(yù)處理的合成數(shù)據(jù)集(MLR-Market-1501、MLR-DukeMTMC-ReID),和一個(gè)本身存在高低分辨率圖像的數(shù)據(jù)集:CAVIAR[8].

實(shí)驗(yàn)采用首位命中率Rank-1和前5位命中率Ran-5作為實(shí)驗(yàn)評(píng)估指標(biāo).

2.2 實(shí)驗(yàn)配置與實(shí)驗(yàn)細(xì)節(jié)

實(shí)驗(yàn)是在2張NVIDIA GeForce RTX 2080Ti顯卡環(huán)境下實(shí)現(xiàn)的.實(shí)驗(yàn)中采用PyTorch1.10.0框架,輸入圖像尺寸大小為256×128,網(wǎng)絡(luò)基本結(jié)構(gòu)為OSNet50[9],設(shè)置batch大小為64.采用Adam優(yōu)化器優(yōu)化參數(shù),模型初始學(xué)習(xí)率為3.5×10-5.

2.3 實(shí)驗(yàn)結(jié)果分析

2.3.1消融實(shí)驗(yàn)

首先,對(duì)DFFSR網(wǎng)絡(luò)進(jìn)行有效性驗(yàn)證.實(shí)驗(yàn)在MLR-Market-1501數(shù)據(jù)集上進(jìn)行.采用RestNet50作為特征提取模型,并且測(cè)試了不同的超分辨率方法(雙線性插值Bilinear,NLSN[10]和EMASRN+[11]),結(jié)果如表1所示.

表1 不同超分辨率模型的精度對(duì)比(準(zhǔn)確率,%)

從表1中可以看出,在DFFSR網(wǎng)絡(luò)中僅應(yīng)用注意力分支比僅應(yīng)用非注意力分支稍有提升,可以得出注意力機(jī)制更有利于SR模型感知判別特征.當(dāng)2個(gè)分支結(jié)合后,相對(duì)僅應(yīng)用注意力分支,Rank-1和Rank-5分別提高了2.5%和0.8%,表明將2個(gè)分支結(jié)合更有利于低分辨率圖像的恢復(fù),捕獲判別特征.在雙分支的基礎(chǔ)上應(yīng)用動(dòng)態(tài)注意力模塊后,精度明顯提升,這說(shuō)明該模塊可以更好地抑制無(wú)效感知區(qū)域,增強(qiáng)對(duì)關(guān)鍵特征的感知能力.當(dāng)結(jié)合高斯掩碼后,Rank-1和Rank-5提升至55.1%和73.6%,表明結(jié)合高斯掩碼后的DFFSR能有效地提取更多的圖像前景關(guān)鍵信息,緩解多分辨率圖像攜帶的高低頻信息特征差異,并且一定程度上增強(qiáng)了模型的檢索性能.通過(guò)與目前主流超分辨率模型(NLSN,EMASRN+)對(duì)比,算法有明顯提升.

其次,對(duì)PSN網(wǎng)絡(luò)進(jìn)行有效性驗(yàn)證.實(shí)驗(yàn)在MLR-Market-1501數(shù)據(jù)集上進(jìn)行.采用雙線性插值作為超分辨率重建模塊.為評(píng)估PSN網(wǎng)絡(luò)不同深度設(shè)置的影響,對(duì)其進(jìn)行研究,結(jié)果如表2所示.由于OSNet50有5個(gè)殘差塊,表中的C0-S1234為將第一個(gè)殘差塊作為淺層,其余4個(gè)塊作為偽孿生網(wǎng)絡(luò)共享深層.其他方法也以同樣方式命名,其中C01234為沒(méi)有設(shè)置偽孿生網(wǎng)絡(luò).

表2 PSN網(wǎng)絡(luò)不同深度設(shè)置的精度對(duì)比(準(zhǔn)確率,%)

從表2可以看出,C01234在所有方法中性能最差,說(shuō)明構(gòu)建偽孿生網(wǎng)絡(luò)是必要的,并且隨著淺層深度的增加和偽孿生網(wǎng)絡(luò)的深度的減小,識(shí)別性能先提高后降低.當(dāng)淺層深度較小時(shí),無(wú)法充分提取不同模態(tài)的模態(tài)特征.當(dāng)淺層深度較大時(shí),不同形態(tài)的2個(gè)分支過(guò)于獨(dú)立,提取的特征差異太大,C012-S34在2個(gè)數(shù)據(jù)集上性能最佳.因此實(shí)驗(yàn)將OSNet50的前3個(gè)殘差塊設(shè)置為淺層,后2個(gè)殘差塊設(shè)置為偽孿生網(wǎng)絡(luò)架構(gòu).

將PSN網(wǎng)絡(luò)與四種特征提取模型進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果如表3所示.

表3 不同特征提取模型的精度對(duì)比(準(zhǔn)確率,%)

在表3中可以發(fā)現(xiàn),OSNet50比ResNet50精度少有提升,這是因?yàn)镽esNet網(wǎng)絡(luò)具有下采樣特性,導(dǎo)致分辨率的降低.通過(guò)融合2個(gè)ResNet50和兩個(gè)OSNet50來(lái)增加網(wǎng)絡(luò)參數(shù)會(huì)比單獨(dú)1個(gè)分支帶來(lái)更多邊際改進(jìn),進(jìn)一步提高了網(wǎng)絡(luò)精度,其中,Rank-1分別提高了1.5%和1.8%.在比較的方法中,PSN網(wǎng)絡(luò)取得了最好的性能,Rank-1比基線高出了6.3%,結(jié)果表明,PSN網(wǎng)絡(luò)可以更好地挖掘深層語(yǔ)義特征,增強(qiáng)對(duì)判別性特征的提取能力.

最后,進(jìn)一步驗(yàn)證DFFSR和PSN對(duì)公式(9)中定義的目標(biāo)函數(shù)的影響.實(shí)驗(yàn)在MLR-Market-1501和MLR-DukeMTMC-ReID數(shù)據(jù)集上進(jìn)行.為簡(jiǎn)單起見用基礎(chǔ)網(wǎng)絡(luò)ResNet作為特征提取器.結(jié)果如圖3所示.

圖3 DFFSR和PSN對(duì)目標(biāo)函數(shù)的影響

在具有不同r1和r2組合的2個(gè)數(shù)據(jù)集上計(jì)算O(r1,r2),其中,圖(a)和(b)是在MLR-Market-1501數(shù)據(jù)集上進(jìn)行的結(jié)果,圖(c)和(d)是在MLR-DukeMTMC-ReID數(shù)據(jù)集上進(jìn)行的結(jié)果.圖(a)和(c)為固定r1=r2并將它們的值從0.25增加到1.可以觀察到,較低的分辨率會(huì)導(dǎo)致較大的O,從而導(dǎo)致較低的準(zhǔn)確率.圖(b)和(d)為固定r2=1并將r1從0.25增加到1.可以得出,2個(gè)圖像分辨率差較大時(shí),會(huì)降低識(shí)別精度.從圖中也可以發(fā)現(xiàn),DFFSR和PSN都降低了目標(biāo)函數(shù)的值,并且都降低了原始曲線的斜率,意味著所提算法可更好地處理分辨率變化的行人圖像.結(jié)合DFFSR和PSN可帶來(lái)最佳性能.

2.3.2與現(xiàn)有主流算法比較

為了驗(yàn)證所提算法的有效性,將其與最近的7種跨分辨率行人重識(shí)別算法(SING[1],CSR-GAN[2],INTACT[3],RIPR[12],CAD-Net[13],CAD-Net++[14]和B-F+RFD[15])比較.在表4中總結(jié)了3個(gè)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果.

表4 與其他先進(jìn)算法的精度對(duì)比(準(zhǔn)確率,%)

從表4中可以看出,所提算法在3個(gè)數(shù)據(jù)集上的Rank-1和Rank-5指標(biāo)均超越了之前算法,取得目前領(lǐng)先效果.這說(shuō)明所提算法可以有效提取跨分辨率行人圖像的模態(tài)不變性特征,以實(shí)現(xiàn)更好的檢索與匹配.

3 結(jié)論

針對(duì)跨分辨率行人重識(shí)別場(chǎng)景復(fù)雜等問(wèn)題,提出了一種跨分辨率行人重識(shí)別算法,通過(guò)動(dòng)態(tài)前景聚焦超分辨率重建網(wǎng)絡(luò)恢復(fù)低分辨率圖像中缺失的判別性特征,通過(guò)構(gòu)建多粒度相互協(xié)同的偽孿生網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)超分辨率重建圖像的精細(xì)化識(shí)別.通過(guò)端到端訓(xùn)練,使模型強(qiáng)有力地解決了多分辨率圖像特征不一致、網(wǎng)絡(luò)級(jí)聯(lián)訓(xùn)練困難等問(wèn)題.實(shí)驗(yàn)結(jié)果表明,所提算法有效提高了多分辨率情況下的識(shí)別準(zhǔn)確率,相比于主流算法具有一定優(yōu)勢(shì).