吳彥丞 陳鴻昶 李邵梅 高超

近年來,隨著監(jiān)控設(shè)備在公共場(chǎng)所的普及,行人再識(shí)別技術(shù)越來越受到人們的重視.行人再識(shí)別是利用計(jì)算機(jī)視覺技術(shù)判斷圖像或者視頻序列中是否存在特定行人的技術(shù).但是由于光照、遮擋、行人姿態(tài)等問題,同一行人在不同場(chǎng)景中的外觀呈現(xiàn)出較大差異,這給行人再識(shí)別研究帶來了巨大挑戰(zhàn).為了有效應(yīng)對(duì)這些挑戰(zhàn),廣大研究者提出了很多解決方法.

1 相關(guān)研究

目前的行人再識(shí)別算法大體可分為三類,分別是特征表示學(xué)習(xí)、距離度量學(xué)習(xí)和基于深度學(xué)習(xí)的方法.特征表示學(xué)習(xí)方法利用視覺特征對(duì)行人建立一個(gè)具有魯棒性和區(qū)分性的表示,然后根據(jù)傳統(tǒng)的相似性度量算法(歐氏距離等)來計(jì)算行人之間的相似度.文獻(xiàn)[1]在提取出行人前景的基礎(chǔ)上,利用行人區(qū)域的對(duì)稱性和非對(duì)稱性將前景劃分成不同的區(qū)域,對(duì)于每個(gè)區(qū)域,提取帶權(quán)重的顏色直方圖等特征描述它們.文獻(xiàn)[2]對(duì)于提取出的顏色直方圖特征,使用PCA(Principle component analysis)對(duì)其進(jìn)行降維.文獻(xiàn)[3]結(jié)合方向、顏色、熵等多種特征,分級(jí)識(shí)別行人.雖然特征表示學(xué)習(xí)的思想較為直接簡(jiǎn)單,易于解決小規(guī)模數(shù)據(jù)集的行人再識(shí)別問題,但是在光照、視角、姿態(tài)變化較大的情況下,特征表示學(xué)習(xí)方法的效果很差.

距離度量學(xué)習(xí)是一種利用測(cè)度學(xué)習(xí)算法得出兩張行人圖像的相似度度量函數(shù),使相關(guān)的行人圖像對(duì)的相似度盡可能高,不相關(guān)的行人圖像對(duì)的相似度盡可能低的方法.代表性的距離度量學(xué)習(xí)算法有文獻(xiàn)[4],其中將行人再識(shí)別問題轉(zhuǎn)化為距離學(xué)習(xí)問題,提出了一種基于概率相對(duì)距離的行人匹配模型.文獻(xiàn)[5]在不同的特征子空間中利用不同的核函數(shù)對(duì)距離進(jìn)行度量.文獻(xiàn)[6]基于馬爾科夫模型對(duì)行人之間的距離進(jìn)行度量.在大規(guī)模數(shù)據(jù)集下,距離度量學(xué)習(xí)計(jì)算開銷過大,計(jì)算效率過低,容易陷入局部最小值,準(zhǔn)確率不高.

深度學(xué)習(xí)近年來在計(jì)算機(jī)視覺中得到了廣泛的應(yīng)用,因此不少學(xué)者研究并提出了基于深度學(xué)習(xí)的行人再識(shí)別算法.文獻(xiàn)[7]最先將深度學(xué)習(xí)應(yīng)用于行人再識(shí)別領(lǐng)域,使用卷積神經(jīng)網(wǎng)絡(luò)提取行人的特征.隨后不斷研究對(duì)其進(jìn)行改進(jìn).文獻(xiàn)[8]提出將LSTM(Long short-term memory)模型結(jié)合進(jìn)卷積神經(jīng)網(wǎng)絡(luò)中,提高了網(wǎng)絡(luò)對(duì)時(shí)序特征的提取能力.文獻(xiàn)[9]將注意力模型結(jié)合進(jìn)CNN(Convolutional neural network)網(wǎng)絡(luò)中,提升了模型的特征提取能力.基于深度學(xué)習(xí)的行人再識(shí)別近年來成為該領(lǐng)域的主流方法,相對(duì)于傳統(tǒng)方法,具有識(shí)別精度高,魯棒性好的優(yōu)點(diǎn).

上述方法有個(gè)共同的特點(diǎn),就是它們僅僅考慮了行人圖片的標(biāo)簽信息,也就是只使用了行人ID這個(gè)標(biāo)記信息,并沒有采用行人的屬性信息.為此,近年來,隨著帶屬性標(biāo)簽行人數(shù)據(jù)庫(kù)的出現(xiàn),有研究人員提出了基于屬性的行人再識(shí)別方法,比如文獻(xiàn)[10?11]使用行人屬性進(jìn)行行人再識(shí)別,達(dá)到了很好的識(shí)別效果.由于基于屬性學(xué)習(xí)的方法具有更符合人類的搜索習(xí)慣,能應(yīng)用于零樣本學(xué)習(xí)等優(yōu)點(diǎn),因此當(dāng)前這類方法成為該領(lǐng)域的研究熱點(diǎn).其中,文獻(xiàn)[10]主要針對(duì)監(jiān)控場(chǎng)景下行人屬性的識(shí)別做出了改進(jìn),主要提出了兩個(gè)行人屬性識(shí)別網(wǎng)絡(luò)DeepSAR和DeepMAR,前者對(duì)每個(gè)屬性進(jìn)行單獨(dú)預(yù)測(cè),后者聯(lián)合多屬性同時(shí)預(yù)測(cè),在預(yù)測(cè)每個(gè)屬性時(shí),考慮到屬性內(nèi)正負(fù)樣本不均衡的情況,利用數(shù)據(jù)先驗(yàn)分布對(duì)屬性預(yù)測(cè)的權(quán)值進(jìn)行調(diào)整,從而提高了行人屬性的識(shí)別效果.文獻(xiàn)[11]提出一種聯(lián)合識(shí)別行人屬性和行人ID的神經(jīng)網(wǎng)絡(luò)模型,大幅度提高了行人再識(shí)別的準(zhǔn)確率,作者首先對(duì)大規(guī)模行人再識(shí)別數(shù)據(jù)集Market 1501[12]和DukeMTMC[13]進(jìn)行了行人屬性的標(biāo)注,然后基于這些標(biāo)注圖片,設(shè)計(jì)實(shí)現(xiàn)了APR(Attribute-person recognition)神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)對(duì)輸入圖片同時(shí)進(jìn)行行人屬性和行人ID的提取與識(shí)別,將識(shí)別結(jié)果與圖片標(biāo)注標(biāo)簽進(jìn)行比對(duì),比對(duì)結(jié)果作為反向傳播的依據(jù),訓(xùn)練得到網(wǎng)絡(luò),從網(wǎng)絡(luò)中提取出代表行人的向量,進(jìn)行距離度量計(jì)算,得到再識(shí)別的結(jié)果.該網(wǎng)絡(luò)充分利用了行人的ID信息和屬性信息,相對(duì)于已有方法,有效提高了行人再識(shí)別的精度.本文在APR的基礎(chǔ)上,進(jìn)一步進(jìn)行了三個(gè)方面的改進(jìn),首先,網(wǎng)絡(luò)結(jié)構(gòu)上的改進(jìn),在網(wǎng)絡(luò)中添加了一層全連接層.根據(jù)文獻(xiàn)[14]的研究,全連接層可以提高網(wǎng)絡(luò)在微調(diào)后的判別能力,保證源模型表示能力的遷移;然后,針對(duì)數(shù)據(jù)集中屬性類之間的數(shù)量不均衡問題,在損失函數(shù)中對(duì)各屬性的損失基于其包含的樣本數(shù)量進(jìn)行了歸一化處理,提高網(wǎng)絡(luò)對(duì)不平衡數(shù)據(jù)的處理能力;最后,針對(duì)數(shù)據(jù)集中各屬性正負(fù)樣本的數(shù)量不均衡問題,利用數(shù)據(jù)中各屬性分布的先驗(yàn)知識(shí),通過數(shù)量占比來調(diào)整各屬性在損失層中的權(quán)重.測(cè)試結(jié)果表明,本文算法在公共實(shí)驗(yàn)數(shù)據(jù)集上的實(shí)驗(yàn)效果優(yōu)于目前主流的行人再識(shí)別算法,尤其是首位匹配率(Rank-1),相對(duì)于APR網(wǎng)絡(luò),也是有了較大幅度的提升.

本文其余章節(jié)的組織安排如下.第1節(jié)介紹本文提出的用于提取行人屬性和ID的行人再識(shí)別網(wǎng)絡(luò)結(jié)構(gòu);第2節(jié)介紹本文提出的運(yùn)用數(shù)據(jù)先驗(yàn)知識(shí)的損失函數(shù)設(shè)計(jì)原理及實(shí)現(xiàn);第3節(jié)介紹本文算法在公共數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果及分析;第4節(jié)總結(jié)全文以及展望.

2 用于提取行人屬性和ID的行人再識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

在本節(jié)中,主要介紹用于提取行人屬性和ID的行人再識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)和算法流程.為了提取到高魯棒性的行人屬性特征描述子,基于數(shù)據(jù)分布的先驗(yàn)知識(shí),本文對(duì)APR網(wǎng)絡(luò)進(jìn)行了大幅度改進(jìn),具體網(wǎng)絡(luò)結(jié)構(gòu)見圖1.主要分兩個(gè)部分介紹改進(jìn)后的網(wǎng)絡(luò):基礎(chǔ)網(wǎng)絡(luò)部分,行人特征向量度量部分.下面詳細(xì)介紹這兩個(gè)方面的內(nèi)容.

2.1 模型架構(gòu)

本文的基礎(chǔ)網(wǎng)絡(luò)主要由兩個(gè)部分組成,以全連接層FC0為界線,前半部分為殘差網(wǎng)絡(luò)(Resnet[15]),后半部分為行人屬性和ID特征分類網(wǎng)絡(luò).首先介紹前半部分,在計(jì)算機(jī)視覺里,特征的等級(jí)隨著網(wǎng)絡(luò)深度的加深而變高.研究表明,網(wǎng)絡(luò)的深度是實(shí)現(xiàn)好效果的重要因素,然而太深的網(wǎng)絡(luò)在訓(xùn)練中會(huì)存在梯度彌散和爆炸的障礙,導(dǎo)致無法收斂.Resnet的提出,解決了多達(dá)100層的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的問題,它通過學(xué)習(xí)殘差函數(shù),實(shí)現(xiàn)恒等映射,從而在不引入額外參數(shù)和計(jì)算復(fù)雜度的情況下,避免了網(wǎng)絡(luò)的退化.本文網(wǎng)絡(luò)采用的是Resnet-50網(wǎng)絡(luò),即具有50層深度的網(wǎng)絡(luò),該網(wǎng)絡(luò)主要由卷積層(Convolution layer)、池化層(Pooling layer)和殘差塊組成.

圖1 網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Schematic diagram of network structure

卷積層主要用于對(duì)圖像或者上一層的特征圖(Feature map)作卷積運(yùn)算,并使用神經(jīng)元激活函數(shù)計(jì)算卷積后的輸出.卷積操作可以表示為:

其中,xi為第i層輸入圖像或特征圖,yj為第j層輸出特征圖,ki,j是連接第i層輸入圖像與第j層輸入圖像的卷積核,bj是第j層輸出圖像的偏置,?是卷積運(yùn)算符,f(x)是神經(jīng)元激活函數(shù).

池化層主要對(duì)卷積層的輸出作下采樣,其目的是減小特征圖尺寸大小,增強(qiáng)特征提取對(duì)旋轉(zhuǎn)和形變的魯棒性.一般使用平均值池化和最大值池化兩種方式,設(shè)輸入特征圖矩陣F,子采樣池化域的大小為c×c,偏置為b,池化過程移動(dòng)步長(zhǎng)為c.則平均值池化和最大值池化的算法表達(dá)式分別為:

殘差塊是整個(gè)網(wǎng)絡(luò)的核心部分,基本思想是在一個(gè)淺層網(wǎng)絡(luò)基礎(chǔ)上疊加一個(gè)恒等映射(Identity mappings),并學(xué)習(xí)殘差函數(shù),從而使得網(wǎng)絡(luò)不退化而且性能更好.殘差塊共有兩層,計(jì)算表達(dá)式如下:

其中, 表示非線性函數(shù)Relu,W1和W2表示兩個(gè)卷積層的參數(shù)矩陣.

最后通過一個(gè)捷徑(Shortcut)與恒等映射相加,再通過一個(gè)Relu函數(shù),獲得輸出y.

網(wǎng)絡(luò)的后半部分為行人屬性和ID特征分類網(wǎng)絡(luò),主要用于提取行人的屬性特征和行人ID特征,由全連接層(Fully connected layers,FC)、Softmax層和損失層(Loss layers)組成.本文網(wǎng)絡(luò)架構(gòu)相較于APR網(wǎng)絡(luò)最大的改進(jìn)之處就是添加了FC0層,根據(jù)文獻(xiàn)[14]的研究,FC0層的主要作用是在模型表示能力遷移過程中充當(dāng)“防火墻”的作用.具體來講,本實(shí)驗(yàn)是基于ImageNet上預(yù)訓(xùn)練得到的模型進(jìn)行微調(diào)( fine tuning)得到最后的訓(xùn)練結(jié)果的,則ImageNet可視為源域(Source domain).針對(duì)微調(diào),若目標(biāo)域(Target domain)中的圖像與源域中圖像差異巨大,如本文的實(shí)驗(yàn)中,使用的是行人數(shù)據(jù)集,相比ImageNet,目標(biāo)域圖像不是各種物體的圖像,而是行人圖像,差異巨大.在這種情況下,不含全連接層的網(wǎng)絡(luò)微調(diào)后的結(jié)果要差于含全連接層的網(wǎng)絡(luò).因此,在源域與目標(biāo)域差異較大的情況下,添加FC0層,可保證模型表示能力的遷移.

圖1中全連接層FC1-G和FCID主要起到分類器的作用,對(duì)于每一個(gè)全連接層來說,它的參數(shù)由節(jié)點(diǎn)權(quán)重矩陣W、偏置b以及激活函數(shù)f構(gòu)成,可以表示為:

其中,x,y分別為輸入、輸出數(shù)據(jù).

而Softmax層主要在全連接層的基礎(chǔ)上,進(jìn)行分類結(jié)果的概率計(jì)算.可以表示為:

其中,xi為Softmax層第i個(gè)節(jié)點(diǎn)的值,yi為第i個(gè)輸出值,n為Softmax層節(jié)點(diǎn)的個(gè)數(shù).

Loss層采用交叉信息熵?fù)p失(Cross-entropy loss)計(jì)算方式,可以表示為:

2.2 行人特征向量度量部分

本文從網(wǎng)絡(luò)中的FC0層中提取出2048維的特征向量,用于表示行人特征,采用交叉視角的二次判別分析法(Cross-view quadratic discriminant analysis,XQDA)[16]進(jìn)行向量之間距離的度量,該方法是在KISSME算法和貝葉斯方法基礎(chǔ)上提出的.該方法用高斯模型分別擬合類內(nèi)和類間樣本特征的差值分布.根據(jù)兩個(gè)高斯分布的對(duì)數(shù)似然比推導(dǎo)出馬氏距離.

上述兩式取根號(hào)相除,得到對(duì)數(shù)似然比為:

則兩個(gè)樣本之間的距離為:

最后對(duì)所有的樣本之間的距離進(jìn)行排序,選取距離最小的樣本作為識(shí)別結(jié)果.

3 基于數(shù)據(jù)分布先驗(yàn)的損失函數(shù)設(shè)計(jì)

第1節(jié)從整體上介紹了本文提出的行人再識(shí)別網(wǎng)絡(luò),本節(jié)主要介紹網(wǎng)絡(luò)中損失層計(jì)算的改進(jìn)之處.本文主要利用數(shù)據(jù)先驗(yàn)分布,對(duì)第1節(jié)提出的式(8)進(jìn)行進(jìn)一步的闡述和改進(jìn),為了便于問題描述,做出如下假設(shè).

假設(shè)訓(xùn)練數(shù)據(jù)集中(以Market 1501數(shù)據(jù)集為例,見表1)包含N張行人圖片,分別屬于M個(gè)不同的行人,每張圖片標(biāo)注了G類屬性,包括性別,頭發(fā)長(zhǎng)短,是否帶包,上衣顏色等屬性,對(duì)于每一類屬性,其中包含了Kg種屬性,以上衣顏色為例,其中包含黑色,白色,黃色等多種屬性.將數(shù)據(jù)集用集合方式描述如下:

其中,xi為第i張行人圖片,行人的第g類屬性可以用向量表示,每類屬性中的第k種屬性都是二值向量表示,即如果行人存在該屬性,則,反之則

表1 Market 1501數(shù)據(jù)集中的屬性類別Table 1 The attribute category of Market 1501 dataset

APR網(wǎng)絡(luò)中的損失函數(shù)包括兩部分,一部分是屬性識(shí)別的損失函數(shù),一部分是行人ID識(shí)別的損失函數(shù).可以用下式進(jìn)行計(jì)算:

其中,LID表示行人ID識(shí)別的損失函數(shù),Lg表示各類屬性識(shí)別的損失函數(shù),λ為參數(shù),用于調(diào)節(jié)兩者的權(quán)重.

行人ID識(shí)別的損失函數(shù)具體形式為:

其中,p(m)表示第i個(gè)樣本屬于第m類行人的概率,由FCID層后的Softmax層計(jì)算得到;如果假設(shè)y為標(biāo)注的正確行人類別,則q(y)=1,當(dāng)m 6=y時(shí),q(m)=0.

行人屬性識(shí)別的損失函數(shù)具體形式為:

其中,p(k)表示第i個(gè)樣本屬于第g類屬性中第k種屬性的概率值,由FC1?G各層后的Sofxmax層計(jì)算得到.

在APR網(wǎng)絡(luò)的基礎(chǔ)上,本文主要對(duì)基于屬性識(shí)別的損失函數(shù),就是式(16)進(jìn)行了改進(jìn).這部分改進(jìn)包括兩方面:1)基于屬性樣本數(shù)量對(duì)損失函數(shù)進(jìn)行歸一化;2)基于各屬性中正負(fù)樣本數(shù)量的占比對(duì)不同的屬性賦予不同的權(quán)重.下面在第3.1節(jié)和第3.2節(jié)分別進(jìn)行介紹.

3.1 基于屬性樣本數(shù)量的損失函數(shù)歸一化

對(duì)通用的行人數(shù)據(jù)集統(tǒng)計(jì)發(fā)現(xiàn),屬性間存在的樣本數(shù)量不平衡現(xiàn)象,這極大得影響了行人再識(shí)別的識(shí)別準(zhǔn)確性.以Market 1501數(shù)據(jù)集為例,表2中統(tǒng)計(jì)了數(shù)據(jù)集中行人各屬性的數(shù)量.從表2可以看出,年齡是青年,穿短袖上衣,短褲等屬性的樣本數(shù)量較多,分別為569,712,641個(gè)樣本.攜帶手提包,帽子,穿粉色下衣等屬性的樣本數(shù)量很少,分別只有86,20,2個(gè)樣本.針對(duì)各屬性樣本數(shù)據(jù)不平衡的情況,本文在損失層的計(jì)算中,對(duì)各屬性的損失,基于其所包含的樣本數(shù)量進(jìn)行了歸一化處理.最終,損失層改寫為下式:

表2 Market 1501數(shù)據(jù)集中行人屬性訓(xùn)練樣本數(shù)量及占比Table 2 Statistics of Market 1501 dataset

其中,Ng表示第g類屬性的訓(xùn)練樣本數(shù)量,表示第g類屬性中第k種屬性的訓(xùn)練樣本數(shù)量,概率值是FC1?G各層的輸出經(jīng)由Softmax層計(jì)算而得的,表示第i個(gè)樣本屬于第g類屬性中第k種屬性的概率值.

Softmax層的計(jì)算方式如下:

對(duì)于行人類別來說,每個(gè)行人的樣本數(shù)量大致相同,基本不存在數(shù)據(jù)不平衡問題,則不需要進(jìn)行歸一化操作.假設(shè)FCID層的輸出為z=[z1,z2,···,zM]∈RM,同理可得,第i個(gè)樣本屬于第m類行人的概率為:

則可以將式(15)改寫成如下?lián)p失函數(shù):

對(duì)于整個(gè)網(wǎng)絡(luò)來說,不能只計(jì)算屬性或者行人類別的損失函數(shù),這會(huì)導(dǎo)致訓(xùn)練無法收斂.所以網(wǎng)絡(luò)采用聯(lián)合損失函數(shù)的方式,將兩者結(jié)合起來,作為網(wǎng)絡(luò)整體的損失函數(shù),聯(lián)合方式可以用下式表示:

其中,0≤α≤1,該參數(shù)用于調(diào)節(jié)兩個(gè)損失層在網(wǎng)絡(luò)中的權(quán)重,通過實(shí)驗(yàn)得到最佳值.在整個(gè)訓(xùn)練過程中,通過反向傳播和梯度下降來計(jì)算網(wǎng)絡(luò)參數(shù).

3.2 基于屬性正負(fù)樣本權(quán)重調(diào)整的損失函數(shù)設(shè)計(jì)

行人再識(shí)別數(shù)據(jù)庫(kù)中,不僅存在屬性間樣本數(shù)量不平衡的問題,也存在屬性內(nèi)正負(fù)樣本數(shù)據(jù)不平衡問題.在選取的三個(gè)實(shí)驗(yàn)數(shù)據(jù)集中,行人屬性內(nèi)的正負(fù)樣本數(shù)據(jù)不平衡的現(xiàn)象也非常嚴(yán)重.以Market 1501數(shù)據(jù)集為例,從表2中可以看出,比如在是否戴帽子這個(gè)屬性類中,戴帽子的占較少數(shù),沒有帽子的占大多數(shù),占比為0.03/0.97.在上衣長(zhǎng)短這個(gè)屬性中,也是正負(fù)樣本比例不均,長(zhǎng)袖的只占0.05.在這種情況下,正樣本在在識(shí)別過程中起到的影響過小,不能很好地反應(yīng)行人屬性真實(shí)情況,影響識(shí)別的效果.為了解決正負(fù)樣本不平衡的情況,參照文獻(xiàn)[10]的方法,本文在第3.1節(jié)提出的損失層計(jì)算基礎(chǔ)上,利用數(shù)據(jù)先驗(yàn)分布知識(shí),基于各屬性中正負(fù)樣本占比,對(duì)屬性識(shí)別的損失函數(shù)通過引入權(quán)重的方式進(jìn)行了調(diào)整,將式(17)改寫為下式:

4 實(shí)驗(yàn)結(jié)果與分析

本節(jié)首先介紹實(shí)驗(yàn)中使用的測(cè)試數(shù)據(jù)和算法性能的評(píng)測(cè)準(zhǔn)則,其次介紹本文算法中的一些相關(guān)參數(shù)設(shè)置和選取實(shí)驗(yàn),然后在不同公開實(shí)驗(yàn)數(shù)據(jù)集上測(cè)試對(duì)各行人屬性的識(shí)別結(jié)果,最后介紹本文算法在不同公共實(shí)驗(yàn)數(shù)據(jù)集上與已有的行人再識(shí)別算法的性能比較.本文所有的實(shí)驗(yàn)是基于深度學(xué)習(xí)框架Matconvnet實(shí)現(xiàn)的,實(shí)驗(yàn)平臺(tái)是配備64GB內(nèi)存的Intel Core i7處理器和24GB顯存的Nvidia TITAN X顯卡的GPU工作站.

4.1 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

本文主要基于三個(gè)具有行人屬性標(biāo)注的行人再識(shí)別數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),分別是Market 1501、DukeMTMC數(shù)據(jù)集和PETA數(shù)據(jù)集,其中的一些行人圖片例子見圖2.

圖2 數(shù)據(jù)集行人圖片舉例Fig.2 Example of dataset pedestrian picture

Market 1501數(shù)據(jù)集是由6個(gè)攝像機(jī)拍攝采集生成的大規(guī)模行人再識(shí)別數(shù)據(jù)集,包含32668張行人圖片和3368張查詢集圖片,共有1501個(gè)不同ID的行人,對(duì)每個(gè)行人標(biāo)注了27種行人屬性.其中751個(gè)不同ID的行人作為訓(xùn)練集,750個(gè)不同ID的行人作為測(cè)試集.在本文實(shí)驗(yàn)中,使用其中的651個(gè)ID的行人作為訓(xùn)練集,剩下的100個(gè)ID的行人作為驗(yàn)證集,用于確定參數(shù).

DukeMTMC數(shù)據(jù)集是由8個(gè)攝像機(jī)采集,包含34183張行人圖片和2228張查詢集圖片,共有1812個(gè)不同ID的行人,其中1404個(gè)不同ID的行人出現(xiàn)在不同攝像機(jī)拍攝視野中,剩余的408個(gè)不同ID的行人是一些誤導(dǎo)圖片,對(duì)每個(gè)行人標(biāo)注了23種行人屬性.根據(jù)數(shù)據(jù)集本身的劃分,其中702個(gè)不同ID的行人用于訓(xùn)練,剩余的702個(gè)不同ID的行人用于測(cè)試.

PETA數(shù)據(jù)集是由19000張行人圖片組成,圖片分辨率分布在17×39到169×365之間.這些行人圖片共包含8705個(gè)不同ID的行人,每張行人圖片標(biāo)注了61個(gè)二值行人屬性和4個(gè)多值行人屬性.在本文實(shí)驗(yàn)中,隨機(jī)選取其中的9500張行人圖片作為訓(xùn)練集,1900張行人圖片作為驗(yàn)證集,7600張行人圖片作為測(cè)試集,按照經(jīng)典的數(shù)據(jù)集使用方式,只選取其中標(biāo)注數(shù)量最多的35個(gè)行人屬性作為識(shí)別目標(biāo).

為了與已有算法公正比較,實(shí)驗(yàn)中,采用先前工作普遍采用的評(píng)價(jià)框架.將數(shù)據(jù)集事先劃分為訓(xùn)練集和測(cè)試集,其中測(cè)試集由查詢集和行人圖像庫(kù)兩部分組成.當(dāng)給定一個(gè)行人再識(shí)別算法,衡量該算法在行人圖像庫(kù)中搜索待查詢行人的能力來評(píng)測(cè)此算法的性能.已有的行人再識(shí)別算法大部分采用累積匹配特性(Cumulative match characteristic,CMC)曲線評(píng)價(jià)算法性能,給定一個(gè)查詢集和行人圖像庫(kù),累積匹配特征曲線描述的是在行人圖像庫(kù)中搜索待查詢的行人,前r個(gè)搜索結(jié)果中找到待查詢?nèi)说谋嚷?首位匹配率(r=1)很重要,因?yàn)樗硎镜氖窍到y(tǒng)真正的識(shí)別能力.另外,同時(shí)采用平均準(zhǔn)確率(Mean average precision,mAP)評(píng)價(jià)算法性能,平均準(zhǔn)確率是對(duì)準(zhǔn)確率和召回率的全面反映,計(jì)算平均準(zhǔn)確率時(shí),將準(zhǔn)確率和召回率作為橫縱坐標(biāo),繪制曲線,曲線包圍的面積就是平均準(zhǔn)確率的值,該值最大時(shí),表示系統(tǒng)的準(zhǔn)確率和召回率達(dá)到了最優(yōu).

4.2 網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)設(shè)置

本網(wǎng)絡(luò)參數(shù)設(shè)置是在文獻(xiàn)[11]的基礎(chǔ)上微調(diào)而得的,訓(xùn)練過程中設(shè)置批尺寸(Batch size)大小為64,epochs為55,學(xué)習(xí)率初始值為0.001,在最后5個(gè)epochs中,調(diào)整為0.0001.各參數(shù)的微調(diào)過程具體見圖3.

參數(shù)α.如圖3(a)所示,其中曲線代表了式(24)中的參數(shù)對(duì)準(zhǔn)確率的影響,當(dāng)α取不同值時(shí),網(wǎng)絡(luò)的行人再識(shí)別準(zhǔn)確率也隨之發(fā)生變化.基于Market 1501數(shù)據(jù)集,當(dāng)網(wǎng)絡(luò)不使用行人屬性標(biāo)簽信息時(shí)(即α=1時(shí)),首位匹配率是72.36%.當(dāng)網(wǎng)絡(luò)僅考慮行人屬性標(biāo)簽信息時(shí)(即α=0時(shí)),首位匹配率是76.81%.當(dāng)0.1≤α≤0.9時(shí),也就是同時(shí)考慮屬性和ID標(biāo)簽信息時(shí),首位匹配率要普遍高于單獨(dú)考慮這兩者,在α=0.7時(shí),首位匹配率達(dá)到最大值86.90%.基于DukeMTMC數(shù)據(jù)集,當(dāng)α=1時(shí),首位匹配率是60.34%.當(dāng)α=0時(shí),首位匹配率是62.16%.在α=0.7時(shí),首位匹配率達(dá)到最大值72.83%.基于PETA數(shù)據(jù)集,當(dāng)α=1時(shí),首位匹配率是70.13%.當(dāng)α=0時(shí),首位匹配率是65.24%.在α=0.6時(shí),首位匹配率達(dá)到最大值76.37%.綜上考慮,實(shí)驗(yàn)中取α=0.7.

圖3 網(wǎng)絡(luò)參數(shù)及結(jié)果對(duì)比Fig.3 Comparison of network parameters and results

迭代次數(shù).如圖3(b)所示,其中曲線代表了當(dāng)網(wǎng)絡(luò)迭代不同次數(shù)時(shí),網(wǎng)絡(luò)的首位匹配率變化情況.每迭代1000次測(cè)試一次網(wǎng)絡(luò)性能,隨著迭代次數(shù)達(dá)到8000次左右,網(wǎng)絡(luò)性能基本穩(wěn)定,所以將網(wǎng)絡(luò)的epochs設(shè)置為55.

屬性選取.圖3(c)表示了Market 1501數(shù)據(jù)集去除不同屬性后,網(wǎng)絡(luò)的再識(shí)別準(zhǔn)確率.有些行人屬性容易產(chǎn)生誤檢和漏檢,從而對(duì)行人再識(shí)別帶來負(fù)效應(yīng),所以考慮從數(shù)據(jù)集標(biāo)注的行人屬性中,剔除一些具有負(fù)效應(yīng)的屬性.以所有屬性參與訓(xùn)練得到的準(zhǔn)確率作為基準(zhǔn),每次去除一類屬性,得到識(shí)別準(zhǔn)確率,與基準(zhǔn)進(jìn)行對(duì)比,其中橫坐標(biāo)為去除的屬性.圖3(d)表示了DukeMTMC數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果.可以發(fā)現(xiàn),在Market 1501數(shù)據(jù)集中,不使用是否有帽子這個(gè)行人屬性,再識(shí)別的準(zhǔn)確率反而得到了提升,主要因?yàn)槊弊舆@個(gè)屬性漏檢的概率較大,所以本文實(shí)驗(yàn)中不使用該屬性.而在DukeMTMC數(shù)據(jù)集的測(cè)試結(jié)果表明,減少任一行人屬性后,行人再識(shí)別的識(shí)別效果都會(huì)降低,所以使用所有的屬性.

全連接層FC0.如圖3(e)所示,其中曲線代表了網(wǎng)絡(luò)是否添加全連接層FC0對(duì)網(wǎng)絡(luò)準(zhǔn)確率的影響.圖中實(shí)線的趨勢(shì)線代表添加了完整本文算法結(jié)果,虛線的趨勢(shì)線代表去除全連接層的本文算法,可以發(fā)現(xiàn),添加了全連接層后,本文提出的訓(xùn)練網(wǎng)絡(luò)更加的穩(wěn)定,能更快的迭代到穩(wěn)定值,并且提升了算法在三個(gè)數(shù)據(jù)集上的首位匹配率.與本文算法完整算法相比,去除全連接層后,在Market 1501、DukeMTMC和PETA數(shù)據(jù)集上的首位匹配率分別下降了0.89%,0.76%和1.31%.可以看出,全連接層的添加對(duì)于本文算法的識(shí)別效果具有較大的提升作用.添加全連接層能夠較明顯改善識(shí)別效果的原因主要有如下兩點(diǎn):1)根據(jù)文獻(xiàn)[13]的研究,全連接層可以提高網(wǎng)絡(luò)在微調(diào)后的判別能力,使得網(wǎng)絡(luò)在這三個(gè)常用數(shù)據(jù)集上的判別能力得到提升;2)本文采用的是殘差網(wǎng)絡(luò),不包含全連接層,所以在添加了全連接層后,豐富了網(wǎng)絡(luò)結(jié)構(gòu),從而提高特征提取能力,進(jìn)而提升了網(wǎng)絡(luò)的識(shí)別效果.鑒于以上兩點(diǎn),本文采用添加了全連接層FC0的網(wǎng)絡(luò).

數(shù)據(jù)集間交叉識(shí)別.如圖3(f)所示,其中實(shí)線代表了根據(jù)各自數(shù)據(jù)集的先驗(yàn)分布訓(xùn)練得到的網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)集內(nèi)識(shí)別結(jié)果(例:用數(shù)據(jù)集Market 3中的訓(xùn)練集訓(xùn)練得到的網(wǎng)絡(luò),對(duì)數(shù)據(jù)集Market 1501中的測(cè)試集進(jìn)行測(cè)試),虛線表示基于三個(gè)數(shù)據(jù)集的先驗(yàn)分布訓(xùn)練的網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)集間交叉識(shí)別的結(jié)果(例:用數(shù)據(jù)集DukeMTMC和PETA中的訓(xùn)練集分別訓(xùn)練得到的網(wǎng)絡(luò),對(duì)數(shù)據(jù)集Market 1501中的測(cè)試集分別進(jìn)行測(cè)試分別記為Market-D和Market-P,后面的命名規(guī)則相同,需要說明的是,當(dāng)待測(cè)數(shù)據(jù)集中含有訓(xùn)練數(shù)據(jù)集中沒有的屬性時(shí),從待測(cè)數(shù)據(jù)集的訓(xùn)練集中選取含有特殊屬性的樣本,對(duì)訓(xùn)練集進(jìn)行擴(kuò)充以后再進(jìn)行訓(xùn)練.);實(shí)驗(yàn)結(jié)果表明,數(shù)據(jù)集間交叉識(shí)別的性能相對(duì)于數(shù)據(jù)集內(nèi)識(shí)別的性能是有輕微下降.對(duì)于數(shù)據(jù)集Market 1501來說,利用數(shù)據(jù)集DukeMTMC和PETA中的訓(xùn)練集訓(xùn)練得到的網(wǎng)絡(luò),在該數(shù)據(jù)集上測(cè)試得到的首位匹配率相比于數(shù)據(jù)集內(nèi)識(shí)別結(jié)果,分別下降了0.82%和1.13%;對(duì)于數(shù)據(jù)集DukeMTMC來說,利用數(shù)據(jù)集Market 1501和PETA中的訓(xùn)練集訓(xùn)練得到的網(wǎng)絡(luò),在該數(shù)據(jù)集上測(cè)試得到的首位準(zhǔn)確率相比于數(shù)據(jù)集內(nèi)識(shí)別結(jié)果,分別下降了0.67%和1.38%;對(duì)于數(shù)據(jù)集PETA來說,利用數(shù)據(jù)集Market 1501和DukeMTMC中的訓(xùn)練集訓(xùn)練得到的網(wǎng)絡(luò),在該數(shù)據(jù)集上測(cè)試得到首位匹配率相比于數(shù)據(jù)集內(nèi)識(shí)別結(jié)果,分別下降了1.54%和1.78%.這主要是因?yàn)镻ETA中屬性分布相對(duì)于Market 1501和DukeMTMC有較大的差異.但是相對(duì)于不考慮數(shù)據(jù)先驗(yàn)分布的APR網(wǎng)絡(luò),數(shù)據(jù)集間交叉識(shí)別的性能還是有所提升,在Market 1501,DukeMTMC和PETA數(shù)據(jù)集上,首位匹配率分別至少提升了1.48%,0.76%,2.61%.所以,在實(shí)際應(yīng)用中,在對(duì)待檢測(cè)數(shù)據(jù)集屬性分布不可知的情況下,可以直接采用基于已有的數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)實(shí)現(xiàn)行人再識(shí)別工作.

表3 Market 1501數(shù)據(jù)集各屬性識(shí)別準(zhǔn)確率(%)Table 3 Accuracy rate of each attribute recognition of Market 1501 dataset(%)

4.3 各屬性的識(shí)別精度

本文基于三個(gè)通用行人屬性數(shù)據(jù)集,分別進(jìn)行了行人屬性的識(shí)別實(shí)驗(yàn),識(shí)別準(zhǔn)確率如表3～表5所示.同樣地,選取APR網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果作為對(duì)比,其中APR網(wǎng)絡(luò)在PETA數(shù)據(jù)集上的結(jié)果是基于APR文獻(xiàn)源代碼復(fù)現(xiàn)得到.

首先,從整體來看,在這三個(gè)數(shù)據(jù)集上,本文的識(shí)別準(zhǔn)確率相較于APR網(wǎng)絡(luò)都有了較大的提升,平均準(zhǔn)確率分別提升了0.99%、2.03%和3.83%,就各屬性來說,識(shí)別準(zhǔn)確率也都提升了0.12%～7.29%不等.這表示本文提出的網(wǎng)絡(luò)相較于APR網(wǎng)絡(luò)在行人屬性識(shí)別上具有更好的性能.

其次,從一些具有強(qiáng)數(shù)據(jù)不平衡的屬性來看,以Market 1501數(shù)據(jù)集為例,其中是否有包這個(gè)屬性,識(shí)別準(zhǔn)確率提高了7.29%,提升程度比較大,對(duì)于一些數(shù)據(jù)平衡的數(shù)據(jù),比如性別這個(gè)屬性,識(shí)別準(zhǔn)確率只提高了0.28%.這表明本文提出的基于數(shù)據(jù)先驗(yàn)分布知識(shí)的權(quán)值調(diào)整策略,對(duì)行人屬性的提升具有明顯的效果,尤其是具有強(qiáng)數(shù)據(jù)不平衡的屬性,提升效果更為明顯.

表4 DukeMTMC數(shù)據(jù)集各屬性識(shí)別準(zhǔn)確率(%)Table 4 Accuracy rate of each attribute recognition of DukeMTMC dataset(%)

表5 PETA數(shù)據(jù)集各屬性識(shí)別準(zhǔn)確率(%)Table 5 Accuracy rate of each attribute recognition of PETA dataset(%)

最后,如圖4所示,列舉了兩個(gè)行人屬性識(shí)別結(jié)果的例子,本文的網(wǎng)絡(luò)會(huì)對(duì)行人所有的屬性進(jìn)行預(yù)測(cè)并打分,可以發(fā)現(xiàn),左邊行人的屬性預(yù)測(cè)全部正確,而右邊行人的下衣種類和是否帶手提包兩個(gè)屬性識(shí)別錯(cuò)誤.

圖4 行人屬性識(shí)別結(jié)果舉例Fig.4 Example of the result of pedestrian attributes

4.4 行人再識(shí)別結(jié)果

本文基于三個(gè)通用行人屬性數(shù)據(jù)集,進(jìn)行了行人再識(shí)別實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表6～表8所示.表中“*”表示原文獻(xiàn)中沒有公布相關(guān)數(shù)據(jù),本文使用其源碼復(fù)現(xiàn)得到.其中“–”表示沒有該項(xiàng)實(shí)驗(yàn)結(jié)果.

4.4.1 Market 1501數(shù)據(jù)集

首先,針對(duì)本文提出的三個(gè)改進(jìn)點(diǎn)分別做了對(duì)比實(shí)驗(yàn),在表6中分別以“本文–FC0”,“本文–歸一化”,“本文 –權(quán)重”代表基于APR 網(wǎng)絡(luò)單獨(dú)添加這三處改進(jìn)得到實(shí)驗(yàn)結(jié)果,“本文–歸一化+權(quán)重”代表同時(shí)添加這兩項(xiàng)改進(jìn)得到的實(shí)驗(yàn)結(jié)果.可以發(fā)現(xiàn),相對(duì)于APR網(wǎng)絡(luò),這4處改進(jìn)在首位匹配率上都得到了提升,分別提升了1.08%、0.63%、1.38%、2.02%,其中添加了全連接層和改變權(quán)重對(duì)實(shí)驗(yàn)效果的提升比較明顯,對(duì)數(shù)據(jù)進(jìn)行歸一化也有一定提升.相應(yīng)的平均準(zhǔn)確率也有0.44%、0.15%、0.56%、0.79% 的提升,這說明三處改進(jìn)對(duì)于提高行人再識(shí)別結(jié)果都有較大作用,而且聯(lián)合歸一化和占比權(quán)重調(diào)整兩處改進(jìn),得到了較單獨(dú)改進(jìn)更好的實(shí)驗(yàn)效果,說明兩處改進(jìn)之間具有互補(bǔ)之處.

表6 Market 1501數(shù)據(jù)集行人再識(shí)別結(jié)果Table 6 Re-id results of the Market 1501 dataset

其次,在Market 1501數(shù)據(jù)集,本文選取了DADM、MBC等經(jīng)典方法進(jìn)行對(duì)比.可以發(fā)現(xiàn),傳統(tǒng)方法的首位匹配率普遍不是很高,一般在50%以下.在使用深度學(xué)習(xí)方法以后,準(zhǔn)確率得到了一個(gè)巨大的提升,而APR網(wǎng)絡(luò)更是達(dá)到了84.29%的首位匹配率和64.67%的平均準(zhǔn)確率.本文在APR網(wǎng)絡(luò)的基礎(chǔ)上,進(jìn)一步提高了識(shí)別的準(zhǔn)確率,達(dá)到了86.90%的首位匹配率和65.87%的平均準(zhǔn)確率,第5,10,20匹配率也有相應(yīng)的提升.

表7 DukeMTMC數(shù)據(jù)集行人再識(shí)別結(jié)果Table 7 Re-id results of the DukeMTMC dataset

表8 PETA數(shù)據(jù)集行人再識(shí)別結(jié)果Table 8 Re-id results of the PETA dataset

4.4.2 DukeMTMC數(shù)據(jù)集

同樣的,針對(duì)本文提出的三個(gè)改進(jìn)點(diǎn)分別做了對(duì)比實(shí)驗(yàn).從表7中可以發(fā)現(xiàn),相對(duì)于APR網(wǎng)絡(luò),這四處改進(jìn)在首位匹配率上都得到了提升,分別提升了0.87%,0.26%,1.13%,1.42%,類似于Market 1501數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果,添加全連接層和改變權(quán)重對(duì)實(shí)驗(yàn)效果的提升比較明顯,相應(yīng)的平均準(zhǔn)確率也有0.48%,0.25%,0.79%,0.96%的提升,這說明對(duì)于該數(shù)據(jù)集,這三處改進(jìn)也有較好的實(shí)驗(yàn)效果.

其次,針對(duì)DukeMTMC數(shù)據(jù)集,由于使用該數(shù)據(jù)集的評(píng)測(cè)方法與Market 1501數(shù)據(jù)集不盡相同,從中選取了BoW、LOMO等經(jīng)典方法進(jìn)行對(duì)比.可以發(fā)現(xiàn),這兩種傳統(tǒng)方法的效果不是很好.對(duì)抗學(xué)習(xí)達(dá)到了67.68%的首位匹配率.APR網(wǎng)絡(luò)在該數(shù)據(jù)集達(dá)到了70.69%的首位匹配率和51.88%的平均準(zhǔn)確率.本文在APR網(wǎng)絡(luò)的基礎(chǔ)上,在該數(shù)據(jù)集上達(dá)到了72.83%的首位匹配率和53.42%的平均準(zhǔn)確率.由于這幾個(gè)方法沒有提供第5、10、20匹配率,所以在此不作對(duì)比.

4.4.3 PETA數(shù)據(jù)集

與前兩個(gè)數(shù)據(jù)集相同,針對(duì)本文提出的三個(gè)改進(jìn)點(diǎn)分別做了對(duì)比實(shí)驗(yàn).從表8中可以發(fā)現(xiàn),相對(duì)于APR網(wǎng)絡(luò),在這4處改進(jìn)中分別提升了 1.53%、2.34%、1.85%、3.28%,類似于前兩者的實(shí)驗(yàn)結(jié)果,添加全連接層和改變權(quán)重對(duì)實(shí)驗(yàn)效果的提升比較明顯,相應(yīng)的平均準(zhǔn)確率也有1.53%、2.30%、2.57%、3.34% 的提升,由于該數(shù)據(jù)集各屬性之間數(shù)量差異較大,且屬性內(nèi)正負(fù)樣本不平衡嚴(yán)重,所以本文方法在此數(shù)據(jù)集上有較大提升.

其次,針對(duì)PETA數(shù)據(jù)集,很多方法是比較各屬性的平均準(zhǔn)確率(Mean accuracy,mA),而不是比較rank-1和mAP的值,所以本文一方面進(jìn)行了mA的比較,可以發(fā)現(xiàn),本文達(dá)到了88.54%的屬性平均準(zhǔn)確率,較傳統(tǒng)方法有了大幅度提升,相對(duì)于APR網(wǎng)絡(luò)也是有3.83%的提升.另一方面,本文通過對(duì)文獻(xiàn)源代碼進(jìn)行復(fù)現(xiàn),得到rank-1和mAP的值,可以發(fā)現(xiàn),本文相對(duì)于APR網(wǎng)絡(luò)和經(jīng)典算法,也是有較大的提升,達(dá)到了75.68%的首位匹配率和51.03%的平均準(zhǔn)確率.

綜上可以得出,本文提出的網(wǎng)絡(luò)相對(duì)于一些經(jīng)典方法,在首位匹配率和平均準(zhǔn)確率上都有很大的優(yōu)勢(shì),相較于APR網(wǎng)絡(luò)也有較大的提升,表明本文提出的基于數(shù)據(jù)先驗(yàn)知識(shí)的行人再識(shí)別網(wǎng)絡(luò),對(duì)于行人再識(shí)別效果提升是有效的.如圖5所示的行人再識(shí)別結(jié)果的兩個(gè)例子,可以發(fā)現(xiàn),雖然存在一些誤識(shí),但是總體識(shí)別效果已經(jīng)達(dá)到較高的程度.

圖5 行人再識(shí)別結(jié)果舉例Fig.5 Example of the re-id result

5 結(jié)語

隨著深度學(xué)習(xí)技術(shù)的發(fā)展和帶屬性標(biāo)注行人數(shù)據(jù)集的出現(xiàn),近年來基于行人屬性的行人再識(shí)別有效提升了識(shí)別精度.在已有研究基礎(chǔ)上,本文基于行人屬性中的數(shù)據(jù)先驗(yàn)分布知識(shí)設(shè)計(jì)了新的用于行人屬性識(shí)別和再識(shí)別的深度神經(jīng)網(wǎng)絡(luò).實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法的有效性.但依舊沒有充分挖掘數(shù)據(jù)集的內(nèi)在信息,實(shí)驗(yàn)效果還可進(jìn)一步提高.后續(xù)工作將進(jìn)一步研究如何在網(wǎng)絡(luò)設(shè)計(jì)中融入屬性之間的相關(guān)性和異質(zhì)性.