韋學(xué)艷, 吳春雷, 王雷全, 吳 杰, 李 陽

(中國石油大學(xué)(華東) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 青島 266580)

1 引言

行人屬性識(shí)別, 其任務(wù)的主要目的是挖掘給定圖像中行人的屬性特征, 進(jìn)而對(duì)屬性進(jìn)行分類, 最終能夠預(yù)測(cè)測(cè)試集中行人的屬性標(biāo)簽, 比如性別、年齡、衣服顏色、衣服樣式等. 屬性識(shí)別一直是計(jì)算機(jī)視覺中比較熱門的領(lǐng)域, 在許多方向都有著廣泛的應(yīng)用, 比如基于屬性的人臉相關(guān)技術(shù)[1–3]已經(jīng)相當(dāng)成熟, 應(yīng)用于日常生活中的各個(gè)領(lǐng)域. 隨著近幾十年監(jiān)控設(shè)備在全世界普及, 監(jiān)控場景下的行人屬性識(shí)別[4–6]任務(wù)也越來越受到重視, 但是由于監(jiān)控設(shè)備和普通設(shè)備所拍攝的圖像的差異, 往往存在以下幾個(gè)問題: (1)圖像尺寸較小,分辨率低; (2)行人圖像為抓拍圖像, 可能存在姿態(tài)變換、遮擋、模糊等情況; (3)攝像頭為固定攝像頭, 受天氣、光線、角度等外界因素影響; (4)數(shù)據(jù)集往往從某一區(qū)域某一時(shí)間段內(nèi)獲取, 通常存在嚴(yán)重的特殊性.

深度學(xué)習(xí)出現(xiàn)以后, 大量的行人屬性識(shí)別模型針對(duì)上述問題做出了貢獻(xiàn). Fabbri 等人[7]基于對(duì)抗生成網(wǎng)絡(luò)的模型對(duì)遮擋圖片進(jìn)行生成補(bǔ)充, 擴(kuò)充行人的特征信息; Li 等人[8]基于圖來建模區(qū)域和屬性間的空間關(guān)系和語義關(guān)系. 這些方法有效地改進(jìn)了遮擋以及分辨率較低情況下的屬性識(shí)別, 但是處理方式僅僅針對(duì)圖像特征提取方式進(jìn)行改進(jìn)處理, 忽視了數(shù)據(jù)集本身存在的問題, 比如行人主體區(qū)域不突出、背景噪音干擾嚴(yán)重以及現(xiàn)實(shí)生活中季節(jié)性以及習(xí)俗性導(dǎo)致的屬性正負(fù)樣本分布不平衡的問題.

從數(shù)據(jù)集角度來說, 雖然圖像都為單行人圖像, 但是由于監(jiān)控拍攝的隨機(jī)性, 圖像的分辨率通常比較低并且仍然存在著許多無用的背景噪音信息, 如圖1, 背景中的汽車、自行車等信息往往會(huì)對(duì)屬性識(shí)別造成不利影響. 另外, 隨著跨任務(wù)模型[9,10]的出現(xiàn), 許多其他任務(wù)的數(shù)據(jù)集嘗試被標(biāo)注上屬性信息, 應(yīng)用于行人屬性識(shí)別, 比如基于傳統(tǒng)行人重識(shí)別數(shù)據(jù)集改進(jìn)的Market-1501-attribute 數(shù)據(jù)集, 把屬性信息與行人身份編號(hào)信息相結(jié)合, 將其應(yīng)用于行人屬性識(shí)別和行人重識(shí)別任務(wù). 然而, 由于數(shù)據(jù)集的提出并不是以屬性識(shí)別作為基礎(chǔ)解決任務(wù), 因此數(shù)據(jù)集通常包含著嚴(yán)重的正負(fù)樣本不平衡的問題, 如圖2, 由于社會(huì)習(xí)俗原因, 下衣為黑色的樣本占比較多.

圖1 背景中的汽車、自行車對(duì)行人特征造成影響

圖2 下衣為黑色的正樣本數(shù)量遠(yuǎn)大于負(fù)樣本數(shù)量

因此, 基于上述觀察, 本文提出了一種圖像增強(qiáng)與樣本平衡優(yōu)化模型IEBO (image enhancement and sample balance optimization), 在圖像特征提取之前, 先進(jìn)行色彩增強(qiáng)并通過提取行人主體區(qū)域的方式減少背景噪音對(duì)行人信息的干擾, 再經(jīng)過深層神經(jīng)網(wǎng)絡(luò)提取行人核心特征, 然后基于身份信息針對(duì)不平衡屬性進(jìn)行樣本平衡優(yōu)化, 最終達(dá)到提高屬性識(shí)別性能的目的.

綜上所述, 本文的貢獻(xiàn)是:

(1)提出基于色彩增強(qiáng)與噪音抑制的圖像增強(qiáng)方法, 突出行人核心特征并挖掘行人整體圖像, 抑制背景噪音信息防止其對(duì)屬性識(shí)別造成干擾.

(2)提出基于身份信息融合的行人屬性樣本平衡優(yōu)化算法, 調(diào)節(jié)跨任務(wù)數(shù)據(jù)集正負(fù)樣本不平衡的缺陷,提升模型的識(shí)別能力.

(3)在跨任務(wù)Market-1501-attribute 數(shù)據(jù)集的樣本不平衡屬性中取得了較好的結(jié)果.

2 相關(guān)工作

行人屬性識(shí)別主要是將給定圖像中行人的屬性特征挖掘出來, 進(jìn)而對(duì)各個(gè)屬性進(jìn)行分類, 最終生成的識(shí)別模型能夠預(yù)測(cè)圖像中行人的屬性標(biāo)簽, 比如性別、年齡、衣服顏色、衣服樣式等. 其中頭發(fā)、衣服、鞋子等屬性, 可以具體定位到圖像中的某一區(qū)域, 被稱為是低級(jí)屬性, 而像性別、年齡等屬性是較為抽象的概念, 并不針對(duì)某一區(qū)域, 則被稱為是高級(jí)屬性. 與傳統(tǒng)手工提取的特征相比, 神經(jīng)網(wǎng)絡(luò)提取出的屬性特征可以看作高級(jí)語義信息, 從而能夠判斷出更深層次的語義含義. 因此, 計(jì)算機(jī)視覺領(lǐng)域中許多的任務(wù)通過結(jié)合屬性識(shí)別技術(shù)來輔助其執(zhí)行從而獲得更好的性能, 如行人重識(shí)別、人臉檢測(cè)等. 但是由于視角變換、遮擋、低分辨率、數(shù)據(jù)集樣本不平衡等原因, 行人屬性識(shí)別的進(jìn)一步應(yīng)用仍是一個(gè)亟待解決的難題.

2.1 屬性識(shí)別

近些年深度學(xué)習(xí)的穩(wěn)步發(fā)展, 使基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法逐漸廣泛應(yīng)用于行人屬性識(shí)別任務(wù)當(dāng)中[11,12].與傳統(tǒng)的手工特征方法相比, 基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法在行人屬性識(shí)別精度上獲得了更好的結(jié)果.Li 等人[9]考慮到屬性任務(wù)的統(tǒng)一性, 基于深度學(xué)習(xí)方法提出了針對(duì)單屬性和多屬性分類的模型DeepSAR、DeepMAR, 單屬性分類一次只預(yù)測(cè)一個(gè)屬性, 而多屬性分類一次可以預(yù)測(cè)多個(gè)屬性, 并同時(shí)提出了數(shù)據(jù)集樣本不平衡的問題, 但是該模型只考慮了正樣本過少的情況, 忽略了正樣本過多以及不同類別的屬性分布不一致的情況. Fabbri 等人[7]針對(duì)行人遮擋以及分辨率低等問題, 提出了基于對(duì)抗生成網(wǎng)絡(luò)的模型GAM,利用生成網(wǎng)絡(luò)對(duì)遮擋圖像進(jìn)行生成補(bǔ)充, 擴(kuò)充圖像特征信息; Li 等人[8]考慮到屬性之間的相關(guān)性, 提出了基于推理框架的模型VSGR, 針對(duì)區(qū)域到區(qū)域, 屬性到屬性, 區(qū)域到屬性的空間關(guān)系和語義關(guān)系進(jìn)行建模并預(yù)測(cè)屬性信息, 在一定程度上減小了行人遮擋以及分辨率低帶來的影響. 但是這些方法大多針對(duì)圖像特征提取的方式進(jìn)行改進(jìn)處理, 并沒有考慮到原始圖像本身存在的問題, 比如行人核心特征不突出、背景噪音信息干擾嚴(yán)重以及正負(fù)樣本不平衡等.

2.2 跨任務(wù)模型

隨著深度學(xué)習(xí)的崛起, 跨任務(wù)研究也開辟了新的熱點(diǎn)方向, 行人屬性識(shí)別任務(wù)與行人重識(shí)別任務(wù)的結(jié)合, 使各自性能都有了很大的提升. 行人屬性識(shí)別的通用數(shù)據(jù)集一般以PETA[13]為主, 后來由于多任務(wù)融合的出現(xiàn), 傳統(tǒng)的數(shù)據(jù)集已不能滿足需求. Lin 等人[14]在行人重識(shí)別任務(wù)的傳統(tǒng)數(shù)據(jù)集Market- 1501[15]上標(biāo)注了行人屬性, 并提出了以行人屬性輔助行人重識(shí)別的方法; Sun 等人[10]也同樣將行人屬性集成到行人重識(shí)別模型當(dāng)中, 輔助行人的辨識(shí)任務(wù); 騰訊優(yōu)圖實(shí)驗(yàn)室的Liu 等人[16]提出了一個(gè)新的模型JCM, 將屬性和圖像映射為一個(gè)序列統(tǒng)一進(jìn)行學(xué)習(xí), 并使用行人身份信息輔助行人屬性識(shí)別; Yang 等人[17]根據(jù)屬性層次和身份層次異同, 提出層次特征模型HFE, 通過行人身份信息聚合同一行人的圖像, 以此提高屬性識(shí)別任務(wù)的性能.但是以行人身份信息輔助行人屬性識(shí)別, 其任務(wù)核心是屬性識(shí)別, 如果不合理利用行人身份信息, 將會(huì)導(dǎo)致模型忽略掉屬性識(shí)別任務(wù)的最初目標(biāo), 給模型帶來不利的影響. 雖然跨任務(wù)研究進(jìn)一步提升了行人屬性識(shí)別的效果, 然而在自然場景下, 行人屬性識(shí)別仍然面臨著多重挑戰(zhàn).

3 圖像增強(qiáng)與樣本平衡優(yōu)化網(wǎng)絡(luò)

本文提出一個(gè)新的深度學(xué)習(xí)網(wǎng)絡(luò)圖像增強(qiáng)與樣本平衡優(yōu)化模型IEBO, 如圖3, 該模型包含IE、SBO 兩部分, 給定1 張輸入圖像, 經(jīng)過IE 模塊對(duì)圖像進(jìn)行優(yōu)化處理, 使行人特征更加突出, 之后經(jīng)過傳統(tǒng)卷積網(wǎng)絡(luò)ResNet50 提取行人特征, 最后經(jīng)過SBO 模塊, 對(duì)不平衡屬性進(jìn)行優(yōu)化處理, 最終預(yù)測(cè)行人的整體屬性值. 本節(jié)分別從圖像增強(qiáng)模塊、樣本平衡優(yōu)化模塊分別對(duì)模型進(jìn)行展開討論.

圖3 IEBO 模型整體結(jié)構(gòu)圖

3.1 圖像增強(qiáng)模塊

基于監(jiān)控系統(tǒng)的行人屬性識(shí)別, 由于數(shù)據(jù)集圖像尺寸較小、分辨率低, 在進(jìn)行特征提取時(shí)往往存在主體區(qū)域不突出、背景噪音存在等問題, 這通常會(huì)導(dǎo)致行人核心特征提取不充分, 識(shí)別結(jié)果不理想. 因此, 特征提取前的圖像處理至關(guān)重要. 輸入行人圖像之后, 首先通過色彩增強(qiáng)[18]對(duì)圖像進(jìn)行處理, 目的是使行人核心特征更加突出, 色彩更加飽和, 有利于行人特征信息的提取.

第一階段適應(yīng)局部圖像對(duì)比度, 首先將像素值映射到[0, 1]范圍, 然后分別對(duì)彩色圖像的RGB 通道單獨(dú)進(jìn)行處理, 計(jì)算每個(gè)像素點(diǎn)的F(X)值. 公式如下:

第二階段對(duì)圖像進(jìn)行調(diào)整以獲得全局白平衡, 首先通過最大最小歸一化將F(x)拉伸到[0, 1]范圍, 然后恢復(fù)到RGB 像素值. 公式如下:

其中,minF為F(x)函數(shù)的最小值,maxF為F(x)函數(shù)的最大值. 通過色彩增強(qiáng)算法, 提高了行人圖像的動(dòng)態(tài)范圍和色彩飽和度, 使核心特征更加明顯, 有利于更充分的提取行人特征信息.

然而, 圖像中仍然包含一些無用的背景信息, 這些信息有可能會(huì)對(duì)特征提取造成干擾. 因此, 需要對(duì)圖像進(jìn)行噪音抑制處理. 圖像色彩增強(qiáng)之后, 使用谷歌Chen 等人[19]提出的基于ResNet101 的DeepLabv3 模型對(duì)行人背景進(jìn)行分割, 模型嘗試通過級(jí)聯(lián)與并行的空洞卷積的方式對(duì)圖片進(jìn)行處理, 如圖4, 前邊卷積模塊采用傳統(tǒng)的ResNet101 網(wǎng)絡(luò)結(jié)構(gòu), 之后通過一層rate=2的空洞卷積, 并且經(jīng)過金字塔池化ASPP 模型, 同時(shí)對(duì)特征進(jìn)行rate=1, 6, 12, 18 四個(gè)空洞卷積和一個(gè)全局池化的并行處理, 其中,rate=1 為普通卷積, 最后將并行特征圖進(jìn)行連接, 并輸入到傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行上采樣恢復(fù)到原圖.

圖4 圖像增強(qiáng)模塊

在進(jìn)行行人分割的同時(shí), 將檢測(cè)出的實(shí)例框以外的背景區(qū)域置0. 通過背景置0 的方式, 將無用的信息去掉, 可以有效防止背景噪音在特征提取過程中對(duì)行人核心特征造成干擾.

3.2 樣本平衡優(yōu)化模塊

近幾年, 由于深度學(xué)習(xí)的發(fā)展, 跨任務(wù)研究逐漸進(jìn)入大眾視野, 研究人員將行人重識(shí)別領(lǐng)域的傳統(tǒng)數(shù)據(jù)集Market-1501 數(shù)據(jù)集標(biāo)注上行人屬性信息, 作為可以結(jié)合行人身份信息與行人屬性信息的數(shù)據(jù)集進(jìn)行使用. 因此, 模型利用身份信息進(jìn)行輔助屬性識(shí)別,如圖5.

圖5 樣本平衡優(yōu)化模塊

然而, 由于數(shù)據(jù)集不是以屬性識(shí)別任務(wù)進(jìn)行創(chuàng)建的, 所以在屬性方面, 數(shù)據(jù)集存在正負(fù)樣本不平衡的問題. 比如在“上衣類型”這一屬性中, 正樣本“上衣為短袖”遠(yuǎn)比負(fù)樣本“上衣為長袖”的樣本數(shù)量要多; “下衣顏色為紅色”這一屬性的負(fù)樣本“顏色不為紅色”遠(yuǎn)比正樣本“顏色為紅色”的樣本數(shù)量要多. 所以在進(jìn)行訓(xùn)練時(shí), 模型往往會(huì)出現(xiàn)由于正負(fù)樣本不平衡而造成的訓(xùn)練不充分、準(zhǔn)確率不高等問題. 因此, 我們針對(duì)正負(fù)樣本不平衡屬性進(jìn)行了權(quán)重優(yōu)化處理. 由于行人屬性在Market-1501-attribute 數(shù)據(jù)集被轉(zhuǎn)換為30 個(gè)二分類問題, 因此屬性標(biāo)簽采用二分類交叉熵?fù)p失函數(shù)進(jìn)行計(jì)算, 公式如下:

其中,n∈1, 2, …,N,N表示訓(xùn)練集圖像個(gè)數(shù),l∈1, 2, …,L,L表示屬性個(gè)數(shù),xnl表示第n張圖像第l個(gè)屬性的預(yù)測(cè)值,ynl表示真實(shí)值,LM表示各屬性樣本合理比例, 具體如下:

其中,i∈1, 2, …,I,I表示屬性種類個(gè)數(shù), 例如普遍的二分類以及多分類中的四分類、八分類,k∈1, 2, …,K,K表示各種分類屬性中的屬性值個(gè)數(shù). 本文計(jì)算了數(shù)據(jù)集中各屬性正負(fù)樣本的數(shù)量以及每類屬性的正樣本合理占比. 所謂正樣本合理占比, 即該類屬性正樣本的合理概率值, 例如“性別”屬性為二分類屬性, 包含“男性”和“女性”, 正樣本合理占比為50%, 而“年齡”屬性為多分類屬性, 包含“兒童”“青少年”“成年人”“老年人”4 種選項(xiàng), 為了計(jì)算方便, 將多分類屬性分為4 個(gè)二分類屬性, 即“是否為兒童”“是否為青少年”“是否為成年人”“是否為老年人”, 因此正樣本合理占比為25%. 具體值如下:

訓(xùn)練過程中, 提高正負(fù)樣本不平衡且偏離合理占比屬性的權(quán)重, 力求此類屬性可以進(jìn)行更多的訓(xùn)練, 以此來達(dá)到更好的識(shí)別效果.

另外, 傳統(tǒng)的屬性識(shí)別可能會(huì)由于光線、遮擋、分辨率低等因素造成某些圖像的屬性識(shí)別率較低, 但是對(duì)于基于監(jiān)控的行人屬性數(shù)據(jù)集來說, 行人圖像是從不同監(jiān)控視頻的不同序列片段所截取的不同幀, 每一組序列片段, 都有著行人身份信息相同, 行人屬性信息相同, 行人圖像不相同的特點(diǎn). 因此, 利用行人身份信息輔助樣本平衡優(yōu)化可以進(jìn)一步提高行人屬性識(shí)別能力. 數(shù)據(jù)集包含多個(gè)行人身份信息, 所以身份標(biāo)簽采用多分類交叉熵?fù)p失函數(shù). 公式如下:

其中,i∈1, 2, …,I,I表示訓(xùn)練集行人身份個(gè)數(shù),xni表示第n張圖像第i個(gè)行人身份的預(yù)測(cè)值,yn表示第n張圖像行人身份的真實(shí)值, λ取0.3.

樣本平衡損失與身份損失融合作為模塊總損失.基于身份信息融合的行人屬性樣本平衡優(yōu)化方法, 可以彌補(bǔ)跨任務(wù)數(shù)據(jù)集正負(fù)樣本不平衡的缺陷, 提升模型的識(shí)別能力.

4 實(shí)驗(yàn)

本文在大規(guī)?？缛蝿?wù)數(shù)據(jù)集Market-1501-attribute數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn).

4.1 數(shù)據(jù)集

Market-1501-attribute 數(shù)據(jù)集的圖像來自清華大學(xué), 是在傳統(tǒng)的行人重識(shí)別Market-1501 數(shù)據(jù)集[18]的基礎(chǔ)上標(biāo)注行人屬性信息所得, 以此用于行人屬性識(shí)別任務(wù). 該數(shù)據(jù)集的訓(xùn)練集包含19732 張圖像和751個(gè)行人身份信息, 測(cè)試集包含13328 張圖像和750 個(gè)行人身份信息. 其中每一張圖像, 都注釋了27 個(gè)屬性,包含9 個(gè)二分類屬性、1 個(gè)多分類屬性和2 個(gè)組合二分類屬性, 最終轉(zhuǎn)換為30 個(gè)二分類屬性.

4.2 實(shí)驗(yàn)細(xì)節(jié)

本文提出的模型使用SGD 優(yōu)化算法, 批度尺寸為16, 權(quán)重衰減系數(shù)為5E–4, 特征提取層的基本學(xué)習(xí)率為0.01, 分類層的基本學(xué)習(xí)率為0.1, 使用StepLR 學(xué)習(xí)率調(diào)整策略, 學(xué)習(xí)率衰減為0.1, 每5 個(gè)循環(huán)衰減一次,總共訓(xùn)練了20 個(gè)循環(huán).

該模型在Market-1501-attribute 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn), DeepMAR[9]是基于深度學(xué)習(xí)的行人屬性識(shí)別的經(jīng)典模型, APR[15]是Lin 等人提出的行人重識(shí)別任務(wù)中的屬性識(shí)別框架, UF[10], JCM[11]都是使用行人身份信息輔助行人屬性識(shí)別的跨任務(wù)模型. 表1 表示了基于類的評(píng)估, 表2 表示了基于實(shí)例的評(píng)估, 可以發(fā)現(xiàn), 本文提出的模型在最新的Market-1501-attribute 數(shù)據(jù)集中取得了較好的性能.

表1 Market-1501-attribute 數(shù)據(jù)集基于類評(píng)估實(shí)驗(yàn)

Market-1501-attribute 數(shù)據(jù)集中, “L.slv”“L.low”“S.clth”“B.pack”“H.bag”“C.up”“C.low”分別表示的是length of sleeve, length of lower-body clothing, style of clothing, backpack, handbag, color of upper-body clothing and color of lower-body clothing. 其中, “C.up”和“C.low”為兩組單分類屬性, “C.up”包含up black , up white , up red , up purple , up yellow , up gray , up blue ,up green 八個(gè)單分類屬性, 幾乎涵蓋了日常上衣所有顏色, 合理的屬性分布應(yīng)各為1/8 約12.5%, 但是數(shù)據(jù)集中分布為up white 占比30%, up purple 占比4%, up yellow 占比6%, up blue 占比6%, up green 占比8%, 均屬于正負(fù)樣本不平衡屬性, “C.low”包含down black,down white, down pink, down purple, down yellow,down gray, down blue, down green , down brown 九個(gè)單分類屬性, 幾乎涵蓋了日常下衣所有顏色, 合理的屬性分布應(yīng)各為1/9 約11.1%, 但是數(shù)據(jù)集中分布為down black 占比38%, down pink 占比4%, down purple占比1%, down yellow 占比1%, down green 占比20%,均屬于正負(fù)樣本不平衡屬性. 另外, 普通的單分類屬性中, 合理的屬性分布應(yīng)各為1/2 約50%, 但是數(shù)據(jù)集中分布為style of clothing 占比63%, hat 占比2%, 同樣屬于正負(fù)樣本不平衡屬性. 通過實(shí)驗(yàn)發(fā)現(xiàn), 該論文提出的模型在正負(fù)樣本不平衡的屬性中取得了較好的結(jié)果.

本文在Market-1501-attribute 數(shù)據(jù)集上進(jìn)行了基于實(shí)例的評(píng)估, 其中,prec表示精確率, 意味著預(yù)測(cè)為正的樣本中有多少是真正的正樣本,recall表示召回率, 意味著有多少正樣本被正確預(yù)測(cè). 理想狀態(tài)下, 本文力求prec和recall都盡可能獲得較高的值, 但事實(shí)上這兩者在很多情況下是相互矛盾的,prec升高會(huì)導(dǎo)致recall降低, 反之亦然. 因此本文考慮使用一個(gè)中間數(shù)F1=2×prec×recall/(prec＋recall)來平衡兩個(gè)值, 盡可能使prec和recall都獲得較優(yōu)解, 如表2, 可以發(fā)現(xiàn),本文提出的模型在F1 上仍然保持了較好的結(jié)果.

表2 Market-1501-attribute 數(shù)據(jù)集基于實(shí)例評(píng)估實(shí)驗(yàn)

4.3 消融實(shí)驗(yàn)

IEBO 模型包括圖像增強(qiáng)模塊IE、樣本平衡優(yōu)化模塊SBO, 表3 表示了這些模塊分別在Market-1501-attribute 數(shù)據(jù)集上進(jìn)行的消融實(shí)驗(yàn).

表3 Market-1501-attribute 數(shù)據(jù)集消融實(shí)驗(yàn)

baseline 使用最基本的ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)作為特征提取方式, SBO 基于身份信息與樣本平衡添加了W1與W2 權(quán)重參數(shù), 可以發(fā)現(xiàn), 對(duì)比baseline, 每一個(gè)模塊都使模型的準(zhǔn)確率有所提升, 綜合所有模塊, 可以使模型準(zhǔn)確率達(dá)到最大值.

4.4 參數(shù)調(diào)優(yōu)實(shí)驗(yàn)

在樣本平衡優(yōu)化中, W2 公式使用λ作為參數(shù)進(jìn)行計(jì)算, 我們測(cè)試了λ從0.1 到1 時(shí)模型的運(yùn)算結(jié)果, 如圖6, 可以發(fā)現(xiàn), 當(dāng)λ取0.3 時(shí), 模型擁有最優(yōu)解.

圖6 λ 的參數(shù)調(diào)優(yōu)實(shí)驗(yàn)圖

5 結(jié)論

本文主要介紹了行人屬性識(shí)別任務(wù)的背景知識(shí),以及新型跨任務(wù)數(shù)據(jù)集的信息, 并且針對(duì)新提出的模型討論了圖像增強(qiáng), 樣本平衡等方面的改進(jìn). 通過實(shí)驗(yàn)比較, 可以發(fā)現(xiàn), 新提出的模型在Market-1501-attribute數(shù)據(jù)集上取得了較好的性能.

行人屬性識(shí)別任務(wù)一直是計(jì)算機(jī)視覺中熱門的研究方向, 從實(shí)踐應(yīng)用角度來講, 行人屬性識(shí)別在行人檢測(cè)[20]、視覺跟蹤[21]、行人重識(shí)別[14,22–24]等領(lǐng)域等都有著重要的作用, 同時(shí)這些任務(wù)共同在智能監(jiān)控系統(tǒng)、智能機(jī)器人、廣告營銷、商業(yè)零售等領(lǐng)域也擁有著廣泛的應(yīng)用前景. 但是由于基于監(jiān)控的圖像數(shù)據(jù)集本身獲取方式受到限制, 行人屬性識(shí)別任務(wù)的進(jìn)一步發(fā)展仍然是一個(gè)巨大的挑戰(zhàn), 模型性能的提高也有待進(jìn)一步深入研究.

6Tan ZC, Yang Y, Wan J,et al. Relation-aware pedestrian attribute recognition with graph convolutional networks.Proceedings of the 34th AAAI Conference on Artificial Intelligence. New York: AAAI, 2020. 12055–12062.

7Fabbri M, Calderara S, Cucchiara R. Generative adversarial models for people attribute recognition in surveillance. 2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). Lecce: IEEE, 2017. 1–6.

8Li QZ, Zhao X, He R,et al. Visual-semantic graph reasoning for pedestrian attribute recognition. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33(1):8634–8641.

9Li DW, Chen XT, Huang KQ. Multi-attribute learning for pedestrian attribute recognition in surveillance scenarios.2015 3rd IAPR Asian Conference on Pattern Recognition(ACPR). Kuala Lumpur: IEEE, 2015. 111–115.

10Sun CX, Jiang N, Zhang L,et al. Unified framework for joint attribute classification and person re-identification.Proceedings of the 27th International Conference on Artificial Neural Networks. Rhodes: Springer, 2018.637–647.

11Zhao X, Sang LF, Ding GG,et al. Recurrent attention model for pedestrian attribute recognition. Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Honolulu:AAAI, 2019. 9275–9282.

12Zeng HT, Ai HZ, Zhuang ZJ,et al. Multi-task learning via co-attentive sharing for pedestrian attribute recognition. 2020 IEEE International Conference on Multimedia and Expo(ICME). London: IEEE, 2020. 1–6.

13Deng YB, Luo P, Loy CC,et al. Pedestrian attribute recognition at far distance. Proceedings of the 22nd ACM International Conference on Multimedia. Lisboa: ACM,2014. 789–792.

14Lin YT, Zheng L, Zheng ZD,et al. Improving person reidentification by attribute and identity learning. Pattern Recognition, 2019, 95: 151–161. [doi: 10.1016/j.patcog.2019.06.006]

15Zheng L, Shen LY, Tian L,et al. Scalable person reidentification: A benchmark. 2015 IEEE International Conference on Computer Vision (ICCV). Santiago: IEEE,2015. 1116–1124.

16Liu H, Wu J, Jiang J,et al. Sequence-based person attribute recognition with joint ctc-attention model. arXiv:1811.08115, 2018.

17Yang J, Fan JR, Wang YR,et al. Hierarchical feature embedding for attribute recognition. Proceedings of the 2020