張培煦,胡冠宇,楊新宇

(西安交通大學 計算機科學與技術(shù)學院,陜西 西安 710049)

1 引 言

行人重新識別(Re-ID)任務的目標是從不同地點和時間的視頻數(shù)據(jù)中搜索目標人物。由于在監(jiān)控系統(tǒng)中被廣泛應用,行人重識別技術(shù)長期受到學術(shù)界和工業(yè)界的青睞。隨著深度學習方法的發(fā)展,不同的行人重識別算法性能迅速提高,但是在長時間的視頻數(shù)據(jù)中重新識別一個目標人物,換衣服問題帶來的挑戰(zhàn)是無法忽視的。隨著季節(jié)和溫度的變化,衣服厚度的變化會導致人的輪廓發(fā)生巨大的變化,給重識別任務帶來一定程度的阻礙。同時,在一些短期的現(xiàn)實場景中也存在換衣問題,例如,嫌犯為了逃避追捕通常會更換衣服以避免被識別和追蹤。因而,穿不同衣服的同一人和穿相同衣服的不同人就可能造成較大的類內(nèi)差異和較小的類間差異,造成行人重識別算法的失效。

目前大多數(shù)行人重識別方法是對短期內(nèi)穿相同衣服的同一目標人物進行識別[1],很大程度上依賴于衣服顏色、款式等外觀特征。由于衣服的外觀特征在換衣行人重識別任務中變得不可靠,模型很可能會將穿不同衣服的同一人歸為不同類而導致準確率的下降,因此學習與衣服無關(guān)的特征是至關(guān)重要的。GU等人[2]發(fā)現(xiàn)在原始的RGB圖像中還有豐富的與衣服無關(guān)的信息沒有被使用,并且現(xiàn)有的方法并沒有合理地設計適合行人重識別任務的損失函數(shù),進而提出在行人重識別網(wǎng)絡中增加一個服裝分類器和衣服對抗損失函數(shù)CAL,來懲罰模型對衣服的分辨能力,使得模型專注于與衣服無關(guān)的特征。盡管CAL極大地提升了模型關(guān)注與衣服無關(guān)特征的能力,但該方法未考慮數(shù)據(jù)集中域單一的問題,特征缺乏泛化性。

換衣行人重識別的數(shù)據(jù)收集十分復雜,在數(shù)據(jù)標注上需要投入大量的人工成本,相關(guān)的數(shù)據(jù)集通常在規(guī)模和種類上受到限制,因此使用有限的數(shù)據(jù)和人工成本對擴充數(shù)據(jù)集進行擴充是十分必要的。目前主流的數(shù)據(jù)增強分為同類和混類的方式,基于同類增強的方法例如水平隨機翻轉(zhuǎn)、縮放、模糊、移位、抖動、旋轉(zhuǎn)等是在單個圖像上操作的基礎增強。CutOut[3]先隨機選擇一個固定大小的正方形區(qū)域,然后采用全0填充;Random-erasing[4]隨機選擇一個區(qū)域,采用隨機值進行覆蓋,模擬遮擋場景,并為新樣本被賦予其原始樣本標簽。除了同類增強的方法,基于混類增強的方式也被廣泛應用于計算機視覺任務。Mixup[5]將不同類之間的圖像以線性插值的方式進行混合,從而構(gòu)建新的訓練樣本;CutMix[6]方法從樣本中提取補丁,并隨機粘貼到訓練圖像中,標簽也與補丁標簽成比例分配。但是以上這些數(shù)據(jù)增強的方法都沒有對語義信息作限制,會破壞目標人物的身份語義信息;例如,換衣行人重識別模型需要重點關(guān)注人臉部位的語義信息,而生成的圖像很可能會遮擋或缺失面部的信息,造成模型性能的下降。所以需要使用更有效的數(shù)據(jù)增強策略,在不破壞人物身份語義信息的情況下豐富樣本空間。

域自適應[7]是一種在豐富且多變的不同域的數(shù)據(jù)中學習通用特征表示的方法,能夠使模型在不同域數(shù)據(jù)上表現(xiàn)得更魯棒,這與換衣行人重識別的要求相吻合。針對上述問題,筆者將域自適應的思想引入換衣行人重識別任務當中,提出了一種基于域增強和域自適應的換衣行人重識別范式。筆者通過語義感知的域數(shù)據(jù)增強方法,在語義信息的引導下,不使用額外數(shù)據(jù)和標注成本,生成保留人物身份信息且更換人物衣服顏色圖像,構(gòu)建新的換衣域數(shù)據(jù)來豐富訓練數(shù)據(jù)。并且基于增強的域數(shù)據(jù),筆者提出了一個新的基于域自適應的多正類損失函數(shù),使得多域數(shù)據(jù)充分發(fā)揮作用,促使模型在有限的數(shù)據(jù)中充分挖掘與衣服無關(guān)的信息,提高了模型換衣行人重識別的性能。

2 方法概述

筆者提出了一種基于域增強和域自適應的換衣行人重識別范式,整體如圖1所示,主要由服裝語義感知的域數(shù)據(jù)增強和基于域自適應的多域行人重識別兩部分組成。首先進行語義感知的域數(shù)據(jù)增強,對換衣行人重識別數(shù)據(jù)中缺乏的同人同衣不同色的域數(shù)據(jù)進行補充;接著使用預訓練的人體解析模型SCHP[8]提取訓練集中圖像的人體的語義結(jié)構(gòu),根據(jù)語義信息將上衣和褲子部分的圖像提取出來并使用LUT查找表對圖像進行亮度增強;再將其轉(zhuǎn)換至HSV顏色空間,改變衣服和褲子的色調(diào);最后對域增強后的數(shù)據(jù)集進行翻轉(zhuǎn)、裁剪等基礎增強操作。這種方法不需要新的數(shù)據(jù)標注,生成的域數(shù)據(jù)與原始數(shù)據(jù)共同組成域增強后的數(shù)據(jù)集并共享相同的標簽。

在基于域自適應的多域行人重識別部分中,筆者提出多正類域自適應損失函數(shù)(Multi-Positive-class Domain Adaptive Loss,Lmpda),綜合考慮多域數(shù)據(jù)在模型訓練時做出的貢獻,使得模型在不同的域中學習通用的與衣服無關(guān)的身份特征,如臉部、腳部、體型和步態(tài)等,提升了模型的魯棒性和泛化性。模型的訓練分為兩步:在第1步中,使用基于域增強后的數(shù)據(jù)對服裝分類器進行訓練,服裝分類損失函數(shù)為Lc,此時多域數(shù)據(jù)在Lc中使用相同的權(quán)重,域增強數(shù)據(jù)的加入使得服裝分類器學習了更豐富的樣本。在第2步中,利用第一步中訓練的服裝分類器來計算多正類域自適應損失Lmpda,筆者將Lmpda定義為包含多正類的分類損失函數(shù);其中,同人同衣定義為硬正類,同人同衣不同色定義為軟正類,同人不同衣定義為偽正類,不同人定義為負類。根據(jù)不同類分別為其在損失函數(shù)Lmpda中賦予不同的權(quán)重,利用域?qū)箤W習的方法,通過最小化Lmpda和身份損失Lid來聯(lián)合優(yōu)化身份分類器和主干網(wǎng)絡,懲罰模型區(qū)分衣服的能力,使得模型專注于與衣服無關(guān)的特征。

圖1 域增強和域自適應的換衣行人重識別范式

3 基于域增強和域自適應的換衣行人重識別范式

3.1 服裝語義感知的域數(shù)據(jù)增強

為了彌補原始數(shù)據(jù)集中同人同衣不同色域的數(shù)據(jù)缺失,筆者提出服裝語義感知的域數(shù)據(jù)增強方法來豐富樣本域空間。該方式不使用額外的人工成本或數(shù)據(jù)(如衣服模板[9]或其他數(shù)據(jù)集[10-11]),極大地提升了模型構(gòu)建效率。

由于很多衣服的顏色太深,RGB的值都接近0,因此需要改變衣服圖像的亮度且不影響衣服圖像的明暗變化。首先計算衣服圖像Xt和Xu的像素值的均值Rmean,Gmean,Bmean并使用LUT查找表對圖像進行亮度調(diào)整,將增強系數(shù)Bf定義為

(1)

其中,增強系數(shù)由圖像素值大小所決定,像素值越低,增強系數(shù)越大;像素值越高,增強系數(shù)越小。遍歷衣服圖像像素值并與增強系數(shù)Bf相乘,并限制像素最大值為255,當像素值大于255時向下取255。

由于HSV色彩空間更符合人類對色彩的感知情況,因此首先將調(diào)整亮度后的Xt和Xu轉(zhuǎn)換至HSV顏色空間再進行顏色變換操作。根據(jù)經(jīng)驗,人們通常不會穿顏色過于鮮艷的褲子,所以針對衣服和褲子部分分別設計了不同的增強策略。對于衣服部分,在0°～360°中隨機取值賦給Xt的色調(diào)Ht,獲得換色圖像Xtf達到改變衣服顏色但不影響衣服款式信息的效果;對于褲子部分,由于人們通常不會穿紅色或綠色的褲子,所以隨機取30°～90°的黃色區(qū)域和210°～270°的藍色區(qū)域的值賦給Xu的色調(diào)Hu,獲得換色圖像Xuf,達到模擬牛仔褲和休閑褲的目的。

如圖2所示,將Xuf、Xtf按位置與Xb合并,得到新的同人同衣不同色域數(shù)據(jù)Xnew。Xnew和X共享同樣的標簽,但是會作為軟標簽參與模型的訓練,在不同損失函數(shù)中占不同的比重。為了盡可能提升模型的性能,如圖1的基礎數(shù)據(jù)增強部分所示,還需要將域增強后的數(shù)據(jù)經(jīng)過水平翻轉(zhuǎn)、隨機裁剪和隨機擦除等基礎增強操作。

圖2 服裝感知域數(shù)據(jù)增強流程

3.2 多正類域自適應損失函數(shù)

筆者考慮不同域數(shù)據(jù)對模型學習身份特征時所做出的貢獻不同,基于服裝語義感知增強后的多域數(shù)據(jù)設計了一種多正類域自適應損失函數(shù),通過對多正類賦予不同的損失權(quán)重來訓練模型。首先將同一身份的人的所有樣本定義為正類,將同人同衣定義為硬正類,將同人同衣不同色定義為軟正類,將同人不同衣定義為偽正類。

提升換衣行人重識別模型性能的核心是懲罰其學習與衣服有關(guān)的信息,使得模型更加關(guān)注與衣服無關(guān)的特征,但服裝作為行人重識別人物中重要的特征,懲罰對其的識別能力相當于降低了行人重識別模型的性能。所以需要合理設計損失函數(shù),讓其在關(guān)注目標身份的同時,去關(guān)注部分的衣服特征。 而為了達到這一目的,筆者拋棄現(xiàn)階段行人重識別算法常用的交叉熵和三元損失函數(shù),借鑒CAL[2]的方法和域自適應思想設計了一種多正類域自適應損失函數(shù)Lmpda。 與CAL不同的是,Lmpda增加了針對同人同衣不同色域數(shù)據(jù)的損失分量,將同人同衣數(shù)據(jù)劃分為同人同衣域和同人同衣不同色域。Lmpda的數(shù)學形式為

(2)

(3)

圖3 Lmpda中各域權(quán)重示意圖

3.3 基于域自適應的多域行人重識別

基于域自適應的多域行人重識別模型結(jié)構(gòu)如圖1所示,首先訓練一個服裝分類器Dc,待其收斂后固定參數(shù),利用域自適應中的對抗思想,將Lmpda通過梯度反轉(zhuǎn)層實現(xiàn)對多域間差異的消除,迫使模型專注于提取與衣服無關(guān)的身份特征。

在第1階段,為了獲得每件衣服特有的特征,需要優(yōu)化Dc來增強其判別性。 服裝分類損失函數(shù)Lc定義為

(4)

在第2階段,當服裝分類器訓練完成后,主干網(wǎng)絡B和人員分類器Did使用Lmpda和Lid進行聯(lián)合優(yōu)化。利用域自適應梯度反轉(zhuǎn)層,懲罰模型學習衣服款式顏色的能力,迫使模型學習與衣服款式顏色無關(guān)的特征,提升模型在換衣行人重識別任務上的準確性和泛化性。 而在訓練時,如果過早加入Lmpda,讓模型基于Lmpda和Lid兩個損失函數(shù)同時進行優(yōu)化,可能會導致陷入局部最小值,使模型難以收斂。 于是先由身份損失Lid訓練模型,使得模型首先學習容易獲得的特征,當模型擁有了基本的識別人員身份的能力后,再使用最終的域自適應多域行人重識別損失Ltotal進行訓練。其數(shù)學形式為

Ltotal=Lmpda+Lid。

(5)

4 實驗方法及結(jié)果分析

4.1 數(shù)據(jù)庫和評價標準

為了驗證文中所提出范式的有效性,筆者分別在PRCC[13]和CCVID[2]兩個數(shù)據(jù)集上分別訓練并評估了算法的性能。它們都是基于換衣數(shù)據(jù)的行人重識別數(shù)據(jù)集。PRCC數(shù)據(jù)集在換衣和非換衣的測試集上進行性能評估;CCVID數(shù)據(jù)集在換衣測試集和由換衣圖像和非換衣圖像混合的測試集上進行性能評估。使用行人重識別模型評價中常用的首位命中率(Rank-1)、平均精度均值(mean Average Precision,mAP)作為評價指標,這兩個值越高,表示模型的性能越好。

4.2 實施細節(jié)

模型在PyTorch平臺上實現(xiàn),在一個NVIDIA RTX3090 GPU上運行。對于模型訓練部分,使用應用最為廣泛的ResNet-50[14]作為模型的主干網(wǎng)絡,使用BatchNorm對視頻特征進行歸一化。模型使用adam[15]優(yōu)化器進行訓練。初始學習率為0.000 35,τ設置為1/16,ε設置為0.1,λ2設置為0.05。

對于PRCC這樣基于圖片的數(shù)據(jù)集,對增強后的訓練集使用隨機水平翻轉(zhuǎn)、隨機裁剪和隨機擦除[8]用于基礎數(shù)據(jù)增強。每個批次包含8人,每人包含8張,共64張圖像。將輸入圖像的大小調(diào)整為384×192,共訓練70輪,25輪后使用Lmpda進行訓練,學習率在第20、35輪后除以10。

對于視頻數(shù)據(jù)集CCVID,為了不破壞視頻幀間語義的連續(xù)性,只對增強后的訓練集使用水平翻轉(zhuǎn)用于基礎數(shù)據(jù)增強。在訓練過程中,遵循CCVID的方法。對于每個原始視頻,模型隨機采樣8幀,步幅為4,形成一個視頻剪輯。每個輸入幀大小被調(diào)整到256×128。每個批次包含8人,每人包含4個,共32個視頻剪輯。共訓練150輪,Lmpda用于第50輪之后的訓練,學習率每40輪后除以10。

4.3 性能評估

為了驗證文中算法的有效性和優(yōu)越性,本節(jié)將文中算法與其他具有代表性的算法進行比較,有基于傳統(tǒng)行人重識別算法的PCB[16]、IANet[17];專為換衣行人重識別任務而誕生的RCSANet[18]、FSAM[19]和CAL[2];還有最新流行的Swin Transformer[20]。可以發(fā)現(xiàn),文中所提出算法在換衣行人重識別任務上有很好的表現(xiàn),與最先進的算法相比,mAP和Rank-1均有較大的改進。根據(jù)換衣或非換衣任務不同,可以調(diào)整式(3)中的λ2的值來訓練不同的模型。表1、2的數(shù)據(jù)為筆者在換衣和非換衣任務之間達到性能平衡時選擇的λ2所得到的結(jié)果。

表1 在 PRCC 數(shù)據(jù)集上與其他算法的對比 %

在表1中可以觀察到,在使用PRCC數(shù)據(jù)集訓練模型并使用換衣圖像進行測試時,文中算法的Rank-1和mAP分別達到了約59.5%和60.0%。而最新的CAL[2]算法約為55.2%(mAP)和55.8%(Rank-1),文中算法性能提升了約4.3%(mAP)和4.2%(Rank-1)。由于損失函數(shù)添加了改變衣服顏色的分量,模型對非換衣的行人重識別性能有輕微的下降,Rank-1下降了約0.1%。但這對實際應用的影響很小。

有別于PRCC數(shù)據(jù)集的評價模式,此數(shù)據(jù)集除了在換衣數(shù)據(jù)上做評估外,還在換衣與非換衣混合數(shù)據(jù)上評估了算法的性能。表2為文中所提出算法與CAL在CCVID數(shù)據(jù)集上的性能表現(xiàn),結(jié)果表明,由于文中算法使用服裝語義感知的數(shù)據(jù)增強擴充了域數(shù)據(jù),并且在損失函數(shù)中添加了同人同衣不同色域的損失分量,在換衣、混合數(shù)據(jù)上可以達到約88.0%(Rank-1)/84.5%(mAP)和89.2%(Rank-1)/86.2%(mAP)。相比CAL分別提升了約6.3%(Rank-1)/4.9%(mAP)和6.6%(Rank-1)/4.9%(mAP)。這說明文中方法在視頻數(shù)據(jù)集CCVID中依然有優(yōu)秀的表現(xiàn)?；旌夏Ｊ街蠷ank-1和mAP的大幅提升,證明了文中算法在實際場景中的應用價值。

表2 在CCVID數(shù)據(jù)集上與CAL算法的對比 %

4.4 參數(shù)分析

為了研究λ2的大小對算法性能的影響,模型固定了其他的參數(shù),只改變λ2的值。圖4顯示了模型在選擇不同λ2時在CCVID數(shù)據(jù)集上的首位命中率Rank-1。

圖4 模型性能與λ2的關(guān)系

當λ2=0時,損失函數(shù)就變成了CAL這樣沒有領(lǐng)域增強分量的損失函數(shù)。隨著λ2的增加,換色數(shù)據(jù)在損失函數(shù)公式(3)中所占的比重越大,模型對換色數(shù)據(jù)就越加敏感;在0.05時,混合數(shù)據(jù)和換衣數(shù)據(jù)的首位命中率Rank-1達到了最高。當λ2的值超過0.05后再增加,模型的性能開始下降,這是因為換色增強數(shù)據(jù)的隨機性很強,只能在損失函數(shù)中作為小權(quán)重進行訓練。當權(quán)重過大時,模型在換衣數(shù)據(jù)上的性能提升會小于其在非換衣數(shù)據(jù)上性能的下降,這種情況體現(xiàn)為模型在混合數(shù)據(jù)中性能的下降。所以筆者將λ2設置為 0.05,作為模型性能最優(yōu)時的參數(shù)。

5 結(jié)束語

筆者提出了一種域增強和域自適應的換衣行人重識別范式。通過語義分割提取上衣或褲子部分并改變色調(diào),在不需要額外數(shù)據(jù)和人工成本的情況下對數(shù)據(jù)中缺乏的同人同衣不同色的域數(shù)據(jù)進行補充。與多正類域自適應損失函數(shù)相結(jié)合,使得模型在不同的領(lǐng)域中學習通用的身份特征,提升了模型在換衣行人重識別任務上的性能。文中所提出的算法和大多數(shù)算法不同的是,其損失函數(shù)與領(lǐng)域增強相結(jié)合,對域增強后的數(shù)據(jù)依據(jù)不同的域類別在損失函數(shù)中賦予不同的權(quán)重,訓練方式更加靈活,模型的泛化性也更好,實驗證明了所提出的方法在換衣行人重識別任務中的有效性。而換衣人重新識別仍然是一項具有挑戰(zhàn)性但重要的任務,希望文中工作可以為未來的研究提供一些參考價值。