黃海新，陶文博，杜亭亭

(沈陽(yáng)理工大學(xué)自動(dòng)化與電氣工程學(xué)院，沈陽(yáng) 110159)

行人重識(shí)別旨在創(chuàng)建不同視覺(jué)范圍內(nèi)行人之間的匹配關(guān)系，普遍被認(rèn)為是圖像檢索的一個(gè)子問(wèn)題[1]。 行人重識(shí)別與模式識(shí)別、計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)等多個(gè)研究方向相關(guān)，受到工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注，行人重識(shí)別的查詢線索可以為圖像、視頻序列，也可以是文本描述[2]。

2005 年，Zajdel 等[3]在多目標(biāo)跟蹤工作中首次提出術(shù)語(yǔ)“行人重識(shí)別”。 2014 年，Bedagkar等[4]提出行人重識(shí)別的定義以及與此相關(guān)的技術(shù)難題。 同年，在ImageNet 大賽中Krizhevsky 等提出的深度網(wǎng)絡(luò)奪冠[5]，使采用深度學(xué)習(xí)技術(shù)的行人重識(shí)別逐漸成為研究的主流方向。 2019 年，羅浩等[6]對(duì)此研究方向的進(jìn)展進(jìn)行了細(xì)致的論述。

行人重識(shí)別是在跨攝像機(jī)拍攝的行人圖像間建立對(duì)應(yīng)關(guān)系的處理過(guò)程，不同攝像機(jī)之間沒(méi)有視野重疊或覆蓋的區(qū)域。 當(dāng)攝像頭拍攝范圍之間不存在重疊時(shí)，信息的跟蹤失去連續(xù)性，檢索難度隨之增大。 行人重識(shí)別的要點(diǎn)是在信息不連續(xù)的條件下完成對(duì)特定行人的檢索。

行人重識(shí)別系統(tǒng)的一般流程如圖1 所示。 首先，獲取兩個(gè)拍攝區(qū)域不重疊的攝像頭拍攝到的圖片或視頻，運(yùn)用行人檢測(cè)與跟蹤技術(shù)對(duì)采集圖片中的行人進(jìn)行定位以及添加邊界框。 行人檢測(cè)技術(shù)與行人跟蹤技術(shù)[7-8]是近年來(lái)圖像視覺(jué)方向的熱點(diǎn)，技術(shù)趨于成熟。 然后，對(duì)行人進(jìn)行特征提取，計(jì)算行人之間的相似度，通過(guò)度量學(xué)習(xí)判斷兩行人是否為同一身份，輸出識(shí)別結(jié)果。

圖1 行人重識(shí)別系統(tǒng)流程圖

行人重識(shí)別技術(shù)仍存在諸多難點(diǎn)與挑戰(zhàn)。 由于拍攝地點(diǎn)與時(shí)間不同，會(huì)導(dǎo)致光照、視角、背景等出現(xiàn)較大差異；攝像頭的選型也會(huì)導(dǎo)致圖像的質(zhì)量參差不齊；行人在自然狀態(tài)下被拍攝，遮擋與重疊現(xiàn)象在所難免。

行人重識(shí)別的研究按照數(shù)據(jù)集的標(biāo)注情況可分為全監(jiān)督、半監(jiān)督以及無(wú)監(jiān)督方法，其中全監(jiān)督方法研究最為深入。 按照提取特征所用方法的不同可分為傳統(tǒng)方法以及深度學(xué)習(xí)方法，其中傳統(tǒng)方法一般采用人工方法提取特征，深度學(xué)習(xí)方法則采用深度卷積神經(jīng)網(wǎng)絡(luò)提取特征。 根據(jù)研究的側(cè)重點(diǎn)可以分為三類(lèi):第一類(lèi)側(cè)重關(guān)注行人重識(shí)別的輸入數(shù)據(jù)，如基于GAN 的方法等；第二類(lèi)側(cè)重研究行人特征的表達(dá)，如基于超圖的行人重識(shí)別方法等；第三類(lèi)側(cè)重研究目標(biāo)函數(shù)，即信息的反饋，如基于深度度量學(xué)習(xí)的算法。

近年來(lái)，深度學(xué)習(xí)的蓬勃發(fā)展很大程度上提高了行人特征提取的速度和性能，對(duì)于特征提取的優(yōu)化研究層出不窮。 有效度量在提高行人重識(shí)別模型的精準(zhǔn)度方面起到不可忽視的作用，歸納與分析近年來(lái)面向行人重識(shí)別的度量學(xué)習(xí)方法具有重要意義。

基于度量學(xué)習(xí)的行人重識(shí)別框架如圖2 所示。 首先，對(duì)訓(xùn)練集中的參考圖庫(kù)圖片以及待查詢圖片輸入特征提取網(wǎng)絡(luò)進(jìn)行特征提取，對(duì)提取到的特征進(jìn)行度量學(xué)習(xí)，將特征映射到特征嵌入空間進(jìn)行聚類(lèi)操作，使不同類(lèi)別的樣本之間距離增大，實(shí)現(xiàn)類(lèi)間分離；然后，使相同類(lèi)別樣本間的距離減小，實(shí)現(xiàn)類(lèi)間緊縮；最后，計(jì)算樣本間的相似度并排序后輸出最終結(jié)果。

圖2 基于度量學(xué)習(xí)的行人重識(shí)別框架圖

本文闡述近年來(lái)應(yīng)用于行人重識(shí)別的度量方法的研究進(jìn)展，將研究方法分為距離度量方法和度量學(xué)習(xí)算法，并提出基于度量學(xué)習(xí)的行人重識(shí)別技術(shù)亟待解決的問(wèn)題和未來(lái)研究方向。

1 度量方法

度量(或距離度量函數(shù))是一個(gè)定義集合中元素距離的函數(shù)，該集合稱(chēng)為度量空間。 Xing 等[9]在2002 年首次提出度量學(xué)習(xí)概念，可以分為通過(guò)線性變換的度量學(xué)習(xí)以及通過(guò)非線性變換的度量學(xué)習(xí)兩類(lèi)。 其基本思想是根據(jù)不同的任務(wù)自主學(xué)習(xí)出對(duì)應(yīng)的距離度量函數(shù)。 度量學(xué)習(xí)的對(duì)象通常是樣本特征向量的距離，度量學(xué)習(xí)的目的是通過(guò)訓(xùn)練與學(xué)習(xí)，使同類(lèi)樣本間的距離更小或受限，使不同類(lèi)別樣本間的距離更大。

在分類(lèi)以及檢索等計(jì)算機(jī)視覺(jué)任務(wù)中，常對(duì)多個(gè)目標(biāo)間的差異進(jìn)行對(duì)比或?qū)€(gè)體的類(lèi)別等進(jìn)行判斷。 在行人重識(shí)別中，模型進(jìn)行特征提取后，對(duì)特征采取合適的度量方法，得到不同行人的差異，以一定標(biāo)準(zhǔn)判定是否為同一行人。 通常采用的度量方法有距離度量和相似性度量。

1.1 距離度量

1.1.1不對(duì)稱(chēng)距離度量

在行人重識(shí)別任務(wù)中，視角的變化非常普遍，會(huì)降低行人特征的有效性，降低整體模型的精度。針對(duì)該問(wèn)題，Chen 等[10]提出了非對(duì)稱(chēng)距離度量，提取圖像中的RGB，HSV 和YCbCr 特征，使用非對(duì)稱(chēng)映射將個(gè)體的非對(duì)應(yīng)特征映射到公共空間中，較大程度解決了交叉視角導(dǎo)致人物圖像變形從而引起的特征丟失問(wèn)題。

Yu 等[11]提出了不對(duì)稱(chēng)度量，通過(guò)不對(duì)稱(chēng)映射將具有不同視角的行人圖像轉(zhuǎn)換為公共空間，減輕了來(lái)自不同角度拍攝樣本帶來(lái)的負(fù)面影響。該方法克服了有監(jiān)督行人重識(shí)別可擴(kuò)展性差的缺點(diǎn)。 Feng 等[12]提出了一種基于樣本分布特征的交叉視圖度量，通過(guò)共享映射和不對(duì)稱(chēng)特定透視映射結(jié)合了人的共享特征和不同特征，提高了交叉視圖行人重識(shí)別的效果，解決常用度量方法忽略特定特征并導(dǎo)致信息丟失的問(wèn)題。

1.1.2馬哈拉諾比斯距離度量

馬哈拉諾比斯距離( Mahalanobis Distance)[13]度量是測(cè)量距離或相似性的經(jīng)典方法，可以有效計(jì)算兩個(gè)未知樣本集的相似度。 考慮到小樣本情況會(huì)導(dǎo)致過(guò)擬合的出現(xiàn)，齊美彬等[14]參考平滑正則化算法[15]提出一種帶有正則化約束的馬氏度量矩陣。 Zhou 等[16]定義了一個(gè)新的線性尺度約束。 基于該約束，定義了改進(jìn)的優(yōu)化馬氏距離度量矩陣，提出并研究了三種不同的基于傳輸?shù)淖顑?yōu)方案，可以自動(dòng)生成判別參考約束，有效提高了度量學(xué)習(xí)模型的性能。

1.1.3基于樣本集的距離度量

隨著行人重識(shí)別數(shù)據(jù)集的不斷擴(kuò)大，樣本集之間的關(guān)系也愈加復(fù)雜。 綜合分析并處理樣本集之間的關(guān)系可以顯著提高重識(shí)別的有效性。 Li等[17]提出了成對(duì)樣本集之間的差異，并基于該種差異構(gòu)建了一個(gè)局部度量域，從而形成了一種新的樣本集分布，實(shí)現(xiàn)了類(lèi)內(nèi)緊湊和類(lèi)間分離。 Tan等[18]使用分組的方法處理成對(duì)樣本，使用僅組內(nèi)全連接的方法得到樣本集的不同特征，解決了跨視角的樣本序列匹配問(wèn)題。 Cho 等[19]利用成對(duì)樣本集預(yù)測(cè)行人的常見(jiàn)姿態(tài)，解決了跨攝像頭同一行人的信息丟失問(wèn)題。

總結(jié)前文所述三種行人重識(shí)別常用的距離度量方法的優(yōu)缺點(diǎn)，如表1 所示。

表1 行人重識(shí)別中距離度量方法的優(yōu)缺點(diǎn)比較

1.2 基于超圖的相似性度量

在相似性度量中，輸入樣本的成對(duì)相似性一直是研究者們優(yōu)先考慮的對(duì)象。 然而行人圖像之間的關(guān)系具備一定的高階相關(guān)性，忽略高階相關(guān)性會(huì)使模型的效果變差。 為解決該問(wèn)題，An等[20]提出了使用超圖應(yīng)用于重識(shí)別任務(wù)。 使用超圖學(xué)習(xí)尋找行人圖像中的高階關(guān)系，可實(shí)現(xiàn)更好的相似度匹配，算法流程如圖3 所示。

圖3 基于超圖的行人匹配方案

訓(xùn)練階段，先將訓(xùn)練數(shù)據(jù)輸入到公共空間中，再經(jīng)過(guò)投影矩陣將數(shù)據(jù)映射至公共映射空間中。測(cè)試階段，在圖庫(kù)集中選擇一張待查詢圖片，輸入到公共映射空間內(nèi)，與訓(xùn)練數(shù)據(jù)一起進(jìn)行超圖學(xué)習(xí)，學(xué)習(xí)數(shù)據(jù)的高階特征，最后輸出測(cè)試結(jié)果。

Zhao 等[21]利用聯(lián)合學(xué)習(xí)的思想提出了一種基于多超圖聯(lián)合學(xué)習(xí)的框架用于行人重識(shí)別。 該方法提取查詢圖像和參考圖庫(kù)的gBiCov，HLCNL和LOMO 特征，分別構(gòu)建三個(gè)超圖，最終使用多超圖聯(lián)合學(xué)習(xí)算法計(jì)算不同特征的高階相關(guān)度，得到最終匹配結(jié)果。 算法框架如圖4 所示。

圖4 用于行人重識(shí)別的多超圖聯(lián)合學(xué)習(xí)框架

基于超圖的相似性度量關(guān)注數(shù)據(jù)集之間的高階相關(guān)性，實(shí)現(xiàn)圖像的成對(duì)匹配，使不同特征都得到充分表達(dá)，令特征中的復(fù)雜信息得以保存，是一種高效的行人多特征相似性度量方法。

對(duì)應(yīng)用于行人重識(shí)別的度量方法進(jìn)行分析，總結(jié)如下:

1)針對(duì)過(guò)擬合問(wèn)題提出了正則化約束的馬氏度量；

2)非對(duì)稱(chēng)度量降低交叉視圖度量的難度；

3)基于樣本集的距離度量緩解了傳統(tǒng)度量模型的過(guò)擬合問(wèn)題，有助于提高模型的可辨別性；

4)基于超圖的相似性度量，考慮樣本間的高階相關(guān)性，提高了行人重識(shí)別精度。

為更直觀比較不同度量方法在重識(shí)別中的性能，在VIPeR、iLIDS、CUHK01 數(shù)據(jù)集上進(jìn)行對(duì)比。 iLIDS 數(shù)據(jù)集是在人流量較大的機(jī)場(chǎng)由多攝像頭閉路電視系統(tǒng)拍攝得到，絕大部分行人都有四個(gè)或更多來(lái)自攝像機(jī)不同視角拍攝得到的圖片。 該數(shù)據(jù)集可以用于行人重識(shí)別中遮擋問(wèn)題以及行人姿態(tài)變化的研究，包含119 個(gè)行人身份、479 張圖片。 VIPeR 數(shù)據(jù)集由兩個(gè)攝像頭采集得到，每個(gè)攝像頭對(duì)每個(gè)行人拍攝一張圖片。 共有632 個(gè)行人身份，1 264 張圖片，對(duì)基于姿態(tài)、視角、光照變化的行人重識(shí)別研究提供較大幫助。CUHK01 數(shù)據(jù)集包含每個(gè)攝像頭拍攝每個(gè)行人的兩張圖片，兩個(gè)攝像頭拍攝區(qū)域不重疊，且成像質(zhì)量良好。 共包含971 個(gè)行人身份，3 884 張圖片。幾種度量方法的性能比較與分析結(jié)果如表2所示。

表2 幾種度量方法的性能對(duì)比

行人重識(shí)別的評(píng)價(jià)指標(biāo)一般選用累計(jì)匹配特征(CMC)曲線和Rank-N 表格[22]，CMC 在模式識(shí)別領(lǐng)域使用十分廣泛，是生物特征識(shí)別系統(tǒng)中的重要評(píng)價(jià)指標(biāo)之一，可對(duì)算法的性能進(jìn)行評(píng)估。曲線橫坐標(biāo)為Rank，縱坐標(biāo)為識(shí)別率。 在重識(shí)別任務(wù)中，CMC 曲線的意義是在前k項(xiàng)檢測(cè)結(jié)果中正確結(jié)果占全部檢索的百分比。 Rank-N 表格是CMC 的另一種表達(dá)形式，用數(shù)字形式直接給出關(guān)鍵匹配點(diǎn)的累計(jì)匹配精度，如Rank-1，Rank-5 等。本文選用更為直觀的Rank-N 表格比較不同度量方法的性能。

2 度量學(xué)習(xí)算法

表征學(xué)習(xí)和度量學(xué)習(xí)是行人重識(shí)別最基本的兩種方法，目前幾乎所有行人重識(shí)別算法都由上述兩種方法擴(kuò)展得到。 表征學(xué)習(xí)未像度量學(xué)習(xí)一樣在網(wǎng)絡(luò)訓(xùn)練過(guò)程中考慮圖片間的相似度，而是把行人重識(shí)別任務(wù)當(dāng)作一個(gè)分類(lèi)或驗(yàn)證任務(wù)。 表征學(xué)習(xí)通過(guò)構(gòu)造網(wǎng)絡(luò)直接提取魯棒性良好的行人特征，直接判斷拍攝到的行人是否身份相同，而度量學(xué)習(xí)旨在通過(guò)網(wǎng)絡(luò)學(xué)習(xí)到兩張圖片的相似度，通過(guò)相似度排序判斷行人匹配關(guān)系。 表征學(xué)習(xí)的訓(xùn)練過(guò)程中需要額外構(gòu)造一個(gè)全連接層加以輔助，而度量學(xué)習(xí)不需要。 從效率方面來(lái)看，表征學(xué)習(xí)在驗(yàn)證損失測(cè)試時(shí)需要輸入一對(duì)圖片，效率比度量學(xué)習(xí)低。 表征學(xué)習(xí)的優(yōu)點(diǎn)是訓(xùn)練比較穩(wěn)定，而度量學(xué)習(xí)的訓(xùn)練比較隨機(jī)，需要一定的訓(xùn)練經(jīng)驗(yàn)。

近年來(lái)，研究人員更加傾向于研究度量學(xué)習(xí)算法的改進(jìn)而不是設(shè)計(jì)新的度量方法，原因是有效的度量學(xué)習(xí)算法會(huì)極大提升重識(shí)別的性能。

2.1 經(jīng)典度量學(xué)習(xí)算法

經(jīng)典的度量學(xué)習(xí)算法是在一定的規(guī)則限制下給出一個(gè)顯式目標(biāo)函數(shù)，使用合適的優(yōu)化算法求解最優(yōu)參數(shù)，得到強(qiáng)判別性的度量矩陣。 目前，經(jīng)典的行人重識(shí)別度量學(xué)習(xí)算法包括:大邊緣最近鄰(LMNN) 距離度量[24]以及改進(jìn)的快速LMNN[25]和LMNN-R 算法[26]；信息理論度量學(xué)習(xí)(ITML)[27]；保持簡(jiǎn)單直接的度量(KISSME)學(xué)習(xí)算法[28]；概率相對(duì)距離比較(PDRC)度量學(xué)習(xí)[29-30]；本地Fisher 歧視分析(LFDA)度量學(xué)習(xí)[31]；交叉視圖二次判別分析(XQDA)距離度量學(xué)習(xí)[32]；度量學(xué)習(xí)加速近端梯度(MLAPG)[33]等。

上述經(jīng)典度量學(xué)習(xí)算法已被廣泛應(yīng)用于行人重識(shí)別，但算法仍面臨過(guò)擬合、分類(lèi)能力弱、抗干擾能力差等問(wèn)題。

2.2 深度度量學(xué)習(xí)算法

深度度量學(xué)習(xí)(Deep Metric Learning，DML)的三大關(guān)鍵點(diǎn)是采樣策略的選擇、設(shè)計(jì)合適的深度損失函數(shù)以及度量模型的改進(jìn)。 高效的深度損失函數(shù)在深度度量學(xué)習(xí)優(yōu)化中起到至關(guān)重要的作用。 一般通過(guò)深度網(wǎng)絡(luò)提取樣本特征，使用提取到的特征設(shè)計(jì)或選用合適的深度損失函數(shù)，進(jìn)而通過(guò)最優(yōu)求解損失函數(shù)得到網(wǎng)絡(luò)模型的最優(yōu)參數(shù)配置，達(dá)成先深度特征提取再有效分類(lèi)的目標(biāo)。對(duì)應(yīng)用于行人重識(shí)別中的深度損失函數(shù)進(jìn)行整理和分析，可將深度網(wǎng)絡(luò)損失概括為:分類(lèi)損失、對(duì)比損失、三元組損失、聯(lián)合損失和聚類(lèi)損失。

2.2.1分類(lèi)損失函數(shù)

Softmax 函數(shù)[34]在深度學(xué)習(xí)的多分類(lèi)任務(wù)中起到舉足輕重的作用，可以高效分離學(xué)習(xí)到的深度特征。 然而，在相似性比較中，直接應(yīng)用Softmax 函數(shù)無(wú)法實(shí)現(xiàn)深層特征的類(lèi)內(nèi)緊縮和類(lèi)間分離，影響了參數(shù)學(xué)習(xí)和重識(shí)別的準(zhǔn)確性。 為解決該問(wèn)題，Zhu 等[35]將中心損失和Softmax 損失結(jié)合構(gòu)建了一個(gè)新的損失函數(shù)，實(shí)現(xiàn)了最大的類(lèi)間分離和類(lèi)內(nèi)緊縮，有利于卷積網(wǎng)絡(luò)學(xué)習(xí)更多的判別特征。 Borgia 等[36]構(gòu)建了中心離散項(xiàng)和指導(dǎo)元中心項(xiàng)兩種損失，并將二者與Softmax 損失綜合考慮，得到一個(gè)新的損失函數(shù)，實(shí)現(xiàn)了深度特征提取，減少了類(lèi)間干擾。

2.2.2對(duì)比損失函數(shù)

對(duì)比損失[37]可以有效表達(dá)樣本對(duì)的匹配程度，更好地監(jiān)督深度特征提取模型的訓(xùn)練，廣泛應(yīng)用于行人重識(shí)別的相似度比較，其定義為

式中:N為樣本對(duì)數(shù)量；d為兩樣本間歐氏距離；y為類(lèi)別匹配標(biāo)簽；margin為距離閾值。

對(duì)比損失函數(shù)可以直接應(yīng)用于行人的重識(shí)別，但由于不同重識(shí)別任務(wù)需求不同，且特征的提取容易受到環(huán)境的干擾，匹配精度較低，無(wú)法獲得深度網(wǎng)絡(luò)的最佳參數(shù)配置。 因此，基于原始對(duì)比損失函數(shù)，研究者提出了許多改進(jìn)的對(duì)比損失函數(shù)。

2018 年，Wang 等[38]基于合成深度暹羅網(wǎng)絡(luò)提取特征，構(gòu)建了一種自適應(yīng)區(qū)間損失函數(shù)，由正則化項(xiàng)和相似度項(xiàng)聯(lián)合構(gòu)成。 該方法使類(lèi)別相同的樣本距離最小化，并使類(lèi)別不同的樣本距離最大化。 Zhu 等[39]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的深度混合相似學(xué)習(xí)方法。 該方法同時(shí)提取輸入圖像對(duì)的CNN 學(xué)習(xí)特征對(duì)，然后計(jì)算CNN 學(xué)習(xí)特征對(duì)的元素絕對(duì)差和乘積，最后設(shè)計(jì)了一個(gè)混合相似度函數(shù)度量特征對(duì)之間的相似度。 該方法可以有效平衡重識(shí)別模型中度量學(xué)習(xí)和特征學(xué)習(xí)的復(fù)雜關(guān)系，提高了行人重識(shí)別準(zhǔn)確率。

2.2.3三元組損失函數(shù)

2015 年，Schroff 等[40]提出了人臉識(shí)別和聚類(lèi)分析中的三元組損失。 其基本思想是:正樣本對(duì)之間的特征距離與負(fù)樣本對(duì)之間的特征距離的差小于預(yù)先定義的閾值[41]。 三元組損失的目標(biāo)是最小化錨樣本與正實(shí)例的距離，最大化錨樣本與負(fù)實(shí)例之間的距離，可以實(shí)現(xiàn)正負(fù)樣本對(duì)之間的距離始終保持最小。 三元組損失的目標(biāo)函數(shù)定義為

與經(jīng)典的三元組損失不同，結(jié)構(gòu)三元組損失函數(shù)充分利用行人樣本之間的結(jié)構(gòu)信息學(xué)習(xí)更多的判別特征。 在參數(shù)更新過(guò)程中，考慮了錨點(diǎn)樣本與其他負(fù)樣本之間的關(guān)系，從而促進(jìn)了錨點(diǎn)樣本與所有其他類(lèi)之間的距離，大大加快了模型的收斂速度。 提升結(jié)構(gòu)損失動(dòng)態(tài)地為每個(gè)正樣本對(duì)構(gòu)建最硬的三元組，同時(shí)考慮所有負(fù)樣本，有效地提高了優(yōu)化三元組損失網(wǎng)絡(luò)參數(shù)的能力，有助于實(shí)現(xiàn)強(qiáng)分類(lèi)特征提取和魯棒度量。

Fang 等[42]提出了一個(gè)新的“集合-感知”三元組損失。 將序列特征建模為一個(gè)集合，通過(guò)三元組損失優(yōu)化集合之間的距離。 He 等[43]提出了一種結(jié)構(gòu)損失函數(shù)，改進(jìn)了深層網(wǎng)絡(luò)學(xué)習(xí)的特性，可以解決三元組損失人工選擇負(fù)樣本困難的問(wèn)題。

Arindam 等[44]提出了一種批量自適應(yīng)三元組損失函數(shù)。 在該策略中，最硬樣本的權(quán)重根據(jù)其與錨的距離自適應(yīng)調(diào)整，較好地克服了尺度對(duì)行人重識(shí)別的影響。

2.2.4聯(lián)合損失功能

分類(lèi)損失、對(duì)比損失和三重?fù)p失函數(shù)在重識(shí)別任務(wù)中具有各自的優(yōu)點(diǎn)，同時(shí)也具備一定的局限性。 為綜合不同損失函數(shù)的優(yōu)點(diǎn)，進(jìn)一步提高精度，研究人員提出了多任務(wù)聯(lián)合學(xué)習(xí)和多特征度量等思想。 在不同的特征度量和學(xué)習(xí)任務(wù)中，通常使用不同的損失函數(shù)監(jiān)督深度網(wǎng)絡(luò)。 因此，多損失函數(shù)聯(lián)合學(xué)習(xí)應(yīng)運(yùn)而生。 Li 等[45]和Zhou等[46]考慮行人具有局部特征以及全局特征，且具有一定的互補(bǔ)關(guān)系，在構(gòu)建深度網(wǎng)絡(luò)時(shí)對(duì)應(yīng)構(gòu)建局部網(wǎng)絡(luò)與深度網(wǎng)絡(luò)。 2017 年，Mclaughlin 等[47]使用暹羅網(wǎng)絡(luò)提取人物特征，并采用人物驗(yàn)證、人物識(shí)別和多屬性識(shí)別形成多任務(wù)學(xué)習(xí)目標(biāo)，再對(duì)不同任務(wù)的學(xué)習(xí)目標(biāo)損失進(jìn)行加權(quán)融合，形成聯(lián)合損失，進(jìn)而得到驗(yàn)證結(jié)果。 多任務(wù)聯(lián)合學(xué)習(xí)的框架如圖5 所示。x1與x2為兩張輸入圖片，G(x1)與G(x2)為網(wǎng)絡(luò)學(xué)習(xí)到的對(duì)應(yīng)分布，共享相同的網(wǎng)絡(luò)參數(shù)。 該框架通過(guò)聯(lián)合學(xué)習(xí)以及多任務(wù)損失的融合提高了網(wǎng)絡(luò)的綜合學(xué)習(xí)能力。

2.2.5聚類(lèi)損失函數(shù)

在重識(shí)別樣本集規(guī)模日益增大的趨勢(shì)下，隨著樣本集個(gè)體樣本不斷增加，距離度量的優(yōu)勢(shì)愈加明顯，在輔助重識(shí)別方面發(fā)揮著重要作用。 Li等[48]定義了基于鄰域結(jié)構(gòu)的正負(fù)支持鄰域集的概念，據(jù)此提出了一種新的支持鄰域損失函數(shù)，可以使正負(fù)樣本有效分離，保證正樣本鄰域穩(wěn)定。該函數(shù)表達(dá)式為

式中:σ為比例因子；xi為錨樣本；pi為正鄰域集；Ki是正樣本和負(fù)樣本鄰域的集合；D(xi，xp)為錨樣本與正樣本鄰域集之間的距離集；λ為分離損失Lspr(θ)與聚集損失Lsqz(θ)的控制參數(shù)。

Yuan 等[49]提出了一種小型集群聚類(lèi)損失模型。 該方法將相似的樣本作為一個(gè)小型集群，將其視作單一樣本用于訓(xùn)練。 各個(gè)集群內(nèi)部樣本間的最大距離稱(chēng)為內(nèi)部散度，與自身集群外部樣本間的最小距離稱(chēng)為外部散度。 始終令內(nèi)部散度小于外部散度，可以構(gòu)建緊湊度更高的聚類(lèi)結(jié)構(gòu)，大大提升重識(shí)別系統(tǒng)的泛化能力。

總結(jié)上述五種損失函數(shù)分別在Market1501、CUHK03、VIPeR 數(shù)據(jù)集下的表現(xiàn)，同樣使用Rank-N 表作為測(cè)量指標(biāo)比較不同損失函數(shù)的性能，結(jié)果如表3 所示。 CUHK03 數(shù)據(jù)集是首個(gè)可以用于深度學(xué)習(xí)訓(xùn)練的數(shù)據(jù)集，使用可變型部分模型(Deformable Parts Models，DPM)算法[50]生成行人邊界框，然后進(jìn)行手動(dòng)標(biāo)記。 該數(shù)據(jù)集的檢測(cè)質(zhì)量?jī)?yōu)秀，訓(xùn)練效果普遍良好，包含1 467 個(gè)行人身份，13 164 張圖片。 Market1501 數(shù)據(jù)集在清華大學(xué)校園內(nèi)采集，采用五個(gè)高分辨率攝像頭以及一個(gè)低分辨率攝像頭，使用DPM 算法以及手工標(biāo)注方法檢測(cè)行人邊界。 此數(shù)據(jù)集的清晰度較高，且遮擋現(xiàn)象較少，近年來(lái)使用頻率很高，包含1 501個(gè)行人身份以及32 668 張行人圖片。

深度度量學(xué)習(xí)模型的改進(jìn)同樣值得關(guān)注，Ermolov 等[52]提出了一種新的基于雙曲的度量學(xué)習(xí)模型。 該方法的核心是一個(gè)視覺(jué)變壓器，其輸出嵌入映射到雙曲空間。 使用改進(jìn)的成對(duì)交叉熵?fù)p失直接優(yōu)化嵌入。 將視覺(jué)變壓器、雙曲嵌入和成對(duì)交叉熵?fù)p失聯(lián)合使用，可以在各類(lèi)圖像檢索任務(wù)，包括行人重識(shí)別中提供更優(yōu)的性能。

深度網(wǎng)絡(luò)雖然在很多任務(wù)中都體現(xiàn)了卓越的性能，但對(duì)精心設(shè)計(jì)的對(duì)抗性攻擊十分脆弱，Wang 等[53]提出了一種新的基于注意力引導(dǎo)的知識(shí)提取和雙向度量學(xué)習(xí)的對(duì)抗訓(xùn)練模型(AGKDBML)，通過(guò)顯式縮短原始圖像與其前向?qū)故纠g的距離，同時(shí)擴(kuò)大前向?qū)故纠c另一類(lèi)后向?qū)故纠g的距離，有效約束不同類(lèi)別在特征空間中的表示，提高了模型的對(duì)抗魯棒性。

深度度量學(xué)習(xí)算法目前有三個(gè)改進(jìn)方面。

1)采樣策略的選擇優(yōu)化。 采樣策略也是深度度量學(xué)習(xí)中不能忽略的一個(gè)重要組成部分，合適的采樣策略會(huì)提升模型的檢測(cè)效果和速度。

2)深度損失函數(shù)的改進(jìn)。 為度量參數(shù)引入一個(gè)新的損失項(xiàng)或正則化項(xiàng)是目前主要的研究方向。

3)應(yīng)對(duì)復(fù)雜外界干擾能力。 深度度量學(xué)習(xí)在圖像檢索任務(wù)中體現(xiàn)出卓越的性能，對(duì)于近年來(lái)行人重識(shí)別不斷發(fā)展起到了關(guān)鍵作用。 但深度度量學(xué)習(xí)對(duì)訓(xùn)練數(shù)據(jù)集的要求很高，訓(xùn)練集一旦出現(xiàn)異常點(diǎn)、小樣本、復(fù)雜噪聲等問(wèn)題時(shí)，其有效性會(huì)大打折扣。 因此，如何增強(qiáng)深度度量學(xué)習(xí)算法的魯棒性和適應(yīng)性是亟待解決的關(guān)鍵問(wèn)題。

3 總結(jié)與展望

行人重識(shí)別自面世以來(lái)就與度量學(xué)習(xí)緊密相關(guān)，經(jīng)過(guò)多年的發(fā)展已經(jīng)取得了許多相關(guān)成果，但仍然面臨許多挑戰(zhàn)。 在未來(lái)的研究中，還有很多內(nèi)容需要探索和研究。

1)跨域度量學(xué)習(xí)。 行人重識(shí)別的樣本背景大都處在復(fù)雜的環(huán)境條件下，在跨域情況下找到合適的度量方法，提高魯棒性。

2)小樣本或異常樣本度量學(xué)習(xí)。 在現(xiàn)實(shí)情況下，行人的圖像都是被動(dòng)拍攝，得到的樣本平均質(zhì)量很低，且數(shù)量可能很少，為刑偵等應(yīng)用方向帶來(lái)了很大困擾。

3)為不同的重識(shí)別任務(wù)分配不同的度量方法。 合適的度量方法可以使模型的精度大幅提高。

4)無(wú)標(biāo)簽或半標(biāo)簽情況下的度量學(xué)習(xí)。 目前在研究或?qū)嶒?yàn)中一般使用監(jiān)督學(xué)習(xí)進(jìn)行模型的訓(xùn)練，但在實(shí)際應(yīng)用中標(biāo)簽的獲取要付出一定的成本，所以提高無(wú)監(jiān)督或半監(jiān)督學(xué)習(xí)的模型精度是關(guān)注的重點(diǎn)研究方向。