張小瑞,陳 旋,孫 偉,葛 楷

(南京信息工程大學 a.計算機與軟件學院; b.江蘇省大氣環(huán)境與裝備技術協(xié)同創(chuàng)新中心;c.數字取證教育部工程研究中心; d.自動化學院,南京 210044)

0 概述

車輛再識別可以理解為一個圖像檢索的子問題,其目的是對跨攝像機設備中的目標車輛進行檢測和跟蹤,即給定一個監(jiān)控車輛圖像,在跨設備監(jiān)控下對該車輛圖像進行檢索[1-3]。

車牌識別是早期車輛再識別研究的主要方法,目前車牌識別已經得到廣泛應用,文獻[4-5]均利用車牌信息完成車輛再識別任務。雖然車牌是車輛的唯一標識,但是在一些特殊環(huán)境下,車牌信息不能被充分利用甚至不可用。例如,在行駛過程中,攝像頭拍攝到的圖像不清晰導致車牌信息不完整或由于環(huán)境、相機等原因導致圖像分辨率不符合要求。此外,在以往大量安全事件中,車牌經常被遮擋、移除甚至偽造[6]。因此,對除車牌以外的車輛信息開展再識別研究是非常必要的。

在深度學習技術出現之前,車輛再識別研究主要集中于傳統(tǒng)底層特征提取,例如顏色、HOG(Histogram of Oriented Gradient)[7]和SIFT(Scale-Invariant Feature Transform)[8]。傳統(tǒng)提取圖像特征的方法雖然具有一定的抗干擾性,但只針對特定任務有效,并且側重圖像某方面特征,不能適應大數據環(huán)境。近年來,隨著深度學習技術的發(fā)展[9],同時研究者受行人再識別研究[10-12]的啟發(fā),使深度學習技術在車輛再識別任務上得到了廣泛的應用[13]。不同于傳統(tǒng)方法,深度學習方法不需要手動設計特征,可以通過神經網絡自動學習車輛圖像多方面特征,并且能夠處理大批量數據。

與行人再識別相比,車輛再識別是一項更具挑戰(zhàn)性的計算機視覺任務。因為在不受控制的光照、視角、低分辨率和復雜背景情況下,同一輛車在不同相機視點下的視覺外觀變化較大,而同款車型的車輛具有相似視覺外觀,它們具有相同顏色和相似模型特征,屬于同一款式的不同車輛又具有明顯的類間相似性[14]。

目前,車輛再識別研究的發(fā)展滯后于行人再識別研究,綜述性文獻較少并且內容比較寬泛,對基于深度學習的車輛再識別方法缺乏詳細描述。本文對現有研究做進一步細化,分析近年來深度學習相關方法在車輛再識別領域中的應用,將其歸納整合為基于表征學習的方法、基于度量學習的方法、基于多維度信息的方法和基于生成對抗網絡(Generative Adversarial Network,GAN)的方法,在此基礎上比較其中部分代表算法的性能,分析并探討車輛再識別研究目前面臨的挑戰(zhàn)和未來發(fā)展方向。

1 基于深度學習的車輛再識別方法

車輛再識別可以被簡單認為是一個排序問題,即通過訓練后的特征網絡提取數據庫中圖像和待搜索車輛圖像的特征并計算兩者的相似度,進而對數據庫中圖像進行排序。車輛再識別系統(tǒng)基本框架如圖1所示。

圖1 車輛再識別系統(tǒng)基本框架

車輛再識別技術可被廣泛應用于視頻監(jiān)控和智能交通等領域,實踐證明[15],在助推智能交通與智慧城市建設的過程中,車輛再識別具有重要理論意義和實用價值。

本節(jié)介紹現有基于深度學習的車輛再識別方法并對其優(yōu)缺點進行分析?，F有方法按訓練損失類型可分為基于表征學習和基于度量學習的方法,根據提取的特征信息可分為基于單維度信息和基于多維度信息的方法。此外,本節(jié)還介紹一類基于GAN的方法。

1.1 基于表征學習的方法

表征學習是人臉認證[16]和行人再識別[17]常用方法,是再識別領域中的重要基準,其將再識別任務視為分類和驗證問題。

(1)

(2)

其中,pk由圖片x的標簽得到。

由于交通監(jiān)控視頻下統(tǒng)計的車輛車型數量較多,而僅使用ID信息約束較少,在訓練過程中容易使網絡過度學習,導致過擬合現象,難以對測試樣本進行有效區(qū)分,因此需要利用車輛圖片額外標注的屬性信息[20],如車型、顏色等。通過充足的標注信息,訓練后的網絡不但可以準確預測車輛ID,而且還能預測車輛屬性。文獻[21]通過設計一個統(tǒng)一的框架有效地組合了ID與屬性損失,如圖2所示。實驗結果表明,結合ID與屬性損失比單獨使用ID損失提升效果更顯著。

圖2 結合ID損失與屬性損失的網絡結構

文獻[21]設計的框架只采用了車型屬性損失,本文將其推廣到每張圖片有多種屬性。輸入圖片經過一個共享的網絡后,采用兩個分支,上分支用于計算ID損失,下分支用于計算屬性損失。屬性損失為:

(3)

針對車輛再識別任務開展的另一類工作是車輛驗證問題。驗證網絡也是表征學習的常用方法[22],其將成對圖像送入到共享權重的卷積神經網絡(Convolutional Neural Network,CNN)中,學習得到兩張圖像的特征,將這兩個特征向量融合之后輸入一個全連接層,輸出一個二維向量,由此判斷兩輛車是否屬于同一ID。假設輸入的圖像對為X={xa,xb},對應的標簽分別為Y={ya,yb},輸出二維向量v,則驗證損失為:

(4)

若ya=yb,則y1=1,y2=0;否則,y1=0,y2=1。

表征學習將車輛再識別視為圖片分類問題,把具有相同ID的車輛當作是一類圖片,其模型比較簡單,在數據集容量較小時容易收斂,但當ID數量增加到一定程度后,網絡最后一層全連接層維度就會變得非常高,參數量巨大,訓練出現困難。

1.2 基于度量學習的方法

度量學習[23]將提取的特征映射到特征空間,在這個空間里不同特征能夠得到很好區(qū)分。不同于表征學習,度量學習直接通過網絡學習特征的相似度。以車輛為例,度量學習目的是讓特征空間中同一ID車輛間的距離小于不同ID車輛間的距離。對比損失[24]、三元組損失[25]都是比較常用的度量學習損失函數。

對比損失用于訓練孿生網絡[26]。孿生網絡由兩個權重相同的神經網絡組成,用于衡量兩張輸入圖片的相似度。孿生網絡每次輸入一對圖片X1、X2,若為同一輛車,則這一對訓練圖片標簽y=1;否則,y=0。圖片經過網絡學習得到特征向量fx1、fx2,對比損失函數表示為:

(5)

通常使用歐氏距離作為度量函數來表征相似度,在式(5)中,dx1,x2是由特征向量fx1、fx2計算得出的歐式距離,margin是設置的訓練閾值參數。

三元組損失在度量學習中的應用最為廣泛,很多度量學習方法都是在三元組損失函數上做的不同改進。三元組損失的優(yōu)勢在于細節(jié)區(qū)分。與對比損失相比,其輸入由二輸入變成三輸入,包括一張固定圖(anchor)a、與a屬于同一ID的正樣本p以及與a屬于不同ID的負樣本n。三元組損失函數表示為:

Lt=max(da,p-da,n+margin,0)

(6)

其中,da,p、da,n分別為a、p,a和n經過網絡所得特征向量計算得出的歐式距離。

特征提取網絡在使用三元組損失訓練學習的過程中,不斷讓anchor“拉近”與它屬于同一類的樣本,“推遠”不同類樣本,從而達到“同一類樣本靠得更近,不同類樣本離得更遠”的目的,如圖3所示。

圖3 三元組損失學習過程

雖然傳統(tǒng)的三元組損失有助于訓練卷積神經網絡的判別能力,但也有一定的局限性[27]。三元組損失函數容易在“拉近”和“推遠”過程中導致移動方向錯誤的情況,例如,為了“推遠”anchor的負樣本,導致該負樣本遠離其自身的樣本集合,出現該樣本難以出現在其他三元組集合中的情況。在修正該錯誤的過程中,會導致網絡的收斂速度變得緩慢。

針對這一問題,文獻[28]提出了DRDL方法,將三元組損失改進為簇耦合損失(Cluster Coupling Loss,CCL)。如圖4所示,該方法利用一個基于VGG的雙分支深卷積網絡,結合屬性損失,上支根據車型屬性標簽提取車型特征,下支利用CCL根據車輛ID提取身份信息,再通過全連接層整合兩個分支的信息進行融合,利用CCL優(yōu)化整體結構的參數。文獻[28]方法主要的優(yōu)勢在于:不同于三元組損失的輸入,CCL輸入一組正樣本集和負樣本集,不再隨機選擇anchor,而是選擇正樣本集的中心,目的是將正樣本聚集在一個中心形成一個簇,同時負樣本遠離這個簇。此外,其在反向傳播的過程中也不只利用3個樣本的損失值來優(yōu)化網絡,而是利用一組樣本的損失值,從而在每一次反向傳播的過程中學習到更多有用的特征,使網絡收斂得更快,在一定程度上解決傳統(tǒng)三元組收斂緩慢和錨點選擇敏感的問題。

圖4 DRDL網絡框架

DRDL雖然對三元組損失函數做出改進,但采用的仍然是隨機采取樣本組的方法,而三元組隨機采樣會出現當anchor與正樣本的距離小于與負樣本的距離時三元組損失學習不到任何特征的情況,這增加了網絡訓練的時間復雜度。

文獻[29]提出一種改進的三元組樣本抽樣方法來糾正這一誤差。對若干個正對進行采樣,即對同一輛汽車的圖像進行采樣得到一組(A,B)。利用每對(A,B)產生兩個三元組:在一個三元組中,A是錨點,B是正樣本;在另一個三元組中,B是錨點,A正樣本,從其他三元組中隨機選擇負樣本。該方法降低了采樣的隨機性,同時對特征而不是原始圖像進行采樣,避免圖像重復經過CNN,從而使圖像特征得到重用,縮短訓練時間。

針對同一類別車輛差異大和不同類別車輛差異小的問題,文獻[30]提出了組群敏感三元組嵌入方法。求出每一類車輛的類中心,根據類間損失使同類不斷向類中心移動,不同類遠離類中心。將同一類車輛用K-means算法根據角度、顏色、背景等屬性劃分為若干小組,每個特定組的車輛圖像都應具有相似的屬性,求出每一組的組中心,根據組內損失使同一組不斷向組中心移動,不同組保持一定距離。該方法借助簇耦合損失的優(yōu)勢并且利用了組內損失,可以顯著減小類間相似性和類內差異性對車輛精細識別造成的負面影響。

在度量學習中,只使用度量損失函數往往對樣本距離的約束過于簡單,因此,研究者通常將其與表征學習相結合,通過聯合損失優(yōu)化網絡實現不同損失函數的互相約束,從而使網絡能夠學到更具代表性的特征。

1.3 基于多維度信息的方法

根據提取的特征信息,車輛再識別方法可以分為基于單維度信息和基于多維度信息的方法。單維度信息指僅從一個方面對整幅圖像提取的一個特征,在此不做贅述。多維度信息指不僅從單一方面獲取的圖像特征,而是利用多種提取特征的方法或者利用車輛本身的多個特點提取到的多維度特征。本文將基于多維度信息的方法進一步劃分為基于多模態(tài)學習和基于多特征兩類方法。

1.3.1 基于多模態(tài)學習的方法

基于多模態(tài)學習的方法將傳統(tǒng)方法與深度學習方法提取的多特征進行融合。文獻[31]提出多模態(tài)方法FACT,利用BOW-SIFT[32]提取紋理特征,通過BOW-CN[33]提取顏色特征,利用Google Net[34]學習語義特征,將提取到的3種特征直接拼接到一起得到圖像的多模態(tài)特征,最后采用歐式距離計算待搜索與待檢索圖像之間的相似度。文獻[35]在FACT方法中添加車牌驗證信息和時空相關性信息,構建一種基于深度神經網絡的漸進式車輛再識別框架PROVID,利用時空特性對車輛進行重新排序,進一步改進了車輛搜索過程。FACT模型結合了手工特征與深度特征,雖然深度特征和手工特征融合實現了更健壯、更有鑒別能力的特征表示,但這兩類特征存在于不同特征空間,若直接通過拼接的方式融合在一起,無法充分挖掘它們之間的互補關系。FACT采取的融合策略只是將不同特征在最后直接拼接,沒有充分挖掘不同類型特征之間的互補相關性。文獻[36]設計一種多模態(tài)度量學習體系結構,如圖5所示,該結構集成了LBP[37]與BOW-CN功能,并將深度特征和手工特征融合到一個端到端優(yōu)化網絡中。與FACT融合策略不同,其將LBP與BOW-CN直接作為神經網絡的輸入,分別經過一個多層感知機與CNN學習后再進行融合,而不是在最后一層直接拼接,因而是一種更魯棒、更具識別性的特征表示方法。

圖5 多模態(tài)度量學習框架

多模態(tài)方法提取了低層次的特征和高層次的語義特征,利用兩種特征的融合使得車輛特征更有區(qū)分度。但該方法需要設計額外的手工特征與多模態(tài)特征的融合策略,而手工特征對車輛特征表征能力較差。

1.3.2 基于多特征的方法

早期的車輛再識別研究主要關注點是全局特征[38],即網絡對整幅圖像提取的一個特征。一般的卷積網絡提取的都是全局特征,然而由于全局特征存在單一性,因此一些研究開始關注車輛的局部信息,利用局部與全局聯合的多特征,其中局部特征是指網絡針對所關注的關鍵局部區(qū)域提取的局部特征。

文獻[39-40]考慮到兩輛車外觀難以區(qū)分時可以利用擋風玻璃區(qū)域標志的特征(如年檢標志顏色、數量、位置等),提出將擋風玻璃的局部特征與全局特征進行融合。文獻[41]建立一種具有方位不變性的特征嵌入模型,為車輛圖像標注20個關鍵點用以提取不同位置的局部特征,并將提取的局部特征與全局特征進行融合,進而得到車輛的外觀特征向量。雖然該方法考慮了角度和局部特征對車輛再識別的影響,但要在數據集圖片上標注關鍵點,面對幾十萬量級的車輛數據集,標注工作量十分龐大。因此,從可行性與工作量上考慮,該方法可行性較差。文獻[42]為避免對關鍵點進行額外的注釋和預測,提出采用更簡潔的RAM局部特征提取方法。如圖6所示,RAM由4個分支構成,由上至下,屬性分支學習顏色以及模型等屬性,Conv分支學習全局特征,BN分支對全局特征歸一化,局部分支學習局部屬性。其中,局部分支對提取的全局特征由上到下水平平均劃分3個區(qū)域,分別為top(t)、middle(m)和bottom(b),將每個分支都作為一個分類任務進行訓練。RAM避免了對關鍵點的標注,訓練模型也比較簡潔,可行性較高,但此類方法也存在一些弊端,例如不能很好地解決一些姿態(tài)問題。

圖6 RAM網絡框架

文獻[43]利用預訓練的YOLO網絡[44]檢測車窗、車燈、車牌等感興趣區(qū)域,將更多的多維度局部特征引入車輛再識別框架中,以增強網絡對車輛模型細微差異的學習,提升局部特征在學習過程中的影響力。雖然局部特征是區(qū)分相似車輛的重要突破口,但并非所有局部特征都具有區(qū)分度,一些不具備區(qū)分度的局部特征對網絡不僅不能起到監(jiān)督作用,而且還增加了計算量。因此,文獻[45]建立以局部區(qū)域引導的注意力模型PGAN,其從目標檢測模型中提取每幅車輛圖像的局部區(qū)域,為網絡學習提供一定范圍的候選搜索區(qū)域。在此基礎上,利用局部注意模塊學習每個候選區(qū)域的軟注意權重,其中,高關注權值代表最具區(qū)別性的區(qū)域,低關注權值則表示無效區(qū)域。通過全局特征和最具辨識性局部區(qū)域的聯合優(yōu)化,PGAN具有較出色的再識別效果。

基于局部與全局多特征的車輛再識別方法,采用額外增加的標注信息、注意力或分塊機制,使網絡在學習的過程中關注更具區(qū)分度的特征,提升了識別準確率,但同時也存在額外標注、計算量大等缺點。

1.4 基于GAN的方法

近年來,GAN[46]成功應用于許多計算機視覺任務中,如圖片生成[47]、風格遷移[48]等,基于GAN的再識別方法也開始被關注。GAN在行人再識別上的主要應用[49]包括生成行人圖像擴大數據集、進行風格遷移減少跨相機帶來的風格偏差以及實現姿態(tài)遷移等。然而,不同于行人圖像,憑借車輛的單視角圖像很難得到準確的識別結果,例如僅用車輛的側視圖很難判斷出其他視圖。因此,在車輛再識別任務中,GAN被用來為每個圖像生成多視角特征,其設計思想是將單視角車輛圖像作為GAN生成網絡的輸入,將真實的多視角圖像作為判別網絡的輸入,通過生成器與判別器的不斷博弈,使生成器推斷單視角車輛在其他視角下的特征,從而生成逼真的多視角圖像。

文獻[50]建立一種視點感知的多視點推理模型VAMI,其采用視圖感知注意模型自動選擇突出區(qū)域,并從特征中剔除無用信息,得到5個視角重疊特征。在此基礎上,通過GAN體系結構推斷出具有不同視角特征的一個向量,從車輛單視角圖像中學習生成具有多視角的全局特征。由于該方法使用了車輛的顯著區(qū)域特征,并且利用顯著性多視角特征生成多視角的全局特征,因此較傳統(tǒng)GAN生成車輛多視角特征的方法更合理,適合跨攝像頭視頻監(jiān)控下的車輛再識別任務。

文獻[51]基于GAN在車輛再識別中的應用研究,提出EALN方法。該方法利用兩個GAN,一個用于生成多視角圖像Gview,另一個用于生成與輸入圖像相似的圖像Ghard。Ghard圖像作為負樣本,能夠有效提高網絡辨別能力,更好地區(qū)分相似的圖像。EALN利用Gview和Ghard生成的樣本以及訓練集來訓練一個更具鑒別性的嵌入模型Demb,在測試階段,Demb作為特征提取器,使用生成的Gview圖像與輸入圖像實現特征融合。實驗結果表明,與單獨使用一個GAN生成多視角圖像的方法相比,加入Ghard圖像作為負樣本的方法可使識別效果得到提升。

GAN可以針對單視角圖像生成多視角特征,在一定程度上解決跨視角的車輛再識別問題,也可用于生成更多的圖像樣本。但是使用GAN生成圖像時存在難以收斂的問題,同時整體的模型結構和訓練過程也比較復雜。

1.5 各類方法的總結與比較

按網絡訓練損失分類,可將車輛再識別方法分為表征學習與度量學習兩類。表征學習將車輛再識別看作是圖片分類問題,模型比較簡單,易于訓練,但容易在訓練過程中出現過擬合現象,且當ID數量增加到一定程度后訓練比較困難。度量學習直接學習出圖像之間的相似度,不需要根據ID數量來調整網絡的結構,可以方便地擴展到新的數據集。然而,度量學習訓練和收斂時間比表征學習時間長,并且在調參方面也有一定的難度。

按照提取的特征信息,可將車輛再識別方法分為基于單維度信息和基于多維度信息兩類?；趩尉S度信息的方法僅從一個方面對整幅圖像提取一個特征,對車輛圖像的表征能力不強?；诙嗑S度信息的方法又可被進一步劃分為基于多模態(tài)學習和基于多特征兩類方法。

1)基于多模態(tài)學習的方法將傳統(tǒng)方法與深度學習方法提取的多特征進行融合。由于傳統(tǒng)方法只對特定任務有效,泛化能力較差,因此在CNN剛開始流行時,出現了傳統(tǒng)方法結合深度學習的多模態(tài)方法。多模態(tài)方法提取了低層次的特征和高層次的語義特征,使得特征更有區(qū)分度,但是需要設計額外的手工特征與多模態(tài)特征的融合策略。雖然可以結合手工特征與深度學習特征提取方法,但手工特征依然不具備突出的表征能力。

2)基于多特征的方法將局部與全局聯合的多特征作為車輛圖像的表征。利用全局特征的方法把圖片直接輸入卷積網絡做平均池化處理后便可得到全局特征,具有計算簡單、計算量小的優(yōu)點。但是在姿態(tài)變化大、圖片存在遮擋和全局特征相似而只有局部細節(jié)不相似等情況下,全局特征容易導致誤判。利用局部特征的穩(wěn)定性在一定程度上可以解決以上問題,但也存在一些缺點。通常全局特征與局部特征是互補的關系,因此,多數研究將局部特征和全局特征聯合使用,把兩種特征融合成多特征作為輸入圖像的特征。

GAN可以針對單視角圖像生成多視角特征,在一定程度上解決跨視角的車輛再識別問題,也可用來生成更多的圖像樣本。但是GAN在訓練過程中需要不斷平衡生成器與判別器,難以使網絡達到收斂的狀態(tài),同時整體模型比較復雜。

2 相關數據集與典型方法

2.1 相關數據集

從傳統(tǒng)的特征方法到深度學習自動特征提取方法,車輛再識別技術的發(fā)展與大規(guī)模車輛數據集的發(fā)展密不可分。近年來,大規(guī)模的車輛再識別數據集先后出現,這也反映了基于深度學習的車輛再識別研究具有蓬勃的發(fā)展趨勢。這些數據集各自具備不同的特點,本文列舉以下4個常用的車輛再識別數據集:

1)VehicleID[28]。該數據集源于多個互不重疊的監(jiān)控攝像頭基于兩個視點(前面和后面)的拍攝,包含26 267輛車共221 763幅圖像。VehicleID數據集對車輛的顏色、車輛款式、車輛ID進行了標注,包含更多的車輛圖像和身份信息,適合車輛細粒度檢索。由于該數據集規(guī)模較大,因此被劃分為小規(guī)模數據集、中等規(guī)模數據集和大規(guī)模數據集,所包含的車輛ID數量分別為800個、1 600個和2 400個。但其中大部分車輛圖像都是在近距離地點拍攝,并且只包含前面和后面兩個視點,不能反映現實路面的復雜情況。

2)VeRi[31]。該數據集包含619種車輛模型共40 000幅車輛圖像,這些圖像由20臺攝像機在多種不同的交通場景下拍攝得到,每一輛車被2個～18個不同位置的攝像機捕獲,因此,車輛圖像存在不同分辨率、不同背景和遮擋的情況。在VeRi數據集中,每幅車輛圖像都具有詳細的標注信息,包括車身顏色、車輛款式、品牌等。該數據集能夠反映現實世界交通場景的實際情況,適用于車輛再識別任務。

3)VeRi-776[35]。該數據集是VeRi數據集的擴展,包含776輛車共50 000幅圖像,其不僅具備VeRi數據集的標注信息,而且還增加了對車牌和時空信息的標注,如車牌信息、車輛被拍攝的時間以及不同攝像機之間的距離。VeRi-776數據集是提供時間-地理信息的數據集,可用于車輛重識別和車輛跟蹤等任務。

4)VRID-1[39]。該數據集包含10個常見的車輛款式,每個款式有100輛不同的車,每輛車有10張在不同地點拍攝的圖像,總計1 000輛車10 000幅圖像。雖然由10個視角拍攝,但多數都為車身正面圖像,因此,該數據集主要用于評測同一款式或類型車輛的重識別方法。

分別從樣本數量、車型數量、視角個數、發(fā)表年份等方面對上述4種數據集進行比較,如表1所示。

表1 4種常用數據集的比較

2.2 評價指標

mAP(mean Average Precision)和Rank-1是衡量車輛再識別算法模型的主流評價指標。

1)mAP即PR曲線面積的平均值。PR曲線面積可由精確率和召回率得到,計算公式如下:

(7)

(8)

其中,P為精確率,R為召回率,TP表示預測訓練集中為正例且實際也是正例的個數,FP為預測正例但實際上為反例的個數,FN為預測為反例但實際上為正例的個數。以精確率和召回率分別為橫縱坐標繪制PR曲線,計算圍成面積得出平均精度。

2)Rank-1表示搜索后返回圖像集中的第一張圖像是正確圖像的概率。

2.3 典型方法的總結與比較

針對上文介紹的基于深度學習的車輛再識別方法,對算法機制和優(yōu)缺點進行對比,如表2所示。同時選擇VeRi-776與VehicleID數據集作為示例數據集,比較多種典型方法的mAP和Rank-1值,如表3所示。

表2 多種基于深度學習的車輛再識別方法比較

表3 多種方法在VeRi-776和VehicleID數據集上的mAP和Rank-1指標比較

BOW+CN是一種效果較好的傳統(tǒng)方法,但從表2和表3可以看出,基于深度學習的方法都要優(yōu)于BOW+CN在車輛再識別上的表現,由此可見,深度學習逐漸取代了傳統(tǒng)方法在車輛再識別上的應用。在傳統(tǒng)方法到深度學習的過渡階段,傳統(tǒng)方法與深度學習方法相結合的多模態(tài)方法被相繼提出。多模態(tài)方法依然依賴一些手工特征并且需要多模態(tài)特征的融合策略,可以看出,FACT、MEL雖然比傳統(tǒng)方法效果好,但是仍然不能很好地解決車輛再識別問題,手工特征仍然缺乏表達車輛身份的能力。

2017年后車輛再識別研究主要關注深度學習自提取特征方法,早期的單損失也逐漸發(fā)展為多損失。其中,DJDL組合了分類、對比和三元組損失,在VehicleID數據集上表現突出,許多方法根據三元組損失的缺點對其做出改進。早期對圖像特征的研究集中于全局特征,之后研究者開始將局部特征與全局特征聯合使用:OIFE使用關鍵點提取局部特征,但標注工作量較大;RAM考慮分塊特征,在VeRi上的平均精度比OIFE高出13.5%,在VeRi數據集上效果也比較突出;PGAN采用注意力機制獲得了最具辨識性的局部區(qū)域,在兩個數據集中的綜合表現都優(yōu)于其他方法。隨著GAN發(fā)展,其被逐漸用于車輛再識別,從表2和表3可以看出,基于GAN的識別效果也逐漸提升,其中EALN效果最佳,原因在于此方法不僅生成多視角圖像,而且還應用GAN生成相似樣本作為負樣本集。

近年來,基于深度學習的車輛再識別研究發(fā)展迅速并且方法多樣。從發(fā)展趨勢來看,其由單損失、單特征逐漸發(fā)展為多損失、多特征聯合的方法?？梢钥闯錾疃葘W習對于車輛圖像具有強大的特征表達能力,但是與行人再識別相比,目前車輛再識別的準確率仍較低,不能滿足實際應用要求。

3 面臨的挑戰(zhàn)與發(fā)展方向

通過上述分析可知,基于深度學習的車輛再識別研究雖然取得了一定的成果,但在實際應用中依然面臨嚴峻挑戰(zhàn),主要體現在以下5個方面:

1)需要構建真實、高質量的數據集。目前公開的車輛數據集規(guī)模都較小,數據集中的車型類別較少,并且車輛顏色單一、車輛數量不足。而現實監(jiān)控中車輛數量龐大,車型、顏色成百上千,數據集的圖像很難反映現實世界監(jiān)控,因此,需要構建更能反映真實交通環(huán)境的高質量車輛數據集。

2)設計領域自適應的車輛再識別方法。觀察表3中的Rank-1值可以發(fā)現,同一方法在VeRi數據集上Rank-1值高于VehicleID數據集,表明同一方法在不同數據集上不能達到同樣的效果。車輛再識別技術的應用是非常廣泛、靈活的,需要應用到各個不同場景,根據每個不同的場景都重新訓練一個模型效率較低,因此,利用領域自適應的方法將一個交通場景下訓練的模型應用到新的場景是一個值得研究的課題。此外,也可以使用Cycle-GAN來實現不同車輛數據集之間風格的遷移,以提升車輛再識別技術在不同場景下的應用能力。

3)減少標注量的使用。目前多數車輛再識別方法都屬于監(jiān)督學習,需要提前對數據進行標注,并對數據集中所有車輛ID、顏色、視角、車型等信息進行人工標注,這會耗費大量的時間、精力且不能保證標注的正確無誤。利用半監(jiān)督學習模型可使用更少的標注數據來獲得更有效的車輛特征表示,也可利用遷移學習將其他數據集訓練的模型遷移至缺少標簽信息的目標數據集,同時,可進一步利用攝像頭之間轉移時間的分布和位置信息,得出數據集中車輛的時空分布規(guī)律并遷移至目標數據集,從而高效完成車輛再識別的任務。

4)設計基于視頻的車輛再識別方法。目前多數車輛再識別方法都是基于單幀圖像的,而在現實交通場景中,車輛的圖像都是由視頻序列得到的,單幀車輛圖像一旦出現遮擋,算法的魯棒性就會明顯降低。因此,需要設計基于視頻的車輛再識別方法,當某些圖像幀出現遮擋,可以通過其他幀的圖像信息對目標車輛進行識別,從而得到較好的識別效果。例如,可以利用CNN提取車輛圖像特征,同時通過遞歸循環(huán)網絡提取時序(車輛運動)特征,利用融合圖像內容信息和運動信息提高車輛再識別的準確性和魯棒性。因此,直接基于視頻圖像采用端到端的方式搜索目標車輛將是未來亟需解決的一個問題。

5)設計特定場景下的車輛再識別方法。目前,多數車輛再識別方法基于光照較好的開放道路,而在夜間、涵洞、隧道等特定場景下,RGB相機失去了作用[52],需要匹配RGB圖像與紅外圖像進行跨模態(tài)的車輛再識別。由于紅外圖像具有異構性,視覺特征差異較大,正常日間交通場景下的車輛再識別模型不再完全適用于跨模態(tài)識別,因此可借鑒一些跨模態(tài)行人再識別方法,如利用GAN生成對應的紅外圖像,將RGB圖像風格轉換成紅外的風格[53],或利用變分自編碼器(Variational Auto-Encoder,VAE)對車輛RGB 圖像和紅外圖像通過VAE生成中間的隱向量,將不同模態(tài)的車輛圖像映射至同一標準正態(tài)分布空間中[54],實現不同模態(tài)數據之間的相互轉換,使同一車輛不同模態(tài)下的特征變得更為相似,從而有效解決特定場景下的車輛再識別問題。隨著車輛再識別技術的不斷完善,解決跨模態(tài)的車輛搜索將是一個更具挑戰(zhàn)且更具發(fā)展前景的研究方向。

4 結束語

本文總結車輛再識別領域中深度學習應用的研究現狀,從算法特點及結構方面介紹經典的車輛再識別方法并進行分類、評估,對比不同方法在4種常用數據集上的識別效果。通過分析深度學習在車輛再識別應用中的有效性,指出基于深度學習的車輛再識別是未來發(fā)展的重要方向,但面對智能交通場景的應用需求,車輛再識別的發(fā)展將面臨更多挑戰(zhàn)。因此,研究者應針對領域自適應、視頻、特定場景等問題進行深入研究,提升該技術在現實交通場景下的應用能力。