代廣昭，孫偉，2，徐凡，張小瑞，陳旋，常鵬帥，湯毅，胡亞華

（1.南京信息工程大學自動化學院，南京 210044；2.南京信息工程大學江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心，南京 210044；3.南京信息工程大學 數(shù)字取證教育部工程研究中心，南京 210044；4.南京信息工程大學 無錫研究院，江蘇 無錫 214100；5.南京信息工程大學 計算機與軟件學院，南京 210044）

0 概述

近年來，車輛重識別技術(shù)在智能視頻監(jiān)控系統(tǒng)中的應用越來越廣泛，因此受到學術(shù)界以及工業(yè)界越來越多的關注。車輛重識別的目的是從互不重疊的攝像頭捕捉的圖庫集中找到與查詢車輛相同的所有車輛。雖然車牌識別［1］是區(qū)分不同車輛最簡單直接的方法，但是在很多情況下，受分辨率低、車牌遮擋、視角變化大等因素影響，車牌信息無法被穩(wěn)定獲取。因此，以車輛的外觀信息為基礎的車輛重識別成為解決上述問題的主要途徑，甚至是唯一途徑。然而，由于在復雜的交通場景下進行車輛重識別會不可避免地伴隨著劇烈視角變化，使得同一車輛在不同視角下要么外觀差異巨大，要么不同車輛由于顏色、車型相同在特定視角下外觀極為相似，給車輛重識別帶來了巨大的挑戰(zhàn)。

近年來，一些大規(guī)模車輛數(shù)據(jù)集［2-4］的提出促進了基于深度卷積神經(jīng)網(wǎng)絡（Deep Convolutional Neural Network，DCNN）的車輛重識別的發(fā)展。為了解決上述挑戰(zhàn)，一些研究人員利用DCNN 從整幅圖像中學習車輛的全局特征。文獻［2］和文獻［3］提出一個由粗到細漸進式的網(wǎng)絡框架，將車輛的顏色、車型、紋理、車牌、時空信息等多特征融合進行車輛重識別。文獻［4］將整幅車輛圖像輸入到歐式空間來計算車輛之間的距離，使用車輛ID 和車輛型號對神經(jīng)網(wǎng)絡的訓練進行監(jiān)督，以提升模型對同一車型不同車輛進行重識別的魯棒性。盡管上述基于全局特征的方法在背景簡單的場景下取得了較好的重識別效果，但在復雜交通場景下，由于車輛視角改變引起全局外觀劇烈變化，導致車輛出現(xiàn)類內(nèi)差異大和類間差異小的現(xiàn)象，因此重識別模型很難僅根據(jù)車輛的全局特征區(qū)分車輛。

考慮到全局特征的不穩(wěn)定性，研究人員開始關注局部區(qū)域以提高模型特征表達能力。為此，許多高性能的車輛重識別方法依賴于預定義的顯著性局部區(qū)域標注，如車輛關鍵點區(qū)域［5-6］和局部部件區(qū)域［7-9］，這些都屬于強監(jiān)督局部學習方法。這些方法雖然在一定程度上提高了重識別模型的準確度，但大量的人工手動局部區(qū)域標注使得局部特征學習變得主觀性強且成本昂貴。為節(jié)省標注成本，文獻［10］不借助車輛局部標注而通過將車輛圖片在空間上劃分成若干個子區(qū)域獲得局部特征。然而，為了對齊車輛圖片，無論是采用水平劃分還是垂直劃分，劃分后的子區(qū)域特征均會丟失車輛原有的視角信息，使得劃分后子區(qū)域更容易遭受視角變化的影響。

為獲取車輛的視角信息，文獻［11］利用預訓練后的車輛視角預測網(wǎng)絡獲取車輛的視角特征，雖然能獲取到車輛前、后、左、右的視角信息，但無法學習到每個視角內(nèi)的所有顯著性特征。文獻［12］利用GAN［13］生成車輛視角信息以克服類內(nèi)差異，但由于生成的視角圖片仍源自可見視角，本質(zhì)上未能生成額外的局部信息，而只是簡單地學習單一的視角特征，因此無法學習每個具體視角內(nèi)所有顯著性局部特征。此外，這些方法在重識別時，所有視角均直接進行重識別，而未考慮車輛間共同視角特征的重要性。例如，當2 輛車出現(xiàn)外觀相似時，除了找到每個具體視角下顯著性的局部區(qū)域并進行對比，還應該關注共同視角特征以區(qū)別車輛，這些共同視角特征往往具有更加豐富和完整的信息。

本文提出一種視角感知局部注意力網(wǎng)絡（View-Aware Part Attention Network，VPAN）對車輛進行重識別，將車輛視角和局部部件信息整合到一個統(tǒng)一框架。不同于傳統(tǒng)的人工手動局部區(qū)域標注方法，本文通過弱監(jiān)督注意力學習方式生成注意力圖來表示視角內(nèi)所有顯著性局部部件位置分布，并基于獲得的注意力圖自適應學習該視角內(nèi)顯著性局部特征。此外，提出一個共同視角的注意力增強模塊，根據(jù)視角的相似度匹配車輛視角間的注意力權(quán)重，增強共同視角的特征學習。

1 相關工作

1.1 基于局部特征的方法

除了基于全局特征學習的方法之外，為擴大同車型車輛之間的細微差異，一些依賴于人工參與的基于強監(jiān)督局部特征學習的方法也相繼推出。文獻［5］通過定義車身的20 個關鍵點，將車輛方向基于模型提取的關鍵點信息聚類為前、后、左、右4 個方向，通過模型檢測預定義的關鍵點來提取局部特征。在文獻［5］的基礎上，文獻［6］采用一種雙分支的自適應注意力模型，并基于車輛的關鍵點以及方向進行局部有辨識信息的特征提取。為學習局部特征，受ROI 思想的啟發(fā)，文獻［7-9］首先對車牌、車燈、年檢標志、個性裝飾等局部部件進行標注，之后利用這些標注信息訓練目標檢測算法，以獲取車輛的局部特征。

然而，這些預定義的局部區(qū)域標注方法雖然在一定程度上提高了重識別模型的準確度，但卻不可避免地存在一些限制。首先，在車輛跨視角運動時，車輛姿態(tài)劇烈變化甚至出現(xiàn)遮擋，導致車輛局部標注的工作很難正常展開。其次，這些局部區(qū)域標注不僅標注成本高，還大幅增加了訓練成本和訓練復雜度，導致其無法適應車輛重識別數(shù)據(jù)集規(guī)模的不斷增長。最后，這些預定義局部區(qū)域均來自車輛固定位置，無法學習圖像中所有視角下有區(qū)別性的局部區(qū)域。當車輛在跨攝像頭運動過程中遭遇劇烈視角變化時，判斷2 輛車是否為同一輛車的關鍵線索可能隨機分布在任何視角下車輛上的任何一個區(qū)域。而這些問題導致基于強監(jiān)督的局部區(qū)域標注方法難以達到令人滿意的效果。

近年來，計算機視覺領域中基于弱監(jiān)督的學習已經(jīng)取得了巨大的進步。相比于需要大量人工標注的強監(jiān)督方法，弱監(jiān)督僅需少量的標簽，甚至只需少量的圖像類別標簽就能取得和強監(jiān)督方法相近的識別精度。此外，弱監(jiān)督方法訓練成本低并且能夠適用于多種任務中，如目標分割［14］、行人重識別［15］、細粒度圖像識別［16］等任務。受上述方法的啟發(fā)，本文通過弱監(jiān)督注意力學習方式生成注意力圖，以表示視角內(nèi)所有顯著性局部部件的位置分布。相比于傳統(tǒng)人工局部區(qū)域標注的方法獲取到的固定局部信息，本文方法能更加容易地定位視角內(nèi)更多的局部區(qū)域，這不僅降低了標注成本，而且能夠根據(jù)注意力圖更加靈活地學習車輛顯著性局部信息。

1.2 基于視角特征的方法

視角信息是車輛重識別的關鍵因素。在跨攝像頭運動時車輛視角遭遇劇烈變化，使得同一車輛在不同視角下遭受類內(nèi)差異大或不同車輛因顏色、車型相同在特定視角下出現(xiàn)類間差異小的現(xiàn)象，導致車輛重識別面臨挑戰(zhàn)。圖1 所示為車輛重識別面臨挑戰(zhàn)的樣例（彩色效果見《計算機工程》官網(wǎng)HTML 版）。

圖1 車輛重識別面臨挑戰(zhàn)的樣例Fig.1 Examples of challenges faced by vehicle re-identification

圖1（a）所示的所有車輛均為同一車輛，由于車輛視角劇烈變化導致同一車輛外觀差異大，重識別時面臨類內(nèi)差異大的問題。圖1 中第2 列～第4 列的每列車均為相同視角下的不同車輛，由于顏色、車型相同，這些車輛在特定視角下的外觀卻極為相似，紅色圈覆蓋局部區(qū)域為其具體差異。在進行車輛重識別時，與車輛的不同視角部分相比，車輛的共同視角往往具有更加豐富和完整的信息，其有效性已在最近的一些重識別方法［14-16］中成功得到驗證。

文獻［17］提出視角感知網(wǎng)絡（Viewpoint Aware Network，VANet）學習相同視角的特征度量和不同視角的特征度量。文獻［18］提出基于解析下視角感知網(wǎng)絡（Parsing-Based View-Aware Embedding Network，PVEN），利用預訓練后的U-Net［19］網(wǎng)絡獲取車輛的視角信息。對于獲得的視角信息，PVEN 認為在車輛重識別過程，具有相同視角部分的特征比不同視角部分的特征更重要，應該得到更多的關注。類似的，文獻［20］提出共現(xiàn)局部注意力距離度量（Co-Occurrence Part-Attentive Distance Metric，CPDM）以更好地利用車輛的視角特征，使相同視角圖像的特征在特征學習中得到更多關注。上述這些方法雖然能利用共同視角特征，在一定程度上提高重識別的精度，但仍然存在一些缺陷。例如當2 輛車外觀均呈現(xiàn)前-側(cè)-頂視角時，為匹配車輛圖片之間每個視角均為共同視角，容易導致每個視角都受到相同程度的關注，使得共同視角注意力模型無法按照識別車輛視角貢獻程度的不同進行加權(quán)重要特征學習。在此前提下，由于這些方法無法額外自適應地學習到每個視角下所有鑒別力的局部特征，從而輔助模型區(qū)分車輛，導致重識別任務依然很難順利進行。

不同于上述方法，本文方法將車輛視角和局部部件兩類信息整合到一個統(tǒng)一的框架中，通過弱監(jiān)督注意力學習而非人工手動標注車輛局部部件，自適應學習每個視角內(nèi)所有顯著性局部特征。此外，受PVEN［18］等方法中共同視角特征的啟發(fā)，本文方法在重識別時根據(jù)匹配車輛視角的注意力權(quán)重增強共同視角的特征學習，從而學習到更加豐富和有鑒別力的特征。

2 視角感知局部注意力網(wǎng)絡

本節(jié)將詳細介紹視角感知局部注意力網(wǎng)絡。如圖2 所示，該網(wǎng)絡主要由3 個模塊組成，分別是車輛視角獲取模塊、視角感知下局部增強模塊以及共同視角注意力增強模塊。首先，通過訓練車輛視角獲取網(wǎng)絡，得到車輛前、后、左、右的視角特征。這些車輛視角特征隨后將被輸入到2 個分支中，并分別學習視角內(nèi)潛在的顯著性局部特征和共同視角特征。為挖掘視角內(nèi)細粒度的局部信息，本文提出一種視角感知下的局部增強模塊（View-Aware Part Enhancement Module，VPEM）以自適應學習視角內(nèi)潛在的顯著性局部特征。最后，為增強視角特征的差異性，本文利用共同視角注意力增強模塊（Common-View Attentive Promote Module，CAPM）匹配車輛的視角間注意力權(quán)重，使同一視角下的特征學習得到增強，不同視角特征學習受到抑制。

圖2 本文網(wǎng)絡結(jié)構(gòu)Fig.2 Structure of network in this paper

車輛重識別任務在大多數(shù)情況下都是多任務學習，主要分為2 個任務，一個是構(gòu)建ID loss，通過分類損失學習對應不同ID 的損失，另一個任務是以Triple loss［21］為主的通過特征向量直接構(gòu)建的損失，主要學習類內(nèi)的相似性和類間的區(qū)分性，讓不同特征向量的區(qū)分度更高，讓相同的特征向量更加趨同。因此，為優(yōu)化網(wǎng)絡結(jié)構(gòu)，本文基于學習到的特征，采用多任務學習思想［3，18］設計損失函數(shù)，即采用Triplet loss 和Softmax crossentropy loss（ID Loss）共同優(yōu)化VPAN。

2.1 車輛視角特征的獲取

受PVEN［18］獲取車輛視角特征的啟發(fā)，本文訓練U-Net 作為視角獲取網(wǎng)絡，以提取數(shù)據(jù)集上車輛的視角信息。該視角獲取網(wǎng)絡運行步驟主要包含如下兩步：

1）從車輛數(shù)據(jù)集中挑選部分車輛圖片并標注它們的視角信息，即前、后、頂和側(cè)4 個視角。然后，利用標注好的車輛圖片訓練U-Net 視角獲取網(wǎng)絡，并用訓練好的算法分別提取數(shù)據(jù)集上每個樣本的車輛視角掩膜。對于一張車輛圖片，本文定義每個視角i覆蓋的空間區(qū)域為對于每個視角區(qū)域i，將視角掩膜區(qū)域內(nèi)的元素賦值為1，區(qū)域外元素賦值為0。最終得到一個二元掩模矩陣，其表達式如式（1）所示：

其中：x表示視角掩膜的像素位置。

其中：⊙表示元素的點乘。

2.2 視角感知下局部特征學習

本文采用在ImageNet［22］上預訓練后的ResNet［23］作為主干網(wǎng)絡用于特征提取。為獲得具有更多細節(jié)信息及更大尺寸的特征圖，本文把最后一個卷積層的stride 設置為1。

如圖2 所示，輸入車輛圖片經(jīng)過主干網(wǎng)絡輸出的特征F分別流入2 個分支。在第1 個分支中，F(xiàn)被直接輸入到全局平均池化層（Global Average Pooling，GAP），得到大小為2 048×16×16 的全局特征。在第2 個分支中，首先將視角特征Fvi輸入到掩膜全局平均池化（Mask Global Average Pooling，MGAP）進行池化，其池化后的特征將被CAPM 模塊用于增強視角差異性。然后，將獲取到的視角特征Fvi輸入到VPEM 模塊中，以自適應學習該視角內(nèi)潛在的顯著性局部特征。值得注意的是，不同于傳統(tǒng)局部方法依賴人工手動的標注學習車輛的局部位置信息，VPEM 模塊通過弱監(jiān)督注意力學習的方式生成注意力圖［24］，從而獲取每個視角內(nèi)顯著性局部位置信息。

首先，通過視角提取網(wǎng)絡U-Net 獲取第i視角對應的視角特征，其中：C、H和W分別表示特征通道、特征圖高和寬。接著，本文通過式（3）獲取視角內(nèi)顯著性部件注意力圖，其表示車輛第i視角中共M個局部位置的分布。

其中：f(·)為注意力計算操作，由一個1×1 卷積操作、一個Batch Normalization 層和一個ReLu 激活函數(shù)組成；表示中車輛局部部件注意力圖，如車燈、車窗和車標等，M表示注意力圖的數(shù)量（特征通道數(shù)量）；注意力圖中通道特征圖響應越高，表示該通道特征越顯著，其對應的局部部件注意力圖具有更細粒度的信息，因而得到模型較多的關注；低響應區(qū)域則表示該通道特征為不重要的特征，具有較少的模型關注。

圖3 視角感知下局部增強模塊的結(jié)構(gòu)Fig.3 Structure of local enhancement module under view-aware

。

利用一個邊 界框Bi(k)覆蓋Ci(k)中所有值為1 的區(qū)域，裁剪原始圖像中Bi(k)覆蓋的區(qū)域。接著，放大裁剪后的區(qū)域尺寸為原圖大小后重新送入網(wǎng)絡模型中進行訓練。由于放大的這部分區(qū)域是該視角內(nèi)最顯著的局部區(qū)域，存在更多細節(jié)，因此可以提取更多的細節(jié)特征。

將被標記為0 的區(qū)域從原始圖像中抹除，通過局部注意力擦除操作使網(wǎng)絡提取圖像中其他具有識別度區(qū)域的特征，進一步增強網(wǎng)絡的泛化性能。

2.3 共同視角注意力增強

當2 輛不同車輛的圖像中包含相同視角信息時，除了找到每個具體視角下顯著性的局部區(qū)域進行對比，還應該關注共同可見視角的特征，這些共同可見視角特征往往具有更加豐富和完整的信息，如果給予共同可見視角的圖像部分更大關注，模型能夠更快、更準地實現(xiàn)車輛重識別。

基于上述發(fā)現(xiàn)，本文提出CAPM 模塊學習車輛圖像中可見視角的相似度，并根據(jù)視角的相似度自適應地給每個視角分配不同權(quán)重。根據(jù)所獲取的視角間權(quán)重，CAPM 模塊能夠自適應地給予共同視角更多關注，給予不同視角較少關注。CAPM 模塊的計算流程如圖4 所示。

圖4 共同視角注意力增強模塊的計算流程Fig.4 Calculation procedure of common-view attentive promote module

如圖4 所示，當查詢車輛和圖庫車輛圖片中對應視角區(qū)域面積比越高時，它們的視角相似度越高，即為共同視角，因而這部分區(qū)域可以得到更高的注意力權(quán)重；當對應區(qū)域的相似度低時，則說明它們的視角不同，因而只能得到較少的注意力權(quán)重。需要指出的是，在通過注意力機制學習權(quán)重ω進行加權(quán)特征學習時，采用的是加權(quán)平均自適應學習方法，即前、后、頂和側(cè)4 個視角的注意力權(quán)重和ω=因而在使共同視角得到更大關注和使其他不同視角得到更少關注的過程是同時進行的，而非單獨增強共同視角（保持不同視角關注度不變）或者抑制不同視角（保持共同視角的關注度不變）。CAPM 模塊學習注意力權(quán)重的具體步驟如下：

1）給定一張查詢圖像Iq和圖庫圖像Ig；

2）按照式（7）計算圖像Iq和Ig的前、后、頂和側(cè)4 個視角掩膜區(qū)域的面積；

3）根據(jù)獲取的掩膜區(qū)域面積，通過式（8）計算Iq和Ig視角區(qū)域的注意力權(quán)重ωk(Iq，Ig)，以獲取共同視角增強幅度或不同視角抑制的幅度。

本文使用注意力權(quán)重來自適應調(diào)整特征匹配時所有視角特征的特征距離。Iq和Ig之間的最終特征距離Dv(Iq，Ig)的計算公式如式（9）所示：

2.4 模型的訓練和推理

在訓練階段，本文采用ID loss 和Triplet loss 函數(shù)共同優(yōu)化全局特征，將以上2 個函數(shù)分別表示為局部特征采用Triplet loss 進行優(yōu)化，其表示為在特征降維時，全局特征Fg被輸入到一個由卷積層、Batch Normalization（BN）層和ReLU 組成的Conv1×1 Reduction 塊，用于生成512 維特征向量。受BNNeck［25］方法的啟發(fā)，為避免損失函數(shù)ID loss和Triplet loss 優(yōu)化同一特征時出現(xiàn)異步收斂的情況發(fā)生，在連接ID loss 層優(yōu)化之前，先將特征輸入到一個額外的BN 層進行歸一化處理。VPEN 總的損失函數(shù)計算公式如式（10）所示：

其中：α、β和ν為3 個損失函數(shù)之間的平衡參數(shù)。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集及評價指標

3.1.1 數(shù)據(jù)集

將本文模型在VehicleID［4］和VeRi-776［2］2個主流數(shù)據(jù)集上進行評價。VehicleID 為大規(guī)模車輛重識別數(shù)據(jù)集，主要從前、后2 種視角收集了約26 267 輛車的221 763 張圖片，其中訓練集包含13 134 輛車的110 178 張圖片，而測試集包含13 133 輛車111 585 張圖片。VehicleID按照數(shù)據(jù)量將測試集劃分為大、中、小3 個子集。在標注車輛屬性時，VehicleID 中的每張圖像都標注了車輛ID、攝像頭位置和車型的詳細信息。VeRi-776 也是車輛重識別中一個大規(guī)模車輛數(shù)據(jù)集。VeRi-776數(shù)據(jù)集包含了776輛車的50 000張圖片，這些圖片分別由20 個攝像頭的不同視角拍攝采集而來。VeRi-776 數(shù)據(jù)集的標注信息豐富，除了包含邊界框、車型、顏色、廠商信息之外，還收集了車牌、時間戳和地理位置的信息，是車輛重識別中目前廣泛使用的數(shù)據(jù)集之一。

3.1.2 評價指標

基于上述2 個數(shù)據(jù)集，本文使用平均精度值（mean Average Precision，mAP）和累計匹配曲 線（Cumulative Match Curve，CMC）2 個評價標準對提到的模型進行驗證。

mAP 指標能度量車輛重識別模型的整體性能。mAP 可由式（11）計算得到：

其中：Q表示查詢集中圖像總數(shù)；A（q）表示每個查詢車輛的檢索結(jié)果平均值。A可由式（14）計算得到：

其中：n為數(shù)據(jù)集圖像總數(shù)；N表示目標車輛的圖像總數(shù)；P(k)表示在匹配序列中第k位的檢索精度，如果第k個結(jié)果正確匹配，則g(k)為1，否則g(k)為0。

CMC@k表示查詢圖像q在前k個檢索結(jié)果中找到正確結(jié)果的概率，例如CMC@1 表示查詢圖像q在前1 個檢索結(jié)果中找到正確結(jié)果的概率。CMC@k可通過式（13）計算得到：

其中：Q表示查詢集中圖像總數(shù)；當圖像q的正確匹配目標出現(xiàn)在檢索結(jié)果序列的第k位之前，等于1。

3.2 實驗細節(jié)

受PVEN 網(wǎng)絡獲取車輛視角信息的啟發(fā)，本文采用U-Net 提取數(shù)據(jù)集圖片的視角信息。在常用車輛數(shù)據(jù)集中，VehicleID 數(shù)據(jù)集中的車輛通常包含前和后兩種視角，而VeRi-776 數(shù)據(jù)集則通常包含更多的視角信息。為獲取更加豐富的視角信息，本文選擇在具有更多視角信息的VeRi-776 數(shù)據(jù)集上訓練U-Net 網(wǎng)絡。在VeRi-776 數(shù)據(jù)集上，本文共標注了2 000 張車輛圖片視角信息，其中包括訓練集的1 500 張圖片和測試集的500 張圖片。

在重識別網(wǎng)絡訓練時，所有輸入的圖像尺寸被調(diào)整為256×256。優(yōu)化器使用Adam 優(yōu)化器［26］，動量為0.9。為提高收斂速度，本文將基礎學習率設為3.75×10-4，其在60 個epoch 和120 個epoch 時分別降為3.75×10-5和3.75×10-6，epoch 的總數(shù)為180。采用平衡采樣訓練策略［27］，將網(wǎng)絡訓練的batch 大小設置為32，即每次隨機采樣8 輛車，每輛車選取4 張圖片。在處理數(shù)據(jù)時，本文使用隨機水平翻轉(zhuǎn)和隨機擦除［28］方式進行數(shù)據(jù)增強。在訓練和測試階段，使用歐式距離來評估查詢圖像和圖庫圖像之間的特征相似度。在triplet loss 中，間隔參數(shù)被設為0.3。

3.3 消融實驗

為驗證本文方法中各個模塊的有效性，本文在VeRi-776 數(shù)據(jù)集上進行不同設置的消融實驗。消融實驗的評價指標分別是mAP、CMC@1 和CMC@5。

隨機挑選2 個車輛圖片，圖5 為VPAN 網(wǎng)絡與僅基于全局特征的網(wǎng)絡（Baseline）按照相似度評分后排名前10的檢索結(jié)果（彩色效果見《計算機工程》官網(wǎng)HTML版），其中：紅色框為正確匹配；藍色框則為錯誤匹配。由圖5可知，本文網(wǎng)絡在重識別精度上明顯優(yōu)于Baseline網(wǎng)絡。

圖5 排名前10 的檢索結(jié)果Fig.5 Top 10 search results

3.3.1 基于視角感知下局部特征學習模塊的作用

表1 所示為本文網(wǎng)絡中各模塊作用的對比結(jié)果，其中：Baseline 網(wǎng)絡表示VPAN 網(wǎng)絡去除了所有模塊，僅學習車輛的全局特征；VPAN w/o Local 表示VPAN 網(wǎng)絡去除了視角下顯著性局部部件特征學習模塊；VPAN w/o View 表示VPAN 網(wǎng)絡去除了視角特征學習模塊。

表1 本文網(wǎng)絡中各模塊作用對比Table 1 Functional comparison of every module of network in this paper

由表1 可知，VPAN 在所有對比網(wǎng)絡中取得了最優(yōu)的重識別效果，這是因為VPAN 網(wǎng)絡不僅能夠?qū)W習視角感知下有區(qū)別性的局部特征，而且能夠利用注意力機制增強共同視角特征，因此VPAN 網(wǎng)絡學習到的車輛特征更具完整性和鑒別性。由表1 還可知，VPAN w/o Local 和VPAN w/o View 由于僅學習單一車輛特征，嚴重影響了重識別的效果。相比于VPAN，去除視角感知下顯著性局部部件特征學習模塊的VPAN w/o Local 方法的重識別準確度大幅降低，其mAP、CMC@1 和CMC@5 分別降低了2.9、1.3和0.9 個百分點。這說明在去除局部部件特征學習模塊后，不僅降低了所學習到車輛特征的完整性，而且降低了重識別的準確性。與VPAN w/o Local 網(wǎng)絡相似，這種現(xiàn)象也出現(xiàn)在去除視角特征學習的VPAN w/o View 上。

3.3.2 共同視角注意力增強模塊的作用

表2 所示為本文網(wǎng)絡中共同視角注意力增強模塊的作用對比，其中：VPAN w/o CAPM 代表去除了共同視角注意力增強模塊后的VPAN 網(wǎng)絡。由表2可知，相較于VPAN 網(wǎng)絡，去除共同視角注意力增強模塊后的VPAN w/o CAPM 網(wǎng)絡的重識別精度會降低。這是因為共同視角往往具有更豐富和完整的信息，如果給予共同視角的圖像部分更大關注，模型能夠更快更準確地實現(xiàn)車輛重識別，否則，模型有可能會關注許多無用的圖像區(qū)域，降低重識別精度。

表2 本文網(wǎng)絡中共同視角注意力增強模塊的作用對比Table 2 Functional of common-view attentive promote module of network in this paper

3.3.3 不同視角特征的作用

本文通過逐漸增加視角特征的數(shù)量并重新訓練模型，以驗證每個視角特征的有效性，實驗結(jié)果如表3 所示。其中，VPAN w/o View 表示模型去除了所有的視角特征，F(xiàn)ront 表示VPAN 僅使用車輛前視角特征，以此類推。

表3 不同視角數(shù)目的實驗結(jié)果對比Table 3 Comparison of experimental results of different view number

由表3 可知，隨著視角特征數(shù)量逐漸增加，車輛重識別精度不斷提升，當模型利用所有視角特征時，精度達到最高值。具體來說，通過對比Front 和VPAN w/o View，可以看到添加前視角后模型的mAP 得到約1.5個百分點的提升。主要原因是前視角區(qū)域在區(qū)分車輛時往往包含更多且更顯著的關鍵性線索，如車燈、車擋風玻璃上的年檢標志、個性化裝飾、車標等，這些信息能夠幫助模型區(qū)分車輛是否為同一輛車。在添加車輛的側(cè)視角后，mAP 提升了1.3 個百分點，重識別的效果得到了較大的提升。由于拍攝到的車輛圖像大多呈現(xiàn)3 個方向，如前-頂-側(cè)或者后-頂-側(cè)，因此，作為共同可見視角側(cè)面往往能夠提供區(qū)分車輛的有用信息，如個性化涂鴉和貼紙。然而，一些傳統(tǒng)的網(wǎng)絡［29-31］只關注車輛的前、后和頂3 個視角，忽略了側(cè)視角的信息。不同于這些傳統(tǒng)的網(wǎng)絡，本文網(wǎng)絡不僅學習到更多有用的視角信息（前、后、頂和側(cè)），還在重識別時根據(jù)每個視角的注意力權(quán)重分配不同程度的關注，使車輛的視角特征得到更好的利用。

3.3.4 損失函數(shù)平衡參數(shù)的影響

文獻［14］和文獻［22］在利用多任務學習思想設計損失函數(shù)時，采用的思路是通過固定全局特征的ID Loss 和Triplet loss 不變，改變其他特征（如局部特征）損失函數(shù)的參數(shù)，從而得到較好的參數(shù)值。受上述文獻優(yōu)化多損失函數(shù)的啟發(fā)，本文選擇先固定全局特征損失函數(shù)參數(shù)，改變局部特征參數(shù)值，直到找到算法的最優(yōu)平衡參數(shù)?；诖耍疚脑O置消融實驗驗證損失函數(shù)平衡參數(shù)選擇對重識別的影響，結(jié)果如表4 所示。

表4 損失函數(shù)中平衡參數(shù)的影響Table 4 The effect of balance parameter in loss function

由式（8）可知，參數(shù)v越大，重識別結(jié)果越依賴于局部特征，而參數(shù)α和參數(shù)β越大，重識別結(jié)果越依賴于全局特征。當參數(shù)α和參數(shù)β都為0 時，模型僅學習視角局部特征。反之，當參數(shù)v為0 時，表示模型僅學習車輛的全局特征而忽略局部特征。因此，本文設置v∈［0，1］，每隔0.2 重新訓練模型并進行測試。由表4 可知，當α=β=1且v=0.6 時，模型的重識別效果最好。因此，本文在后續(xù)實驗中均采用v=0.6，α=β=1 的參數(shù)設置。

3.3.5 車輛視角內(nèi)局部注意力圖數(shù)量的影響

模型學習更多的局部區(qū)域特征通常能夠帶來更好的重識別效果。本文通過設計多組消融實驗以驗證視角內(nèi)局部注意力圖數(shù)量對重識別效果的影響，實驗結(jié)果如表5 所示。為直觀地觀察車輛視角內(nèi)局部注意力圖個數(shù)與重識別效果的影響，本文可視化了表5 的實驗結(jié)果，結(jié)果如圖6 所示。

表5 不同注意力圖數(shù)目的的實驗結(jié)果對比Table 5 Comparison of experimental results of different number of attention map

圖6 注意力圖數(shù)目的性能比較Fig.6 Performance of comparison of the number of attention maps

由圖6 可知，隨著注意力圖數(shù)量的增加，重識別精度呈現(xiàn)上升后趨于平穩(wěn)的趨勢。其中，當注意力圖數(shù)量小于6 時，增加注意力圖數(shù)量能夠顯著提升重識別的精度。當注意力圖數(shù)量超過6 時，重識別精度逐漸趨于穩(wěn)定，最終mAP 值基本穩(wěn)定在0.812?？紤]到模型訓練資源和學習效率的因素，本文最終將VPAN 網(wǎng)絡中每個視角注意力圖數(shù)量設置為8。

3.4 與其他網(wǎng)絡的對比

為驗證本文網(wǎng)絡的有效性，將VPAN 網(wǎng)絡分別在VeRi-776 和VehicleID 這2 個車輛公開數(shù)據(jù)集上與其他車輛重識別的網(wǎng)絡進行對比，結(jié)果分別如表6和表7 所示。

表6 不同網(wǎng)絡在VeRi-776 數(shù)據(jù)集下的結(jié)果對比Table 6 Comparison of results of different networks under VeRi-776 dataset

表7 不同網(wǎng)絡在VehicleID 數(shù)據(jù)集下的結(jié)果對比Table 7 Comparison of results of different networks under VehicleID dataset

由表6 可知，相較于其他重識別網(wǎng)絡，VPAN（本文網(wǎng)絡）和PVEN 網(wǎng)絡在VeRi-776 數(shù)據(jù)集上的重識別精度均遠超其他車輛重識別網(wǎng)絡，取得了最高的mAP、CMC@1 和CMC@5。雖然PVEN 網(wǎng)絡能夠?qū)W習車輛視角特征，在一定程度上提高了重識別的精度，但該網(wǎng)絡不能學習到每個視角下所有鑒別力的局部特征，而這些細微局部對于區(qū)分2 輛外觀極其相似的車輛十分重要。不同于PVEN 網(wǎng)絡，本文網(wǎng)絡不僅能夠?qū)W習到車輛視角特征，還能夠通過視角感知下的局部增強模塊自適應學習每個視角下有區(qū)別性的局部特征。此外，在共同視角注意力增強模塊的幫助下，本文網(wǎng)絡增強了共同視角特征學習。

由表7可知，本文網(wǎng)絡在VehicleID的小、中和大3個測試子集上均取得了較優(yōu)的結(jié)果。在VehicleID 規(guī)模最大的子集上，本文網(wǎng)絡的CMC@1、CMC@5 值均比現(xiàn)有較好的PVEN 網(wǎng)絡高出了2.3個百分點。VehicleID大規(guī)模子集由于包含了更多車輛圖片視角變化、背景、遮擋等，因此相比于小和中兩個測試子集更難對車輛進行重識別。綜上可知，相對于PVEN 等網(wǎng)絡，本文網(wǎng)絡能夠更好地適應車輛視角變化、背景、遮擋等惡劣條件，具有更強的特征表示能力。

4 結(jié)束語

本文通過構(gòu)建一種視角感知局部注意力網(wǎng)絡對車輛進行重識別，采用視角感知下的局部增強模塊自適應學習視角內(nèi)潛在的顯著性局部特征，通過共同視角注意力增強模塊，使重識別車輛共同視角下的特征學習得到增強，不同視角下的特征學習得到抑制。在VeRi-776 和VehicleID 兩個數(shù)據(jù)集上的實驗結(jié)果表明，本文網(wǎng)絡相比于PRN、PVEN、SAVER等網(wǎng)絡具有更高的識別精度和更強的泛化能力，在多視角場景下執(zhí)行重識別任務時的識別效果獲得了大幅提升。下一步將利用度量學習的方法設計更適合的損失函數(shù)，以建模車輛的視角信息，實現(xiàn)無人工標注下的車輛視角特征學習。