邱銘凱，李熙瑩

中山大學(xué)智能工程學(xué)院/廣東省智能交通系統(tǒng)重點(diǎn)實(shí)驗(yàn)室/視頻圖像智能分析與應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室，廣東廣州 510006

車(chē)輛重識(shí)別的一個(gè)重要應(yīng)用就是重構(gòu)車(chē)輛軌跡。通過(guò)車(chē)輛重識(shí)別，可以實(shí)現(xiàn)連續(xù)時(shí)間內(nèi)同一車(chē)輛在不同攝像頭下的關(guān)聯(lián)，實(shí)現(xiàn)基于道路監(jiān)控視頻的車(chē)輛軌跡重構(gòu)。利用車(chē)輛重識(shí)別重構(gòu)的車(chē)輛軌跡，結(jié)合車(chē)輛駕駛員信息，可以實(shí)現(xiàn)用戶(hù)乘客出行規(guī)律分析，進(jìn)一步實(shí)現(xiàn)乘客出行預(yù)測(cè)及出行引導(dǎo)。另外，在公安刑偵方面，車(chē)輛重識(shí)別可以用于車(chē)輛跟蹤、被盜車(chē)輛檢索以及車(chē)輛套牌驗(yàn)證等場(chǎng)景。因此，車(chē)輛重識(shí)別在智能交通系統(tǒng)中具有重要的研究意義。如何在視頻大數(shù)據(jù)中基于計(jì)算機(jī)視覺(jué)技術(shù)，自動(dòng)實(shí)現(xiàn)車(chē)輛重識(shí)別，是智能交通系統(tǒng)發(fā)展中一個(gè)亟需解決的問(wèn)題。

車(chē)輛重識(shí)別在實(shí)際研究中的一大挑戰(zhàn)就是對(duì)外觀(guān)相似的不同車(chē)輛進(jìn)行區(qū)分。在實(shí)際場(chǎng)景中，道路上存在多輛車(chē)屬于同一款式的情況，而在同一攝像頭下拍攝到的不同車(chē)輛，由于款式和顏色相同，外觀(guān)相似度高，難以區(qū)分。由于相似外觀(guān)的不同車(chē)輛之間的差異主要集中于車(chē)窗裝飾物等局部區(qū)域，提升算法對(duì)于局部細(xì)節(jié)差異的捕獲能力成為研究的關(guān)鍵。

現(xiàn)有的車(chē)輛重識(shí)別研究主要利用深度學(xué)習(xí)技術(shù)，通過(guò)設(shè)計(jì)相應(yīng)的訓(xùn)練任務(wù)及改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)指導(dǎo)網(wǎng)絡(luò)提取到具有辨識(shí)度的特征。為了加快網(wǎng)絡(luò)訓(xùn)練，使得網(wǎng)絡(luò)訓(xùn)練過(guò)程更加穩(wěn)定，Liu 等［1］設(shè)計(jì)了一個(gè)Couple Cluster Loss 以改進(jìn)三元組損失；考慮類(lèi)內(nèi)差異，Bai 等［2］提出了一個(gè)Group-Sensi?tive-Triplet Embedding 方法，將同一車(chē)輛的不同圖片按照屬性差異劃分為多個(gè)組，同一組內(nèi)的圖片被認(rèn)為是具有相同的屬性，然后在損失函數(shù)中考慮組間的差異，以及不同車(chē)輛之間的差異，達(dá)到特征差異化的目的；考慮多視角下車(chē)輛的重識(shí)別，Chu 等［3］和Zhou 等［4］研究利用對(duì)抗生成網(wǎng)絡(luò)來(lái)通過(guò)單視角圖片生成車(chē)輛的多視角融合特征；考慮車(chē)輛關(guān)鍵部位特征提取，Khorramshahi 等［5］和Guo等［6］通過(guò)車(chē)輛關(guān)鍵部位定位以及關(guān)鍵點(diǎn)檢測(cè)，利用注意力機(jī)制來(lái)提取具有辨識(shí)度的特征。這些方法的實(shí)驗(yàn)結(jié)果表明，添加限制性更強(qiáng)的損失函數(shù)以及有選擇性的引入額外的特征可以提高算法的魯棒性以及增強(qiáng)算法的識(shí)別效果。

卷積神經(jīng)網(wǎng)絡(luò)提取的特征可以根據(jù)深度被分為三個(gè)部分：淺層、中層及深層特征。其中，淺層特征對(duì)淺層視覺(jué)信息進(jìn)行表達(dá)，包括邊緣、角以及圓等；中層特征對(duì)圖片物體的各個(gè)部分進(jìn)行表達(dá)；深層特征得到關(guān)于圖片整體的語(yǔ)義信息表達(dá)［7-8］。因此，利用網(wǎng)絡(luò)的中層特征將會(huì)有助于網(wǎng)絡(luò)對(duì)于車(chē)輛局部區(qū)域的細(xì)節(jié)特征的提取，提高網(wǎng)絡(luò)對(duì)于車(chē)輛細(xì)節(jié)差異的辨識(shí)能力。

為了提升算法對(duì)于局部細(xì)節(jié)差異的捕獲能力，本文提出了一個(gè)基于細(xì)節(jié)感知的判別特征學(xué)習(xí)網(wǎng)絡(luò)模型。模型以InceptionV3［9］網(wǎng)絡(luò)為基礎(chǔ)結(jié)構(gòu)，設(shè)計(jì)了一個(gè)指導(dǎo)式的局部特征提取流程。在網(wǎng)絡(luò)結(jié)構(gòu)中，將基礎(chǔ)網(wǎng)絡(luò)劃分為淺層、中層和深層三層，對(duì)中層網(wǎng)絡(luò)設(shè)計(jì)基于注意力機(jī)制的局部特征提取模塊；結(jié)合局部限制及混合采樣策略指導(dǎo)局部特征提取。最后，將網(wǎng)絡(luò)提取的局部特征及全局特征組合作為車(chē)輛的聯(lián)合特征，計(jì)算不同車(chē)輛之間特征的歐式距離作為相似度衡量。模型在公開(kāi)數(shù)據(jù)集VehicleID［1］及VeRi［10］上都可以取得領(lǐng)先于現(xiàn)有算法的水平。

1 基于細(xì)節(jié)感知的判別特征學(xué)習(xí)模型

本文設(shè)計(jì)的基于細(xì)節(jié)感知的判別特征學(xué)習(xí)模型，如圖1 所示。在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)中，以Incep?tionV3 作為基礎(chǔ)骨干網(wǎng)絡(luò)，引入局部特征提取模塊，以局部特征及基礎(chǔ)骨干網(wǎng)絡(luò)提取到的全局特征作為車(chē)輛的聯(lián)合提取特征；在模型訓(xùn)練中，設(shè)計(jì)多任務(wù)聯(lián)合訓(xùn)練，以不同的損失函數(shù)指導(dǎo)特征的生成；為了優(yōu)化模型的訓(xùn)練，在圖片輸入部分，模型設(shè)計(jì)了有效的混合采樣策略。對(duì)于局部特征的生成提取，算法以局部特征提取模塊為基礎(chǔ)，結(jié)合局部限制及混合采樣策略，組成了一個(gè)完整的指導(dǎo)式局部特征提取流程。

圖1 基于細(xì)節(jié)感知的判別特征學(xué)習(xí)模型Fig.1 Detail-aware discriminative feature learning model

1.1 全局特征提取

判別特征學(xué)習(xí)模型中的基礎(chǔ)骨干網(wǎng)絡(luò)負(fù)責(zé)車(chē)輛全局特征的提取。在車(chē)輛重識(shí)別算法中，普遍使用VGG16［11］，Inception［9］以及ResNet［12］等經(jīng)典網(wǎng)絡(luò)作為基礎(chǔ)骨干網(wǎng)絡(luò)。其中，InceptionV3 網(wǎng)絡(luò)的基本結(jié)構(gòu)如表1 所示，因?yàn)镮nception 模塊的存在，InceptionV3 可以更好的適用于多尺度特征的提取，所以在本研究中使用InceptionV3 作為基礎(chǔ)骨干網(wǎng)絡(luò)。

表1 InceptionV3 網(wǎng)絡(luò)結(jié)構(gòu)表Table 1 Network architecture of InceptionV3

Inception 模塊如圖2 所示。Inception 模塊設(shè)計(jì)為先進(jìn)行多尺寸的卷積、池化并行運(yùn)算后，將輸出并聯(lián)。一方面能夠增加網(wǎng)絡(luò)的寬度，另一方面增加了網(wǎng)絡(luò)對(duì)于尺度的適應(yīng)性，從而使得Inception網(wǎng)絡(luò)可以更好地適用于多尺度特征提取。

圖2 Inception 模塊Fig.2 Inception Module

這里使用Inception 網(wǎng)絡(luò)會(huì)更有利于對(duì)車(chē)輛局部區(qū)域特征的捕捉。對(duì)輸入圖片，經(jīng)過(guò)Incep?tionV3 網(wǎng)絡(luò)提取，可以得到大小為1×2 048 的表示車(chē)輛全局特征的向量。

1.2 局部特征提取

1.2.1 局部特征選擇車(chē)輛局部特征的提取分為網(wǎng)絡(luò)劃分、中層網(wǎng)絡(luò)特征提取兩步。為了對(duì)基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)InceptionV3 進(jìn)行劃分，在網(wǎng)絡(luò)劃分階段，參考文獻(xiàn)［13］，首先按照?qǐng)D3 所示的基礎(chǔ)算法訓(xùn)練，訓(xùn)練完成后，對(duì)InceptionV3 各層網(wǎng)絡(luò)學(xué)習(xí)到的特征進(jìn)行了可視化。

圖3 車(chē)輛重識(shí)別基礎(chǔ)算法Fig.3 Baseline algorithm for vehicle re-identification

網(wǎng)絡(luò)每一層的部分特征圖的可視化結(jié)果如圖4所示?？梢钥吹剑瑢?duì)于InceptionV3 網(wǎng)絡(luò)，給定輸入圖片，Conv1 到Conv5 這5 層學(xué)習(xí)到的是顏色、邊緣、線(xiàn)段等特征；Mixed5 及Mixed6 學(xué)習(xí)到的大部分是車(chē)輛的局部區(qū)域，包括車(chē)輛柵格、車(chē)頂、車(chē)窗、車(chē)燈等。Mixed7 學(xué)習(xí)到的則是偏全局性的特征。因此，將Mixed5 以及Mixed6 兩個(gè)Inception模塊劃分為中層網(wǎng)絡(luò)。

圖4 InceptionV3 網(wǎng)絡(luò)各層特征可視化結(jié)果Fig.4 Feature visualization results of InceptionV3

基于前面的假設(shè)，網(wǎng)絡(luò)的中層特征有助于網(wǎng)絡(luò)對(duì)于車(chē)輛局部區(qū)域特征的提取，所以中間層Mixed5以及Mixed6被用于提取車(chē)輛的局部特征。

1.2.2 基于注意力機(jī)制的局部特征提取模塊在實(shí)際場(chǎng)景中區(qū)分不同車(chē)輛時(shí)，車(chē)輛的各個(gè)區(qū)域具有不同的辨識(shí)度。高辨識(shí)度區(qū)域主要集中于車(chē)燈、車(chē)輛柵格、車(chē)標(biāo)以及車(chē)輛擋風(fēng)玻璃等區(qū)域。因此，對(duì)局部特征進(jìn)行提取、比對(duì)的過(guò)程中，應(yīng)該考慮不同局部區(qū)域特征的辨識(shí)度，增強(qiáng)具有高辨識(shí)度的特征，抑制低辨識(shí)度特征的干擾。

基于上面的描述，在局部特征提取模塊的設(shè)計(jì)中，我們引入注意力機(jī)制，根據(jù)區(qū)域的重要性實(shí)現(xiàn)網(wǎng)絡(luò)自學(xué)習(xí)并自動(dòng)分配不同的權(quán)重，得到帶注意力機(jī)制的局部特征提取模塊，模塊結(jié)構(gòu)如圖5中所示。

圖5 局部特征提取模塊Fig.5 Local feature extraction module

對(duì)于大小為H×W×C 的中間層特征圖，添加一個(gè)卷積核大小為3×3、步長(zhǎng)為1×1 的卷積層，得到一個(gè)與原始特征圖同樣大小的注意力特征圖。在這里，使用Sigmoid 函數(shù)作為激活函數(shù)，從而保證得到的特征圖中的數(shù)值大小位于（0，1）區(qū)間內(nèi)。得到的注意力特征圖與原始特征圖相乘后進(jìn)行全局池化，即可得到最終的局部特征向量。

1.3 多任務(wù)聯(lián)合訓(xùn)練

輸入車(chē)輛圖片，模型提取得到兩部分特征：全局特征以及局部特征。針對(duì)全局特征、局部特征以及兩者組合的聯(lián)合特征，分別設(shè)計(jì)了不同任務(wù)及相應(yīng)的損失函數(shù)，以指導(dǎo)特征的生成。

對(duì)于全局特征，設(shè)計(jì)了車(chē)輛的屬性識(shí)別任務(wù)，分別對(duì)車(chē)輛的顏色以及款式進(jìn)行識(shí)別。顏色及款式識(shí)別屬于多分類(lèi)問(wèn)題，使用softmax 交叉熵函數(shù)作為損失函數(shù)：

其中下標(biāo)c 和m 分別表示顏色及款式。對(duì)于顏色識(shí)別，kc表示車(chē)輛顏色種類(lèi)的數(shù)目，是網(wǎng)絡(luò)輸出的對(duì)于車(chē)輛屬于第i種顏色的概率的預(yù)測(cè)值。yci為0 或1，表示車(chē)輛顏色的真實(shí)值，定義為

對(duì)于款式識(shí)別，km，ymi，y′mi的含義與ym，yci，y′ci類(lèi)似。對(duì)于車(chē)輛的聯(lián)合特征，在算法中設(shè)計(jì)了整體三元組損失函數(shù)。

對(duì)于車(chē)輛的聯(lián)合特征，在算法中設(shè)計(jì)了整體三元組損失函數(shù)。從訓(xùn)練集中隨機(jī)選擇一張圖片作為anchor，記為xa；再隨機(jī)選擇一張與xa屬于同一車(chē)輛、但是不同的圖片作為正樣本（positive），記為xp；同時(shí)，選擇一張與xa屬于不同車(chē)輛的圖片作為負(fù)樣本（negative），記為xn。這樣，就組成一個(gè)訓(xùn)練三元組[xa，xp，xn]，輸入網(wǎng)絡(luò)后可得到三元組的特征表達(dá)[Gf(xa)，Gf(xp)，Gf(xn)]。整體三元組損失函數(shù)為

其中α是預(yù)設(shè)值的閾值。

1.4 混合采樣策略

根據(jù)局部限制中對(duì)于三元組樣本構(gòu)造的要求，在網(wǎng)絡(luò)輸入中，不同于一般算法的直接隨機(jī)抽取M張圖片作為輸入，本算法中設(shè)計(jì)了混合采樣策略，如圖6所示。

圖6中，車(chē)輛優(yōu)先策略屬于一種先隨機(jī)選擇車(chē)輛，再隨機(jī)選擇圖片的二次隨機(jī)過(guò)程。車(chē)輛優(yōu)先策略以車(chē)輛為基本單位，先對(duì)車(chē)輛進(jìn)行隨機(jī)采樣，選擇K1輛車(chē)后，分別對(duì)每輛車(chē)的所有圖片進(jìn)行隨機(jī)選取，選取P1張圖片，則一個(gè)批次訓(xùn)練的總圖片數(shù)目為K1×P1。車(chē)輛優(yōu)先策略的優(yōu)點(diǎn)是可以保證訓(xùn)練集中每一張圖片都可以找到屬于相同車(chē)輛的其他圖片，從而能夠組成有效的三元組，有效地加速網(wǎng)絡(luò)訓(xùn)練，保證網(wǎng)絡(luò)收斂。

圖6的款式優(yōu)先策略在車(chē)輛優(yōu)先的基礎(chǔ)上，加入了對(duì)款式隨機(jī)選擇的過(guò)程，屬于一種三次隨機(jī)過(guò)程。與車(chē)輛優(yōu)先策略不同，款式優(yōu)先策略以款式為基本單位，先隨機(jī)選取C個(gè)款式，對(duì)每一個(gè)款式隨機(jī)選取K2輛車(chē)，對(duì)每一輛車(chē)再隨機(jī)選取P2張圖片，則一批次的訓(xùn)練圖片總數(shù)為C×K2×P2?？钍絻?yōu)先策略的意義在于：因設(shè)計(jì)了一個(gè)局部限制三元組損失函數(shù)，對(duì)于給定的anchorxam，只有與anchor屬于相同款式不同車(chē)輛的圖片才被確定為負(fù)樣本。如果僅采用車(chē)輛優(yōu)先策略，則在同一批次訓(xùn)練中，存在兩輛及以上車(chē)輛屬于同一款式的概率極低，即使用車(chē)輛優(yōu)先策略不利于局部限制三元組損失函數(shù)的收斂，而款式優(yōu)先策略則可以很好的解決這一問(wèn)題。

圖6 混合采樣策略Fig.6 Mixed sampling strategy

款式優(yōu)先策略可以滿(mǎn)足需求，但是在本算法中，使用的是車(chē)輛優(yōu)先策略結(jié)合款式優(yōu)先策略的混合采樣策略，使用混合采樣策略的意義會(huì)在實(shí)驗(yàn)部分進(jìn)行闡述。

2 實(shí)驗(yàn)驗(yàn)證

2.1 實(shí)驗(yàn)設(shè)置

算法使用在ImageNet［14］數(shù)據(jù)集上預(yù)訓(xùn)練好的模型進(jìn)行參數(shù)的初始化。對(duì)于網(wǎng)絡(luò)的基礎(chǔ)設(shè)置，使用Adam 優(yōu)化器作為參數(shù)優(yōu)化器，使用默認(rèn)的參數(shù)設(shè)置（?= 10-3，β1= 0.9，β2= 0.999）。初始學(xué)習(xí)率設(shè)置為0.000 1，批大?。╞atch-size）設(shè)置為128，學(xué)習(xí)率衰減設(shè)置為每5 個(gè)epoch 乘以系數(shù)0.9，訓(xùn)練100 個(gè)epoch。對(duì)于算法中的各個(gè)參數(shù)，在整體三元組損失函數(shù)以及局部限制三元組損失函數(shù)中，設(shè)置α=β= 1.0；在混合采樣策略中，設(shè)置C=K2=P1=P2= 4，K1= 16，即款式優(yōu)先策略與車(chē)輛優(yōu)先策略采樣數(shù)目相同，各采樣64 張圖片。

2.2 數(shù)據(jù)集及評(píng)價(jià)標(biāo)準(zhǔn)

在測(cè)試中，給定查詢(xún)集，對(duì)于查詢(xún)集中每一張圖片，在候選集中進(jìn)行匹配。為了評(píng)價(jià)查詢(xún)集在候選集中的匹配效果，本研究使用3個(gè)指標(biāo)作為評(píng)價(jià)標(biāo)準(zhǔn)：rank1 準(zhǔn)確率，rank5 準(zhǔn)確率以及mAP（mean average precision）。為了對(duì)算法的有效性進(jìn)行驗(yàn)證，本研究使用車(chē)輛重識(shí)別公開(kāi)數(shù)據(jù)集Vehi?cleID［1］與VeRi［10］作為實(shí)驗(yàn)數(shù)據(jù)集。

VehicleID 數(shù)據(jù)集采集自中國(guó)城市道路上監(jiān)控?cái)z像頭于白天拍攝到的視頻。總共包含26 267 輛車(chē)共221 763 張圖片，每張圖片根據(jù)車(chē)牌號(hào)都標(biāo)注有相應(yīng)的ID，其中共78 957 張圖片標(biāo)注有款式及顏色信息，共228個(gè)款式，7種顏色。

VehicleID 數(shù)據(jù)集中提供了三種不同大小的測(cè)試集。其中，Test800 測(cè)試集包含800 張查詢(xún)圖片，6 532 張候選圖片；Test1600 測(cè)試集包含1 600 張查詢(xún)圖片，11 395 張候選圖片；Test2400 測(cè)試集包含2 400 張查詢(xún)圖片，17 638 張候選圖片。后續(xù)試驗(yàn)會(huì)在三個(gè)不同測(cè)試集上進(jìn)行，根據(jù)VehicleID 數(shù)據(jù)集的設(shè)置，使用rank1 及rank5 準(zhǔn)確率作為算法在VehicleID數(shù)據(jù)集上的性能評(píng)價(jià)指標(biāo)。

VeRi 數(shù)據(jù)集采集自中國(guó)福建省福州市永泰縣一條道路上的道路監(jiān)控?cái)z像頭拍攝到的視頻，總共包含776輛車(chē)共49 357張圖片。VeRi數(shù)據(jù)集中所有車(chē)輛都標(biāo)注有顏色及車(chē)型信息，共9種車(chē)型，10種顏色。數(shù)據(jù)集中還提供了每一圖片拍攝的位置信息及時(shí)間信息。

VeRi數(shù)據(jù)集中，其中500輛車(chē)共37 778張圖片作為訓(xùn)練集，剩余200輛車(chē)共11 579張圖片作為測(cè)試集。測(cè)試集中，劃分1 678 張圖片作為查詢(xún)集合，剩余9 901張圖片作為候選集合。根據(jù)VeRi數(shù)據(jù)集的設(shè)置，使用rank1準(zhǔn)確率，rank5準(zhǔn)確率以及mAP作為算法在VeRi數(shù)據(jù)集上的性能評(píng)價(jià)指標(biāo)。

2.3 消融分析

本文提出的算法包含了局部特征提取、局部限制、采樣策略等各個(gè)組件。為了對(duì)各個(gè)部分選擇最有效的設(shè)計(jì)方式，以及明確各個(gè)部分對(duì)于算法效果的影響，我們對(duì)算法進(jìn)行了消融分析，從而得到各個(gè)部分對(duì)于基礎(chǔ)算法的提升效果。本部分實(shí)驗(yàn)以VehicleID 數(shù)據(jù)集的Test800，Test1600 和Test2400測(cè)試集進(jìn)行測(cè)試。

首先，在局部特征提取模塊設(shè)計(jì)中，考慮中間層以及池化方式對(duì)于算法的影響，我們將Incep?tionV3 網(wǎng)絡(luò)的Mixed5 以及Mixed6 兩個(gè)Inception 模塊劃分為中層網(wǎng)絡(luò)。另外，利用中層網(wǎng)絡(luò)特征圖進(jìn)行全局池化提取得到局部特征。在實(shí)驗(yàn)中，我們對(duì)不同模塊分別進(jìn)行全局均值池化以及全局最大值池化的對(duì)比。實(shí)驗(yàn)結(jié)果如表2 所示，其中Max，Ave 分別表示采用全局最大值池化及全局均值池化。

表2 不同中間層及池化方式組合的實(shí)驗(yàn)結(jié)果Table 2 Results of different combination of middle layers and pooling methods %

由表2可以看出，對(duì)于兩個(gè)模塊組，使用全局最大值池化進(jìn)行特征提取在三個(gè)測(cè)試集上的表現(xiàn)都要優(yōu)于使用全局均值池化。在使用全局最大值池化時(shí)，使用Mixed6 模塊組在Test800 上的rank1準(zhǔn)確率和rank5 準(zhǔn)確率要優(yōu)于Mixed5 模塊組，但是在Test1600 和Test2400 兩個(gè)較大的測(cè)試集上的rank1 和rank5 準(zhǔn)確率則都要劣于Mixed5 模塊組?？紤]到Mixed6 模塊組提取到的局部特征維度為768，遠(yuǎn)遠(yuǎn)大于Mixed5 模塊組提取到的288 維特征向量，結(jié)合表格3的數(shù)據(jù)，在最終算法中將局部特征提取模塊設(shè)計(jì)為利用全局最大值池化方式，對(duì)Mixed5模塊組提取局部特征向量。

與Baseline 相比，加入局部特征向量，在不同的測(cè)試集上的rank1 和rank5 的準(zhǔn)確率都有所提升。在Test800 測(cè)試集上，Max-5 的rank1 和rank5 準(zhǔn)確率分別提高1.2%和0.6%，而在Test1600 測(cè)試集上，Max-5 的rank1 和rank5 準(zhǔn)確率分別提高2.2%和0.9%；在Test2400 測(cè)試集上，Max-5 的rank1 和rank5 準(zhǔn)確率分別提高4.2%和1.1%。可以看到，隨著測(cè)試集的數(shù)量增大，加入局部特征向量對(duì)于準(zhǔn)確率的提升越大。這是因?yàn)闇y(cè)試集的數(shù)量越大，則意味著存在外觀(guān)相似的車(chē)輛數(shù)量越多，算法更大概率會(huì)因混淆而導(dǎo)致誤判。而引入局部特征向量，則能夠增強(qiáng)算法對(duì)于局部區(qū)域特征的辨識(shí)能力，從而能夠更好的對(duì)易混車(chē)輛進(jìn)行區(qū)分。所以，測(cè)試集數(shù)量越大，引入局部特征算法相比于原始算法的優(yōu)勢(shì)則越大。

其次，考慮引入注意力機(jī)制以及局部限制對(duì)于算法的影響。實(shí)驗(yàn)結(jié)果如表3 所示，其中att 表示注意力模塊，LC 表示局部限制，最后的Max-5+att+LC則為最終的算法。

表3 組件消融分析結(jié)果Table 3 Ablation analysis results of components %

由表3可以看出，相比于原始的加入局部特征向量，單獨(dú)引入注意力機(jī)制，在Test800 測(cè)試集的rank1 準(zhǔn)確率提升0.9%；而在Test1600 和Test2400兩個(gè)測(cè)試集上的rank1 和rank5 準(zhǔn)確率則近似沒(méi)有變化。另外，單獨(dú)加入局部限制，在三個(gè)測(cè)試集上的準(zhǔn)確率都要優(yōu)于單獨(dú)引入注意力機(jī)制。相比于原始的僅加入局部特征向量，在Test800 測(cè)試集的rank1 準(zhǔn)確率提升1.1%，在Test1600 和Test2400上的rank1 準(zhǔn)確率都提升了0.8%。而，同時(shí)引入注意力機(jī)制及局部限制，相比于原始的加入局部特征向量，在Test800 測(cè)試集上的rank1 和rank5 準(zhǔn)確率分別提高1.8% 和0.4%，在Test1600 上的rank1 準(zhǔn)確率提高1.3%，在Test2400 上的rank1 和rank5 準(zhǔn)確率則分別提升2%和1.1%?？梢钥吹?，引入注意力機(jī)制和局部限制對(duì)算法在不同大小測(cè)試集上的rank1 準(zhǔn)確率影響最大，而對(duì)于rank5 準(zhǔn)確率的影響則較小。

在實(shí)驗(yàn)中，我們使用了款式優(yōu)先結(jié)合車(chē)輛優(yōu)先的混合采樣策略。對(duì)混合采樣策略和款式優(yōu)先策略進(jìn)行比較，實(shí)驗(yàn)結(jié)果如表4 所示。其中Mix 表示混合采樣策略，MF表示款式優(yōu)先策略。

表4 不同采樣策略的結(jié)果Table 4 Results of different sampling strategies %

可以看到，僅使用款式優(yōu)先策略，相比于使用混合采樣策略，在Test800 測(cè)試集的rank1 和rank5 準(zhǔn) 確 率 分 別 下 降 了2.2% 和0.8%， 在Test1600 上的rank1 和rank5 準(zhǔn)確率分別下降了2.7%和1.2%，在Test2400上的rank1和rank5準(zhǔn)確率分別下降了3.2%和2.2%。出現(xiàn)準(zhǔn)確率下降的原因?yàn)椋喝绻麊为?dú)采用款式優(yōu)先策略，則對(duì)于每一車(chē)輛，在樣本集中都存在與其相同款式但是不同ID 的車(chē)輛圖片。由于在整體三元組損失的計(jì)算中，對(duì)于每一個(gè)anchor，都是選擇與其距離最近的負(fù)樣本，即外觀(guān)最相似的不同車(chē)輛的圖片。則由于款式相同的車(chē)輛之間外觀(guān)最接近，對(duì)于每一個(gè)anchor，選擇的都是與其相同款式但是不同ID的車(chē)輛圖片進(jìn)行訓(xùn)練，這也就意味著網(wǎng)絡(luò)在訓(xùn)練的過(guò)程中沒(méi)辦法學(xué)習(xí)到不同款式車(chē)輛之間的差異。而采用款式優(yōu)先結(jié)合車(chē)輛優(yōu)先的混合策略，則一方面可以保證在樣本集中存在可以滿(mǎn)足局部限制三元組的樣本對(duì)，另一方面可以保證網(wǎng)絡(luò)可以學(xué)習(xí)到相同款式以及不同款式車(chē)輛之間的差異。

2.4 結(jié)果對(duì)比

將本研究的算法與現(xiàn)有的其他車(chē)輛重識(shí)別最新算法在VehicleID 及VeRi 數(shù)據(jù)集上進(jìn)行對(duì)比。我們 選 擇 的 對(duì) 比 算 法 包 括DRDL［1］、PROVID［10］、VAMI［3］、 JFSDL［15］、 ABLN［4］、 DHMVI［16］、TAMR［6］、AAVER［5］、EALN［17］。算法對(duì)比結(jié)果如表5-6所示。

表5 算法在VehicleID數(shù)據(jù)集上的對(duì)比結(jié)果Table 5 Comparisons of our method with state-of-the-arts on VechileID dataset %

從表5-6 可以看出，在與其他算法的對(duì)比中，本研究所提出的算法模型在兩個(gè)數(shù)據(jù)集中都可以取得最好的效果。在VehicleID 數(shù)據(jù)集中，相比于效果排在第二位的算法，本研究所提出的算法在Test800 測(cè)試集的rank1 和rank5 的準(zhǔn)確率、分別提高16%和6.6%，在Test1600 和Test2400 兩個(gè)測(cè)試集上的rank1 準(zhǔn)確率分別提高17.1%和19.2%。在VeRi 數(shù)據(jù)集中，相比于效果排在第二位的算法，本研究所提出的算法的rank5 準(zhǔn)確率和mAP 指標(biāo)分別提高了1.6%和7.1%。

表6 算法在VeRi數(shù)據(jù)集上的對(duì)比結(jié)果Table 6 Comparisons of our method with state-of-the-arts on VeRi dataset %

3 結(jié) 論

本文設(shè)計(jì)了一個(gè)基于細(xì)節(jié)感知的判別特征學(xué)習(xí)模型。考慮深度網(wǎng)絡(luò)可以根據(jù)表述的特征劃分為淺層、中層和深層三類(lèi)，其中中層特征對(duì)圖片的局部區(qū)域特征進(jìn)行表達(dá)，因此網(wǎng)絡(luò)的中層特征會(huì)有利增強(qiáng)網(wǎng)絡(luò)對(duì)于局部區(qū)域細(xì)節(jié)的辨識(shí)力?；谶@一假設(shè)，模型以InceptionV3 網(wǎng)絡(luò)為基礎(chǔ)結(jié)構(gòu)，設(shè)計(jì)了一個(gè)基于注意力機(jī)制的局部特征提取模塊，結(jié)合局部限制及混合采樣策略，指導(dǎo)局部特征提取生成。以提取的局部特征及基礎(chǔ)網(wǎng)絡(luò)生成的全局特征結(jié)合作為車(chē)輛的聯(lián)合特征，通過(guò)計(jì)算車(chē)輛特征之間的絕對(duì)距離作為相似度度量。在公開(kāi)數(shù)據(jù)集VehicleID 及VeRi 上的實(shí)驗(yàn)證明，所提的算法可以取得優(yōu)于現(xiàn)有的車(chē)輛重識(shí)別算法的效果。