王殿偉，趙夢(mèng)影，劉 穎，宋海軍，謝永軍

1.西安郵電大學(xué) 通信與信息工程學(xué)院，西安710121

2.中國(guó)科學(xué)院 西安光學(xué)精密機(jī)械研究所，西安710119

近年來(lái)，迅猛增加的機(jī)動(dòng)車(chē)數(shù)目給交通監(jiān)管系統(tǒng)帶來(lái)了嚴(yán)峻的挑戰(zhàn)，車(chē)輛目標(biāo)智能檢測(cè)作為自動(dòng)駕駛、智能交通[1]研究領(lǐng)域的核心技術(shù)，隨之受到相關(guān)研究學(xué)者的關(guān)注。因?yàn)閭鹘y(tǒng)視覺(jué)視野有限，存在檢測(cè)盲區(qū)，缺乏獲取全局信息手段等不足，而全景視覺(jué)具有“成像一體化、360°大視場(chǎng)、旋轉(zhuǎn)不變性[2]”等優(yōu)點(diǎn)，已被廣泛應(yīng)用于無(wú)人駕駛、機(jī)器人安全監(jiān)控、虛擬現(xiàn)實(shí)等諸多領(lǐng)域，在現(xiàn)實(shí)生活中具有重要意義。

圖1 SSD網(wǎng)絡(luò)框架圖

傳統(tǒng)的車(chē)輛目標(biāo)檢測(cè)算法首先判斷目標(biāo)車(chē)輛區(qū)域，然后用SIFT[3]、HOG[4]、LBP[5]等方法提取特征，最后經(jīng)過(guò)分類(lèi)器得到目標(biāo)分類(lèi)結(jié)果，其中目標(biāo)特征主要依靠手工提取，而待檢測(cè)的車(chē)輛種類(lèi)繁雜、數(shù)量龐大、背景信息復(fù)雜多變，手工選取特征的方法很難適應(yīng)復(fù)雜環(huán)境下多種類(lèi)別目標(biāo)的檢測(cè)需求，因此傳統(tǒng)車(chē)輛檢測(cè)算法已經(jīng)不能滿(mǎn)足要求[6]。近年來(lái)，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法受到廣泛關(guān)注，深度神經(jīng)網(wǎng)絡(luò)能夠自主學(xué)習(xí)不同層級(jí)的特征，相比于傳統(tǒng)手工設(shè)計(jì)特征，學(xué)習(xí)的特征更豐富，特征表達(dá)能力更強(qiáng)[7]。

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法具有較強(qiáng)的全面性、活動(dòng)性，并具有檢測(cè)識(shí)別多種目標(biāo)類(lèi)型的能力[8-10]。Girshick等[11]設(shè)計(jì)了R-CNN 框架，提出了區(qū)域選擇和使用深度學(xué)習(xí)分類(lèi)的方法，在目標(biāo)檢測(cè)方面突破巨大，但特征提取復(fù)雜，檢測(cè)速度很慢。隨后He 等[12]提出了SPP-Net，該算法使得檢測(cè)速度得到了很大提升，但無(wú)法實(shí)現(xiàn)端到端的檢測(cè)[13]。Ren 等[14]提出了Fast R-CNN，采用了多任務(wù)訓(xùn)練的模式，減少硬件緩存。此后Faster R-CNN[15]算法提出區(qū)域生成網(wǎng)絡(luò)（RPN），雖然檢測(cè)在速度與精度上都有巨大提升，但是還尚未達(dá)到實(shí)時(shí)檢測(cè)的效果。Redmon 等[16]基于Google-Net 圖像分類(lèi)模型[17]提出了基于回歸的YOLO算法，真正意義上實(shí)現(xiàn)了端到端檢測(cè)目標(biāo)。Liu 等[18]提出了SSD 算法，該算法結(jié)合了YOLO 的回歸思想及Faster R-CNN 的anchor 機(jī)制，同時(shí)保證了檢測(cè)的速度和精度。但是目前的深度學(xué)習(xí)檢測(cè)算法大多在普通圖像上檢測(cè)性能越來(lái)越佳，應(yīng)用于全景視頻圖像中檢測(cè)效果還達(dá)不到預(yù)期要求。

原始的SSD算法是在特征圖上直接分類(lèi)和回歸，最后經(jīng)過(guò)非極大值抑制的方法得出預(yù)測(cè)框，這樣的過(guò)程會(huì)導(dǎo)致高低層特征信息相差過(guò)大，小目標(biāo)檢測(cè)效果差，或是在剔除冗余檢測(cè)框時(shí)出錯(cuò)，導(dǎo)致目標(biāo)漏檢[19]，由于全景圖像本身包含的信息較多，車(chē)輛目標(biāo)絕大多呈現(xiàn)為小目標(biāo)，更加降低算法適應(yīng)度。

為了提高SSD算法在全景圖像檢測(cè)中的準(zhǔn)確率，本文提出了一種特征融合方法，在原SSD網(wǎng)絡(luò)前加入類(lèi)似于Faster RCNN 算法中的RPN 網(wǎng)絡(luò)的部分，再使用多個(gè)傳輸轉(zhuǎn)換模塊將RPN*網(wǎng)絡(luò)特征層和SSD*網(wǎng)絡(luò)特征層相連接，將高低層特征融合，增加低層特征信息，從而提高目標(biāo)的檢測(cè)效果。同時(shí)結(jié)合了RPN*網(wǎng)絡(luò)和SSD*網(wǎng)絡(luò)的損失函數(shù)，提出了新的損失函數(shù)，應(yīng)用二分類(lèi)和多分類(lèi)的方法，使后續(xù)的回歸操作更加精確，進(jìn)一步提高了檢測(cè)精度。

1 SSD網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)

1.1 SSD網(wǎng)絡(luò)結(jié)構(gòu)

SSD 是一種典型的單次目標(biāo)檢測(cè)算法，其在原始VGG-16 網(wǎng)絡(luò)[20]后增加三個(gè)卷積層和一個(gè)池化層，這些卷積層分別獲取不同尺度的特征圖用于目標(biāo)檢測(cè)，類(lèi)似于Faster R-CNN 的anchors 機(jī)制，目的在于提高檢測(cè)的準(zhǔn)確率；同時(shí)SSD 算法結(jié)合了YOLO 的回歸思想，降低了原網(wǎng)絡(luò)的復(fù)雜度，達(dá)到實(shí)時(shí)監(jiān)測(cè)效果?；镜腟SD網(wǎng)絡(luò)框架如圖1所示。

SSD 算法首先對(duì)所用數(shù)據(jù)集采用3∶1 比例進(jìn)行正負(fù)樣本劃分后，送入模型訓(xùn)練，接下來(lái)利用CNN提取特征后直接進(jìn)行分類(lèi)和回歸，最后應(yīng)用非極大值抑制的方法對(duì)冗余的檢測(cè)框進(jìn)行剔除，所剩余的即為最終的目標(biāo)檢測(cè)框。圖2是SSD目標(biāo)檢測(cè)算法流程圖。

圖2 SSD目標(biāo)檢測(cè)流程

1.2 R-SSD算法

傳統(tǒng)的SSD算法采用一步式檢測(cè)方法，直接使用卷積對(duì)不同的特征圖來(lái)進(jìn)行提取檢測(cè)結(jié)果，具有可以達(dá)到實(shí)時(shí)監(jiān)測(cè)的能力。但是這種均勻的密集采樣的一個(gè)重要缺點(diǎn)是訓(xùn)練比較困難，這主要是因?yàn)檎龢颖九c負(fù)樣本（背景）極其不均衡，導(dǎo)致降低了模型的準(zhǔn)確度。為了提高目標(biāo)檢測(cè)的精度，本文將RPN網(wǎng)絡(luò)引入進(jìn)SSD網(wǎng)絡(luò)，應(yīng)用傳輸轉(zhuǎn)換模塊將兩個(gè)網(wǎng)絡(luò)相連接，提出了一種新的RPN-SSD（簡(jiǎn)稱(chēng)為R-SSD）目標(biāo)檢測(cè)網(wǎng)絡(luò)框架，同時(shí)繼承一步式和兩步式檢測(cè)方法的優(yōu)點(diǎn)，可以更好地提取特征，顯著地提高了目標(biāo)檢測(cè)的精度。這種R-SSD的網(wǎng)絡(luò)體系結(jié)構(gòu)如圖3所示。

圖3 R-SSD體系結(jié)構(gòu)圖

圖3右側(cè)虛線(xiàn)框內(nèi)是原SSD網(wǎng)絡(luò)（這里只顯示特征提取層（此部分稱(chēng)為SSD*）的網(wǎng)絡(luò)結(jié)構(gòu)，其主要作用是獲取最終的目標(biāo)檢測(cè)框；左側(cè)虛線(xiàn)框內(nèi)是新構(gòu)建的類(lèi)似Faster RCNN 算法中的RPN 網(wǎng)絡(luò)的部分（此部分稱(chēng)為RPN*），其主要作用是提取先驗(yàn)框并粗略調(diào)整其大小和位置；下方四個(gè)實(shí)線(xiàn)框?yàn)閭鬏斵D(zhuǎn)換模塊，它的主要作用是在RPN*和SSD*之間建立連接，進(jìn)行特征融合。

（1）RPN*

原始的SSD是一種單步檢測(cè)算法，在提取的特征圖上直接進(jìn)行回歸和分類(lèi)，容易造成目標(biāo)的分類(lèi)或定位錯(cuò)誤，進(jìn)而降低了檢測(cè)的準(zhǔn)確率。本文將RPN*網(wǎng)絡(luò)引入到SSD 結(jié)構(gòu)中，構(gòu)建了一種新的改進(jìn)SSD 網(wǎng)絡(luò)，稱(chēng)為“R-SSD”，提出了基于R-SSD的全景視頻圖像車(chē)輛目標(biāo)檢測(cè)算法。這里引入的RPN*結(jié)構(gòu)的作用是識(shí)別并刪除一些負(fù)樣本先驗(yàn)框，減小分類(lèi)器的搜索范圍，再粗略預(yù)測(cè)先驗(yàn)框的位置和大小，降低目標(biāo)分類(lèi)或定位的錯(cuò)誤率，為SSD*的回歸操作提供更好的前提條件，所用到的RPN*結(jié)構(gòu)如圖4所示。

由圖4 可知，RPN*結(jié)構(gòu)首先將n個(gè)先驗(yàn)框與特定特征圖上的每個(gè)規(guī)則劃分的單元相關(guān)聯(lián)，每個(gè)先驗(yàn)框相對(duì)于其對(duì)應(yīng)單元的初始位置是固定的。每個(gè)特征圖首先經(jīng)過(guò)滑窗處理，得到256 維特征，然后通過(guò)兩次全連接得到2n個(gè)置信度分?jǐn)?shù)和4n個(gè)坐標(biāo)偏移量。因此，在每個(gè)特征圖中會(huì)生成n個(gè)經(jīng)過(guò)細(xì)化的先驗(yàn)框。

圖4 RPN*結(jié)構(gòu)圖

（2）SSD*

SSD*網(wǎng)絡(luò)以RPN*網(wǎng)絡(luò)生成的細(xì)化先驗(yàn)框作為輸入信息，融合了不同層的特征，進(jìn)一步生成準(zhǔn)確的目標(biāo)類(lèi)別和坐標(biāo)，且RPN*和SSD*中對(duì)應(yīng)的特征圖具有相同維度。與原始SSD 網(wǎng)絡(luò)不同的是，這里網(wǎng)絡(luò)輸入的是RPN*網(wǎng)絡(luò)經(jīng)過(guò)細(xì)化的先驗(yàn)框，淺層特征圖融合了高層特征圖的語(yǔ)義信息，將各層結(jié)果整合在一起，得到最終的目標(biāo)框。而原始SSD 網(wǎng)絡(luò)直接用淺層特征圖做小目標(biāo)檢測(cè)，并沒(méi)有融合高層信息。經(jīng)過(guò)這一步驟會(huì)使得目標(biāo)檢測(cè)結(jié)果更加準(zhǔn)確，特別是對(duì)小目標(biāo)的檢測(cè)。

（3）傳輸轉(zhuǎn)換塊（Conversion Block）

因?yàn)镾SD算法用低層特征圖檢測(cè)小目標(biāo)，高層特征圖檢測(cè)大目標(biāo)。然而低層卷積層分辨率高但語(yǔ)義信息低、感受野較小，小目標(biāo)特征提取不充分；高層卷積層語(yǔ)義信息充分、感受野較大，可提取更多特征信息。受上述低層卷積層和高層卷積層的特性的啟發(fā)，本文提出的R-SSD結(jié)構(gòu)中添加了傳輸轉(zhuǎn)換塊（Conversion Block），它的主要作用是在RPN*和SSD*之間建立連接，將RPN*上提取先驗(yàn)框的輸出轉(zhuǎn)化為SSD*的輸入，在RPN*經(jīng)過(guò)細(xì)化的先驗(yàn)框基礎(chǔ)上進(jìn)行回歸，做反卷積操作，使兩個(gè)網(wǎng)絡(luò)提取的特征相融合，集成大規(guī)模的上下文信息，增大感受野，增加低層網(wǎng)絡(luò)的語(yǔ)義信息，進(jìn)而提高檢測(cè)精度。圖5是傳輸轉(zhuǎn)換塊的主要架構(gòu)。

圖5 傳輸轉(zhuǎn)換塊架構(gòu)圖

由圖5知，本文添加的傳輸轉(zhuǎn)換模塊，首先將RPN*輸出的特征圖作為傳輸轉(zhuǎn)換模塊的輸入，經(jīng)過(guò)一個(gè)3×3的卷積核，一個(gè)Relu 激活函數(shù)和另一個(gè)3×3 的卷積核。其次經(jīng)過(guò)一個(gè)反卷積操作增大高層特征圖，從前一個(gè)傳輸轉(zhuǎn)換模塊輸出的特征經(jīng)過(guò)一個(gè)4×4的卷積核，并對(duì)上述兩個(gè)輸出對(duì)應(yīng)元素求和。在求和之后添加卷積層，以確保檢測(cè)特征的可辨性。輸出傳入SSD*模塊，完成RPN*與SSD*的特征融合過(guò)程。

1.3 損失函數(shù)設(shè)計(jì)

本文提出的R-SSD 網(wǎng)絡(luò)架構(gòu)的損失函數(shù)由兩部分組成，即RPN*中的損失和SSD*中的損失。在RPN*部分包含二分類(lèi)損失Lb和回歸損失Lr，表明是一個(gè)目標(biāo)或者不是一個(gè)目標(biāo)，并且同時(shí)回歸它的位置和大小，以獲得細(xì)化的先驗(yàn)框，之后將具有小于閾值負(fù)置信度的細(xì)化后的先驗(yàn)框傳遞給SSD*以便進(jìn)一步預(yù)測(cè)目標(biāo)類(lèi)別和準(zhǔn)確的目標(biāo)位置和大??；在SSD*部分包含多分類(lèi)損失Lm和回歸損失Lr。將損失函數(shù)定義為：

其中，i代表第i個(gè)候選框是第i個(gè)先驗(yàn)框的真實(shí)標(biāo)簽，是第i個(gè)先驗(yàn)框的真實(shí)坐標(biāo)，pi和xi分別是RPN*中候選框i預(yù)測(cè)目標(biāo)的置信度和坐標(biāo)，ci和ti是SSD*中候選框預(yù)測(cè)目標(biāo)的類(lèi)別和坐標(biāo)，Nrpn和Nssd分別是RPN*和SSD*中的正樣本個(gè)數(shù)。二分類(lèi)損失Lb為交叉熵?fù)p失函數(shù)，并且多分類(lèi)損失Lm是多類(lèi)別置信度上的softmax損失。與Fast R-CNN類(lèi)似，這里使用smoothL1損失作為回歸損失Lr。

2 實(shí)驗(yàn)結(jié)果

2.1 實(shí)驗(yàn)平臺(tái)

本文程序均在深度學(xué)習(xí)服務(wù)器上進(jìn)行，服務(wù)器CPU為Intel E5 2673 V3×2，內(nèi)存128 GB，GPU 為T(mén)ITAN Xp×4，操作系統(tǒng)為64位的Linux Ubuntu 16.04系統(tǒng)，并行計(jì)算框架版本為CUDA 8.0，深度神經(jīng)網(wǎng)絡(luò)加速庫(kù)為CUDNN v7.0。利用Python 編程語(yǔ)言在深度學(xué)習(xí)框架上實(shí)現(xiàn)本文的R-SSD 目標(biāo)檢測(cè)算法模型并完成對(duì)模型的訓(xùn)練及驗(yàn)證。

2.2 實(shí)驗(yàn)數(shù)據(jù)

由于目前沒(méi)有針對(duì)車(chē)輛目標(biāo)檢測(cè)的全景視頻圖像公用數(shù)據(jù)集，因此利用商用泰科易720pro VR全景相機(jī)自行采集數(shù)據(jù)。分別在不同場(chǎng)景下采集含有不同大小、顏色、外觀的車(chē)輛，使用Label Image標(biāo)簽工具對(duì)全景圖中的大小車(chē)輛進(jìn)行標(biāo)注，共計(jì)2 688 幅，均為VOC2007格式。將全景環(huán)境下的數(shù)據(jù)分為訓(xùn)練集（1 685 幅）、驗(yàn)證集（89幅）和測(cè)試集（914幅）。

參考SSD算法中的數(shù)據(jù)增強(qiáng)方法[21]，本文對(duì)原始數(shù)據(jù)進(jìn)行隨機(jī)采集塊域（Randomly sample a patch）、隨機(jī)裁剪加顏色扭曲（random crop & color distortion）及水平翻轉(zhuǎn)（horizontal flip）等操作，可提升算法模型的檢測(cè)性能。

2.3 評(píng)價(jià)指標(biāo)

本文通過(guò)在測(cè)試集中分析模型改進(jìn)前后的檢測(cè)精度、檢測(cè)速度和參數(shù)量，對(duì)比模型的性能。首先把測(cè)試集圖像輸入訓(xùn)練好的網(wǎng)絡(luò)，然后對(duì)車(chē)輛位置進(jìn)行檢測(cè)并記錄檢測(cè)結(jié)果，當(dāng)模型預(yù)測(cè)的目標(biāo)邊界與測(cè)試集對(duì)應(yīng)的標(biāo)注數(shù)據(jù)中的邊界框的交并集比（IOU）大于等于設(shè)定的閾值時(shí)，認(rèn)為檢測(cè)結(jié)果正確，否則視為檢測(cè)錯(cuò)誤。檢測(cè)精度的評(píng)價(jià)指標(biāo)選取準(zhǔn)確率（Precision，P）指標(biāo)，其定義為：

式中，Tp是正確檢測(cè)到車(chē)輛的數(shù)量，F(xiàn)p是錯(cuò)分車(chē)輛目標(biāo)的數(shù)量。

2.4 訓(xùn)練過(guò)程

本文的基礎(chǔ)網(wǎng)絡(luò)仍然為原SSD 的VGG16，首先在自行采集的全景數(shù)據(jù)集上，用1 685 幅訓(xùn)練集圖片對(duì)該網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到預(yù)訓(xùn)練網(wǎng)絡(luò)模型。訓(xùn)練模型的參數(shù)如下：設(shè)置初始學(xué)習(xí)率為0.000 1，在迭代40 000 次時(shí)學(xué)習(xí)率衰減為1E-05。訓(xùn)練批量大小為8，迭代60 000 次后檢測(cè)結(jié)果達(dá)到最優(yōu)值，可達(dá)90.78%。

2.5 R-SSD模型對(duì)車(chē)輛的識(shí)別結(jié)果

為了驗(yàn)證本文提出的R-SSD網(wǎng)絡(luò)準(zhǔn)確性，將兩個(gè)網(wǎng)絡(luò)同時(shí)應(yīng)用在采集的2 688幅全景視頻數(shù)據(jù)集中。為了證明算法的適應(yīng)性，數(shù)據(jù)集包括校內(nèi)、公路旁、路口等不同場(chǎng)景下的不同大小、顏色、外觀的車(chē)輛目標(biāo)。實(shí)驗(yàn)對(duì)比標(biāo)準(zhǔn)的SSD網(wǎng)絡(luò)，結(jié)果如圖6所示。

圖6 SSD與R-SSD準(zhǔn)確率對(duì)比

由圖6 可知，隨著迭代次數(shù)的增加，兩個(gè)算法的準(zhǔn)確率都在提升。迭代10 000次時(shí)，SSD算法的準(zhǔn)確率只有78.44%，本文算法準(zhǔn)確率可達(dá)到83.25%；迭代30 000次時(shí)兩種算法的準(zhǔn)確率都有明顯地上升，直至迭代60 000次逐漸趨于穩(wěn)定，但是本文算法準(zhǔn)確率始終高于SSD算法。

在測(cè)試集中分別對(duì)改進(jìn)前后的SSD 目標(biāo)檢測(cè)模型及YOLO V3模型進(jìn)行測(cè)試，并統(tǒng)計(jì)其檢測(cè)結(jié)果和檢測(cè)速度。實(shí)驗(yàn)結(jié)果如表1所示。

表1 相同數(shù)據(jù)集下各算法mAP對(duì)比

由表1 可以看出，本文的mAP 為90.78%，相比于Faster R-CNN模型，雖然檢測(cè)速度有所降低，但檢測(cè)精度提升了9.18 個(gè)百分點(diǎn)，效果較為突出；相比于YOLO V3模型，不僅檢測(cè)精度提高了4.58個(gè)百分點(diǎn)，而且檢測(cè)速度也提高了14.4 幀/s；相比于SSD模型，在檢測(cè)速度大致相同（僅僅降低了1.8 幀/s），檢測(cè)精度提高了5.04個(gè)百分點(diǎn)，提升效果顯著。可見(jiàn)，在全景車(chē)輛檢測(cè)中，本文提出的模型對(duì)目標(biāo)的識(shí)別效果較好，且檢測(cè)速度也較可觀。

圖7為網(wǎng)絡(luò)訓(xùn)練過(guò)程中損失值的收斂曲線(xiàn)，橫坐標(biāo)表示迭代次數(shù)，最大迭代次數(shù)為60 000 次；縱坐標(biāo)代表?yè)p失值。當(dāng)網(wǎng)絡(luò)迭代超過(guò)50 000次時(shí)，損失值變化趨于穩(wěn)定，從圖中可以看出，最終損失值下降到約1.18。在此算法中參數(shù)的收斂情況較好，因此網(wǎng)絡(luò)的訓(xùn)練結(jié)果也較為理想。

圖7 損失函數(shù)數(shù)值曲線(xiàn)圖

圖8～圖10 為部分實(shí)驗(yàn)結(jié)果圖，紅色矩形框?yàn)镾SD網(wǎng)絡(luò)預(yù)測(cè)的目標(biāo)位置，藍(lán)色框?yàn)楸疚奶岢龅腞-SSD網(wǎng)絡(luò)預(yù)測(cè)的目標(biāo)位置。

圖8 SSD網(wǎng)絡(luò)與本文提出的R-SSD網(wǎng)絡(luò)目標(biāo)漏檢結(jié)果對(duì)比圖

圖9 SSD網(wǎng)絡(luò)與本文提出的R-SSD網(wǎng)絡(luò)對(duì)小目標(biāo)檢測(cè)結(jié)果對(duì)比圖

圖10 SSD網(wǎng)絡(luò)與本文提出的R-SSD網(wǎng)絡(luò)對(duì)重疊目標(biāo)檢測(cè)結(jié)果對(duì)比圖

（1）目標(biāo)漏檢糾正

圖8（a）和圖8（c）是SSD 網(wǎng)絡(luò)的檢測(cè)結(jié)果，由圖可明顯看出兩幅圖中的中間白色車(chē)輛均存在漏檢現(xiàn)象，主要是由于SSD網(wǎng)絡(luò)使用單步檢測(cè)的方法，直接在特征圖上采用卷積核來(lái)預(yù)測(cè)邊界框類(lèi)別和坐標(biāo)偏移，為了提高檢測(cè)速度而降低了檢測(cè)精度。圖8（b）和圖8（d）為本文網(wǎng)絡(luò)的檢測(cè)結(jié)果，由圖可看出，本文網(wǎng)絡(luò)成功識(shí)別了漏檢車(chē)輛，且每個(gè)目標(biāo)的類(lèi)別置信度有很大提升，這是由于本文算法使用了兩步式的檢測(cè)方法：第一步，在RPN*網(wǎng)絡(luò)層過(guò)濾負(fù)樣本先驗(yàn)框，并粗略調(diào)整先驗(yàn)框的位置和大小，為后續(xù)SSD*中的回歸操作提供好的初始條件；第二步，SSD*網(wǎng)絡(luò)結(jié)合RPN*網(wǎng)絡(luò)提供的語(yǔ)義信息，進(jìn)行細(xì)致的分類(lèi)和回歸，判斷目標(biāo)所在位置，以此大幅提高了檢測(cè)的精確度，可很好地說(shuō)明本文算法在目標(biāo)漏檢糾正性能上的有效性。

（2）小目標(biāo)檢測(cè)糾正

圖9（a）和圖9（c）為SSD 網(wǎng)絡(luò)的檢測(cè)結(jié)果圖，盡管均對(duì)左側(cè)白色車(chē)輛的檢測(cè)結(jié)果良好，但對(duì)右側(cè)小目標(biāo)車(chē)輛檢測(cè)性能較差，主要是由于SSD使用conv4_3底層特征檢測(cè)小目標(biāo)，但是底層特征卷積層數(shù)少，所含語(yǔ)義信息較少，存在特征提取不充分的問(wèn)題，因而導(dǎo)致對(duì)小目標(biāo)出現(xiàn)漏檢現(xiàn)象。圖9（b）和圖9（d）為本文算法的檢測(cè)結(jié)果，由圖可知，本文提出的R-SSD 網(wǎng)絡(luò)對(duì)小目標(biāo)的檢測(cè)效果相對(duì)較好。這是因?yàn)楸疚奶岢龅腞-SSD 網(wǎng)絡(luò)添加了一個(gè)傳輸轉(zhuǎn)換模塊，將RPN*網(wǎng)絡(luò)和SSD*網(wǎng)絡(luò)的維度相匹配，使用反卷積操作增大高層特征圖，同時(shí)實(shí)現(xiàn)高低層特征融合，增加底層特征的語(yǔ)義信息，因此提高了小目標(biāo)檢測(cè)的準(zhǔn)確率。

（3）重疊目標(biāo)檢測(cè)糾正

圖10（a）和圖10（c）為SSD 網(wǎng)絡(luò)的檢測(cè)結(jié)果，由圖可知兩張圖中右側(cè)白色車(chē)輛有重疊，SSD網(wǎng)絡(luò)出現(xiàn)漏檢現(xiàn)象。主要是由于SSD 網(wǎng)絡(luò)檢測(cè)性能和特征提取有著密不可分的關(guān)系，該網(wǎng)絡(luò)在conv4_3、conv7、conv8_2、conv9_2、conv10_2、conv11_2 卷積層提取特征，然后分別在這些特征層上面每個(gè)點(diǎn)構(gòu)造六個(gè)不同尺度大小的先驗(yàn)框，直接進(jìn)行分類(lèi)和檢測(cè)，最后將生成的先驗(yàn)框進(jìn)行非極大值抑制，確定最終檢測(cè)結(jié)果。其不足之處是可能存在劃分的先驗(yàn)框不精細(xì)，與真實(shí)框的匹配度不高，從而導(dǎo)致過(guò)多的背景噪聲干擾，影響檢測(cè)結(jié)果。由于重疊的兩輛車(chē)有相似的特征，檢測(cè)時(shí)很容易被混淆，對(duì)檢測(cè)結(jié)果進(jìn)行非極大值抑制處理時(shí)，后面車(chē)輛預(yù)測(cè)框可能被前面車(chē)輛預(yù)測(cè)框所抑制，導(dǎo)致后面車(chē)輛漏檢。圖10（b）和圖10（d）為R-SSD 網(wǎng)絡(luò)的檢測(cè)結(jié)果，由圖知本文算法對(duì)被遮擋車(chē)輛有著良好的檢測(cè)性能，主要由于本文算法首先用RPN*網(wǎng)絡(luò)濾除一部分與真實(shí)框相差過(guò)大的先驗(yàn)框，縮小了分類(lèi)器的搜索空間；然后將粗略預(yù)測(cè)和分類(lèi)的先驗(yàn)框輸入到SSD*網(wǎng)絡(luò)，再進(jìn)行分類(lèi)和預(yù)測(cè)；最后經(jīng)過(guò)細(xì)化的先驗(yàn)框與真實(shí)框匹配度高，能夠減少背景噪聲的影響，從而提高檢測(cè)的準(zhǔn)確率。

如表2 所示，實(shí)驗(yàn)分為三組，分別在不同檢測(cè)難度下進(jìn)行，每組都有兩張圖各采用SSD和本文算法進(jìn)行結(jié)果對(duì)比，表中數(shù)字表示檢測(cè)出車(chē)輛目標(biāo)的準(zhǔn)確率，結(jié)果顯示未檢出的則說(shuō)明算法沒(méi)有良好地檢測(cè)到圖中目標(biāo)。通過(guò)表中結(jié)果對(duì)比，本文算法可以更好地檢測(cè)出車(chē)輛目標(biāo)，且對(duì)于SSD算法檢測(cè)到的目標(biāo)檢測(cè)的置信度也有較大的提升。

表2 SSD算法和本文算法實(shí)驗(yàn)結(jié)果對(duì)比

3 結(jié)束語(yǔ)

本文提出了一種基于改進(jìn)的SSD 網(wǎng)絡(luò)結(jié)構(gòu)，稱(chēng)為R-SSD，它由RPN*和SSD*兩個(gè)模塊相互連接組成。引入RPN*的目的是過(guò)濾掉閾值小于0.5的候選框，以減少分類(lèi)器的搜索空間，并粗略得出候選框的位置和大小，為后續(xù)SSD*中的回歸提供更好的初始化，并回歸準(zhǔn)確的對(duì)象位置和大小并預(yù)測(cè)相應(yīng)的多類(lèi)標(biāo)簽。整個(gè)網(wǎng)絡(luò)以端到端的方式進(jìn)行訓(xùn)練，使用多分類(lèi)損失。本文使用R-SSD網(wǎng)絡(luò)在自行采集的全景數(shù)據(jù)上開(kāi)展了多次實(shí)驗(yàn)，結(jié)果表明本文算法改善了SSD對(duì)小目標(biāo)檢測(cè)精度較低，目標(biāo)錯(cuò)檢、漏檢的不足，并實(shí)現(xiàn)了較高的檢測(cè)精度和效率。下一步工作可以考慮在網(wǎng)絡(luò)中引入注意力（attention）機(jī)制，進(jìn)一步改進(jìn)和優(yōu)化模型，使網(wǎng)絡(luò)對(duì)特定目標(biāo)有更高的檢測(cè)精度。