于 洋，王 晴，宋建輝

(沈陽理工大學(xué) 自動化與電氣工程學(xué)院，沈陽 110159)

隨著計算機和傳感器技術(shù)的迅速發(fā)展，室外移動機器人在軍事、科研等領(lǐng)域都得到了成功的應(yīng)用，既可以代替士兵完成戰(zhàn)場偵查、巡邏等危險任務(wù)，也可以幫助人類完成外星和某些考古遺跡的勘探、樣本采集和分析工作[1]，室外障礙物檢測技術(shù)成為研究者日益關(guān)心的研究方向。

針對室外環(huán)境的障礙物檢測，Gao等提出了以可行性區(qū)域檢測為任務(wù)的檢測方法[2]；Kong等提出了以消失點檢測為任務(wù)的檢測方法[3]；這些方法以檢測任務(wù)為導(dǎo)向，識別目標(biāo)明確，不需要人為標(biāo)記的訓(xùn)練數(shù)據(jù)，但環(huán)境理解的內(nèi)容有局限[4-5]；Bischof等提出條件規(guī)則產(chǎn)生(Conditional rule generation,CRG)方法[6]。但這些方法不能滿足復(fù)雜環(huán)境下的障礙物檢測，檢測效率較低。

在目前常見的深度學(xué)習(xí)目標(biāo)檢測方法[7]中，基于區(qū)域候選的神經(jīng)網(wǎng)絡(luò)模型準(zhǔn)確率相對較高，但速度較慢，不能滿足實時性的需求；基于回歸的目標(biāo)檢測算法可以滿足實時的復(fù)雜環(huán)境障礙物檢測，然而在小物體目標(biāo)檢測方面效果較差。

本文針對基于回歸的網(wǎng)絡(luò)模型算法中小目標(biāo)障礙物漏檢嚴(yán)重的問題進(jìn)行改進(jìn)，通過在基礎(chǔ)網(wǎng)絡(luò)層中增加擴張卷積[2]、使用K均值聚類[8]等方式，在保證障礙物檢測實時性的同時，降低小目標(biāo)障礙物的漏檢率，對于深度學(xué)習(xí)技術(shù)進(jìn)一步應(yīng)用于室外障礙物檢測具有重要意義。

1 SSD算法

SSD(Single Shot Multi-Box Detector)算法[9]的原理是在基礎(chǔ)網(wǎng)絡(luò)后添加多個卷積特征層，用卷積濾波器產(chǎn)生固定的預(yù)測集合，預(yù)測不同尺度預(yù)測框?qū)τ谀J(rèn)邊界框的置信度。同時對標(biāo)簽的位置和類別信息進(jìn)行處理后，使預(yù)測框與相應(yīng)的默認(rèn)框?qū)?yīng)，并根據(jù)兩者的杰卡德相似性系數(shù)來尋找對應(yīng)的預(yù)測框。

(1)

式中Lconf為多類別置信損失，定義如式(2)所示。

(2)

函數(shù)損失的值僅由正樣本計算得到。SmoothL1的計算如式(4)所示。

(4)

原算法在PASCAL VOC數(shù)據(jù)集上進(jìn)行訓(xùn)練，平均檢測準(zhǔn)確率mAP為74.3%，檢測速度為45FPS。

2 網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)

2.1 原算法網(wǎng)絡(luò)結(jié)構(gòu)

原SSD算法的網(wǎng)絡(luò)框架如圖1所示。

圖1 SSD算法網(wǎng)絡(luò)結(jié)構(gòu)圖

使用VGG-16網(wǎng)絡(luò)模型的前5層進(jìn)行特征抽取，輸入數(shù)據(jù)進(jìn)入各個卷積層的變化如表1所示，conv4_3特征圖的分辨率縮小到1/8，在conv5_3縮小到1/16，導(dǎo)致輸入圖片的特征信息有較大的損失。

因?qū)π∧繕?biāo)檢測需要較高的圖像分辨率，而SSD算法主要在語義信息不夠豐富的底部特征層進(jìn)行檢測；另一方面，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的最底層特征圖過小，之后的檢測和回歸都無法滿足要求，故對此進(jìn)行改進(jìn)。

表1 VGG-16各網(wǎng)絡(luò)層參數(shù)

2.2 改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)

擴張卷積[10]是增加了名為膨脹率的超參數(shù)的卷積模型。感受野經(jīng)過普通卷積層和擴張卷積層后的變化對比效果如圖2所示，左邊為經(jīng)過普通卷積層稀疏特征提取得到的感受野，分辨率僅為原圖的1/4；右邊為經(jīng)過擴張卷積后的稠密特征提取過程，輸入數(shù)據(jù)經(jīng)過更大的延拓和卷積運算，輸出的分辨率提高，降低了特征圖的信息損失。

圖2 感受野的變化對比

然而擴張卷積的加入會導(dǎo)致信息連續(xù)性的損失。由較大膨脹率所得到的信息只對一些大物體分割效果明顯，對于在高速條件下的小物體檢測有弊無利。根據(jù)文獻(xiàn)[11]，混合空洞卷積框架(Hybrid Dilated convolution,HDC)結(jié)構(gòu)可以緩解圖像網(wǎng)格化所產(chǎn)生的影響，使輸出的感受野沒有任何空洞和邊緣丟失，完全覆蓋整個圖像區(qū)域，比普通擴張卷積獲取更寬闊的區(qū)域信息。本文在前端網(wǎng)絡(luò)中加入一種膨脹率滿足式(5)的HDC卷積，增強對小物體的檢測效果。

Mi=max[Mi+1-2ri,Mi+1-2(Mi+1-ri),ri]

(5)

式中：ri為第i層的膨脹率；Mi為兩個非零點間的最大距離，即在第i層最大的膨脹率。

HDC可使用任意的擴張率，擴大了接收野且不需要添加額外的模塊。使用不同擴張率的擴張卷積，能同時滿足小目標(biāo)和大目標(biāo)兩者的分割要求。

結(jié)合經(jīng)典SSD算法網(wǎng)絡(luò)框架和HDC型擴張卷積的工作原理，具體改進(jìn)措施如下。

(1)在步長分別設(shè)置為4和8的conv3-3和conv4-3兩個卷積層同時提取特征，并將得到的特征進(jìn)行歸一化處理；

(2)使用膨脹率分別為(1,2,3)的H型擴張卷積替換VGG-16網(wǎng)絡(luò)的fc-6、fc-7層和池化層，從中進(jìn)行采樣得到參數(shù)；

(3)將網(wǎng)絡(luò)的最大池化層均轉(zhuǎn)換成感受野為3×3、擴張率為2的擴張卷積層，并增添HDC卷積結(jié)構(gòu)。

上述改進(jìn)措施可以在保證感受野的同時使得特征圖的分辨率變化較小，精細(xì)網(wǎng)絡(luò)輸出結(jié)果。改進(jìn)后的前置網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 前置網(wǎng)絡(luò)結(jié)構(gòu)

改進(jìn)后的基礎(chǔ)網(wǎng)絡(luò)參數(shù)如表2所示。

3 目標(biāo)框維度比例

3.1 SSD算法預(yù)測原理

SSD算法引入默認(rèn)框來預(yù)測目標(biāo)物體的位置信息。網(wǎng)絡(luò)中的目標(biāo)預(yù)選框通過softmax分類和目標(biāo)框回歸獲得真實目標(biāo)的位置。前置網(wǎng)絡(luò)后的每一張?zhí)卣鲌D將按照不同的大小和長寬比生成k個默認(rèn)框，每個默認(rèn)框的大小計算如式(6)所示。

(6)

表2 各網(wǎng)絡(luò)層參數(shù)對比

3.2 K均值聚類實驗

原SSD算法的目標(biāo)框維度寬高比為一組人為選取的固定的數(shù)值比例，樣本數(shù)據(jù)在網(wǎng)絡(luò)的訓(xùn)練過程中得到的預(yù)選框維度往往不具有足夠的代表性。本文提出基于K均值聚類生成預(yù)選框的改進(jìn)方法，即不使用人為取值的目標(biāo)預(yù)選框，而是通過K均值算法對目標(biāo)數(shù)據(jù)集的位置標(biāo)簽進(jìn)行聚類實驗，確定預(yù)選框的維度寬高比，使改進(jìn)后的網(wǎng)絡(luò)更易學(xué)習(xí)到準(zhǔn)確的預(yù)測位置。

對目標(biāo)框維度的聚類操作如下：首先根據(jù)輸入標(biāo)簽數(shù)據(jù)的位置信息計算出預(yù)選框的維度值，由式(7)將其轉(zhuǎn)換為相對于柵格邊長的比例i(i∈(0,1))；其次取k個對象作為初始聚類中心，進(jìn)行聚類實驗；最后把得到的聚類中心的維度比例值作為預(yù)選框比例值，由改進(jìn)SSD算法通過預(yù)選框直接預(yù)測坐標(biāo)。

(7)

式中：md表示降采樣倍率；wr表示預(yù)選框的寬度；wk表示輸入圖像的寬度；hr表示預(yù)選框的高度；hk表示輸入圖像的高度。

原算法中，預(yù)選框的比例共5種，實驗選取k=5，以數(shù)據(jù)集中車、人和自行車三類數(shù)據(jù)目標(biāo)框作為初始數(shù)據(jù)輸入，進(jìn)行目標(biāo)框維度聚類實驗，得到的預(yù)選框比例如表3所示。

表3 預(yù)選框比例值

根據(jù)表3中數(shù)據(jù)可知，標(biāo)簽為車的樣本目標(biāo)框?qū)捀呔S度比例大概為(3.5,3,2.3,1.5，1)；標(biāo)簽為人的樣本目標(biāo)框?qū)捀呔S度比例大概為(1,0.8,0.7,0.5，0.2)；標(biāo)簽為自行車的樣本目標(biāo)框?qū)捀呔S度比例大概為(2,1.6,1.3,1,0.5)。選擇其中最大、最小和出現(xiàn)頻率較高的四個數(shù)據(jù)作為改進(jìn)算法的預(yù)選框的寬高比，即使用更符合樣本的(7/2,2,3/2,1,1/2,1/4)作為改進(jìn)SSD算法的預(yù)選框的寬高比，提高算法對特定障礙目標(biāo)的預(yù)選框生成速度，進(jìn)一步提高算法的檢測速度。

3.3 默認(rèn)框尺寸

SSD算法中多級別的物體基本尺寸比例大小為0.1至0.8，即當(dāng)輸入為1024×1024時，最小網(wǎng)格大小為102×102，對于分辨率較低的小目標(biāo)障礙物仍然過大。

為了多級別障礙物在網(wǎng)絡(luò)模型中能具有較好的輸入，綜合各類別的數(shù)據(jù)集的預(yù)選框?qū)捀弑染垲惤Y(jié)果，使用(7/2,2,3/2,1,1/2,1/4)作為改進(jìn)SSD算法的預(yù)選框的寬高比，調(diào)整默認(rèn)框與原始圖像的比例為[1/32，1/16，1/8，1/4，1/2，1]，增加網(wǎng)絡(luò)對小目標(biāo)障礙物的敏銳性、減少漏檢情況，使改進(jìn)算法對小目標(biāo)障礙物的定位更加精確。

4 實驗

實驗硬件配置：Intel Xeon E5-1603 v4處理器、2x GeForce GTX1080顯卡，32GBRAM的服務(wù)器。軟件環(huán)境配置：Ubuntu16.04系統(tǒng)、CUDA、OpenCV、tensorflow框架。

改進(jìn)網(wǎng)絡(luò)模型在訓(xùn)練過程主要超參數(shù)的設(shè)置如表4所示。

表4 超參數(shù)設(shè)置

實驗選取PASCAL VOC數(shù)據(jù)集進(jìn)行訓(xùn)練和測試，訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集比例為9∶1。訓(xùn)練損失圖像如圖4所示。其中橫坐標(biāo)為迭代次數(shù)，縱坐標(biāo)為訓(xùn)練loss值。

圖4 改進(jìn)算法損失曲線

從圖4中可以看出，使用Momentum SGD算法進(jìn)行模型的訓(xùn)練實驗，迭代次數(shù)在4000次以內(nèi)時，使用較大的學(xué)習(xí)率，損失函數(shù)曲線下降速度較快；當(dāng)?shù)螖?shù)達(dá)到8000次，損失函數(shù)曲線波動變??；減小訓(xùn)練使用的學(xué)習(xí)率數(shù)值，繼續(xù)對網(wǎng)絡(luò)模型的訓(xùn)練，直到損失曲線的波動更加平緩，且趨近于零，得到針對室外障礙物檢測的網(wǎng)絡(luò)權(quán)重數(shù)據(jù)。

4.1 小目標(biāo)檢索率對比

為證明在小物體目標(biāo)檢測上改進(jìn)SSD算法的檢索能力更強，選取一系列具有代表性的樣本圖片進(jìn)行針對性對比，測試數(shù)據(jù)中人、車、自行車三種類別的目標(biāo)障礙物數(shù)量基本平均，定義分辨率小于70×70的障礙物為小目標(biāo)，測試樣本中標(biāo)注物體共1142個，屬于小目標(biāo)的標(biāo)注物體共972個。

以其中較易觀測的樣本作為代表，兩種算法的檢測效果對比如圖5所示。

圖5 檢測效果對比

圖5a、圖5c為原算法檢測效果，圖5b、圖5d為改進(jìn)算法的檢測效果。圖5a、圖5b中共5個目標(biāo)物體，其中人、自行車以及存在部分遮擋的汽車3個目標(biāo)物體可被認(rèn)做小目標(biāo)障礙物；原算法均未對圖像中的小目標(biāo)障礙物做出準(zhǔn)確檢測；改進(jìn)算法檢測出2個小目標(biāo)物體，漏檢圖中存在部分遮擋的汽車障礙，且檢測出的類別置信度較原算法均有提高。圖5c、圖5d中共7個目標(biāo)物體，被大車遮擋的2人和遠(yuǎn)處的3車和1人可被視作小目標(biāo)障礙物；原算法檢測出1個小目標(biāo)障礙；改進(jìn)算法檢測出3個小目標(biāo)障礙；漏檢被大車嚴(yán)重遮擋的1人和遠(yuǎn)處分辨率過低的1車1人。實驗結(jié)果表明，在輸入圖像分辨率較好的情況下，改進(jìn)SSD算法能檢測出更多的小目標(biāo)障礙物，且類別置信度和定位精確度皆高于原算法。

檢索能力由F表示，其表達(dá)式如式(8)所示。

(8)

式中：P為準(zhǔn)確率；R為召回率。

由于同一目標(biāo)檢測算法對不同的數(shù)據(jù)類別的識別差異較大，分別把三類數(shù)據(jù)樣本分為六組進(jìn)行實驗比較，并根據(jù)多數(shù)據(jù)輸入得到的F值繪制原算法與改進(jìn)SSD算法的小目標(biāo)檢索能力對比，結(jié)果如圖6所示。

圖6 小目標(biāo)檢索能力對比

綜合所有小目標(biāo)數(shù)據(jù)集實驗結(jié)果，原算法的F值為0.51，改進(jìn)算法的F值為0.62，提高了21.5%。

4.2 目標(biāo)檢測指標(biāo)對比

在多類別目標(biāo)檢測中，存在檢測目標(biāo)的樣本被稱為正樣本(P)，存在非檢測目標(biāo)的為負(fù)樣本(N)。通常由平均準(zhǔn)確率(mean Average Precision, mAP)衡量檢測器在所有類別上的性能好壞，其計算方式為計算完每個類別的平均檢測精度(AP)后再取所有類別的平均值。mAP的計算方式見公式(9)。

(9)

每個類別的AP值為PR(precision,recall)曲線的線下面積。PR曲線根據(jù)F1獲得，F(xiàn)1的計算方法如式(10)所示。

F1=2×p×r×(p+r)

(10)

式中：p為準(zhǔn)確率；r為召回率。

IoU(Intersection over Union)是指模型預(yù)測得到的目標(biāo)框和真值框之間交集與并集的面積比值，使用IoU作為判定目標(biāo)是否被檢測到的依據(jù)，實驗選取0.5作為IoU閾值對算法的檢測精度進(jìn)行評估，以PASCAL VOC2007中測試數(shù)據(jù)集中的車、自行車、人標(biāo)簽的數(shù)據(jù)為測試樣本，分別對本文改進(jìn)算法與原SSD算法、YOLO算法、Faster R-CNN等目前流行的目標(biāo)檢測算法進(jìn)行比較，計算其關(guān)于室外障礙物相關(guān)類別的mAP值和算法的檢測速度(FPS)，實驗結(jié)果如表5所示。

表5 各目標(biāo)檢測算法對比

從表5中可以看出，在輸入圖像的尺寸為300×300的情況下，四種檢測算法中，F(xiàn)aster R-CNN、原SSD算法和本文的改進(jìn)算法在檢測準(zhǔn)確率上表現(xiàn)較好，但Faster R-CNN算法模型的速度過慢，不能滿足場景所需的實時檢測需求。本文提出的改進(jìn)算法mAP為78.0%，和原SSD算法相比提高了3.9個百分點，且在針對各個類別的檢測上皆有一定程度的提升。由于改進(jìn)模型在前置網(wǎng)絡(luò)上增加了多尺度的HDC提取特征，模型的檢測速度相較原SSD算法下降了8FPS，但仍可滿足室外環(huán)境下的實時檢測的需要。

5 結(jié)論

針對室外小目標(biāo)障礙物檢測提出一種以SSD算法為基礎(chǔ)的改進(jìn)算法。本算法通過在網(wǎng)絡(luò)結(jié)構(gòu)中增添HDC新型卷積、fc層轉(zhuǎn)換為HDC卷積網(wǎng)絡(luò)層進(jìn)行采樣，減少圖像經(jīng)過卷積層后的信息損失，精細(xì)網(wǎng)絡(luò)的輸出結(jié)果；使用K-means聚類法提取數(shù)據(jù)集圖像目標(biāo)框的維度，計算預(yù)選框的長寬比例，并調(diào)整默認(rèn)框與原始圖像比例值，增加網(wǎng)絡(luò)對小目標(biāo)障礙物的敏銳性，精確本算法對目標(biāo)的定位。實驗結(jié)果表明，改進(jìn)SSD算法相比于傳統(tǒng)目標(biāo)檢測算法在小目標(biāo)的檢索能力和檢測準(zhǔn)確率上均有較大進(jìn)步，能夠在圖像分辨率較低的情況下對小目標(biāo)障礙進(jìn)行準(zhǔn)確迅速的檢測，滿足實時檢測的需求。