陳亮杰 王飛 王梨 王林

摘 要：隨著信息技術(shù)和計算機(jī)視覺技術(shù)的發(fā)展，倉儲管理自動化和智能化成為趨勢，對倉儲物體進(jìn)行準(zhǔn)確檢測變得尤為重要。針對倉儲環(huán)境下的物體檢測應(yīng)用場景，提出一種基于SSD的倉儲物體檢測算法，實現(xiàn)對倉儲環(huán)境下的物體智能檢測。首先采用VGG16網(wǎng)絡(luò)進(jìn)行圖像特征提取，然后在倉儲物體數(shù)據(jù)集上進(jìn)行模型訓(xùn)練，最后通過優(yōu)化模型參數(shù)將訓(xùn)練好的模型應(yīng)用于倉儲物體檢測。在創(chuàng)建的倉儲物體數(shù)據(jù)集上訓(xùn)練SSD300和SSD500兩種模型，獲得的倉儲物體檢測準(zhǔn)確率（mAP）分別為91.83%和94.32%，表明該算法基本實現(xiàn)了倉儲物體的準(zhǔn)確檢測。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);倉儲環(huán)境;物體檢測;SSD;VGG16

DOI：10. 11907/rjdk. 182862

中圖分類號：TP306文獻(xiàn)標(biāo)識碼：A文章編號：1672-7800（2019）004-0028-04

0 引言

物流配送是電子商務(wù)的核心環(huán)節(jié)，倉儲物體的自動檢測很大程度上能推動倉儲物流的自動化、智能化管理。對倉儲物體進(jìn)行準(zhǔn)確檢測，能夠?qū)崿F(xiàn)數(shù)據(jù)采集、管理和核對的精確化，動態(tài)反映倉儲現(xiàn)狀，使倉儲管理者能及時、準(zhǔn)確和全面地了解倉儲環(huán)境空間布局情況，以有效減少員工的勞動強(qiáng)度，降低成本，提高工作效率。

倉儲物體檢測本質(zhì)上屬于通用物體檢測范疇，物體檢測是計算機(jī)視覺領(lǐng)域的一個重要研究方向。隨著深度學(xué)習(xí)的深入，在計算機(jī)視覺領(lǐng)域采用基于深度學(xué)習(xí)的算法進(jìn)行物體檢測成為重要方法之一。

Sermanet等[1]提出基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的OverFeat算法，該算法主要采用滑窗（Sliding Window）對物體進(jìn)行定位檢測。Girshick等[2]結(jié)合AlexNet[3]和選擇性搜索（Selective Search，SS）[4]提出R-CNN（Regions with CNN）算法，該算法首先采用SS從可能包含物體的圖像中提取區(qū)域，然后將這些感興趣區(qū)域（Regions of Interest，RoI）縮放到統(tǒng)一大小，并輸入CNN進(jìn)行特征提取，最后將提取到的特征向量輸入SVM分類器進(jìn)行分類。由于R-CNN中的CNN特征是從每幅圖像的每個區(qū)域單獨(dú)提取的，一定程度上存在計算開銷昂貴等缺點。因此，He等 [5]將傳統(tǒng)的空間金字塔池（Spatial Pyramid Pooling，SPP）[6]引入CNN結(jié)構(gòu)，即在最后一個卷積層（Convolution Layer）頂部添加一個SPP層，通過全連接層（Fully Connected Layer）獲得固定長度的特征，提出SPP-Net算法。Girshick等 [7]提出的Fast R-CNN算法主要采用跨區(qū)域提議共享卷積計算思路，并在最后一個卷積層和第一個全連接層之間添加一個RoI池層，使每個RoI提取固定長度的特征，以提高物體檢測速度和準(zhǔn)確性。Ren等 [8]提出的Faster R-CNN算法采用一種高效、準(zhǔn)確的區(qū)域提議網(wǎng)絡(luò)（Region Proposal Network，RPN）代替SS生成區(qū)域提議，可同時和檢測網(wǎng)絡(luò)共享全圖像卷積特征，實現(xiàn)端到端（End-to-End）的物體檢測。Dai等[9]提出的R-FCN算法，主要通過去除全連接層和使用一組特定的卷積層作為FCN輸出，構(gòu)建一組位置敏感分?jǐn)?shù)圖進(jìn)行物體檢測，以此提高物體檢測速度和準(zhǔn)確性。Szegedy等[10]提出DetectorNet算法，將物體檢測制定為一個目標(biāo)邊界框掩碼的回歸問題，使用AlexNet和一個回歸層取代最終的Softmax分類器層。Redmon等[11]提出YOLO（You Only Look Once）算法，將物體檢測作為從圖像像素到空間分離邊界框和相關(guān)類概率的回歸問題。由于完全去除了區(qū)域提議生成階段，因此僅使用一小部分候選區(qū)域就可直接預(yù)測檢測。YOLO的檢測速度非?？欤珯z測精度不是很高。為了在不降低過多檢測精度的同時保持實時速度，Liu等[12]提出了比YOLO算法更快的SSD（Single Shot MultiBox Detector）算法。SSD算法結(jié)合了不同分辨率的多個特征圖預(yù)測，以處理不同尺度物體，有效集成了YOLO算法的回歸思想和Faster R-CNN算法的錨機(jī)制，采用多尺度區(qū)域特征進(jìn)行回歸實現(xiàn)了快速檢測，同時仍保持較高的檢測精度。

目前基于深度學(xué)習(xí)的倉儲物體檢測算法比較少。劉江玉等 [13]提出基于深度學(xué)習(xí)的倉儲托盤檢測算法，主要基于Faster R-CNN算法設(shè)計托盤檢測模型，訓(xùn)練VGG16網(wǎng)絡(luò)，并創(chuàng)建倉儲托盤檢測數(shù)據(jù)集，實現(xiàn)倉儲機(jī)器人對倉儲環(huán)境下的托盤檢測。金秋等 [14]提出基于Faster R-CNN優(yōu)化和改進(jìn)后的倉儲物體檢測算法，該算法通過對Faster R-CNN模型進(jìn)行微調(diào)（Fine-Tuning）完成對托盤、貨物、人和叉車等物體的檢測。本文將通用物體檢測算法應(yīng)用于倉儲環(huán)境下的物體檢測，提出一種基于SSD的倉儲物體檢測算法。

1 基于SSD的倉儲物體檢測算法

1.1 SSD網(wǎng)絡(luò)結(jié)構(gòu)

SSD算法是一種基于回歸思想的深度卷積神經(jīng)網(wǎng)絡(luò)物體檢測算法，CNN主要用于為那些框中存在的物體實例生成固定大小的邊界框、物體類別的分?jǐn)?shù)，執(zhí)行非極大值抑制步驟以生成最終檢測結(jié)果。由于實時性和準(zhǔn)確性是倉儲物體檢測的基本性質(zhì)，所以選擇適用模型至關(guān)重要。雖然基于兩階段的算法在物體檢測方面取得了令人滿意的檢測精度，但是檢測速度較慢。SSD算法通過去除邊界框提議和后面的特征重采樣階段，使檢測速度得到了顯著提升。同時，SSD算法結(jié)合不同分辨率的多個特征圖，從而在多個尺度上進(jìn)行物體檢測，在一定程度上保持了較高的檢測精度。SSD網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

1.2 圖像特征提取網(wǎng)絡(luò)

當(dāng)前，用于圖像特征提取的主流網(wǎng)絡(luò)有AlexNet、GoogLeNet[15]、VGGNet[16]、ResNet[17]、DenseNet[18]等。綜合考慮網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性和分類精度，本文選擇VGG16網(wǎng)絡(luò)進(jìn)行圖像特征提取，其網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示。

1.3 損失函數(shù)

設(shè)[xpij=1]表示類別[p]的第[i]個默認(rèn)框與第[j]個真值（Ground Truth，GT）框相匹配，若不匹配，則[xpij=0]。根據(jù)預(yù)測匹配策略，則有[ixpij1]，這意味著可以有多個默認(rèn)框與第[j]個GT框匹配。SSD的損失函數(shù)是位置損失（Localization Loss，Loc）和置信度損失（Confidence Loss，Conf）的加權(quán)和，其表達(dá)式如公式（1）所示。

1.4 非極大值抑制

非極大值抑制（Non-Maximum Suppression，NMS）的實質(zhì)是搜索局部極大值，抑制非極大值元素，其目的是消除多余的框，找到最佳物體檢測位置。假設(shè)某物體檢測到6個候選框，每個候選框分別對應(yīng)一個類別分?jǐn)?shù)，根據(jù)分?jǐn)?shù)從小到大排列分別為（B1，S1），（B2，S2），（B3，S3），（B4，S4），（B5，S5），（B6，S6），S6> S5>S4>S3>S2>S1。NMS的執(zhí)行步驟為：①根據(jù)分?jǐn)?shù)大小，從最大概率矩形框B6開始;②分別計算B1～B5與B6的重疊度IoU是否大于預(yù)設(shè)閾值，如果大于設(shè)定閾值就舍棄分?jǐn)?shù)小于B6的框，同時標(biāo)記保留的框。例如，假設(shè)B2、B4與B6的重疊度超過閾值，就舍棄B2、B4，并標(biāo)記B6為第一個需要保留的框;③從剩余的矩形框B1、B3、B5中選取類別分?jǐn)?shù)最大的B5，并判斷B5與B1、B3的重疊度。如果IoU大于設(shè)定的閾值，同樣舍棄B1和B3，同時標(biāo)記B5為保留下來的第二個矩形框;④重復(fù)此過程，直到找到全部保留框。

1.5 訓(xùn)練策略

訓(xùn)練過程中需要確定哪些默認(rèn)框?qū)?yīng)于GT檢測并相應(yīng)地訓(xùn)練網(wǎng)絡(luò)，每個GT框都需要從不同位置、長寬比和尺度的默認(rèn)框中進(jìn)行選擇。采用MultiBox中的最佳Jaccard重疊將每個GT框匹配到默認(rèn)框，以使每個GT框都有一個對應(yīng)的源框。如果Jaccard重疊大于閾值0.5，則將默認(rèn)框與任意GT框匹配。不同于兩兩匹配，每個預(yù)測匹配可為每個GT框生成多個正的先驗匹配。對于每個先驗，SSD算法在所有物體類別之間共享邊界框調(diào)整。

2 實驗結(jié)果與分析

2.1 實驗運(yùn)行環(huán)境

本文實驗在Ubuntu16.04操作系統(tǒng)下基于Caffe深度學(xué)習(xí)框架完成，運(yùn)行環(huán)境基本配置為：GPU型號：NVIDIA TITAN X，CPU型號：Intel i7-7700k，顯存16GB，CUDA為CUDA8.0。

2.2 實驗數(shù)據(jù)集

本文實驗所需數(shù)據(jù)均為真實倉儲環(huán)境下通過攝像機(jī)采集獲得的倉儲物體圖像，并采用圖像標(biāo)注工具LabelImg進(jìn)行標(biāo)注，創(chuàng)建一個倉儲物體數(shù)據(jù)集，其包含10 450張圖像。將倉儲物體數(shù)據(jù)集分為訓(xùn)練集（Train Set）、驗證集（Validation Set）和測試集（Test Set），訓(xùn)練集約占64%，驗證集約占16%，測試集約占20%。

2.3 實驗結(jié)果及分析

為驗證本文算法的有效性，在創(chuàng)建的倉儲物體數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試。訓(xùn)練兩種不同輸入大小的模型，即SSD300和SSD500，測試得到的物體檢測準(zhǔn)確率mAP（mean Average Precision）如表2所示。

由表2可知，SSD500的mAP為94.32%，SSD300的mAP為91.83%，SSD500的mAP比SSD300的mAP提高了2.49%，基本實現(xiàn)了倉儲物體的準(zhǔn)確檢測。

由于篇幅所限，僅給出部分倉儲物體測試圖像的檢測效果，如圖2所示。

從圖2可以觀察到，在光照條件、物體尺度大小和顏色發(fā)生變化時，本文提出的倉儲物體檢測算法都能較好地檢測出倉儲環(huán)境下的物體。

3 結(jié)語

本文將基于卷積神經(jīng)網(wǎng)絡(luò)的單階段SSD算法應(yīng)用于倉儲環(huán)境，提出一種基于SSD的倉儲物體檢測算法。該算法首先采用VGG16網(wǎng)絡(luò)進(jìn)行圖像特征提取，然后在創(chuàng)建的倉儲物體數(shù)據(jù)集上訓(xùn)練SSD300和SSD500兩種模型，分別獲得91.83%的mAP和94.32%的mAP，基本實現(xiàn)了倉儲物體準(zhǔn)確檢測。但是本文算法對于較小的倉儲物體仍會出現(xiàn)漏檢，原因可能是本文使用的預(yù)訓(xùn)練模型是在ImageNet上預(yù)訓(xùn)練的，導(dǎo)致預(yù)訓(xùn)練模型與倉儲物體檢測模型存在差異，也有可能是由于創(chuàng)建的倉儲物體數(shù)據(jù)集數(shù)量不夠大。因此，針對物體漏檢問題，下一步需要優(yōu)化或改進(jìn)算法，創(chuàng)建一個規(guī)模大且質(zhì)量高的倉儲物體數(shù)據(jù)集，以盡量防止漏檢問題發(fā)生，從而進(jìn)一步提升倉儲物體檢測準(zhǔn)確率。

參考文獻(xiàn)：

[1] SERMANET P，EIGEN D，ZHANG X，et al. Overfeat： integrated recognition， localization and detection using convolutional networks[EB/OL]. http：//arxiv.org/abs/1312.6229.

[2] GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]. IEEE Conference on Computer Vision and Pattern Recognition， 2014： 580-587.

[3] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. Imagenet classification with deep convolutional neural networks[C]. Advances in Neural Information Processing Systems， 2012： 1097-1105.

[4] UIJLINGS J R R， SANDE K E A V D， GEVERS T， et al. Selective search for object recognition[J]. International Journal of Computer Vision， 2013， 104（2）： 154-171.

[5] HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，37（9）：1904-1916.

[6] LAZEBNIK S， SCHMID C， PONCE J. Beyond bags of features： spatial pyramid matching for recognizing natural scene categories[C].IEEE Conference on Computer Vision and Pattern Recognition， 2006： 2169-2178.

[7] GIRSHICK R. Fast r-cnn[C]. IEEE International Conference on Computer Vision， 2015： 1440-1448.

[8] REN S，HE K，GIRSHICK R，et al. Faster R-CNN： towards real-time object detection with region proposal networks[C]. Advances in Neural Information Processing Systems， 2015： 91-99.

[9] DAI J， LI Y， HE K， et al. R-FCN： object detection via region-based fully convolutional networks[C]. Advances in Neural Information Processing Systems， 2016： 379-387.

[10] SZEGEDY C， TOSHEV A， ERHAN D. Deep neural networks for object detection[C]. Advances in Neural Information Processing Systems， 2013： 2553-2561.

[11] REDMON J，DIVVALA S，GIRSHICK R，et al. You only look once： unified， real-time object detection[C]. IEEE Conference on Computer Vision and Pattern Recognition， 2015： 779-788.

[12] LIU W，ANGUELOV D，ERHAN D， et al. SSD： single shot multibox detector[C]. European Conference on Computer Vision， 2016： 21-37.

[13] 劉江玉，李天劍. 基于深度學(xué)習(xí)的倉儲托盤檢測算法研究[J].北京信息科技大學(xué)學(xué)報， 2017， 32（2）： 78-85.

[14] 金秋，李天劍. 倉儲環(huán)境下基于深度學(xué)習(xí)的物體識別方法研究[J]. 北京信息科技大學(xué)學(xué)報，2018，33（1）： 60-65.

[15] SZEGEDY C， LIU N W， JIA N Y， et al. Going deeper with convolutions[C]. Boston：IEEE Conference on Computer Vision and Pattern Recognition， 2015.

[16] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science， 2014（1）：2205-2211.

[17] HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition，LasVegas：2016.

[18] HUANG G，LIU Z， MAATEN L V D， et al. Densely connected convolutional networks[C].IEEE Conference on Computer Vision and Pattern Recognition， 2017： 2261-2269.

（責(zé)任編輯：杜能鋼）