馬林 朱昌明 周日貴

摘要：針對(duì)港口集裝箱破損檢測(cè)的算法較少，并且存在檢測(cè)速度慢、檢測(cè)精度低的問題，本文提出一種基于改進(jìn)的YOLOv4卷積神經(jīng)網(wǎng)絡(luò)的集裝箱破損檢測(cè)方法。通過改進(jìn)的K均值聚類算法獲取集裝箱數(shù)據(jù)集的錨點(diǎn)框，結(jié)合焦點(diǎn)分類損失函數(shù)，減少易分類樣本的損失;引入α平衡因子調(diào)節(jié)正負(fù)樣本的不均衡，使檢測(cè)結(jié)果更加精確。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的YOLOv4算法比目前流行的算法在明顯破損檢測(cè)及小目標(biāo)破損檢測(cè)上具有更好的效果，且不會(huì)明顯增加檢測(cè)時(shí)間，在集裝箱破損檢測(cè)等方面具有較高的實(shí)用價(jià)值。

關(guān)鍵詞： 港口應(yīng)用; YOLOv4; K均值聚類; 焦點(diǎn)分類損失函數(shù); 破損檢測(cè)

中圖分類號(hào)： TP391.41 ? ?文獻(xiàn)標(biāo)志碼： A

Abstract： There are few algorithms for port container damage detection， and there are problems of slow detection speed and low detection accuracy. Aimed at the problems， an improved YOLOv4 convolutional neural network is proposed for container damage detection. The anchor frame of the container dataset is obtained by an improved K-means clustering algorithm， and the focus classification loss function is combined to reduce the loss of easily classification samples. The α balance factor is introduced to adjust the imbalance between positive and negative samples， which makes the detection results more accurate. The experimental results show that， compared with the current popular algorithm， the improved YOLOv4 algorithm is of better effect on obvious damage detection and small target damage detection， and the detection time does not significantly increase， so it has a higher practical value in container damage detection.

Key words： port application; YOlOv4; K-means clustering; focus classification loss function; damage detection

0 引 言

隨著全球經(jīng)濟(jì)一體化發(fā)展，越來越多的國際貿(mào)易貨物需經(jīng)由港口運(yùn)輸，港口作業(yè)的高效和安全變得越來越重要，而集裝箱的智能化管理是影響港口作業(yè)效率的主要因素之一。為此，一些學(xué)者提出了箱號(hào)識(shí)別，如：WANG等[1]采用一種基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法Faster-RCNN對(duì)集裝箱箱號(hào)進(jìn)行檢測(cè)識(shí)別;BU等[2]采用改進(jìn)的區(qū)域生成網(wǎng)絡(luò)實(shí)現(xiàn)箱號(hào)檢測(cè)，再通過CNN對(duì)目標(biāo)字符進(jìn)行識(shí)別;馬欣欣等[3]將傳統(tǒng)的加權(quán)模板算法應(yīng)用到集裝箱檢測(cè)上。針對(duì)破損檢測(cè)方面的研究，江南等[4]對(duì)單個(gè)絕緣子利用圖像處理技術(shù)進(jìn)行定位檢測(cè)，楊鵬等[5]結(jié)合信息熵與低秩張量之間的差熵檢測(cè)破損區(qū)域。這些利用傳統(tǒng)機(jī)器學(xué)習(xí)檢測(cè)破損區(qū)域的方法有2個(gè)缺點(diǎn)：（1）無法達(dá)到實(shí)時(shí)檢測(cè);（2）對(duì)復(fù)雜的自然場(chǎng)景的檢測(cè)準(zhǔn)確率低。對(duì)比傳統(tǒng)學(xué)習(xí)方法，當(dāng)前深度學(xué)習(xí)算法有更好的目標(biāo)檢測(cè)效果。2017年，LIN等[6]提出焦點(diǎn)分類損失函數(shù)，解決了目標(biāo)檢測(cè)中正負(fù)樣本不均衡的問題。本文基于已有的研究，結(jié)合集裝箱數(shù)據(jù)集和箱頂洞破損特征，采用YOLOv4[7]算法和焦點(diǎn)分類損失函數(shù)調(diào)整檢測(cè)類別的目標(biāo)權(quán)重，使模型更注重對(duì)明顯破損區(qū)域和劃痕或小孔等區(qū)域的檢測(cè);使用K均值聚類[8]生成集裝箱數(shù)據(jù)集的錨點(diǎn)框，提高檢測(cè)準(zhǔn)確性。最后，通過實(shí)驗(yàn)結(jié)果證明，本文方法可以同時(shí)提高集裝箱破損檢測(cè)的平均精度和速度。

1 YOLOv4算法

1.1 YOLOv4算法原理

YOLOv4[7]算法以YOLOv3算法為基礎(chǔ)，在特征提取網(wǎng)絡(luò)的修改、網(wǎng)絡(luò)訓(xùn)練方法、激活函數(shù)運(yùn)用、損失函數(shù)的改進(jìn)以及數(shù)據(jù)預(yù)處理等各方面做出改進(jìn)。該算法主要由特征提取層、特征融合層和預(yù)測(cè)層3個(gè)部分組成，具體結(jié)構(gòu)見圖1。

圖1中，CBM塊為卷積層、歸一化和Mish激活函數(shù)的結(jié)合;CBL塊為卷積層、歸一化和Leaky激活函數(shù)的結(jié)合;Res為兩個(gè)CBM塊加上跳層連接組合;SPP是空間特征金字塔池化，由3個(gè)池化層組成。

1.2 YOLOv4算法核心

YOLO網(wǎng)絡(luò)是一種基于深度學(xué)習(xí)的單階段目標(biāo)檢測(cè)算法，具有較快的檢測(cè)速度，在實(shí)際應(yīng)用中也取得了較好的效果。YOLO網(wǎng)絡(luò)將輸入的圖片劃分為大小為N×N的網(wǎng)格，當(dāng)破損區(qū)域落入某個(gè)網(wǎng)格中時(shí)，由該網(wǎng)絡(luò)負(fù)責(zé)檢測(cè)目標(biāo)[9]。與其他單階段算法相比，YOLO能夠更加有效地檢測(cè)不同尺度的目標(biāo)區(qū)域，同時(shí)YOLO在速度性能上表現(xiàn)突出，可以滿足港口集裝箱破損檢測(cè)的需求。

YOLOv4[7]的網(wǎng)絡(luò)結(jié)構(gòu)比YOLOv3的更復(fù)雜，它主要是在YOLOv3的基礎(chǔ)上進(jìn)行了以下改進(jìn)：

（1）輸入端。對(duì)輸入圖像數(shù)據(jù)進(jìn)行Mosaic數(shù)據(jù)增強(qiáng)，通過分別對(duì)4張圖片進(jìn)行翻轉(zhuǎn)、縮放、色域改變等，并且按照4個(gè)方向位置擺好，進(jìn)行圖像的組合，極大地豐富了檢測(cè)物體背景。

（2）主干特征提取網(wǎng)絡(luò)。在每個(gè)Darknet53中添加CSP模塊[10]，并且在主干網(wǎng)絡(luò)中使用Mish激活函數(shù)，同時(shí)使用Dropblock正則化方式隨機(jī)刪除神經(jīng)元，防止過擬合。

（3）特征融合模塊。在特征提取網(wǎng)絡(luò)與最后的輸出層之間添加SPP[11]模塊和PANet[12]模塊，使網(wǎng)絡(luò)進(jìn)行多尺度特征信息融合。

（4）預(yù)測(cè)模塊。在3個(gè)不同尺度的特征圖上分別對(duì)大、中和小目標(biāo)進(jìn)行檢測(cè)預(yù)測(cè)，在特征圖上應(yīng)用錨點(diǎn)框，并生成帶有類概率、對(duì)象得分和包圍框的最終輸出向量[6]。

2 YOLOv4網(wǎng)絡(luò)模型改進(jìn)

2.1 錨點(diǎn)框更新

錨點(diǎn)框的大小對(duì)于YOLOv4網(wǎng)絡(luò)十分重要，若初始邊界框參數(shù)更接近真實(shí)邊界框，則模型收斂速度會(huì)更快，并且預(yù)測(cè)邊界會(huì)更加貼合真實(shí)邊界框。

YOLOv4算法在訓(xùn)練前可通過K均值聚類算法對(duì)相應(yīng)標(biāo)注集中的邊界框?qū)?、高進(jìn)行聚類，以獲得初始邊界框尺寸。由于在標(biāo)準(zhǔn)K均值聚類算法中用歐氏距離度量?jī)牲c(diǎn)間的距離，較大邊界框的尺寸誤差比較小邊界框的大。為提高檢測(cè)準(zhǔn)確率，對(duì)K均值聚類算法進(jìn)行優(yōu)化。根據(jù)交并比的重疊度選取更適合的錨點(diǎn)框，采用如下距離公式[13]使邊界框交并比的大小與邊界框尺寸無關(guān)。

為驗(yàn)證引入焦點(diǎn)分類損失函數(shù)的有效性，將原網(wǎng)絡(luò)結(jié)構(gòu)與本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行對(duì)比。其中焦點(diǎn)分類損失函數(shù)參數(shù)γ=2，α1、α2、α3分別設(shè)置為1、2、2。這里針對(duì)不同類別設(shè)置權(quán)重，可以使模型更加注重檢測(cè)明顯破損區(qū)域、小目標(biāo)（劃痕或小孔）。由表3可知，本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)比YOLOv3在槽、明顯破損區(qū)域的檢測(cè)精度上都有明顯提升，明顯破損區(qū)域的檢測(cè)平均精度由35.29%上升到73.46%，小目標(biāo)的檢測(cè)平均精度則由22.60%上升到31.57%。本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)比YOLOv4在檢測(cè)明顯破損區(qū)域和小目標(biāo)上也有明顯的提升。另外，本文改進(jìn)的算法比原算法在平均精度均值上提升了6.46%，這表示改進(jìn)后的算法減少了小目標(biāo)的漏檢、誤檢等情況，提高了算法性能。

運(yùn)行時(shí)間增加是因?yàn)闄z測(cè)到了更多的目標(biāo)。對(duì)小目標(biāo)檢測(cè)的平均精度不太高是因?yàn)閿?shù)據(jù)集是人工標(biāo)注的，可能存在對(duì)小目標(biāo)區(qū)域漏標(biāo)、多標(biāo)等情況。另外，對(duì)于劃痕或小孔等小目標(biāo)的檢測(cè)，自然場(chǎng)景數(shù)據(jù)集會(huì)產(chǎn)生許多的干擾，如集裝箱上的黑漆、銹跡、水漬、光照等[19-20]。

為驗(yàn)證本文算法的有效性，表3展示幾個(gè)比較有名的算法的性能比較，其中：SSD512[15]采用不同的卷積對(duì)不同特征圖進(jìn)行檢測(cè);Efficientdet-d0、Efficientdet-d1[21]具有可擴(kuò)展體系結(jié)構(gòu)，其主要利用反復(fù)自上向下和自下向上的特征融合，將特征進(jìn)行回歸和分類。

由表3可知，本文算法具有最優(yōu)的表現(xiàn)。圖2展示的是算法改進(jìn)前后目標(biāo)檢測(cè)的效果圖，其中：藍(lán)色框表示槽（類別1）的部分;黃色框表示明顯破損部分（類別2）;紅色框是劃痕或小孔部分（類別3）;各個(gè)框的上方是對(duì)預(yù)測(cè)類別的置信度得分。由圖2可見，本文算法對(duì)集裝箱破損檢測(cè)的效果很好。

4 總結(jié)和未來工作

港口集裝箱破損智能化檢測(cè)將是大勢(shì)所趨，故本文針對(duì)集裝箱破損檢測(cè)設(shè)計(jì)了一種改進(jìn)的YOLOv4算法。首先采用優(yōu)化的K均值聚類算法獲得特定數(shù)據(jù)集合適的錨點(diǎn)框，接著對(duì)小目標(biāo)分類損失函數(shù)權(quán)重進(jìn)行修改，使正負(fù)樣本不平衡問題得到充分緩解。經(jīng)測(cè)試發(fā)現(xiàn)，本文算法比目前流行的算法在明顯破損區(qū)域和小目標(biāo)（劃痕或小孔）檢測(cè)方面具有較好的檢測(cè)效果，比未改進(jìn)YOLOv4算法的平均精度均值提升了10%左右，其中對(duì)明顯破損區(qū)域和小目標(biāo)的檢測(cè)平均精度分別上升了10.57%和13.53%。

本文以YOLOv4算法作為主要網(wǎng)絡(luò)架構(gòu)，主要貢獻(xiàn)如下：（1）針對(duì)在集裝箱破損檢測(cè)中對(duì)明顯破損區(qū)域和小目標(biāo)定位不準(zhǔn)確問題，通過對(duì)數(shù)據(jù)集進(jìn)行聚類處理，獲取更準(zhǔn)確的錨點(diǎn)框。（2）對(duì)分類損失函數(shù)進(jìn)行修改，使集裝箱破損正負(fù)樣本不均衡問題得到緩解，提高了檢測(cè)效果。

未來集裝箱破損檢測(cè)研究可以關(guān)注以下問題：（1）針對(duì)數(shù)據(jù)集標(biāo)注問題、小目標(biāo)檢測(cè)平均精度低的問題，劃分更規(guī)范的標(biāo)注標(biāo)準(zhǔn)，減少檢測(cè)錯(cuò)誤和誤檢測(cè)。（2）減少光照、雨水等對(duì)圖像的干擾。

參考文獻(xiàn)：

[1] WANG Zhiming， WANG Wuxi， XING Yuxiang. Automatic container code recognition via Faster-RCNN[C]//International Conference on Control， Automation and Robotics （ICCAR）. 2019： 870-874. DOI： 10.1109 / ICCAR.2019.8813401.

[2] BU Wanghui， YAN Shuang， CHEN Jing， et al. Visual recognition of container number with arbitrary orientations based on deep convolutional neural network[C]//2018 10th International Conference on Intelligent Human-Machine Systems and Cybernetics. IEEE， 2018： 204-207. DOI： 10.1109/IHMSC.2018.10153.

[3] 馬欣欣， 李小平. 集裝箱箱號(hào)字符識(shí)別關(guān)鍵技術(shù)的研究[J]. 現(xiàn)代電子技術(shù)， 2019， 42（14）： 131-134， 139. DOI： 10.16652/j.issn.1004-373x.2019.14.030.

[4] 江南， 李怡然， 黃毅標(biāo)， 等. 基于絕緣子的高空電線桿損壞檢測(cè)技術(shù)[J]. 機(jī)械設(shè)計(jì)與制造工程， 2019， 48（3）： 107-111. DOI： 10.3969/j.issn.2095-509X.2019.03.025.

[5] 楊鵬， 劉德兒， 李瑞雪， 等. 結(jié)合信息熵與低秩張量分析的金屬零件破損檢測(cè)[J]. 激光與光電子學(xué)進(jìn)展， 2019， 56（21）： 64-71. DOI： 10.3788/LOP56.211006.

[6] LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2020， 42（2）： 318-327. DOI： 10.1109/TPAMI.2018.2858826.

[7] BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： optimal speed and accuracy of object detection[EB/OL]. arXiv： 2004.10934[cs.CV]. https：//arxiv.org/abs/2004.10934v1.

[8] 王菲菲， 李秦， 張夢(mèng)佳. k-means聚類算法的改進(jìn)研究[J]. 甘肅科技縱橫， 2017， 46（3）： 68-70. DOI： 10.3969/j.issn.1672-6375.2017.03.021.

[9] 陳正斌， 葉東毅， 朱彩霞， 等. 基于改進(jìn)YOLOv3的目標(biāo)識(shí)別方法[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用， 2020， 29（1）： 49-58. DOI： 10.15888/j.cnki.csa.007230.

[10] WANG C Y， LIAO H Y M， YEH I H， et al. CSPNet： a new backbone that can enhance learning capability of CNN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. IEEE， 2020： 1571-1580. DOI： 10.1109/CVPRW50498.2020.00203.

[11] PURKAIT P， ZHAO Cheng， ZACH C. SPP-net： deep absolute pose regression with synthetic views[EB/OL]. arXiv：1712.03452[cs.CV]. https：//arxiv.org/abs/1712.03452v1.

[12] WANG Xiaolan， WANG Shuo， CAO Jiaqi， et al. Data-driven based tiny-YOLOv3 method for front vehicle detection inducing SPP-net[J]. IEEE Access， 2020， 8： 110227-110236. DOI： 10.1109/ACCESS.2020.3001279.

[13] LIU Shu， QI Lu， QIN Haifang， et al. Path aggregation network for instance segmentation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2018： 8759-8768. DOI： 10.1109/CVPR.2018.00913.

[14] 黃鳳榮， 李楊， 郭蘭申， 等. 基于Faster R-CNN的零件表面缺陷檢測(cè)算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2020， 32（6）： 883-893. DOI： 10.3724/SP.J.1089.2020.17981.

[15] LIU Wei， ANGUELOV D， ERHAN D， et al. SSD： single shot multibox detector[C]//Computer Vision–ECCV 2016. Lecture Notes in Computer Science， 2016， 9905： 21-37. DOI： 10.1007/978-3-319-46448-0_2.

[16] LI Ye， SHI Fangye， HOU Shaoqi， et al. Feature pyramid attention model and multi-label focal loss for pedestrian attribute recognition[J]. IEEE Access， 2020， 8： 164570-164579. DOI： 10.1109/ACCESS.2020.3010435.

[17] ZHU Qinfeng， ZHENG Huifeng， WANG Yuebing， et al. Study on the evaluation method of sound phase cloud maps based on an improved YOLOv4 algorithm[J]. Sensors， 2020， 20（15）： 4314. DOI： 10.3390/s20154314.

[18] LIN T Y， MAIRE M， BELONGIE S， et al. Microsoft COCO： common objects in context[C]//Computer Vision–ECCV 2014. Lecture Notes in Computer Science， 2014， 8693： 740-755. DOI： 10.1007/978-3-319-10602-1_48.

[19] 任海鵬， 馬展峰. 基于復(fù)雜網(wǎng)絡(luò)特性的帶鋼表面缺陷識(shí)別[J]. 自動(dòng)化學(xué)報(bào)， 2011， 37（11）： 1407-1412. DOI： 10.3724/SP.J.1004.2011.01407.

[20] 徐志剛， 車艷麗， 李金龍， 等. 路面破損圖像自動(dòng)處理技術(shù)研究進(jìn)展[J]. 交通運(yùn)輸工程學(xué)報(bào)， 2019， 19（1）： 176-194.

[21] TAN Mingxing， PANG Ruoming， LE Q V. EfficientDet： scalable and efficient object detection[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2020： 10778-10787. DOI： 10.1109/CVPR42600.2020.01079.

（編輯 賈裙平）