邱 呂，任德均，郜 明，付 磊，吳華運(yùn)，胡云起

(四川大學(xué)機(jī)械工程學(xué)院，四川 成都 610065)

0 引 言

現(xiàn)代工業(yè)生產(chǎn)中大量的自動(dòng)化生產(chǎn)流水線上產(chǎn)品需要進(jìn)行裝箱計(jì)數(shù)檢測(cè)，計(jì)數(shù)精度關(guān)系到裝箱產(chǎn)品的數(shù)量，直接決定了裝箱的質(zhì)量。在醫(yī)用塑瓶裝箱過程中由于機(jī)械故障、震動(dòng)等導(dǎo)致少瓶、多瓶裝箱失誤從而影響企業(yè)信譽(yù)。傳統(tǒng)的人工方法不僅容易出差錯(cuò)，而且勞動(dòng)強(qiáng)度大、效率低。在生產(chǎn)線上的自動(dòng)計(jì)數(shù)檢測(cè)方法，已經(jīng)有很多的相關(guān)研究。如楊東燕[1]使用單片機(jī)作為控制器，并結(jié)合對(duì)射型光電傳感器，實(shí)現(xiàn)對(duì)流水線上產(chǎn)品數(shù)目的自動(dòng)計(jì)數(shù)。圖爾克(天津)傳感器有限公司[2]使用偏振反射板式光電傳感器對(duì)透明瓶子進(jìn)行計(jì)數(shù)檢測(cè)，該方法適用于檢測(cè)表面光亮的物體，在啤酒/飲料自動(dòng)化生產(chǎn)線上廣泛使用。此類方法對(duì)傳感器以及設(shè)備安裝要求較高，且若待檢測(cè)物體有輕微震動(dòng)將會(huì)對(duì)檢測(cè)結(jié)果產(chǎn)生重大影響。

相比于傳統(tǒng)方法，基于機(jī)器視覺的檢測(cè)方法克服了人工方法主觀因素帶來的影響，并在速度、精度和穩(wěn)定性方面具有優(yōu)勢(shì)。該方法主要分為2種：一種是利用數(shù)據(jù)特征建立模型求解實(shí)現(xiàn)，如Hough變換[3]和背景相減法[4]等。夏天煜等[5]通過Blobs分析解決了小包裝食鹽裝箱過程中由于疊包、近包缺陷引起的裝箱計(jì)數(shù)精度誤差。另一種是將特征提取方法[6-7]結(jié)合分類器得到檢測(cè)結(jié)果。將基于機(jī)器視覺的檢測(cè)方法應(yīng)用于本文的醫(yī)用塑瓶檢測(cè)任務(wù)中時(shí)，存在以下問題：1)醫(yī)用塑瓶瓶身透明與背景灰度差異不明顯，若基于圖像提取塑瓶特征很難實(shí)現(xiàn)檢測(cè)；2)在塑瓶裝箱實(shí)際成像中由于光照變化、瓶體反光等干擾使算法魯棒性降低；3)在裝箱過程中存在倒瓶、歪瓶等異常情況時(shí)，使用上述檢測(cè)方法計(jì)數(shù)精度不高、缺乏穩(wěn)定性，往往還需要現(xiàn)場(chǎng)人工加以調(diào)整。

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法框架主要分為基于區(qū)域候選框的二階段目標(biāo)檢測(cè)框架和一階段目標(biāo)檢測(cè)框架2大類[8]。二階段目標(biāo)檢測(cè)算法先生成一系列目標(biāo)候選區(qū)域，然后通過卷積神經(jīng)網(wǎng)絡(luò)提取特征進(jìn)行目標(biāo)位置的回歸和類別的識(shí)別，這類算法定位和識(shí)別精度高但速度慢，如R-CNN[9]、Fast R-CNN[10]、Faster R-CNN[11]等。王靜濤等[12]以深度卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，以Faster R-CNN為原型實(shí)現(xiàn)了對(duì)葉片氣孔快速檢測(cè)與統(tǒng)計(jì)計(jì)數(shù)。一階段的目標(biāo)檢測(cè)算法由于沒有候選區(qū)域生成過程直接從圖片獲取檢測(cè)結(jié)果，只處理一次圖像即可得到目標(biāo)的類別和位置信息，所以速度快，足以滿足檢測(cè)實(shí)時(shí)要求，但檢測(cè)效果不如二階段檢測(cè)算法，其代表算法主要有SSD[13]、YOLO[14]等。劉小剛等[15]利用YOLOv3方法在復(fù)雜背景中實(shí)現(xiàn)了對(duì)草莓的識(shí)別與定位。

圖1 醫(yī)用塑瓶裝箱計(jì)數(shù)檢測(cè)流程圖

因深度學(xué)習(xí)方法強(qiáng)大的特征自學(xué)習(xí)能力，無需人為提取特征，具有檢測(cè)精度高、速度快、魯棒性好等優(yōu)勢(shì)，本文提出一種基于深度學(xué)習(xí)的醫(yī)用塑瓶裝箱計(jì)數(shù)算法，計(jì)數(shù)檢測(cè)流程如圖1所示。首先用工業(yè)相機(jī)采集裝箱塑瓶圖像用作數(shù)據(jù)集，在訓(xùn)練過程中為了豐富圖像訓(xùn)練集，更好地提取圖像特征、泛化模型從而防止模型過擬合，對(duì)圖像進(jìn)行隨機(jī)旋轉(zhuǎn)、隨機(jī)剪切、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)等圖像增強(qiáng)預(yù)處理。然后將圖片送入目標(biāo)檢測(cè)網(wǎng)絡(luò)，利用深度神經(jīng)網(wǎng)絡(luò)提取特征預(yù)測(cè)出目標(biāo)。最后統(tǒng)計(jì)塑瓶目標(biāo)個(gè)數(shù)與預(yù)先設(shè)定的每箱合格塑瓶數(shù)量作比較，若相等則為裝箱合格，否則為裝箱不合格做后續(xù)處理。

1 算法網(wǎng)絡(luò)設(shè)計(jì)

1.1 RetinaNet

RetinaNet[20]是簡(jiǎn)單密集型的one-stage detector，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。整體是由骨干網(wǎng)絡(luò)ResNet[21]，特征金字塔網(wǎng)絡(luò)(FPN)和分類、回歸2個(gè)子網(wǎng)絡(luò)組成。FPN對(duì)ResNet的多尺度特征進(jìn)行了強(qiáng)化，得到表達(dá)力更強(qiáng)、包含多尺度目標(biāo)區(qū)域信息的卷積特征圖。分類子網(wǎng)絡(luò)對(duì)輸出進(jìn)行分類，回歸子網(wǎng)絡(luò)執(zhí)行邊框回歸任務(wù)。

圖2 RetinaNet網(wǎng)絡(luò)結(jié)構(gòu)圖

1.2 算法技術(shù)細(xì)節(jié)

1.2.1 特征金字塔網(wǎng)絡(luò)

FPN通過自頂向下(top-down)和橫向連接(lateral)通路[22]來增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)，從而有效地從單分辨率輸入圖像構(gòu)建出豐富的多尺度特征金字塔，把底層特征和高層特征進(jìn)行融合，使金字塔的每一層都可以用來檢測(cè)不同尺度的物體。本文的FPN由P3～P7構(gòu)成(Pi層的分辨率縮小到輸入圖像的2i)，其中P3、P4、P5層分別由ResNet的C3、C4、C5計(jì)算得來。P6是由C5使用stride=2的3×3卷積得到，P7是由P6經(jīng)過stride=2的3×3卷積得到，特征金字塔所有層的channel=256。

1.2.2 子網(wǎng)絡(luò)輕量化

FPN的每一層輸出都連接分類和回歸子網(wǎng)絡(luò)，用來預(yù)測(cè)目標(biāo)類別和位置。在本文檢測(cè)任務(wù)中，圖像內(nèi)容簡(jiǎn)單，僅包含塑瓶一類目標(biāo)，因此可以對(duì)子網(wǎng)絡(luò)進(jìn)行精簡(jiǎn)。在圖2的RetinaNet網(wǎng)絡(luò)結(jié)構(gòu)圖中，class subnet連接在FPN的每層FCN，參數(shù)共享。特征圖使用4個(gè)3×3的卷積層，每個(gè)卷積層接一個(gè)ReLU層，輸出的channel=CA(C是類別數(shù)，A是anchor數(shù))，最后使用sigmoid激活函數(shù)。box subnet結(jié)構(gòu)與class subnet相同但不共享參數(shù)，最后一層的channel=4A。原始的RetinaNet子網(wǎng)絡(luò)為5層卷積，本文將5層卷積層刪減為2層，實(shí)現(xiàn)網(wǎng)絡(luò)輕量化設(shè)計(jì)。

1.2.3 Focal Loss

Focal Loss損失函數(shù)是交叉熵(CE)損失函數(shù)的簡(jiǎn)單變形，其公式如下：

(1)

CE(pt)=-log(pt)

(2)

FL(pt)=-αt(1-pt)γlog (pt)

(3)

(4)

式中y表示真實(shí)標(biāo)簽的值，p表示概率，pt表示估計(jì)概率。α為正負(fù)樣本平衡因子，取值范圍為0～1。γ為調(diào)節(jié)參數(shù)，控制著縮放的比例。Focal Loss克服CE損失函數(shù)在易于分類的簡(jiǎn)單樣本上也有相當(dāng)大損失的缺點(diǎn)。簡(jiǎn)單樣本的pt較大則權(quán)重減少，困難樣本pt較小則權(quán)重增大，由此來抑制那些容易分類樣本的權(quán)重，將注意力集中在那些難以區(qū)分的樣本上，有效地解決正負(fù)樣本比例嚴(yán)重失衡的問題，從而大大地提高了一階段目標(biāo)檢測(cè)器的精度。本文模型訓(xùn)練時(shí)定位損失函數(shù)采用Focal Loss損失函數(shù)，分類采用的損失函數(shù)為平滑損失函數(shù)。

1.3 Anchor聚類改進(jìn)

在圖2的RetinaNet網(wǎng)絡(luò)結(jié)構(gòu)圖中P3～P7層的Anchors面積從32×32依次增加到512×512。每層使用{20，21/3，22/3}這3種尺度和{1:2,1:1,2:1}這3種不同高寬比生成共9種不同大小的錨框。每個(gè)錨框都對(duì)應(yīng)C(類別數(shù))維分類向量和4維的回歸向量，分別表示該框的類別和位置坐標(biāo)。若使用原始固定錨框或者手動(dòng)設(shè)置尺寸，并不能很好地對(duì)尺度以及高寬比差異較大的目標(biāo)進(jìn)行良好檢測(cè)。所以提出使用K-means聚類算法對(duì)裝箱塑瓶訓(xùn)練數(shù)據(jù)集的真實(shí)標(biāo)注框高寬比進(jìn)行聚類操作，實(shí)現(xiàn)根據(jù)檢測(cè)對(duì)象自適應(yīng)地設(shè)計(jì)合適的錨框個(gè)數(shù)以及尺寸，讓模型更容易學(xué)習(xí)，降低檢測(cè)任務(wù)的難度，提高本文塑瓶裝箱計(jì)數(shù)在倒瓶歪瓶等異常情況下的檢測(cè)效果。

K-means聚類是指把集合分成多個(gè)類，每個(gè)類中的對(duì)象都是彼此相似的。通過肘部法合理地設(shè)置聚類的K值為3，將真實(shí)塑瓶標(biāo)注框高、框?qū)捴涤成涞侥Ｐ停斎氤叽绾蟮木垲惤Y(jié)果如圖3所示。

圖3 真實(shí)框高寬聚類結(jié)果圖

由圖3可得，塑瓶的高、寬值聚類的中心為[82，58]，[80，68]，[101，79]，所以本文以{1.17，1.28，1.41}作為Anchor的比例值。由聚類結(jié)果知都是高瘦的box，符合將圖像縮放至網(wǎng)絡(luò)輸入尺寸的視覺效果。

2 實(shí)驗(yàn)以及結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文采用的數(shù)據(jù)為某廠家采集的塑瓶裝箱圖像共計(jì)200張，圖像的分辨率為1600×1200。將數(shù)據(jù)集中的100張圖像用標(biāo)注工具labelImg標(biāo)注為Pascal VOC的數(shù)據(jù)集格式，并按照8∶2的比例隨機(jī)劃分為訓(xùn)練集和驗(yàn)證集，剩余的100張圖像用來測(cè)試。訓(xùn)練集共制備了3996個(gè)瓶體的標(biāo)簽，其中異常情況(歪瓶、倒瓶)在總數(shù)據(jù)中的占比為1.8%。裝箱少瓶(標(biāo)準(zhǔn)為40瓶/箱)示例標(biāo)注圖如圖4所示，可見在異常情況下，即存在倒瓶、歪瓶時(shí)標(biāo)注框尺寸差異較大。

圖4 塑瓶標(biāo)注圖

2.2 評(píng)價(jià)指標(biāo)

IoU即交并比，表示了目標(biāo)預(yù)測(cè)框(DR)和真實(shí)標(biāo)注框(GT)的重疊度，是目標(biāo)檢測(cè)中測(cè)量在特定數(shù)據(jù)集中檢測(cè)對(duì)應(yīng)物體準(zhǔn)確度的一個(gè)標(biāo)準(zhǔn)，其計(jì)算公式如下：

(5)

在很多情況下，不管是準(zhǔn)確率P(模型預(yù)測(cè)出的樣本中真樣本的比例)還是查全率R(模型預(yù)測(cè)出的正樣本占所有正樣本的比例)均不能比較全面地對(duì)模型性能進(jìn)行有效評(píng)估。F度量值(F-measure)是查全率和查準(zhǔn)率在非負(fù)權(quán)重β下的加權(quán)調(diào)和平均值，其計(jì)算公式如下：

(6)

本文采用F1值(即β=1時(shí))作為算法的評(píng)價(jià)指標(biāo)。

2.3 實(shí)驗(yàn)分析

對(duì)本文算法在上述構(gòu)建的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)所用到的硬件環(huán)境為GPU：NVIDIA GeForce GTX 1060；CPU：Intel i7-8750, 2.20 GHz；RAM：16 GB。操作系統(tǒng)為Windows 10，使用的深度學(xué)習(xí)框架為Pytorch。

2.3.1 Anchor改進(jìn)前后檢測(cè)結(jié)果對(duì)比

為驗(yàn)證對(duì)Anchor使用了聚類操作的網(wǎng)絡(luò)模型性能，本文設(shè)計(jì)了對(duì)照實(shí)驗(yàn)1，分別將直接使用RetinaNet原始的Anchor尺度以及比例值與使用聚類得到的Anchor進(jìn)行訓(xùn)練作對(duì)比。2組數(shù)據(jù)均使用ResNet18預(yù)訓(xùn)練權(quán)重初始化網(wǎng)絡(luò)，優(yōu)化器選擇Adam，初始學(xué)習(xí)率設(shè)置為0.0001，batch size設(shè)置為2，訓(xùn)練輪數(shù)為20，每經(jīng)過15個(gè)epoch學(xué)習(xí)率衰減1/10，輸入尺寸為640×640。如圖5(a)所示，在訓(xùn)練過程中Anchor使用聚類操作比直接使用RetinaNet原始的Anchor尺度以及比例值的網(wǎng)絡(luò)收斂速度相對(duì)較快。如圖5(b)所示，在驗(yàn)證過程中不使用聚類操作的驗(yàn)證精度F1值為0.991，低于聚類Anchor的0.998。由此可得對(duì)Anchor使用聚類操作之后使訓(xùn)練過程中的損失收斂速度和驗(yàn)證F1值均得到了改善。

(a) 訓(xùn)練過程損失值圖

(b) 驗(yàn)證過程F1值圖圖5 原始Anchor和聚類Anchor訓(xùn)練驗(yàn)證比較

表1為2種方法驗(yàn)證過程中的IoU和F1值對(duì)比結(jié)果。由表可得，使用聚類操作后的模型不僅F1值較高，而且檢測(cè)IoU值也相對(duì)較高，即檢測(cè)框和GT真實(shí)框重合度較高，模型更容易擬合目標(biāo)的真實(shí)框。

表1 Anchor和聚類Anchor的性能對(duì)比

實(shí)驗(yàn)1檢測(cè)結(jié)果如圖6所示，圖6(a)為原始Anchor實(shí)驗(yàn)組得到的裝箱目標(biāo)檢測(cè)結(jié)果，圖6(b)為Anchor經(jīng)過聚類操作之后的檢測(cè)結(jié)果。由左邊2圖對(duì)比可得雖然2種方法的計(jì)數(shù)檢測(cè)均很準(zhǔn)確，均為40個(gè)，但是Anchor使用了聚類操作對(duì)于圖中裝箱四周瓶形狀差異較大的瓶子定位更加準(zhǔn)確，能將塑瓶目標(biāo)完整框出。由右邊2圖對(duì)比可得，使用原始Anchor訓(xùn)練得到的檢測(cè)模型對(duì)由于倒瓶、歪瓶異常情況導(dǎo)致的被遮擋瓶體會(huì)產(chǎn)生漏檢，而經(jīng)過聚類操作的訓(xùn)練模型魯棒性更強(qiáng)，得到正確的計(jì)數(shù)結(jié)果為36。比較檢測(cè)結(jié)果可以得到以下結(jié)論：1)使用了聚類操作Anchor相比于原始Anchor在正常情況下檢測(cè)的定位精度更高；2)改進(jìn)算法的魯棒性更強(qiáng)，能在異常情況下自適應(yīng)從而實(shí)現(xiàn)精確計(jì)數(shù)，減少漏檢。

(a) 原始Anchor檢測(cè)結(jié)果圖

(b) 聚類Anchor檢測(cè)結(jié)果圖

2.3.2 不同算法性能對(duì)比

為了驗(yàn)證本文算法對(duì)裝箱塑瓶檢測(cè)的有效性，設(shè)計(jì)了實(shí)驗(yàn)2。將本文提出的改進(jìn)RetinaNet算法(Proposed)與機(jī)器學(xué)習(xí)算法Hough變換和深度學(xué)習(xí)目標(biāo)檢測(cè)算法YOLOv3和原始RetinaNet算法在本文裝箱測(cè)試數(shù)據(jù)集上進(jìn)行性能對(duì)比。不同檢測(cè)算法的漏檢率、誤檢率、準(zhǔn)確率以及每一張裝箱圖像的檢測(cè)時(shí)間(FPS)的實(shí)驗(yàn)結(jié)果如表2所示。由表可知，Hough變換在本文的裝箱數(shù)據(jù)集上漏檢率和誤檢率均相對(duì)較高，準(zhǔn)確率84.27%為最低，且檢測(cè)時(shí)間最長(zhǎng)為58 ms。而本文提出的算法準(zhǔn)確率達(dá)到最優(yōu)99.98%，耗時(shí)33 ms。所以相比于機(jī)器學(xué)習(xí)算法，本文深度學(xué)習(xí)算法在精度和速度均取得較大優(yōu)勢(shì)。由于本文YOLOv3使用的是Tiny精簡(jiǎn)網(wǎng)絡(luò)所以速度最快，在本文實(shí)驗(yàn)環(huán)境下每張圖片的檢測(cè)時(shí)間為22 ms，但是漏檢率較高為3.10%，誤檢率為1.20%，檢測(cè)準(zhǔn)確率為96.84%。本文改進(jìn)RetinaNet算法相對(duì)于原始RetinaNet算法在準(zhǔn)確率和速度上均有提升。綜合可得本文提出的改進(jìn)RetinaNet在保證速度的同時(shí)漏檢率和誤檢率最低，達(dá)到了計(jì)數(shù)精度最優(yōu)。

表2 與其他目標(biāo)檢測(cè)算法的性能對(duì)比

3 結(jié)束語

本文使用深度學(xué)習(xí)算法對(duì)箱內(nèi)的塑瓶進(jìn)行目標(biāo)檢測(cè)，完成精確計(jì)數(shù)。使用FPN融合深層特征信息到淺層特征層以提高淺層特征層的塑瓶高級(jí)語義信息，并對(duì)原始RetinaNet子網(wǎng)絡(luò)進(jìn)行優(yōu)化。然后采用K-means聚類算法改進(jìn)Anchor提高了算法的定位精度并有效地減少漏檢率，若應(yīng)用于數(shù)據(jù)集中長(zhǎng)寬比差異較大的目標(biāo)自適應(yīng)檢測(cè)效果更為明顯。實(shí)驗(yàn)結(jié)果表明，相對(duì)于傳統(tǒng)算法，本文所提算法效率高、計(jì)數(shù)精度高、速度快、穩(wěn)定性高、適用性強(qiáng)，且滿足工業(yè)實(shí)時(shí)檢測(cè)要求，能夠很好地應(yīng)用到實(shí)際生產(chǎn)應(yīng)用中。同時(shí)此計(jì)數(shù)方法也可以用于其他產(chǎn)品裝箱計(jì)數(shù)，如啤酒瓶、藥瓶等，具有廣闊的應(yīng)用前景。