邱 呂，任德均，郜 明，付 磊，吳華運，胡云起

(四川大學機械工程學院，四川 成都 610065)

0 引 言

現(xiàn)代工業(yè)生產中大量的自動化生產流水線上產品需要進行裝箱計數檢測，計數精度關系到裝箱產品的數量，直接決定了裝箱的質量。在醫(yī)用塑瓶裝箱過程中由于機械故障、震動等導致少瓶、多瓶裝箱失誤從而影響企業(yè)信譽。傳統(tǒng)的人工方法不僅容易出差錯，而且勞動強度大、效率低。在生產線上的自動計數檢測方法，已經有很多的相關研究。如楊東燕[1]使用單片機作為控制器，并結合對射型光電傳感器，實現(xiàn)對流水線上產品數目的自動計數。圖爾克(天津)傳感器有限公司[2]使用偏振反射板式光電傳感器對透明瓶子進行計數檢測，該方法適用于檢測表面光亮的物體，在啤酒/飲料自動化生產線上廣泛使用。此類方法對傳感器以及設備安裝要求較高，且若待檢測物體有輕微震動將會對檢測結果產生重大影響。

相比于傳統(tǒng)方法，基于機器視覺的檢測方法克服了人工方法主觀因素帶來的影響，并在速度、精度和穩(wěn)定性方面具有優(yōu)勢。該方法主要分為2種：一種是利用數據特征建立模型求解實現(xiàn)，如Hough變換[3]和背景相減法[4]等。夏天煜等[5]通過Blobs分析解決了小包裝食鹽裝箱過程中由于疊包、近包缺陷引起的裝箱計數精度誤差。另一種是將特征提取方法[6-7]結合分類器得到檢測結果。將基于機器視覺的檢測方法應用于本文的醫(yī)用塑瓶檢測任務中時，存在以下問題：1)醫(yī)用塑瓶瓶身透明與背景灰度差異不明顯，若基于圖像提取塑瓶特征很難實現(xiàn)檢測；2)在塑瓶裝箱實際成像中由于光照變化、瓶體反光等干擾使算法魯棒性降低；3)在裝箱過程中存在倒瓶、歪瓶等異常情況時，使用上述檢測方法計數精度不高、缺乏穩(wěn)定性，往往還需要現(xiàn)場人工加以調整。

基于深度學習的目標檢測方法框架主要分為基于區(qū)域候選框的二階段目標檢測框架和一階段目標檢測框架2大類[8]。二階段目標檢測算法先生成一系列目標候選區(qū)域，然后通過卷積神經網絡提取特征進行目標位置的回歸和類別的識別，這類算法定位和識別精度高但速度慢，如R-CNN[9]、Fast R-CNN[10]、Faster R-CNN[11]等。王靜濤等[12]以深度卷積神經網絡為基礎，以Faster R-CNN為原型實現(xiàn)了對葉片氣孔快速檢測與統(tǒng)計計數。一階段的目標檢測算法由于沒有候選區(qū)域生成過程直接從圖片獲取檢測結果，只處理一次圖像即可得到目標的類別和位置信息，所以速度快，足以滿足檢測實時要求，但檢測效果不如二階段檢測算法，其代表算法主要有SSD[13]、YOLO[14]等。劉小剛等[15]利用YOLOv3方法在復雜背景中實現(xiàn)了對草莓的識別與定位。

圖1 醫(yī)用塑瓶裝箱計數檢測流程圖

因深度學習方法強大的特征自學習能力，無需人為提取特征，具有檢測精度高、速度快、魯棒性好等優(yōu)勢，本文提出一種基于深度學習的醫(yī)用塑瓶裝箱計數算法，計數檢測流程如圖1所示。首先用工業(yè)相機采集裝箱塑瓶圖像用作數據集，在訓練過程中為了豐富圖像訓練集，更好地提取圖像特征、泛化模型從而防止模型過擬合，對圖像進行隨機旋轉、隨機剪切、水平翻轉、垂直翻轉等圖像增強預處理。然后將圖片送入目標檢測網絡，利用深度神經網絡提取特征預測出目標。最后統(tǒng)計塑瓶目標個數與預先設定的每箱合格塑瓶數量作比較，若相等則為裝箱合格，否則為裝箱不合格做后續(xù)處理。

1 算法網絡設計

1.1 RetinaNet

RetinaNet[20]是簡單密集型的one-stage detector，其網絡結構如圖2所示。整體是由骨干網絡ResNet[21]，特征金字塔網絡(FPN)和分類、回歸2個子網絡組成。FPN對ResNet的多尺度特征進行了強化，得到表達力更強、包含多尺度目標區(qū)域信息的卷積特征圖。分類子網絡對輸出進行分類，回歸子網絡執(zhí)行邊框回歸任務。

圖2 RetinaNet網絡結構圖

1.2 算法技術細節(jié)

1.2.1 特征金字塔網絡

FPN通過自頂向下(top-down)和橫向連接(lateral)通路[22]來增強卷積神經網絡，從而有效地從單分辨率輸入圖像構建出豐富的多尺度特征金字塔，把底層特征和高層特征進行融合，使金字塔的每一層都可以用來檢測不同尺度的物體。本文的FPN由P3～P7構成(Pi層的分辨率縮小到輸入圖像的2i)，其中P3、P4、P5層分別由ResNet的C3、C4、C5計算得來。P6是由C5使用stride=2的3×3卷積得到，P7是由P6經過stride=2的3×3卷積得到，特征金字塔所有層的channel=256。

1.2.2 子網絡輕量化

FPN的每一層輸出都連接分類和回歸子網絡，用來預測目標類別和位置。在本文檢測任務中，圖像內容簡單，僅包含塑瓶一類目標，因此可以對子網絡進行精簡。在圖2的RetinaNet網絡結構圖中，class subnet連接在FPN的每層FCN，參數共享。特征圖使用4個3×3的卷積層，每個卷積層接一個ReLU層，輸出的channel=CA(C是類別數，A是anchor數)，最后使用sigmoid激活函數。box subnet結構與class subnet相同但不共享參數，最后一層的channel=4A。原始的RetinaNet子網絡為5層卷積，本文將5層卷積層刪減為2層，實現(xiàn)網絡輕量化設計。

1.2.3 Focal Loss

Focal Loss損失函數是交叉熵(CE)損失函數的簡單變形，其公式如下：

(1)

CE(pt)=-log(pt)

(2)

FL(pt)=-αt(1-pt)γlog (pt)

(3)

(4)

式中y表示真實標簽的值，p表示概率，pt表示估計概率。α為正負樣本平衡因子，取值范圍為0～1。γ為調節(jié)參數，控制著縮放的比例。Focal Loss克服CE損失函數在易于分類的簡單樣本上也有相當大損失的缺點。簡單樣本的pt較大則權重減少，困難樣本pt較小則權重增大，由此來抑制那些容易分類樣本的權重，將注意力集中在那些難以區(qū)分的樣本上，有效地解決正負樣本比例嚴重失衡的問題，從而大大地提高了一階段目標檢測器的精度。本文模型訓練時定位損失函數采用Focal Loss損失函數，分類采用的損失函數為平滑損失函數。

1.3 Anchor聚類改進

在圖2的RetinaNet網絡結構圖中P3～P7層的Anchors面積從32×32依次增加到512×512。每層使用{20，21/3，22/3}這3種尺度和{1:2,1:1,2:1}這3種不同高寬比生成共9種不同大小的錨框。每個錨框都對應C(類別數)維分類向量和4維的回歸向量，分別表示該框的類別和位置坐標。若使用原始固定錨框或者手動設置尺寸，并不能很好地對尺度以及高寬比差異較大的目標進行良好檢測。所以提出使用K-means聚類算法對裝箱塑瓶訓練數據集的真實標注框高寬比進行聚類操作，實現(xiàn)根據檢測對象自適應地設計合適的錨框個數以及尺寸，讓模型更容易學習，降低檢測任務的難度，提高本文塑瓶裝箱計數在倒瓶歪瓶等異常情況下的檢測效果。

K-means聚類是指把集合分成多個類，每個類中的對象都是彼此相似的。通過肘部法合理地設置聚類的K值為3，將真實塑瓶標注框高、框寬值映射到模型，輸入尺寸后的聚類結果如圖3所示。

圖3 真實框高寬聚類結果圖

由圖3可得，塑瓶的高、寬值聚類的中心為[82，58]，[80，68]，[101，79]，所以本文以{1.17，1.28，1.41}作為Anchor的比例值。由聚類結果知都是高瘦的box，符合將圖像縮放至網絡輸入尺寸的視覺效果。

2 實驗以及結果分析

2.1 實驗數據

本文采用的數據為某廠家采集的塑瓶裝箱圖像共計200張，圖像的分辨率為1600×1200。將數據集中的100張圖像用標注工具labelImg標注為Pascal VOC的數據集格式，并按照8∶2的比例隨機劃分為訓練集和驗證集，剩余的100張圖像用來測試。訓練集共制備了3996個瓶體的標簽，其中異常情況(歪瓶、倒瓶)在總數據中的占比為1.8%。裝箱少瓶(標準為40瓶/箱)示例標注圖如圖4所示，可見在異常情況下，即存在倒瓶、歪瓶時標注框尺寸差異較大。

圖4 塑瓶標注圖

2.2 評價指標

IoU即交并比，表示了目標預測框(DR)和真實標注框(GT)的重疊度，是目標檢測中測量在特定數據集中檢測對應物體準確度的一個標準，其計算公式如下：

(5)

在很多情況下，不管是準確率P(模型預測出的樣本中真樣本的比例)還是查全率R(模型預測出的正樣本占所有正樣本的比例)均不能比較全面地對模型性能進行有效評估。F度量值(F-measure)是查全率和查準率在非負權重β下的加權調和平均值，其計算公式如下：

(6)

本文采用F1值(即β=1時)作為算法的評價指標。

2.3 實驗分析

對本文算法在上述構建的數據集上進行實驗，實驗所用到的硬件環(huán)境為GPU：NVIDIA GeForce GTX 1060；CPU：Intel i7-8750, 2.20 GHz；RAM：16 GB。操作系統(tǒng)為Windows 10，使用的深度學習框架為Pytorch。

2.3.1 Anchor改進前后檢測結果對比

為驗證對Anchor使用了聚類操作的網絡模型性能，本文設計了對照實驗1，分別將直接使用RetinaNet原始的Anchor尺度以及比例值與使用聚類得到的Anchor進行訓練作對比。2組數據均使用ResNet18預訓練權重初始化網絡，優(yōu)化器選擇Adam，初始學習率設置為0.0001，batch size設置為2，訓練輪數為20，每經過15個epoch學習率衰減1/10，輸入尺寸為640×640。如圖5(a)所示，在訓練過程中Anchor使用聚類操作比直接使用RetinaNet原始的Anchor尺度以及比例值的網絡收斂速度相對較快。如圖5(b)所示，在驗證過程中不使用聚類操作的驗證精度F1值為0.991，低于聚類Anchor的0.998。由此可得對Anchor使用聚類操作之后使訓練過程中的損失收斂速度和驗證F1值均得到了改善。

(a) 訓練過程損失值圖

(b) 驗證過程F1值圖圖5 原始Anchor和聚類Anchor訓練驗證比較

表1為2種方法驗證過程中的IoU和F1值對比結果。由表可得，使用聚類操作后的模型不僅F1值較高，而且檢測IoU值也相對較高，即檢測框和GT真實框重合度較高，模型更容易擬合目標的真實框。

表1 Anchor和聚類Anchor的性能對比

實驗1檢測結果如圖6所示，圖6(a)為原始Anchor實驗組得到的裝箱目標檢測結果，圖6(b)為Anchor經過聚類操作之后的檢測結果。由左邊2圖對比可得雖然2種方法的計數檢測均很準確，均為40個，但是Anchor使用了聚類操作對于圖中裝箱四周瓶形狀差異較大的瓶子定位更加準確，能將塑瓶目標完整框出。由右邊2圖對比可得，使用原始Anchor訓練得到的檢測模型對由于倒瓶、歪瓶異常情況導致的被遮擋瓶體會產生漏檢，而經過聚類操作的訓練模型魯棒性更強，得到正確的計數結果為36。比較檢測結果可以得到以下結論：1)使用了聚類操作Anchor相比于原始Anchor在正常情況下檢測的定位精度更高；2)改進算法的魯棒性更強，能在異常情況下自適應從而實現(xiàn)精確計數，減少漏檢。

(a) 原始Anchor檢測結果圖

(b) 聚類Anchor檢測結果圖

2.3.2 不同算法性能對比

為了驗證本文算法對裝箱塑瓶檢測的有效性，設計了實驗2。將本文提出的改進RetinaNet算法(Proposed)與機器學習算法Hough變換和深度學習目標檢測算法YOLOv3和原始RetinaNet算法在本文裝箱測試數據集上進行性能對比。不同檢測算法的漏檢率、誤檢率、準確率以及每一張裝箱圖像的檢測時間(FPS)的實驗結果如表2所示。由表可知，Hough變換在本文的裝箱數據集上漏檢率和誤檢率均相對較高，準確率84.27%為最低，且檢測時間最長為58 ms。而本文提出的算法準確率達到最優(yōu)99.98%，耗時33 ms。所以相比于機器學習算法，本文深度學習算法在精度和速度均取得較大優(yōu)勢。由于本文YOLOv3使用的是Tiny精簡網絡所以速度最快，在本文實驗環(huán)境下每張圖片的檢測時間為22 ms，但是漏檢率較高為3.10%，誤檢率為1.20%，檢測準確率為96.84%。本文改進RetinaNet算法相對于原始RetinaNet算法在準確率和速度上均有提升。綜合可得本文提出的改進RetinaNet在保證速度的同時漏檢率和誤檢率最低，達到了計數精度最優(yōu)。

表2 與其他目標檢測算法的性能對比

3 結束語

本文使用深度學習算法對箱內的塑瓶進行目標檢測，完成精確計數。使用FPN融合深層特征信息到淺層特征層以提高淺層特征層的塑瓶高級語義信息，并對原始RetinaNet子網絡進行優(yōu)化。然后采用K-means聚類算法改進Anchor提高了算法的定位精度并有效地減少漏檢率，若應用于數據集中長寬比差異較大的目標自適應檢測效果更為明顯。實驗結果表明，相對于傳統(tǒng)算法，本文所提算法效率高、計數精度高、速度快、穩(wěn)定性高、適用性強，且滿足工業(yè)實時檢測要求，能夠很好地應用到實際生產應用中。同時此計數方法也可以用于其他產品裝箱計數，如啤酒瓶、藥瓶等，具有廣闊的應用前景。