，,2，

(1.西安工程大學機電工程學院，陜西 西安 710048；2.紹興市柯橋區(qū)西紡紡織產(chǎn)業(yè)創(chuàng)新研究院，浙江 紹興 312030)

0 引言

機械制造業(yè)是國民經(jīng)濟的支柱產(chǎn)業(yè)，其中棒料是批量生產(chǎn)輥鍛件、模鍛件及輾壓件等零件的主要原材料，廣泛應(yīng)用于工程機械、汽車制造和建筑等行業(yè)。目前，大多數(shù)企業(yè)主要依靠人工將大量堆放在地上的棒料放在料架和輥道上來完成上料工作[1]，而這種上料方式自動化程度低，費時費力且效率低下。

隨著中國制造2025提出，以機器視覺技術(shù)引導的上料自動化已成為制造企業(yè)上料的必然趨勢。為此，廣大學者開展了深入的機器視覺的零件識別方法研究：基于模板匹配的目標識別方法[2-5]在目標大小和形狀變化時，就無法與模板匹配，需重新訓練補充模板，匹配耗時越長；基于卷積神經(jīng)網(wǎng)絡(luò)的目標識別方法[6-11]對密集目標和存在遮擋時的識別效果還不太理想，而且這類算法復(fù)雜且計算量龐大，實際工業(yè)生產(chǎn)中并沒有推廣應(yīng)用。而由于卷積神經(jīng)網(wǎng)絡(luò)具有自學習自適應(yīng)和大數(shù)據(jù)處理等優(yōu)勢，所以這類方法是目標識別方法的研究熱點。

為了解決工業(yè)環(huán)境下棒料堆積、相互遮擋而造成的難以快速有效識別的問題，研究了基于卷積神經(jīng)網(wǎng)絡(luò)的目標識別方法[12-15]。以YOLOv4為改進算法的基礎(chǔ)框架，通過設(shè)計一種輕量化的工業(yè)棒料識別算法，實現(xiàn)了棒料的快速識別；采用對YOLOv4原損失函數(shù)進行改進優(yōu)化，引入Repulsion損失函數(shù)，減少棒料的誤檢、漏檢問題，從而改善棒料間相互遮擋而難以有效識別的問題。

1 YOLOv4算法

1.1 YOLOv4算法框架

YOLOv4的算法框架如圖1所示，主要包含4部分：輸入(Input)，輸入尺寸為416×416的3通道圖片；主干網(wǎng)絡(luò)(CSP-Darknet53)，CSP-Darknet53網(wǎng)絡(luò)采用全卷積神經(jīng)網(wǎng)絡(luò)的方式，用卷積操作代替池化和全連接操作進行特征提??；Neck模塊，包含空間金字塔池化結(jié)構(gòu)(SPP)和特征金字塔結(jié)構(gòu)(PANet)，該模塊對主干網(wǎng)絡(luò)提取到的最后3層特征圖反復(fù)進行特征融合再提取，融合深淺層的語義信息特征和空間信息特征[16]，實現(xiàn)多尺度目標檢測；預(yù)測模塊，采用YOLO Head結(jié)構(gòu)預(yù)測目標的位置、類別和置信度。

圖1 YOLOv4的算法框架

1.2 YOLOv4算法損失函數(shù)

YOLOv4算法的損失函數(shù)由3部分構(gòu)成：回歸框損失函數(shù)LCIoU、置信度損失函數(shù)Lcon和類別損失函數(shù)Lclass，即

L=LCIoU+Lcon+Lclass

(1)

其中，回歸框損失函數(shù)LCIoU為：

(2)

(3)

(4)

SIoU為真實框面積和預(yù)測框面積之間交集與并集的比值；b、b1分別為預(yù)測框和真實框的中心點坐標；ρ2(b,b1)為預(yù)測框和真實框中心點坐標之間的歐氏距離；c2為預(yù)測框和真實框的最小閉包區(qū)域的對角線距離；w1和h1分別為真實框的寬、高；w和h分別為預(yù)測框的寬、高；v用來度量長寬比的相似性，若真實框和預(yù)測框的寬高相似，則v為0；α為權(quán)重函數(shù)。

置信度損失函數(shù)和類別損失函數(shù)分別為：

(5)

(6)

K為特征圖的尺寸；M為特征圖使用的先驗框的數(shù)量；cij為置信度；c為預(yù)測的類別。

2 改進的YOLOv4算法

YOLOv4的主干網(wǎng)絡(luò)采用全連接神經(jīng)網(wǎng)絡(luò)的方式進行特征提取，網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、模型計算量大，往往需要使用高性能的計算機運行才能達到預(yù)期識別精度和速度。為了降低棒料識別算法的硬件需求，在保證識別精度的條件下提高識別速度，所以需要對YOLOv4的主干網(wǎng)絡(luò)進行輕量化改進，采用輕量級網(wǎng)絡(luò)Mobilenetv3替換原YOLOv4的主干網(wǎng)絡(luò)。

工業(yè)棒料往往由于堆疊產(chǎn)生遮擋，若直接采用YOLOv4對密集的棒料進行識別則會出現(xiàn)誤檢漏檢問題。因棒料堆疊且外觀特征相似，易導致目標預(yù)測框偏移，使識別時定位不準確，從而出現(xiàn)誤檢問題。由于棒料堆疊導致目標預(yù)測框和其他目標預(yù)測框過于靠近，所以在非極大值抑制操作時容易被誤刪，從而出現(xiàn)棒料漏檢問題。為了解決棒料識別過程中的誤檢漏檢問題，借鑒行人檢測遮擋問題的研究方法[17-18]，將Repulsion損失函數(shù)與YOLOv4原損失函數(shù)結(jié)合，改進優(yōu)化損失函數(shù)。

圖2 改進YOLOv4算法的網(wǎng)絡(luò)結(jié)構(gòu)

2.1 主干網(wǎng)絡(luò)的改進

主干網(wǎng)絡(luò)的改進：首先對Mobilenetv3進行微調(diào)，即去除其最后的平均池化層和1×1卷積層，然后將剩余部分作為YOLOv4模型的主干網(wǎng)絡(luò)。改進YOLOv4算法的主干網(wǎng)絡(luò)由1個普通卷積層conv和多個bneck結(jié)構(gòu)組成，如圖2所示。bneck結(jié)構(gòu)由深度可分離卷積、具有線性瓶頸的逆殘差結(jié)構(gòu)和輕量級的注意力模型SENet組成，如圖3所示。

深度可分離卷積先采用深度卷積將輸入特征中的每個通道與對應(yīng)的單通道卷積核進行卷積操作，保持特征圖數(shù)量不變，然后用N個1×1×M卷積核對所有特征圖進行整合，得到N個卷積特征圖，如圖4所示，其參數(shù)量為M×b×b×c×c+M×c×c×N=M×c2×(b2+N)。標準卷積的計算方式如圖5所示，其參數(shù)量為M×b2×c2×N。很容易得到深度可分離卷積的參數(shù)量是標準卷積的(1/N+1/b2)，極大地減少了網(wǎng)絡(luò)參數(shù)量，加快了模型運行速度，進而提高了算法的檢測速度。

圖3 bneck的結(jié)構(gòu)

圖4 深度可分離卷積

圖5 標準卷積

2.2 損失函數(shù)的改進

將原YOLOv4損失函數(shù)和Repulsion損失函數(shù)串聯(lián)起來得到改進后的損失函數(shù)，即

LR=L+α×LRepGT+β×LRepBox

(7)

L為YOLOv4原損失函數(shù)；LRepGT為目標預(yù)測框

與相鄰真實框所產(chǎn)生的損失值；LRepBox為目標預(yù)測框與相鄰的其他目標預(yù)測框所產(chǎn)生的損失值；系數(shù)α和β為平衡2個損失值的權(quán)值。RepGT和RepBox損失函數(shù)具體如下所述。

a.RepGT損失函數(shù)的表達式為：

(8)

(9)

(10)

BP為預(yù)測框P回歸調(diào)整得到的目標預(yù)測框；GRep為除了指定目標外，與目標預(yù)測框交并比最大的真實框；P1為預(yù)測框P和真實框重合度達到閾值的正例集合；Aarea()為計算面積的函數(shù)。Smoothln函數(shù)中的δ值用來調(diào)節(jié)整個損失函數(shù)對交集大的框?qū)Φ拿舾行?，當?1時，LRepGT取得最好效果；當δ=0時，LRepBox取得最好效果，本文實驗取δ=0.5。

b.RepBox損失函數(shù)的表達式為

(11)

Pi和Pj分別為預(yù)測不同目標的預(yù)測框；BPi和BPj是分別從預(yù)測框Pi和Pj回歸的目標預(yù)測框；SIoU(BPi,BPj)為BPi和BPj之間交集與并集的比值；ε為防止除數(shù)為0而設(shè)置的極小值。分母中的示性函數(shù)表示：只對有交集的BPi和BPj目標預(yù)測框計算損失值，否則不進行損失計算。

從式(8)可以看出，當BP和GRep之間的交集越大，即越靠近時，所產(chǎn)生的RepGT損失越大，使目標預(yù)測框和相鄰的真實目標框遠離，因此可以有效防止目標預(yù)測框誤檢。從式(11)可以看出，當BPi和BPj的交集越大，即越靠近時，則產(chǎn)生的RepBox損失越大，使目標預(yù)測框遠離不是預(yù)測同一真實目標的相鄰預(yù)測框，可以降低非極大值抑制后不同目標的預(yù)測框被誤刪的概率，從而減少目標漏檢。

3 實驗與結(jié)果分析

3.1 實驗環(huán)境與棒料實驗數(shù)據(jù)集

實驗平臺配置：CPU型號Intel x299/i7-7820x，GPU型號為NVIDIA GeForce RTX 2080Ti，內(nèi)存為16 GB，實驗基于Ubuntu操作系統(tǒng)，以Tensorflow深度學習框架和Python編程語言在自制棒料數(shù)據(jù)集上進行相關(guān)實驗。

為了驗證改進YOLOv4算法是否能快速有效識別棒料，實驗選擇尺寸為直徑30 mm，長100 mm的圓柱棒料通過模擬棒料離散和隨機堆疊的擺放方式來保證數(shù)據(jù)集更加貼近實際生產(chǎn)環(huán)境，直徑使用工業(yè)相機拍攝了1 467張零件圖片作為實驗數(shù)據(jù)集，實驗數(shù)據(jù)集只有1類，即棒料。實驗數(shù)據(jù)集中的原始圖片大小為600×600，訓練前按7∶3的比例在實驗數(shù)據(jù)集中隨機選擇1 027張圖片作為訓練集，剩余440張圖片作為測試集，棒料數(shù)據(jù)集的部分樣本圖片如圖6所示。

圖6 部分棒料數(shù)據(jù)集

3.2 改進算法的模型訓練方法及評價指標

3.2.1 模型訓練方法

由于卷積神經(jīng)網(wǎng)絡(luò)需要大量數(shù)據(jù)集訓練才會取得較好的檢測效果，訓練樣本過少會導致網(wǎng)絡(luò)過擬合。為了避免過擬合，提高模型的泛化能力和準確率，針對本實驗小數(shù)據(jù)集的情況，實驗中改進算法采用遷移學習的訓練方式進行訓練，同時在訓練時不斷對棒料圖片的色調(diào)、飽和度和曝光度進行隨機調(diào)整，以達到數(shù)據(jù)集擴充的目的。本實驗設(shè)置訓練的迭代輪次為100：前50輪訓練時先凍結(jié)主干網(wǎng)絡(luò)，加載預(yù)訓練權(quán)重，只對最后的全連接層進行訓練；后50輪訓練時再將主干網(wǎng)絡(luò)解凍，使用自制棒料數(shù)據(jù)集將整個網(wǎng)絡(luò)一起訓練。網(wǎng)絡(luò)訓練的參數(shù)設(shè)置如表1所示，其中批尺寸即為batch size，表示每次輸入網(wǎng)絡(luò)中進行訓練的樣本數(shù)量；動量因子為訓練時損失函數(shù)的值下降的趨勢。

表1 網(wǎng)絡(luò)的訓練參數(shù)

3.2.2 評價指標

a.準確度評價指標。實驗采用平均精度(AP)作為衡量改進算法性能好壞的評價指標，一般目標識別算法的性能越好，其平均精度越高。平均精度表示網(wǎng)絡(luò)對每類目標識別的平均準確度，計算方法為每類目標準確率-召回率曲線與x軸圍成圖像的面積，即

(12)

其中，P為準確率；R為召回率。

b.速度評價指標。實驗采用每秒檢測棒料圖片的幀數(shù)(幀/s)作為改進算法檢測速度的評價指標。

c.模型的參數(shù)量作為輔助指標衡量改進算法的復(fù)雜程度。

3.3 實驗及結(jié)果分析

3.3.1 改進YOLOv4算法的性能分析

為了驗證改進YOLOv4算法的收斂速度和穩(wěn)定性，將改進算法與YOLOv4、YOLOv3和Faster R-CNN這4種算法的損失函數(shù)曲線進行對比。為了更加清晰地對比收斂效果，這里選取每一輪次的總損失值作為對比數(shù)據(jù)，如圖7所示。可以看出4種算法經(jīng)過訓練最終都達到了收斂，但改進YOLOv4算法與其他3種算法相比， 算法的收斂速度更快，損失函數(shù)曲線更加平滑，且訓練到85輪之后損失值震蕩的范圍和損失值也更小。由此可見，改進YOLOv4算法在保證收斂性能的同時還具有較好的魯棒性。

圖7 4種不同算法的損失函數(shù)對比

3.3.2 改進YOLOv4算法的棒料識別效果及結(jié)果分析

為了驗證改進YOLOv4算法的棒料識別性能，將改進YOLOv4算法與YOLOv4、YOLOv3和Faster R-CNN算法在準確度、識別速度和模型參數(shù)3方面進行對比，如表2所示。

表2 4種不同算法的識別結(jié)果對比

由表2可知，改進YOLOv4算法的準確度為97.85%，與YOLOv4、YOLOv3和Faster R-CNN相比分別提升了1.62%、1.90%和5.22%。從算法的識別速度來看，改進YOLOv4算法均高于其他3種算法，達到了63幀/s；從算法的模型參數(shù)來看，改進YOLOv4算法的模型參數(shù)為46.5 MB，YOLOv4的模型參數(shù)約是改進算法的5.5倍，YOLOv3的模型參數(shù)約是改進算法的5.3倍，F(xiàn)aster R-CNN的模型參數(shù)約是改進算法的2.4倍?？偟膩砜?，改進YOLOv4算法提高了棒料識別準確度，大大減少了模型參數(shù)，提升了棒料的識別速度，從而實現(xiàn)了棒料的快速有效檢測。棒料識別算法的部分識別效果如圖8所示。

圖8 部分棒料數(shù)據(jù)集的識別效果

可以看出，離散棒料全部可以準確識別出來，如圖8a所示，共7根棒料全部能準確識別；對于輕度遮擋下的棒料由于部分特征丟失，存在少量的漏檢，但整體識別效果良好，如圖8b所示，共8根棒料識別出7根；而對于重度遮擋下的棒料由于特征丟失嚴重且棒料間顏色對比度低，所以識別效果相對較差，如圖8c所示，在10根棒料中，只識別出表層和邊緣特征丟失不多的6根棒料?？偟膩碚f，改進YOLOv4算法對于棒料的識別效果良好。

4 結(jié)束語

針對存在遮擋干擾時棒料如何進行快速有效識別的問題展開了研究，提出了一種基于改進YOLOv4的棒料識別算法。與YOLOv4相比，改進算法的棒料識別準確率更高，識別速度更快，對于離散和輕度遮擋時棒料的識別效果良好，但當棒料嚴重遮擋時不能全部有效識別。而棒料上料時往往是從表層開始進行抓取，當表層棒料抓取之后就將棒料嚴重遮擋問題轉(zhuǎn)化成輕度遮擋或者離散情況了，這時棒料的識別效果就會更好，所以改進的棒料識別算法可以作為棒料上料過程的識別模塊，為棒料的定位抓取奠定基礎(chǔ)，同時也作為下一步的研究工作。