陳立辛，王 磊，喬印虎，張春雨，柏云磊，李 博

（1.安徽科技學(xué)院 機(jī)械工程學(xué)院，安徽蚌埠 233100；2.安徽科技學(xué)院 電氣與電子工程學(xué)院，安徽蚌埠 233100）

0 引言

花生在深加工生產(chǎn)過程中，大量各種缺陷的不良品會(huì)給食品加工廠商在產(chǎn)品的附加值方面造成巨大的經(jīng)濟(jì)損失。及時(shí)有效地檢測(cè)識(shí)別缺陷花生米能保證花生深加工產(chǎn)業(yè)的可持續(xù)綠色健康發(fā)展［1］，一直以來是農(nóng)副食品加工研究領(lǐng)域的熱點(diǎn)。傳統(tǒng)的花生米品質(zhì)缺陷識(shí)別分揀大多還是依靠人工，然而人工成本比較高、效率低、容易出現(xiàn)漏檢，導(dǎo)致品質(zhì)不穩(wěn)定。近年來，基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)在花生米識(shí)別檢測(cè)方面的理論研究和實(shí)踐成果層出不窮。

趙志衡等［2］提出基于卷積神經(jīng)網(wǎng)絡(luò)的花生籽粒完整性識(shí)別算法，提取花生圖像特征，對(duì)花生分類的準(zhǔn)確率達(dá)到98.18%，平均檢測(cè)1 幅單?；ㄉ鷪D像的時(shí)間為18 ms。張永超等［3］提出基于卷積神經(jīng)網(wǎng)絡(luò)的花生種子的篩選識(shí)別算法，提取花生種子圖像的顏色特征和紋理特征，以優(yōu)化網(wǎng)絡(luò)提高篩選的準(zhǔn)確率和快速性，結(jié)果表明優(yōu)化完成后的卷積神經(jīng)網(wǎng)絡(luò)篩選準(zhǔn)確率為98.21%，篩選速度為16.4 ms/粒。張思雨等［4］提出基于機(jī)器視覺與自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)的花生質(zhì)量檢測(cè)方法，利用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取常見霉變、破碎和干癟等缺陷花生圖像特征，最終結(jié)果表明，對(duì)花生常見缺陷的平均識(shí)別率可達(dá)99.7%。諸多已有的文獻(xiàn)研究中只是提出如何解決花生米品質(zhì)分級(jí)篩選的方法，對(duì)缺陷花生米在物料線上柔性識(shí)別后分揀抓取問題卻很少有報(bào)道。

本文提出一種基于深度學(xué)習(xí)的SSD 花生米缺陷識(shí)別檢測(cè)算法，通過對(duì)缺陷花生米進(jìn)行大量訓(xùn)練，能自動(dòng)識(shí)別缺陷花生米圖像的特征，并能高精度地檢測(cè)出3 種常見的花生米缺陷；為花生米在智能自動(dòng)識(shí)別分揀缺陷領(lǐng)域提供技術(shù)借鑒。

1 系統(tǒng)方案設(shè)計(jì)

1.1 系統(tǒng)簡(jiǎn)介

選用基于位置及目標(biāo)在線跟蹤的控制方式，完成在線時(shí)對(duì)散亂無序花生米目標(biāo)物的動(dòng)態(tài)跟蹤和快速抓取工作。系統(tǒng)結(jié)構(gòu)如圖1所示，整個(gè)花生米分揀系統(tǒng)由基于深度學(xué)習(xí)的視覺檢測(cè)單元、并聯(lián)機(jī)器人單元、傳送帶單元、人機(jī)顯示界面以及MS 驅(qū)控一體機(jī)控制單元組成。

圖1 花生米識(shí)別分揀系統(tǒng)Fig.1 Peanut identification and sorting system

散亂不規(guī)則的花生米在傳送帶上勻速前進(jìn)，視覺單元采集到花生輪廓圖像信息并傳送給PC上位機(jī)，由視覺處理系統(tǒng)通過對(duì)采集并處理好的二值化圖像與深度學(xué)習(xí)訓(xùn)練的模型圖片進(jìn)行分析計(jì)算，獲得缺陷花生米的位置信息；通過實(shí)時(shí)通訊反饋信息至機(jī)器人控制器，機(jī)器人單元發(fā)送運(yùn)動(dòng)程序指令，將零散的花生米抓取并放置到缺陷不良品物料框中，完成篩選分揀操作。

1.2 工作流程

系統(tǒng)平臺(tái)工作流程如圖2所示。視覺系統(tǒng)采用基于位置及目標(biāo)在線動(dòng)態(tài)跟蹤控制方式對(duì)傳送帶上移動(dòng)的物體進(jìn)行識(shí)別；選取單目相機(jī)的深度學(xué)習(xí)視覺系統(tǒng)控制方式。工業(yè)相機(jī)固定在物料輸送線兩側(cè)且易于采集的位置。

圖2 系統(tǒng)平臺(tái)工作流程圖Fig.2 Working flow chart of system platform

深度學(xué)習(xí)視覺系統(tǒng)根據(jù)工業(yè)相機(jī)所采集到的實(shí)時(shí)圖像特征信息，通過工業(yè)相機(jī)坐標(biāo)與并聯(lián)機(jī)器人坐標(biāo)的變換，計(jì)算出目標(biāo)相對(duì)于并聯(lián)機(jī)器人的位置；再由視覺控制器根據(jù)并聯(lián)機(jī)器人位置計(jì)算出目標(biāo)物的實(shí)際坐標(biāo)值，編碼器值信息及視覺處理的信息將傳遞給機(jī)器人控制器，經(jīng)控制算法計(jì)算；最后TCP/IP 通訊方式通過寫值與讀取指令傳輸至機(jī)器人控制系統(tǒng)，完成對(duì)機(jī)器人識(shí)別抓取的控制。

2 機(jī)器人結(jié)構(gòu)分析

采用典型的3-RSS 型Delta 并聯(lián)機(jī)器人為研究對(duì)象，虛擬樣機(jī)結(jié)構(gòu)由機(jī)架、靜平臺(tái)、動(dòng)平臺(tái)、3 個(gè)主動(dòng)臂、由平行四邊形結(jié)構(gòu)組成的3 組支鏈從動(dòng)臂、旋轉(zhuǎn)伸縮軸、伺服電機(jī)及行星減速機(jī)等組成。

并聯(lián)機(jī)器人參數(shù)為具有三維空間XYZ 平動(dòng)與饒Z 軸轉(zhuǎn)動(dòng)的工作直徑D=800 mm，H=225 mm，負(fù)載為3 kg；在工作過程中，伺服電機(jī)通過驅(qū)動(dòng)主動(dòng)臂回轉(zhuǎn)，帶動(dòng)從動(dòng)臂與旋轉(zhuǎn)伸縮軸，進(jìn)而實(shí)現(xiàn)動(dòng)平臺(tái)的三維平動(dòng)與轉(zhuǎn)動(dòng)。

Delta 機(jī)器人結(jié)構(gòu)簡(jiǎn)化的數(shù)學(xué)模型如圖3所示，靜平臺(tái)以中心O 建立坐標(biāo)系O-XYZ，動(dòng)平臺(tái)以中心p 建立坐標(biāo)系p-xyz［5］。3 條支鏈完全對(duì)稱，圓心O 所在的平面為靜平臺(tái)，圓心p 所在平面為動(dòng)平臺(tái)，A1A2A3和B1B2B3為等邊三角形，點(diǎn)A1，A2，A3，B1，B2，B3分別為3 個(gè)主動(dòng)臂和3 個(gè)從動(dòng)臂與上下2 個(gè)平臺(tái)的連接點(diǎn)；末端p 為關(guān)節(jié)B1B2B3組成的等邊三角形的中心。

圖3 Delta 機(jī)構(gòu)簡(jiǎn)化數(shù)學(xué)模型Fig.3 Simplified mathematical model of Delta mechanism

3 視覺檢測(cè)系統(tǒng)設(shè)計(jì)

3.1 深度學(xué)習(xí)介紹

深度學(xué)習(xí)是基于深層次的網(wǎng)絡(luò)結(jié)構(gòu)模型，其目的是通過構(gòu)建1 個(gè)多層網(wǎng)絡(luò)，在計(jì)算機(jī)上自動(dòng)進(jìn)行模型訓(xùn)練學(xué)習(xí)，對(duì)數(shù)據(jù)特征進(jìn)行提取。近年來，缺陷物目標(biāo)檢測(cè)領(lǐng)域已將深度學(xué)習(xí)技術(shù)框架分為傳統(tǒng)目標(biāo)檢測(cè)框架和基于深度學(xué)習(xí)的目標(biāo)檢測(cè)框架［6］。目前，深度學(xué)習(xí)目標(biāo)檢測(cè)模型有多種，常用的有SSD、YOLO 和Faster RCNN 模型等。

3.2 視覺檢測(cè)系統(tǒng)

結(jié)合花生米檢測(cè)與識(shí)別系統(tǒng)的技術(shù)需求，視覺檢測(cè)系統(tǒng)主要由光電傳感器、?？低?00 萬像素的Gige 工業(yè)面陣黑白相機(jī)、MVL-HF0828M型焦距為8 mm 的工業(yè)鏡頭、酷睿i7 主頻為4.4 GHz 處理器的工業(yè)計(jì)算機(jī)和JL-AR-7045 型（白光）散射光源等部分組成。

使用Labview 進(jìn)行整個(gè)系統(tǒng)軟件的開發(fā)，能有效縮短軟件系統(tǒng)的開發(fā)周期［7］。光源暗箱安置于輸送線的兩側(cè)，同時(shí)為提高圖像采集質(zhì)量，花生米放在暗白色磨砂亞光PVC 帶式輸送機(jī)上，避免采集圖像時(shí)受到其他環(huán)境的光照影響。

3.2.1 位置關(guān)系的分析

當(dāng)花生米跟隨輸送帶運(yùn)行到并聯(lián)機(jī)器人抓取范圍內(nèi)時(shí)，機(jī)器人開始執(zhí)行程序進(jìn)行抓取。因此，對(duì)并聯(lián)機(jī)器人、視覺系統(tǒng)及輸送帶位置關(guān)系的分析計(jì)算是保障并聯(lián)機(jī)器人高速精確分揀缺陷花生米的重要因素［8］。

如圖4所示，3 者之間位置關(guān)系的轉(zhuǎn)換坐標(biāo)系包括：視覺系統(tǒng)坐標(biāo)系ov-xvyv，輸送帶坐標(biāo)系ow-xwyw和Delta 并聯(lián)機(jī)器人坐標(biāo)系or-xryrzr。由于輸送帶運(yùn)行的方向與標(biāo)定塊均為橫向平行，因此在樣機(jī)試驗(yàn)中視覺坐標(biāo)系和輸送帶坐標(biāo)系在理想狀態(tài)下完全重合。α1為視覺檢測(cè)系統(tǒng)坐標(biāo)系與輸送帶坐標(biāo)系繞Z 軸的角度值；α2為并聯(lián)機(jī)器人坐標(biāo)系x、y 向分量與傳送帶坐標(biāo)系繞Z 軸的角度值。

圖4 機(jī)器人、視覺檢測(cè)系統(tǒng)與分揀生產(chǎn)線之間位置關(guān)系Fig.4 Position relationship between robot, visual inspection system and sorting production line

由3 者的位置關(guān)系圖，可以得出視覺檢測(cè)系統(tǒng)與花生米輸送帶的空間位置關(guān)系：

式中 Lw——花生米在輸送帶坐標(biāo)系中的坐標(biāo)；

Lv——花生米在視覺系統(tǒng)坐標(biāo)系中的坐標(biāo)；表示視覺檢測(cè)系統(tǒng)同分揀生產(chǎn)線之間繞z 軸的旋轉(zhuǎn)關(guān)系矩陣。

在Delta 并聯(lián)機(jī)器人本體零點(diǎn)標(biāo)定過程中，已保證機(jī)器人坐標(biāo)系x-y 的平面在水平方向，故并聯(lián)機(jī)器人與分揀生產(chǎn)線之間位置關(guān)系式：

式中 Lr—— 目標(biāo)抓取位置點(diǎn)在輸送帶坐標(biāo)系中橫坐標(biāo)和縱坐標(biāo)方向的分量；

t=（TxTy）T，表示并聯(lián)機(jī)器人與花生米分揀生產(chǎn)線之間的平移關(guān)系。

3.3 模型選型設(shè)計(jì)與訓(xùn)練

3.3.1 SSD 算法

綜合系統(tǒng)識(shí)別的準(zhǔn)確率和識(shí)別速度，選用SSD 算法作為試驗(yàn)的視覺識(shí)別算法。SSD 算法是LIU 等提出的一種經(jīng)典的單級(jí)目標(biāo)檢測(cè)算法［9］，綜合借鑒了Faster R-CNN 算法的anchor box 采樣和YOLO 算法單級(jí)檢測(cè)思想，以VGG16 為主干網(wǎng)絡(luò)進(jìn)行改進(jìn)，將Conv4_3，Conv7，Conv8_2，Conv9_2，Conv10_2，Conv11_2 這6 層作為輸出特征進(jìn)行檢測(cè)［10］。SSD 網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 SSD300 算法框架Fig 5 SSD300 algorithm framework

3.3.2 損失函數(shù)

SSD 損失函數(shù)由位置誤差和置信度誤差的加權(quán)和組成，表示為：

式中 N——先驗(yàn)框的正樣本數(shù)量；

x——預(yù)測(cè)框與真實(shí)框是否匹配；

c——類別置信度預(yù)測(cè)值；

α——位置誤差和分類誤差的加權(quán)系數(shù)；

l——先驗(yàn)框所對(duì)應(yīng)邊界框的預(yù)測(cè)值；

g——真實(shí)框的位置參數(shù)。

其中對(duì)于位置誤差采用Smooth L1 Loss：

式中 Pos——樣本中的正樣本集合；

Bx——預(yù)測(cè)框中心坐標(biāo)、高和寬的集合；

Neg——樣本中負(fù)樣本集合；

3.3.3 模型訓(xùn)練與結(jié)果分析

以某花生食品公司深加工后花生米為素材，分別采集油污粒、霉粒及損傷粒3 種缺陷圖片，并通過平移、旋轉(zhuǎn)、鏡像和高斯模糊等圖像處理技術(shù)進(jìn)行數(shù)據(jù)增強(qiáng)，得到10×103張訓(xùn)練圖片和2×103張測(cè)試圖片，以提高模型的泛化能力［11］。

訓(xùn)練參數(shù)設(shè)置：訓(xùn)練次數(shù)為15×103，Batch_size 為6，初始學(xué)習(xí)率為0.001，權(quán)重衰減系數(shù)為1×10-4，優(yōu)化器使用SGD 函數(shù)。算法的精度和損失函數(shù)曲線如圖6所示。

圖6 訓(xùn)練結(jié)果曲線圖Fig.6 Training result curve

分析可知，在SSD 算法訓(xùn)練5×103次左右后，損失函數(shù)逐漸減小并趨于穩(wěn)定，且精度達(dá)到0.983，從而驗(yàn)證了SSD 算法在花生米缺陷檢測(cè)方面的有效性。部分測(cè)試結(jié)果如表2所示。

表2 基于深度學(xué)習(xí)的檢測(cè)精確度Tab.2 Detection accuracy based on deep learning

SSD 算法在對(duì)3 種花生缺陷檢測(cè)的過程中，其平均準(zhǔn)確率達(dá)到98.71%，每張圖片平均檢測(cè)時(shí)間為50.3 ms，證明選用的SSD 算法在花生米缺陷檢測(cè)的過程中既能夠達(dá)到較高的識(shí)別準(zhǔn)確率，也能夠進(jìn)行實(shí)時(shí)檢測(cè)，從而滿足工廠的生產(chǎn)需求。

4 試驗(yàn)驗(yàn)證

結(jié)合基于點(diǎn)位的目標(biāo)特征目標(biāo)物，針對(duì)各個(gè)目標(biāo)點(diǎn)進(jìn)行動(dòng)態(tài)式實(shí)時(shí)跟蹤［12］，建立訓(xùn)練特征模型。每一幀采集圖片經(jīng)過深度學(xué)習(xí)圖像處理和信息提取后，得到該圖片上所有目標(biāo)點(diǎn)的位置和輪廓信息。

根據(jù)理論分析與模型訓(xùn)練完成整個(gè)系統(tǒng)設(shè)備的搭建，試驗(yàn)測(cè)試如圖7所示。

圖7 工程樣機(jī)試驗(yàn)驗(yàn)證Fig.7 Engineering prototype test verification

花生米物料輸送帶由減速電機(jī)驅(qū)動(dòng)，編碼器記錄每次轉(zhuǎn)動(dòng)的位置。運(yùn)動(dòng)控制系統(tǒng)在抓取點(diǎn)和放置點(diǎn)之間產(chǎn)生一系列的位置點(diǎn)，并聯(lián)機(jī)器人呈現(xiàn)出“門字形”運(yùn)動(dòng)軌跡［13］。為避免在抓取過程中出現(xiàn)無先后次序的“亂抓”現(xiàn)象，系統(tǒng)對(duì)同一幀圖片上目標(biāo)點(diǎn)的記錄信息按照其坐標(biāo)的大小進(jìn)行排序，實(shí)現(xiàn)機(jī)器人對(duì)進(jìn)入到指定運(yùn)動(dòng)范圍內(nèi)的物體有序地分揀。

通過深度學(xué)習(xí)系統(tǒng)獲得傳送帶上花生米的位置信息，并聯(lián)機(jī)器人的控制系統(tǒng)根據(jù)識(shí)別算法對(duì)花生米進(jìn)行分揀；由視覺模塊和減速電機(jī)控制的輸送傳動(dòng)模塊，采用TCP/IP 總線通信的模式控制，兩模塊并行運(yùn)行。樣機(jī)試驗(yàn)識(shí)別抓取的結(jié)果如表3所示。

表3 樣機(jī)試驗(yàn)抓取結(jié)果Tab.3 Grasping results of prototype test

當(dāng)花生米輸送線速度為1.0 m/s 時(shí)，漏抓率為1.27‰，誤抓率為0，末端軸抓取對(duì)應(yīng)的合成加速度曲線如圖8所示。

圖8 抓取加速度合成曲線圖Fig.8 Composite curve of grasping speed

抓取加速度合成趨于柔順的軌跡效果，試驗(yàn)結(jié)果表明：基于深度學(xué)習(xí)SSD 花生米缺陷識(shí)別檢測(cè)算法引導(dǎo)的并聯(lián)機(jī)器人花生米抓取系統(tǒng)設(shè)計(jì)合理，穩(wěn)定可靠；同時(shí)驗(yàn)證了識(shí)別算法能準(zhǔn)確完成花生米的在線跟蹤識(shí)別，控制系統(tǒng)能控制并聯(lián)機(jī)器人實(shí)現(xiàn)105 次/min 的實(shí)時(shí)快速準(zhǔn)確識(shí)別與定位，完成抓取缺陷花生米的作業(yè)生產(chǎn)。

5 結(jié)語

（1）提出基于深度學(xué)習(xí)花生米的檢測(cè)方法，完成花生米識(shí)別分揀的工程樣機(jī)研制，在平均抓取耗時(shí)在0.61 s 內(nèi)完成散落無序多缺陷的花生米的識(shí)別柔性抓取任務(wù)；（2）研究訓(xùn)練的識(shí)別模型，可以準(zhǔn)確區(qū)分油污粒、霉粒及損傷粒等缺陷與正常的花生米的智能識(shí)別分揀；（3）運(yùn)用檢測(cè)識(shí)別系統(tǒng)，實(shí)現(xiàn)花生米在線綜合檢測(cè)，識(shí)別定位速度快，精度可達(dá)到98.71%，合成速度為最佳運(yùn)動(dòng)軌跡；（4）對(duì)比傳統(tǒng)的識(shí)別算法，采用深度學(xué)習(xí)SSD框架的檢測(cè)技術(shù)針對(duì)不同花生米缺陷特征，大幅減輕工作量，提高檢測(cè)識(shí)別效率。識(shí)別系統(tǒng)定位速度快，精度高，為在線式農(nóng)產(chǎn)品缺陷檢測(cè)提供技術(shù)借鑒和參考。