何永康，宋連慶，頡清云，郭瑞鴻

(西安工程大學(xué) 電子信息學(xué)院，陜西 西安 710600)

0 引 言

隨著機器視覺技術(shù)的發(fā)展，基于機器視覺的可回收物智能分揀成為可能[1-4]。智能分揀在諸多領(lǐng)域都有廣泛的應(yīng)用，首先對現(xiàn)有智能分揀的研究成果進行總結(jié)和分析。文獻[5]采用YOLO v3對流水線上餐具進行定位和分類，通過機械臂抓取達到目標物分揀目的。文獻[6]對并聯(lián)機器人分揀系統(tǒng)的研究，通過機器視覺提高控制系統(tǒng)的性能。文獻[7]提出一種基于實例分割網(wǎng)絡(luò)與迭代優(yōu)化方法的工件抓取系統(tǒng)，通過優(yōu)化3D視覺模型，提高機械臂抓取成功率，但工作周期依舊需要12 s左右。文獻[8]針對垃圾分揀設(shè)計的一臺機器人，采用機器學(xué)習(xí)平臺完成分類，智能機械臂控制系統(tǒng)完成分揀操作。

以上都在物品分揀或垃圾分揀的研究上做了深入的研究，僅考慮在算法上提高分類精度以及定位的準確性，未考慮到分揀速度的問題以及實際推廣過程成本問題。當前垃圾分揀設(shè)備也主要以機械臂為主，機械臂的局限性在于速度難以提升，對目標分揀物的外形物理因素也有一定要求。在面對處理量大、收益低的可回收物來說，雖然已有比較成熟的技術(shù)，但可回收物智能分揀設(shè)備在市場普及率與實際需求之間，仍存在不小的差距。

綜上所述，針對分揀速度低和設(shè)備成本高的問題，本文設(shè)計了一套改進的可回收物智能分揀系統(tǒng)。系統(tǒng)利用流水線加撥桿的操作模式取代機械臂，完成多步進電機同步控制的設(shè)計，對不同可回收物類別進行分揀操作。以RetNet50網(wǎng)絡(luò)模型為基礎(chǔ)，引入Gamma校正圖像預(yù)處理并且改進Softmax函數(shù)，提高可回收物分類的正確率。最終在滿足分揀正確率的要求下，分揀速度也有較大提升。

1 硬件系統(tǒng)

1.1 整體結(jié)構(gòu)設(shè)計

本文設(shè)計的可回收物智能分揀系統(tǒng)結(jié)構(gòu)如圖1(a)所示，主要包括傳送帶結(jié)構(gòu)、圖像采集、圖像分類、分揀控制系統(tǒng)以及分揀操作部分。傳送帶結(jié)構(gòu)實現(xiàn)物品的傳送，將物品從投放位置運送到圖像采集位置，再到分揀操作位置；圖像采集完成實時的物品圖像采集和數(shù)據(jù)傳輸；圖像分類在PC機上實現(xiàn)，首先完成分類模型的訓(xùn)練，然后采用循環(huán)的PC上位機識別程序，完成實時分類的任務(wù)；分揀控制系統(tǒng)是實現(xiàn)分揀任務(wù)的操作，由控制系統(tǒng)和硬件分揀機構(gòu)組成，用來替代傳統(tǒng)機械臂模式的可回收物分揀。

圖1 分揀系統(tǒng)概況

系統(tǒng)運行流程如圖1(b)所示。首先，將可回收物逐個放入自動傳送帶上，由紅外避障傳感器觸發(fā)攝像頭完成圖像采集，并傳輸給計算機形成數(shù)字圖像。然后，使用訓(xùn)練好的分類模型，對圖像中的物品進行實時分類識別。其次，將分類信息通過串口，傳輸給控制系統(tǒng)。最后，控制系統(tǒng)控制步進電機完成指定的分揀任務(wù)。本系統(tǒng)在分揀的整個過程方面，相對由于機械臂的分揀方式，結(jié)構(gòu)和控制系統(tǒng)方面都有較大的簡化，不需要對物品進行復(fù)雜的實時定位，減低了定位算法的難度，也不需要使用機械臂完成，降低在分揀控制方面對快速性和精確度的要求，因而突出了本系統(tǒng)的簡便性和易于實現(xiàn)的優(yōu)勢。

1.2 分揀系統(tǒng)

本文在滿足實驗需求的情況下，搭建了分揀系統(tǒng)的硬件平臺。分揀系統(tǒng)硬件由傳送裝置以及分揀撥桿部分組成。傳送裝置采用流水線的模式，流水線整體采用40鋁型材構(gòu)成。全線總長1.5 m，傳送帶寬度為30 cm，能夠滿足對一般物品的分揀要求。流水線動力采用775直流減速電機，通過齒輪傳動鏈接，帶動主動輪實現(xiàn)流水線傳動，實物結(jié)構(gòu)如圖2(a)所示。分揀撥桿組成部分是用來實現(xiàn)分揀任務(wù)的操作，本文所采用的撥桿結(jié)構(gòu)為自行設(shè)計，實物結(jié)構(gòu)如圖2(b)所示。撥桿操作驅(qū)動采用42步進電機完成，步進電機通過絲桿和鏈接件組成的鏈接結(jié)構(gòu)完成動力的傳遞，如圖2(b)中鏈接結(jié)構(gòu)所示。撥桿的一段固定在流水線側(cè)面的固定軸上，撥桿的張開與閉合操作由步進電機的正傳與反轉(zhuǎn)完成，給撥桿一個比較精確的角度控制，并且能夠提供一個穩(wěn)定的分揀力度。

圖2 實物結(jié)構(gòu)

通過平臺實驗，最終能夠分揀重量小于0.3 kg、長寬在10 mm～300 mm范圍內(nèi)的物品。撥桿排布在傳送帶兩側(cè)，每側(cè)各兩個共4個，另有一類不進行操作，總共可對5類物品進行分揀。整個分揀系統(tǒng)在實驗室環(huán)境下所占的面積相對較小只有2 m2～3 m2，不需要設(shè)置專門放置機械臂的空間，也不需要過多的注意分揀操作的空間范圍的要求，節(jié)約了分揀設(shè)備的場地需求。本系統(tǒng)的靈活性相對于機械臂的分揀系統(tǒng)同樣具有一定的優(yōu)勢，需要完成更多種類或者更大體積分揀任務(wù)要求，僅需要對分揀系統(tǒng)進行較小調(diào)節(jié)即可。例如，同樣需要增加分揀物品種類的要求，本系統(tǒng)僅需要增加流水線的長度，滿足安裝分揀撥桿和放置分揀框的需求即可。而機械臂分揀系統(tǒng)在增加分揀框的同時，必須考慮機械臂的操作范圍是否能夠滿足，在分揀類別較多不能夠滿足分揀范圍時，不僅需要增加流水線長度還需要增加機械臂數(shù)量，一般情況下每臺機械臂只能夠進行4類物品的分揀，其系統(tǒng)改造的復(fù)雜程度工作量比本系統(tǒng)都要高出很多。

2 控制系統(tǒng)

利用嵌入式實時操作系統(tǒng)(RTOS)在任務(wù)調(diào)度管理方面的優(yōu)勢[9]搭建分揀控制系統(tǒng)?？刂葡到y(tǒng)包括實時操作系統(tǒng)、傳送帶速度控制、步進電機操作控制、分揀框的實時監(jiān)測和圖像采集控制。

2.1 控制系統(tǒng)總體結(jié)構(gòu)

控制系統(tǒng)采用STM32芯片作為主控芯片，以Free-RTOS實時嵌入式系統(tǒng)為程序框架，簡化程序設(shè)計難度，完成復(fù)雜任務(wù)的控制[10]。FreeRTOS是一款實時性高、內(nèi)核占用空間小的開源嵌入式實時操作系統(tǒng)，同時具有高度靈活性、最優(yōu)的模塊化設(shè)計、高可讀性以及可維護性，能在嵌入式設(shè)備中廣泛使用[11]。使用FreeRTOS管理處理器的時間和資源，使得復(fù)雜嵌入式系統(tǒng)軟件開發(fā)和維護變得高效，同時能夠提高系統(tǒng)穩(wěn)定性和可靠性[12]。

本文主要設(shè)計了傳感器觸發(fā)、串口通信、步進電機選擇以及超聲波檢測4個任務(wù)，這4個主要任務(wù)之間的控制系統(tǒng)流程關(guān)系如圖3所示。任務(wù)之間的實時并行執(zhí)行是分揀操作能否及時和準確的前提，并行任務(wù)之間的信息傳輸是分揀操作的關(guān)鍵。

圖3 控制系統(tǒng)流程

控制系統(tǒng)芯片采用STM32f103c8t6，芯片移植Free-RTOS實時操作系統(tǒng)。各功能模塊與控制芯片之間的鏈接關(guān)系如圖4控制系統(tǒng)原理所示。

圖4 控制系統(tǒng)原理

控制系統(tǒng)原理有7個不同功能的模塊組成，核心的控制芯片板是一個STM32F103C8T6最小系統(tǒng)版，4個步進電機驅(qū)動模塊，5個超聲波檢測模塊，一個有源蜂鳴器模塊，兩個紅外避障傳感器，一個分類結(jié)果信息傳輸?shù)腢SART串口部分和一個流水線直流電機驅(qū)動模塊。

2.2 傳送帶速度控制

傳送帶電機采用L298 N驅(qū)動模塊，具有雙路H橋電機驅(qū)動，可以同時驅(qū)動兩路12 V直流電機[13]。直流電機速度調(diào)節(jié)，通過STM32定時器產(chǎn)生不同占空比的脈沖寬度調(diào)制(PWM)。PWM的頻率由時鐘頻率f、預(yù)分頻值M、計數(shù)周期T決定，占空比由定時器寄存器值compare來決定，流水線速度V與控制電機PWM占空比之間的系數(shù)為K，其關(guān)系如式(1)所示，可以通過改變compare值來改變速度V

(1)

流水線使用兩個紅外避障傳感器R1和R2，可測得物體經(jīng)過時T1和T2的值。R1和R2之間的間距為L，與流水線實時監(jiān)測的速度v之間的關(guān)系如式(2)所示

v=(T1-T2)/L

(2)

采用負反饋系統(tǒng)，將測得的實時流水線速度與設(shè)定速度相比較修正compare值。使流水線始終保持在恒速運行，相互關(guān)系如圖5所示。

2.3 多步進電機多任務(wù)同步控制算法設(shè)計

步進電機驅(qū)動采用A4988模塊實現(xiàn)，主控芯片通過對驅(qū)動模塊的方向、步頻和使能的控制完成分揀操作。此部分完成4臺步進電機的實時多任務(wù)同步控制，每個任務(wù)控制需要根據(jù)物品的類別、實時的位置以及同時多響應(yīng)的實際情況來及時準確實現(xiàn)具體任務(wù)的操作。

圖5 速度校正流程

為解決上面所提出的多部件電機多任務(wù)同步控制問題，設(shè)計如圖6所示多任務(wù)控制算法。tp表示時間數(shù)組1，當有物品進入時，紅外避障傳感器R1觸發(fā)進行標記的時間存儲。class表示類別數(shù)組，是分類之后的結(jié)果存儲。ts為任務(wù)符合分揀操作要求時的實時時間，對tp和ts計算，可以得到一個新的時間數(shù)組t。通過時間t可以計算出此時物品具體的位置，按照class數(shù)組對應(yīng)的類別，可以進行具體的任務(wù)(task)操作執(zhí)行。此部分以固定地址查詢?yōu)樵O(shè)計思路，實現(xiàn)同一物品在被分揀處理過程中不同參數(shù)之間的有效關(guān)聯(lián)。本文的解決方法是建立固定的數(shù)據(jù)組，在不同數(shù)據(jù)組的相同位置，存儲同一物品的處理信息，所有信息組的相同位置便可共同組成任務(wù)的執(zhí)行參數(shù)。每個任務(wù)為單獨執(zhí)行的系統(tǒng)任務(wù)，實現(xiàn)各個任務(wù)之間的運行互不干擾，當滿足分揀任務(wù)要求，即可讀取所需參數(shù)完成分揀操作。

圖6 多任務(wù)控制算法設(shè)計

從圖6(a)可以看到，不同數(shù)據(jù)和任務(wù)之間對應(yīng)的數(shù)組位置不同。圖6(b)是多任務(wù)同時運行的流水線，可以看出并行任務(wù)在一定周期內(nèi)便可執(zhí)行完。因此設(shè)置一定大小的數(shù)據(jù)數(shù)組和任務(wù)個數(shù)，將整個數(shù)組任務(wù)循環(huán)執(zhí)行，便可在有限的任務(wù)里完成不間斷的分揀操作需求。

2.4 分揀框?qū)崟r監(jiān)控

分揀框的實時檢測設(shè)計，對5個分揀框采用超聲波測距模塊進行實時監(jiān)測。超聲波檢測控制采用輪詢方式，接線方式如圖4控制系統(tǒng)原理中控制系統(tǒng)檢測模塊所示。設(shè)置的時間為每秒對5個超聲波傳感器輪詢一次，模塊Trig引腳分別接不同的芯片端口進行觸發(fā)控制，Echo端口接同一個端口進行距離數(shù)據(jù)的采集。此種方式可以在有限的時鐘外設(shè)情況下，完成多個監(jiān)控任務(wù)的執(zhí)行。具體運行流程為：超聲波模塊進行輪詢檢查，當某個框內(nèi)物品超過設(shè)定位置后，蜂鳴器進行報警提示，同時該位置的指示燈進行閃爍。

2.5 圖像采集控制

圖像采集系統(tǒng)作為一個單獨的部分，該部分采用STM32f407作為控制器，驅(qū)動OV2640攝像頭進行物體圖片的采集和傳輸。當有物品到來時，紅外避障傳感器被觸發(fā)，信號傳輸給控制器?？刂破骺刂茢z像頭進行拍照操作，通過串口將數(shù)據(jù)信息實時傳輸給計算機[14]。具體流程如圖7所示。

圖7 圖像采集控制流程

3 分類系統(tǒng)

3.1 數(shù)據(jù)集制作

數(shù)據(jù)集來源不同，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中最終會影響分類的準確度[15]。數(shù)據(jù)集制作流程如圖8所示。

圖8 數(shù)據(jù)集制作流程

圖9 數(shù)據(jù)集部分樣本

3.2 分類器設(shè)計

本系統(tǒng)以ResNet50模型為基礎(chǔ)，對傳統(tǒng)Softmax函數(shù)進行改進，作為本系統(tǒng)的分類器并對其進行模型訓(xùn)練。

ResNet50模型為深度殘差網(wǎng)絡(luò)模型，殘差網(wǎng)絡(luò)主要以殘差塊構(gòu)成。殘差網(wǎng)絡(luò)的出現(xiàn)在于解決隨著網(wǎng)絡(luò)的加深，訓(xùn)練集準確率下降的問題，并且具有易于優(yōu)化計算量小等特點[17,18]。殘差塊通過Shortcut Connection跨層鏈接傳遞參數(shù)，以解決深度網(wǎng)絡(luò)的過擬合梯度爆炸等問題[19]。主要有兩種殘差模塊：ID BLOCK和CONV BLOCK。ID BLOCK其輸入輸出維度不變，如圖10(a)所示；CONV BLOCK其輸入輸出維度不同，主要功能為改變特征向量維度如圖10(b)所示。其中CONV是不同的卷積操作，Relu為激活函數(shù)如式(3)所示，當x大于0時，函數(shù)的導(dǎo)數(shù)值始終為1，不存在梯度消失的問題[20]。ResNet50中包含了49個卷積層和1個全連接層[21]，其基本構(gòu)成單位為殘差模塊。因為每個殘差塊都包含3個卷積層，因此有1+3(3+4+6+3)=49個卷積層，如圖10(c)所示

(3)

圖10 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖10(c)全連接層后，采用式(4)Softmax函數(shù)為分類器[22]。其中yi為Softmax函數(shù)的輸入，K為分類的總個數(shù)，K個類別的輸出求和為1[23]，輸出值中最大的一類即為判斷出的類別

(4)

在實際可回收物分揀過程中，分揀效果的好壞，體現(xiàn)在分揀的誤檢率上。而對于可回收物分揀來說，其中其它物這一類別屬于特殊的一類。將可回收物識別為其它物，在實際中只能算漏檢，而對于可回收物品的分揀正確不會造成太大的損失。相反，如果將不是該類的分揀為該類，則屬于誤檢率。同樣比值的誤檢率和漏檢率造成的損失，漏檢會高很多。分揀的誤檢率高低，是可回收物分揀質(zhì)量的保證。因此，本文在損失一定的漏檢率上，對網(wǎng)絡(luò)進行改進，在Softmax函數(shù)后增加權(quán)重來降低除其它物以外物品的分揀誤檢率，如式(5)所示

(5)

式中：WK為輸出類別權(quán)重值，K為系統(tǒng)分揀類別。權(quán)重值中，a為其它物的權(quán)重值，其余權(quán)重值設(shè)置為1，則在分類結(jié)果上偏向其它物，降低除其它物之外可回收物的誤檢率。

3.3 Gamma校正

在神經(jīng)網(wǎng)絡(luò)圖像分類中，光照對圖像處理有一定的影響。系統(tǒng)在圖像采集過程中，可能會出現(xiàn)分揀物過大或者光源影響，產(chǎn)生高光區(qū)、過渡區(qū)以及陰影區(qū)[24]。為增強在實際應(yīng)用場景中的魯棒性，本文對采集到的原圖利用Gamma校正算法進行預(yù)處理。式(6)為Gamma校正算法，其中，IG(aij) 是原始圖像的某個像素灰度值 (0≤i,j≤255)， [IO(aij)]max表示原始圖像灰度值的最大值，IG(aij) 是經(jīng)過Gamma校正后像素灰度值的輸出，參數(shù)γ決定了轉(zhuǎn)換曲線的形狀[25]。圖11是陰影比較明顯的一張圖片，Gamma校正前后的對比

(6)

圖11 Gamma校正前后對比

4 實驗與分析

4.1 實驗測試環(huán)境搭建

本文是采用傳送帶的智能分揀完成了硬件實物的制作以及控制系統(tǒng)的調(diào)試，如圖12所示為系統(tǒng)的實物展示。通過收集到部分實物可回收物，作為實際試驗素材，在實際運行中做測試與驗證。

圖12 分揀系統(tǒng)實物展示

4.2 分類算法驗證

由于實驗樣本量少本文采用遷移學(xué)習(xí)，遷移學(xué)習(xí)就是把已有訓(xùn)練好的模型更改相關(guān)層后，用于新任務(wù)的訓(xùn)練[26]。遷移學(xué)習(xí)方法可行性高且模型泛型能力強，是由于模型低層CNN主要學(xué)習(xí)低級的邊緣和顏色信息特征，在此基礎(chǔ)特征信息上CNN主要學(xué)習(xí)的則是圖像特定的高層特征[27]。首先，采用傳統(tǒng)的Softmax函數(shù)對測試集進行驗證，Softmax混淆矩陣實驗結(jié)果見表1。在當前的實驗室環(huán)境下，可回收物識別平均準確率為88.2%。

其次，采用改進后的Softmax函數(shù)對測試集進行驗證，改進Softmax混淆矩陣實驗結(jié)果見表2。可以對比看出，被識別為其它物的概率有比較明顯的減少?？苫厥瘴镒R別平均準確率為87.2%，較表1有所下降符合預(yù)期設(shè)想。

表1 Softmax混淆矩陣

表2 改進Softmax混淆矩陣

通過傳統(tǒng)算法與改進算法的對比分析，得到表3的結(jié)果。表3中，僅對紙箱、玻璃瓶、易拉罐和塑料瓶4類統(tǒng)計誤檢率。從結(jié)果可以看出，改進算法比傳統(tǒng)算法對可回收物的誤檢率普遍有了降低，平均降低3.5%。實驗驗證改進的算法策略對可回收物的分揀性能有一定提升。

表3 4類物品傳統(tǒng)算法與改進算法誤檢率對比/%

表4是對紙箱、塑料瓶、易拉罐和玻璃瓶4類物品進行傳統(tǒng)算法和改進算法漏檢率的統(tǒng)計。傳統(tǒng)算法平均漏檢率為12.75%，改進算法為14.25%，改進算法比傳統(tǒng)算法增加了1.5%。而從表3可得到在分揀正確率上提升了3.5%，使可回收物部分分揀正確率從89.8%提升到93.3%，相比較而言符合實際分揀的需求。

表4 4類物品傳統(tǒng)算法與改進算法漏檢率對比/%

由于實際圖像采集過程中，環(huán)境和設(shè)備因素導(dǎo)致采集到的圖像相對于網(wǎng)絡(luò)數(shù)據(jù)集較暗。本文將γ值設(shè)計為0.5提高圖像亮度，可得到Gamma校正前后分類結(jié)果的對比見表5。對于紙箱和其它物來說影響相對較小，塑料瓶、易拉罐和玻璃瓶正確率均有提升，驗證預(yù)處理對實際分揀系統(tǒng)平臺的準確率有一定程度的提高。

表5 Gamma(γ=0.5)校正前后分類對比

4.3 分揀系統(tǒng)實驗與分析

通過對實物的分揀，來驗證可回收物的分揀速度。影響分揀速度的因素與傳送帶的運行速度直接相關(guān)，表6是在物品投放間距約為20 cm下，不同等級傳送帶速度的實驗結(jié)果。通過結(jié)果可以看出，傳送帶的運行速度越快，分揀速度也越快。當速度超過10 cm/s時分揀效率卻降低，這是受圖像采集和分類的周期所限。綜合實驗后，本系統(tǒng)能夠穩(wěn)定運行的傳送帶最佳速度約為10 cm/s。

表6 傳送帶速度對分揀速度的影響

在傳送帶速度為10 cm/s下，設(shè)置傳送帶上待分揀物的不同間距，進行物品分揀速度的最優(yōu)間距實驗。如表7所示，設(shè)置了4個等級測試間距對分揀速度的影響。

表7 物品間距對分揀速度的影響

通過實驗可以看出，物品間距過小會影響物品的分揀。當間距大約為15 cm的時候是比較合適的，分揀速度為3.44 s/個。而影響機械臂分揀速度的因素較多，根據(jù)機械臂性能、抓手的方式、分揀操作運動范圍等共同決定。在查閱眾多文獻發(fā)現(xiàn)對分揀速度進行具體研究的較少，參照文獻[7]中垃圾分揀工作周期為12 s左右，本文系統(tǒng)明顯優(yōu)于機械臂分揀模型。借鑒文獻[28]中UR3機械臂對垃圾分揀的一些性能參數(shù)與本文設(shè)計系統(tǒng)對比，見表8。

表8 不同分揀方法性能參數(shù)對比

表8中，UR3機械臂分揀重量大于本文系統(tǒng)，因為本文所采用的步進電機扭矩的限制，可更換步進電機提高分揀的重量；可分揀尺寸范圍，本文去掉抓取環(huán)節(jié)而優(yōu)于UR3機械臂；UR3機械臂操作范圍為500 mm，也因此限制了單臺的分揀種類數(shù)為3類，本系統(tǒng)沒有操作范圍的限制在分揀種類上也具有一定優(yōu)勢。綜上分析，本文所設(shè)計的系統(tǒng)，在一定程度上解決了機械臂分揀的一些瓶頸問題，在可回收物分揀性能上有一定提高。

5 結(jié)束語

本文所設(shè)計的可回收物智能分揀系統(tǒng)為可回收物的智能分揀提供一種可行性較高的方案。在可回收物智能分揀方面，通過實物實驗驗證其可行性，并且在設(shè)備成本方面較優(yōu)。系統(tǒng)詳細介紹了多步進電機多任務(wù)的控制設(shè)計和分類系統(tǒng)的設(shè)計，通過改進的Softmax函數(shù)和Gamma算法提高了分類的正確率。同時，系統(tǒng)的設(shè)計也具有很高的靈活性，可以在改動較小的情況下，對物品的分揀種類進行擴充滿足不同的需求。與其它分揀系統(tǒng)相比較，本系統(tǒng)對可回收物的分揀性能良好。并且在未來實際工作上可以進一步提升分揀速度。由于實驗條件的限制，本系統(tǒng)旨在完成初步的實現(xiàn)。對分揀硬件系統(tǒng)進一步改進，整體的分揀速度有一個較高的提升，理論上是可以超過每秒分揀一件以上的物品。從這個結(jié)果上來看，對于可回收物的智能分揀設(shè)備普及具有一定意義。