巫傳珺，張 松，胡 正，汪川貴，郭麗芳

（1.成都工業(yè)學(xué)院網(wǎng)絡(luò)與通信工程學(xué)院，四川 成都 611730；2.成都工業(yè)學(xué)院綜合改革與政策法規(guī)處，四川 成都 611730）

在當(dāng)今的城市生活中，國(guó)家通過相應(yīng)的政策督促居民進(jìn)行垃圾分類，雖然有國(guó)家政策的支持，但對(duì)于大眾來說，垃圾分類的觀念還沒有深入人心，因此如何更快、更有效地幫助人們進(jìn)行垃圾的分類，就成了本篇的研究點(diǎn)。

對(duì)于市場(chǎng)上流行的掃地機(jī)器人，主要功能的設(shè)計(jì)在于機(jī)器人自主尋路、自動(dòng)規(guī)避障礙等[1]，而對(duì)于工業(yè)垃圾分類車，主要采用傳統(tǒng)后裝壓縮式垃圾車或者后高位自裝卸式垃圾車[2]，體積龐大，無法在小空間場(chǎng)景內(nèi)使用。本文設(shè)計(jì)的垃圾機(jī)器人采用視覺處理技術(shù)[3]解決了小場(chǎng)景下的自動(dòng)垃圾拾取與分類問題。

本文設(shè)計(jì)的垃圾分類機(jī)械人能夠從指定位置出發(fā)，快速搜尋垃圾，對(duì)垃圾識(shí)別并分類揀送到指定的垃圾堆放地，機(jī)械人采用位置式PID 算法對(duì)機(jī)械人運(yùn)動(dòng)進(jìn)行實(shí)時(shí)控制，在文獻(xiàn)[4-5]的論文報(bào)告中對(duì)YOLOv5 模型訓(xùn)練進(jìn)行了運(yùn)用，分別對(duì)口罩和動(dòng)物進(jìn)行了檢測(cè)，筆者們參考了其識(shí)別方法，對(duì)不同的垃圾進(jìn)行了模型部署，以高精度識(shí)別不同的垃圾，采用OpenMV 攝像頭[6]對(duì)分類區(qū)域的分類色塊進(jìn)行識(shí)別，采用機(jī)械門夾取方式對(duì)垃圾進(jìn)行拾取，完成機(jī)械人從出發(fā)到垃圾搜索、垃圾識(shí)別、垃圾拾取、垃圾分類的整個(gè)過程。本文通過對(duì)小型垃圾分類機(jī)械人的設(shè)計(jì)研究，為家用生活垃圾處理設(shè)備提供新的設(shè)計(jì)思路。

1 系統(tǒng)總體設(shè)計(jì)

機(jī)械人系統(tǒng)主要由STM32 單片機(jī)主控系統(tǒng)、Jetson Nano 平臺(tái)、OpenMV 平臺(tái)組成，其中STM32單片機(jī)作為機(jī)械人的主控單元，主要負(fù)責(zé)機(jī)械人的移動(dòng)、機(jī)械門的抓取與垃圾的堆放分揀；Jetson Nano 平臺(tái)負(fù)責(zé)垃圾的識(shí)別工作，主要進(jìn)行垃圾的搜尋及對(duì)垃圾種類的識(shí)別，同時(shí)將識(shí)別到的垃圾種類信息與目標(biāo)垃圾位于鏡頭的坐標(biāo)發(fā)送給STM32 主控；OpenMV 平臺(tái)主要負(fù)責(zé)對(duì)垃圾堆放區(qū)的檢測(cè)及對(duì)不同垃圾堆放區(qū)的識(shí)別，同時(shí)堆放區(qū)位于鏡頭內(nèi)的坐標(biāo)發(fā)送給STM32主控，STM32 主控在接收到來自2 個(gè)攝像頭的數(shù)據(jù)后作出相應(yīng)的處理，包括移動(dòng)機(jī)械人至目標(biāo)垃圾點(diǎn)并進(jìn)行抓取、移動(dòng)機(jī)械人至目標(biāo)堆放區(qū)、釋放垃圾、退出堆放區(qū)，再開啟新一輪的垃圾尋找，其系統(tǒng)架構(gòu)如圖1所示。

圖1 系統(tǒng)架構(gòu)圖

2 系統(tǒng)各模塊設(shè)計(jì)與實(shí)現(xiàn)

2.1 基于Jetson Nano 的垃圾種類的識(shí)別

Jetson Nano 是英偉達(dá)Jetson 系列的一款開發(fā)板，也是性價(jià)比最高的一款板子，平臺(tái)上提供了現(xiàn)代AI 的強(qiáng)大算力，因此可以在上面進(jìn)行一些復(fù)雜的AI 計(jì)算，YOLOv5 是一種單階段目標(biāo)檢測(cè)算法，該算法在YOLOv4 的基礎(chǔ)上添加了一些新的改進(jìn)思路，使其速度與精度都得到了極大的提升。

整個(gè)訓(xùn)練過程首先會(huì)使用相機(jī)對(duì)需要拾取的垃圾進(jìn)行各方位的錄像，再將錄制的垃圾視頻分解成數(shù)據(jù)集相片，通過Labelimg 對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，經(jīng)過矩池云平臺(tái)將數(shù)據(jù)集轉(zhuǎn)化為模型，最后將模型部署到Jetson Nano 平臺(tái)，使用pycuda 運(yùn)行程序與模型，Jetson Nano平臺(tái)通過單目攝像頭對(duì)垃圾進(jìn)行檢測(cè)，過程如圖2所示。

圖2 YOLOv5 模型訓(xùn)練流程

不同版本的YOLOv5 與EfficientDet檢測(cè)算法之間的性能也不同，版本主要有YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，不同版本YOLOv5 性能對(duì)比如圖3 所示。

圖3 YOLOv5 不同版本的對(duì)比

圖3 橫軸表示的是該算法在GPU 上對(duì)每張圖的推理時(shí)間（ms），該數(shù)值越小越好；縱軸表示的是該算法在COCO 測(cè)試數(shù)據(jù)集上面的AP 指標(biāo)，該數(shù)值越大越好。與EfficientDet0 相比，YOLOv5s 不僅可以獲得更高的AP 指標(biāo)，而且可以獲得更快的推理速度，本項(xiàng)目中的機(jī)械人為了更快地部署不同的垃圾模型，采用了YOLOv5s 進(jìn)行垃圾模型的訓(xùn)練。垃圾圖片集訓(xùn)練后的最終模型訓(xùn)練結(jié)果如圖4 所示。

圖4 YOLOv5 訓(xùn)練結(jié)果

圖4 分別是對(duì)橘皮、紙團(tuán)、電池、空瓶、紙杯進(jìn)行模型訓(xùn)練，可以看出圖集越多，識(shí)別精度越高，模型達(dá)到飽和后精度可以達(dá)到95%以上，滿足了垃圾識(shí)別的需要。

2.2 基于tof 測(cè)距垃圾目標(biāo)定位

tof 測(cè)距屬于雙向測(cè)距技術(shù)，利用數(shù)據(jù)信號(hào)在一對(duì)收發(fā)機(jī)之間往返的飛行時(shí)間來測(cè)量?jī)牲c(diǎn)間的距離。將發(fā)射端發(fā)出數(shù)據(jù)信號(hào)和接收到接收端應(yīng)答信號(hào)的時(shí)間間隔記為Tt，接收端收到發(fā)射端的數(shù)據(jù)信號(hào)和發(fā)出應(yīng)答信號(hào)的時(shí)間間隔記為Tr，如圖5 所示。信號(hào)在這對(duì)收發(fā)機(jī)之間的單向飛行時(shí)間Tf=（Tt-Tr）/2，則兩點(diǎn)間的距離d=c×Tf，其中c表示電磁波傳播速度，其測(cè)距原理如圖5 所示。

圖5 tof 測(cè)距原理

2.3 垃圾分類區(qū)域檢測(cè)

OpenMV 自帶一個(gè)Micropython 解釋器和cv 庫(kù)，調(diào)用OpenCV 里面的blob 色塊模塊，追蹤終點(diǎn)的顏色，通過這種方式實(shí)現(xiàn)垃圾堆放區(qū)分類色塊的識(shí)別，實(shí)現(xiàn)方法為：首先對(duì)分類區(qū)色塊進(jìn)行拍照取樣，隨后在OpenMV 軟件中通過閾值編輯器改變顏色的閾值來進(jìn)行色塊追蹤，將顏色加入函數(shù)中再調(diào)用OpenCV 庫(kù)，框出鏡頭畫面中滿足顏色閾值的色塊，將信息轉(zhuǎn)化為數(shù)值的形式發(fā)送給主控，主控根據(jù)信息決定運(yùn)動(dòng)軌跡。區(qū)分不同種類垃圾堆放區(qū)如圖6 所示。

圖6 區(qū)分不同種類垃圾堆放區(qū)

2.4 垃圾目標(biāo)抓取

機(jī)械門夾取結(jié)構(gòu)：抓取垃圾的方式采用機(jī)械門夾取與豎推方式進(jìn)行，機(jī)械門使用舵機(jī)與木板的結(jié)合，STM32 主控通過輸出額定PWM 波控制舵機(jī)的旋轉(zhuǎn)從而帶動(dòng)木板旋轉(zhuǎn)，實(shí)現(xiàn)機(jī)械門的張開與閉合，通過此方式將垃圾夾取或者關(guān)在一定空間內(nèi)，使用擋板推動(dòng)垃圾移動(dòng)。機(jī)械門抓取示意圖如圖7 所示。

圖7 機(jī)械門抓取示意圖

2.5 垃圾分類機(jī)械人控制策略算法設(shè)計(jì)與實(shí)現(xiàn)

本次機(jī)械人采用增量式PID 算法來控制，通過攝像頭傳回的坐標(biāo)信息來計(jì)算該坐標(biāo)與攝像頭屏幕中線的偏差，從而實(shí)現(xiàn)機(jī)械人的精準(zhǔn)轉(zhuǎn)向，使之能夠準(zhǔn)確地向著目標(biāo)前進(jìn)。

PID 算法的主要實(shí)現(xiàn)過程如圖8 所示。

圖8 增量式PID 實(shí)現(xiàn)過程

從圖8 可以看出，PID 算法實(shí)現(xiàn)的影響因素有3個(gè)，分別是當(dāng)前偏差、歷史偏差、近期偏差，與之對(duì)應(yīng)的是PID 中的比例控制（P 算法）、積分控制（I 算法）、微分控制（D 算法）。

比例控制：Ek=Sv-Xk，Pout=Kp×Ek+O0。

積分控制：Sk=E1+E2+E3+…+Ek-1+Ek，Iout=Ki×Sk+O0。

微分控制：Dk=Ek-Ek-1，Dout=Kd×Dk+O0。

其中，Ek為當(dāng)前的偏差值；Kp為將誤差放大或縮小的比例系數(shù)；Sk為歷史偏差；Ki為將歷史誤差放大或者縮小的比例系數(shù)；O0為確保當(dāng)誤差為0 時(shí)，整個(gè)輸出系統(tǒng)不會(huì)為0。

機(jī)械人對(duì)于PID 算法的應(yīng)用：攝像頭是放在機(jī)械人車頭的正前方的中間，使機(jī)械人與車頭同向，鏡頭的中點(diǎn)也就是機(jī)械人車頭中點(diǎn)，當(dāng)垃圾或者終點(diǎn)出現(xiàn)在鏡頭前方時(shí)，攝像頭會(huì)識(shí)別出垃圾或終點(diǎn)塊在鏡頭x方向的位置并將信息傳遞給主控芯片，根據(jù)垃圾或終點(diǎn)在鏡頭x軸方向的值，計(jì)算出與鏡頭中點(diǎn)的差值Ek，因此根據(jù)差值Ek計(jì)算出PID 值，根據(jù)PID 值，對(duì)左右車輪輸出的PWM 進(jìn)行調(diào)整，使兩車輪轉(zhuǎn)速不同，使機(jī)器人朝垃圾方向行駛。差值越大，偏向速度越大，差值越小，偏向速度越小，當(dāng)沒有偏差，垃圾或終點(diǎn)在機(jī)械人的正前方時(shí)，機(jī)械人不偏向，這樣就實(shí)現(xiàn)了機(jī)械人的PID 調(diào)速，控制流程如圖9、圖10 所示。

圖9 駛向垃圾時(shí)PID 控制流程圖

圖10 駛向終點(diǎn)時(shí)PID 控制流程圖

2.6 Jetson Nano 實(shí)現(xiàn)垃圾定位

攝像頭鏡頭內(nèi)有垃圾時(shí)，機(jī)械人通過Jetson Nano傳回的物體中點(diǎn)位于x軸的坐標(biāo)，并將坐標(biāo)信息發(fā)送給STM32 單片機(jī)，STM32 單片機(jī)通過計(jì)算出垃圾中心位于x軸坐標(biāo)值與鏡頭中點(diǎn)x軸坐標(biāo)值之差，就可以使用上面講述的PID 差速控制，調(diào)整機(jī)械人雙輪的相對(duì)速度，讓機(jī)械人往物體方向運(yùn)行，使垃圾始終在鏡頭中心浮動(dòng)，最后當(dāng)tof 模塊測(cè)試到垃圾與機(jī)械人的距離少于20 cm 時(shí)，機(jī)械門關(guān)閉，垃圾被拾取。在攝像頭鏡頭內(nèi)沒有垃圾時(shí)，機(jī)械人自身旋轉(zhuǎn)車身，改變Jetson Nano 鏡頭視野，當(dāng)攝像頭視野內(nèi)再次出現(xiàn)垃圾時(shí)，回到剛開始的過程。垃圾在鏡頭的識(shí)別顯示如圖11 所示。

圖11 垃圾在鏡頭的識(shí)別顯示

2.7 OpenMV 實(shí)現(xiàn)對(duì)分類堆放區(qū)的定位

當(dāng)機(jī)械人拾取垃圾后，機(jī)械人通過調(diào)用OpenMV硬件平臺(tái)自帶的OpenCV 庫(kù)里面的blob 色塊模塊，追蹤終點(diǎn)的顏色，通過閾值編輯器改變終點(diǎn)顏色的閾值來進(jìn)行色塊追蹤，實(shí)時(shí)鎖定終點(diǎn)的位置坐標(biāo)。

首先機(jī)械人將識(shí)別到的垃圾種類信息發(fā)送給OpenMV，OpenMV 根據(jù)垃圾種類選擇識(shí)別顏色色塊，機(jī)械人通過OpenMV 對(duì)終點(diǎn)色塊坐標(biāo)進(jìn)行識(shí)別，將顏色色塊中心在x軸上的坐標(biāo)值傳遞給單片機(jī)，STM32單片機(jī)通過判斷其相對(duì)于鏡頭中點(diǎn)x方向上的距離，使用上述講述的PID 差速控制，調(diào)整機(jī)械人雙輪的相對(duì)速度，讓機(jī)械人往終點(diǎn)方向行駛。

2.8 TCS34725 模塊實(shí)現(xiàn)終點(diǎn)的定位

當(dāng)機(jī)械人行駛到終點(diǎn)附近時(shí)，使用TCS34725 模塊檢測(cè)終點(diǎn)色塊。TCS34725 模塊是一個(gè)顏色檢測(cè)傳感器，它集成了紅外阻擋濾光片，可以最大限度地減少入射光的紅外光譜成分，并可精確地進(jìn)行顏色測(cè)量，我們使用它來檢測(cè)地面的顏色信息。STM32 主控板通過I2C 通信協(xié)議對(duì)其進(jìn)行通信與控制，當(dāng)機(jī)械人行駛到對(duì)應(yīng)的垃圾堆放色塊上時(shí)，通過TCS34725 模塊檢測(cè)，并將顏色信息發(fā)給主控，主控接收到色塊信息后，判斷顏色信息是否為堆放區(qū)色塊，當(dāng)判斷為堆放區(qū)色塊時(shí)，將機(jī)械門打開，將垃圾放下。

3 結(jié)束語(yǔ)

本文的垃圾分類機(jī)械人基本實(shí)現(xiàn)了垃圾搜尋、垃圾識(shí)別、垃圾拾取、垃圾堆放的整體過程，實(shí)現(xiàn)了小巧化、整體化的設(shè)計(jì)，機(jī)械人的各個(gè)模塊不僅能獨(dú)立分工，還能協(xié)調(diào)工作，系統(tǒng)結(jié)構(gòu)緊湊而又靈活，功能強(qiáng)大，具有極大的可擴(kuò)展性，可以減少人們分類生活垃圾的負(fù)擔(dān)，提高垃圾分類的效率。設(shè)計(jì)雖已完成并且實(shí)現(xiàn)，但要承認(rèn)的是設(shè)計(jì)中還有很多的不足，比如垃圾誤識(shí)別問題、機(jī)械人運(yùn)動(dòng)規(guī)劃問題、拾取微小垃圾的問題等等，需要不斷優(yōu)化和改進(jìn)，希望本文能對(duì)垃圾分類事業(yè)有所幫助。