王偉杰，姚建濤，張敏燕，王 敏

（四川工商學院 計算機學院，成都 611745）

0 引言

隨著國家對環(huán)境問題的重視，以及環(huán)保意識逐漸深入人心，垃圾分類的理念也逐漸步入人們的視野。然而對于垃圾分類存在的問題，也急需得到解決。目前市面上清理垃圾的機器人主要分為兩類：一是家用的掃地機器人，二是大型的垃圾分揀機器人。前者依靠紅外線或者超聲波進行避障和充電，只能清掃垃圾，沒有分類功能；后者成本太高，只適用于大型的垃圾回收站?；谶@些問題，本文設(shè)計完成了一款基于圖像識別的垃圾回收和計算機視覺智能充電機器人，既能識別和分類回收垃圾，智能避障，也能實現(xiàn)自動充電。

1 現(xiàn)狀

由于人們對環(huán)境問題越來越重視，盡快解決垃圾分類的話題已被提到議事日程。國家為解決環(huán)境問題頒布了一些法律支持，上海市已于2019 年1 月31 日率先通過了《上海市生活垃圾管理條例》，垃圾分類第一次被寫入法律。目前中國的垃圾分類回收處理主要面臨如下問題：前期垃圾分類阻力大、中期垃圾分類處置不合理、后期生活垃圾處理不夠科學［1］。中國的全民垃圾分類目前還處于推廣階段，居民垃圾分類意識不強，很多城市依然采用混合收集方式，這給垃圾處理的中期和后期帶來不便。垃圾處理的中期是垃圾中轉(zhuǎn)站對垃圾進行進一步分類，大部分地區(qū)沒有出臺強制性的垃圾分類政策，一部分地區(qū)的垃圾中轉(zhuǎn)站并沒有對回收的垃圾進行分類和再利用。國內(nèi)市場上還沒有一款針對前期垃圾分類的智能產(chǎn)品，垃圾分類依然需要居民手動分類。

人們生活水平的提高，生活垃圾種類也在不斷增加，但市場上還沒有適用于家庭和公共場所的人工智能垃圾回收機器人。目前國內(nèi)市場上垃圾清理機器人技術(shù)主要有：激光雷達的傳輸和感應技術(shù)，通過光的折射或者反射對不同的垃圾進行數(shù)據(jù)的返回，根據(jù)射程的距離來實現(xiàn)垃圾分類。而人工智能的出現(xiàn)在增加傳統(tǒng)掃地機器人功能的同時，也打破了機器人依靠多個傳感器才能運行的傳統(tǒng)模式。

2 系統(tǒng)設(shè)計

2.1 功能設(shè)計

經(jīng)調(diào)研分析，智能垃圾分類機器人的主要功能包括以下幾部分：

（1）垃圾識別。機器人會將視覺信息通過樹莓派發(fā)送給服務器，GPU 服務器會將處理后的目標信息（包括垃圾的類型和位置）返回給機器人。

（2）拾取垃圾并分類。樹莓派會根據(jù)服務器返回的目標信息執(zhí)行相應的命令控制機械臂夾取垃圾，并將其放入到相應的垃圾桶中。

（3）智能充電。當機器人的電量低于一定的值時，機器人將會通過攝像頭自動檢測周圍是否有插座，當識別到插座時，機器人會通過機械臂將充電插頭插入到插座中。

2.2 硬件設(shè)計

系統(tǒng)用到的硬件設(shè)備主要包含：攝像頭、機械臂（含機械臂驅(qū)動模塊）、電機（含電機驅(qū)動塊）、樹莓派、電池、底座（含履帶）等。硬件結(jié)構(gòu)如圖1 所示。

圖1 硬件結(jié)構(gòu)圖Fig.1 Hardware structure diagram

其中：攝像頭采用的是1080p 高清usb 工業(yè)攝像頭；機械臂驅(qū)動模塊采用插卡式設(shè)計，系統(tǒng)采用STM32 控制板，支持PC 圖形化、代碼編程以及脫機運行，提供正運動學分析和逆運動學分析；電機驅(qū)動模塊開關(guān)頻率高，可有效避免調(diào)試電機頻率低帶來的問題；樹莓派使用的是Raspberry pi 3 Model B+，板卡配備64 位的1.4GHz 四核ARM Cortex-A53 處理器，該設(shè)備的雙頻無線局域網(wǎng)具有模塊化的兼容性；系統(tǒng)使用鋁電池，主要為機械臂舵機、小車電機、以及樹莓派供電；電機型號為985 低速版，額定轉(zhuǎn)速為12 V 3 000 r／min；機械臂由合金機械爪、6 個數(shù)字舵機（包含3 個防燒防堵轉(zhuǎn)舵機）、全金屬旋轉(zhuǎn)底盤以及若干鋁合金支架構(gòu)成。

2.3 軟件架構(gòu)

軟件架構(gòu)如圖3 所示。它主要有二種模式，即垃圾識別分類模式和智能充電模式，默認模式為垃圾識別分類模式。通過將攝像頭獲取的視覺信息傳輸給樹莓派，再由樹莓派傳輸給系統(tǒng)后端，后端GPU 服務器將會對該視覺信息進行處理，并將目標的位置信息和類別信息傳輸給樹莓派。樹莓派執(zhí)行相應指令，調(diào)整攝像頭的位置（攝像頭在機械臂上），同時驅(qū)動電機靠近目標，直到調(diào)整到合適的位置，樹莓派才會給機械臂驅(qū)動模塊發(fā)送夾取的命令，機械臂根據(jù)對應目標類別信息放入到自帶的對應垃圾桶中。并且會再次判斷目標是否夾取成功，若失敗將再次調(diào)整機器人與目標之間的位置。如果多次夾取失敗，樹莓派會將其相關(guān)信息發(fā)送給服務器，研究人員會對其進行分析和做相關(guān)處理。

智能充電的原理與垃圾識別分類的原理相似。當電池電量下降到相應值時（第一閾值），樹莓派自動將模式切換為智能充電模式。該模式下機器人會自動尋找插座，當機器人識別到插座時，樹莓派會執(zhí)行相應命令調(diào)整攝像頭，并驅(qū)動電機靠近插座，機械臂再將機器人充電器夾起，并調(diào)整機械臂位置，直到充電器插入插座。樹莓派會判斷該插座是否有電，如無電，則取出充電器尋找其他的插座。若電量低于第二閾值時，此時機器人的電量已經(jīng)不夠其完成自動充電，機器人會停留在原地給后端發(fā)送位置坐標，以便相關(guān)人員能夠找到。軟件邏輯關(guān)系如圖2所示。

圖2 軟件邏輯圖Fig.2 Software logic diagram

2.4 算法設(shè)計

2.4.1 Yolov4 目標檢測算法概述

Yolov4［2］是Yolov3［3］的改進版，無論在精度還是速度上Yolov4 都碾壓了Yolov3。YoLov4 原文作者在論文中提到，在進行bounding box regression 時，傳統(tǒng)的目標檢測算法（如Yolov3）都是根據(jù)預測框和真實框的中心點坐標，以及寬高信息設(shè)定MSE（均方誤差）損失函數(shù)，Yolov3 的總損失函數(shù)公式如式（1）：

MSE 損失函數(shù)包括3 個部分：即預測框的位置損失、預測框預測的類別損失和預測框置信度損失。MSE 損失函數(shù)將檢測框中心點坐標和寬高等信息作為獨立的變量對待，但實際上這些信息之間是有聯(lián)系的。因此，Yolov4 的作者將MSE 替換為CIOU（Complete-IoU）。CIOU 考慮到3 個幾何因素，即重疊面積、中心點距離和長寬比。CIoU 的懲罰項是在DIoU 的懲罰項基礎(chǔ)上加了影響因子α和ν，這個因子把預測框長寬比擬合目標框的長寬比考慮進去。其中α是用做trade-off 的參數(shù)，v是用來衡量長寬比一致性的參數(shù)［4］，具體公式如式（2）、式（3）：

其中，ωgt和hgt為真實框的寬和高，ω和h為預測框的寬和高。如果真實框和預測框的寬和高一樣，則v為0，即該懲罰項失效。其次Yolov4 將DarknetConv2D 的激活函數(shù)由ReLU 修改成了Mish，如公式（4）：

相比ReLU 激活函數(shù)，Mish 激活函數(shù)的輸出更為平滑，而平滑的激活函數(shù)可以讓更好的信息進入神經(jīng)網(wǎng)絡，從而使模型得到更好的泛化能力，避免過擬合。其次，是將resblock_body 的結(jié)構(gòu)進行了修改，運用了CSPnet 結(jié)構(gòu)。運用這種結(jié)構(gòu)的作用是在降低計算量的同時增加模型的精準度，CSPnet 結(jié)構(gòu)如圖3 所示。

圖3 CSPnet 結(jié)構(gòu)Fig.3 CSPnet structure

Yolov4 采用了PANet（用于實例分割的路徑聚合網(wǎng)絡）［5］的結(jié)構(gòu)，將低層與高層的特征進行融合，提高目標檢測的精度，尤其是對小目標識別的精度。PANet 總體上是Mask-Rcnn 的改進版［6］，整體思路為提高信息流在網(wǎng)絡中的傳輸速度。其主要在3 方面進行了改進：

（1）提出了Bottom-up Path Augmentation，它能提高底層特征信息的利用率，加快底層特征信息的傳輸效率；

（2）提出了Adaptive Feature Pooling，在提高特征提取速度的同時也保證了特性信息的利用率；

（3）提出了Fully-connected Fusion，提高了mask 的生成質(zhì)量。

為解決小目標檢測準確度低的問題，Yolov4 作者在其算法中引入了馬賽克數(shù)據(jù)增強算法。其原理是從數(shù)據(jù)集中每次讀取4 張圖片，然后對這4 張圖片進行翻轉(zhuǎn)、縮放、色域變化等，如圖4 所示。最后將其組合在一起，如圖5 所示。

圖4 圖片的翻轉(zhuǎn)、縮放、色域變化Fig.4 Flip，zoom，gamut change

圖5 圖片的拼接結(jié)果Fig.5 The Mosaic result of the picture

2.4.2 目標檢測實現(xiàn)

本文基于Yolov4 實現(xiàn)目標檢測，Yolo Head 會根據(jù)前面提取的特征層進行預測，不斷調(diào)整先驗框的大小和位置，使其生成最后的預測框。經(jīng)過主干網(wǎng)絡的特征提取，可以得到shape 為（N，52，52，255）、（N，26，26，255）和（N，13，13，255）的特征層，而每個特征層上會有3 個預設(shè)好的anchor box，總共會聚類9 個anchor box。對于輸入圖片為416x416時，在13x13 的特征圖中由于其感受野最廣，適合檢測大目標，所以分配最大的 anchor box，即（116x90）、（156x198）、（373x326）。在26x26 的特征圖中，它的感受野處于中等水平，適合檢測中等大小的目標，所以分配中等大的anchor box，即（30x61），（62x45），（59x119）。在52x52 的特征圖中，感受野最小，適合檢測小目標，所以分配最小的anchor box，即（10x13），（16x30），（33x23）。邊框預測公式為式（5）～式（8）：

通過上面的公式可以得到邊界框相對于特征映射的位置和大小，但網(wǎng)絡實際學習的目標是tx、ty、tw、th 這4 個參數(shù)。由于Yolov4 的輸出是一個卷積特征圖，其中包含了特征圖深度的邊界框?qū)傩?，而邊界框的屬性又由彼此堆疊的單元格測出，這種格式對輸出值的處理很不方便。

其中tx和ty是預測的坐標偏移值，tw和th是尺度縮放，根據(jù)前面的公式可以求出真實的預測框坐標。求tx，ty，tw，th的公式如式（9）～式（12）：

每張?zhí)卣鲌D上有3 個先驗框，具體哪個先驗框預測目標，需要在訓練中確定，即由IOU 最大的先驗框來預測，而其余的兩個先驗框不會和ground truth 匹配。最后根據(jù)得到的tx，ty，tw，th來對先驗框進行微調(diào)，使其與ground truth 重合，得到最后的預測框。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集制作

首先收集圖片，使用Python 程序?qū)⑺袌D片重命名，使用Labelimg 給每個圖片的object 打上標簽，生成的目標信息保存于對應的”.XML”文件里。本研究采用的是VOC 格式的數(shù)據(jù)集，訓練前將“.jpg”文件放在VOC2007 文件夾中的JPEGlmages 目錄，標簽文件放在VOC2007 中的Annotation 目錄中。在VOC2007 目錄中運行test.py，會生成4 個.txt 文件，即train.txt、val.txt、test.txt 和trainval.txt。修改voc_label.py 中的相關(guān)參數(shù)（sets 和classess）的值，然后運行該代碼，會生成3 個文件2007_train.txt、2007_val.txt、2007_test.txt，并在VOC2007 中生成一個labels 文件夾。

3.2 訓練神經(jīng)網(wǎng)絡

上述生成的labels 文件夾中txt 文件，是訓練真正用到的數(shù)據(jù)集，其中存放每張圖片的絕對路徑和真實框的位置。訓練的命令也比較簡單：.／darknet detector train cfg／obj.data cfg／yolo-obj.cfg yolov4.conv.137。當神經(jīng)網(wǎng)絡的loss 值幾乎不變時，則可停止訓練。

3.3 結(jié)果分析

實驗使用2 500 張圖片來測試模型的精度，具體數(shù)據(jù)見表1。

表1 模型測試精度表Tab.1 Model test accuracy table

從表中可以看出，模型對插座的識別精度最高，對干垃圾的識別精度最低。可能是選取干垃圾的訓練圖片特征不太明顯或圖片量太少而導致模型對該類別的收斂不及其它類別。因此，可以尋找特征更為明顯的干垃圾圖片，加入到訓練集中，這樣其識別精度應該會有所提高。另外，本模型的平均精度為86.06%，能識別的垃圾種類很少，離理想的模型還是有一定的距離，需擴充訓練集圖片的數(shù)量和種類，優(yōu)化識別算法，使模型更加完善。

4 結(jié)束語

本研究是基于Yolov4 目標檢測算法，將圖像信息傳輸給樹莓派，再由樹莓派傳輸給服務器，服務器會根據(jù)相應算法進行處理后，將處理的數(shù)據(jù)傳回到樹莓派中。機器人通過芯片的返回數(shù)據(jù)執(zhí)行相應的操作，將垃圾進行分類。自動充電和自動避障也是相同的原理來實現(xiàn)的。該機器人獲取外界信息靠的是攝像頭，而非各種傳感器，這種設(shè)計不僅能減輕機器人的質(zhì)量，提升機器人的靈活性，也大大減少了使用其它傳感器產(chǎn)生的費用。