陳牧圖，譚睿，石壘壘，馮月芹

（南京工程學(xué)院，江蘇南京，211167）

0 引言

隨著人們生活水平的提高，人均擁有的資源不斷增多，垃圾產(chǎn)生量增多，這使得我們面臨著垃圾圍城的困境。放眼國(guó)外，發(fā)達(dá)國(guó)家普遍采用垃圾分類回收、針對(duì)處理的方法，同時(shí)，垃圾分類也是中國(guó)必然的選擇。環(huán)境問(wèn)題的日益突出對(duì)日常生活、城市發(fā)展以及自然環(huán)境都造成了極大的影響，這些問(wèn)題已然使垃圾分類成為刻不容緩的需要。

新型智能多功能自動(dòng)分類垃圾桶，它通過(guò)將傳統(tǒng)標(biāo)簽垃圾桶與智能自動(dòng)化裝置有機(jī)結(jié)合，有效解決了傳統(tǒng)的垃圾處理方式對(duì)環(huán)境帶來(lái)的污染問(wèn)題、國(guó)家土地資源的占用問(wèn)題以及可回收資源的浪費(fèi)問(wèn)題，并且為環(huán)衛(wèi)從業(yè)者和因?yàn)楣ぷ骰蛏钚枰鄙贂r(shí)間進(jìn)行垃圾分類的人群提供便利。

將深度學(xué)習(xí)技術(shù)應(yīng)用于垃圾分類處理的方法，通過(guò)引入機(jī)器視覺(jué)拍照、深度學(xué)習(xí)識(shí)別和自動(dòng)投放裝置代替人工進(jìn)行垃圾分類。利用OpenMV攝像頭采集圖像信息，以谷歌TensorFlow 為框架，進(jìn)行數(shù)據(jù)集的訓(xùn)練，上述訓(xùn)練得到的最優(yōu)模型進(jìn)行格式轉(zhuǎn)換，使用 TensorFlow Lite converter轉(zhuǎn)換器將最優(yōu)模型轉(zhuǎn)換為TensorFlow Lite 能夠識(shí)別的tflite 格式模型文件，它可以直接應(yīng)用于OPENMV攝像頭的控制器，以此進(jìn)行下一步的識(shí)別操作。OPENMV將識(shí)別后的垃圾信息計(jì)算處理之后，再通過(guò)串口通信傳給STM32單片機(jī)，通過(guò)單片機(jī)控制舵機(jī)轉(zhuǎn)動(dòng)進(jìn)行垃圾槽的選擇，轉(zhuǎn)至對(duì)應(yīng)的分類垃圾槽，同時(shí)利用大屏幕顯示垃圾的種類以及投放垃圾的數(shù)量等信息。

此項(xiàng)目不僅具有理論價(jià)值，也有很強(qiáng)的實(shí)用價(jià)值。與人工相比，智能分類垃圾桶在降低垃圾分類錯(cuò)誤率的同時(shí)，也提高了回收處理的時(shí)間、資源效率。在一定程度上節(jié)約了社會(huì)資源，美化了生活環(huán)境，提高了人民的生活質(zhì)量。

1 系統(tǒng)設(shè)計(jì)

智能分揀垃圾桶系統(tǒng)設(shè)計(jì)框圖如圖1所示。該系統(tǒng)以stm32f407單片機(jī)作為控制核心，集成了識(shí)別感應(yīng)、分揀控制、和滿桶檢測(cè)三大模塊，識(shí)別感應(yīng)通過(guò)一塊光電傳感器和一個(gè)openMV攝像頭模塊實(shí)現(xiàn)，先由光電傳感器感應(yīng)是否有垃圾投入，再由openMV通過(guò)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型檢測(cè)垃圾種類；分揀控制通過(guò)操控舵機(jī)轉(zhuǎn)動(dòng)實(shí)現(xiàn)；滿桶檢測(cè)模塊通過(guò)超聲波測(cè)距檢測(cè)桶內(nèi)垃圾高度，以此通知單片機(jī)。而光電傳感器攝像頭和單片機(jī)之間的通信方式采用串口通信。

圖1 系統(tǒng)設(shè)計(jì)圖

1.1 圖像采集

采用OPENMV H7 PLUS，OpenMV4 H7是本文選用的攝像頭模塊，它集成了一塊STM32H743芯片，主頻400M，內(nèi)存2M，運(yùn)行速度快，低功耗，低成本的電路板，可以通過(guò)MicroPython編程，Python的高級(jí)數(shù)據(jù)結(jié)構(gòu)在機(jī)器視覺(jué)算法中處理復(fù)雜的輸出有更大的優(yōu)勢(shì)。用Python控制OpenMV，相對(duì)更加容易地使用外部終端觸發(fā)拍攝或者執(zhí)行算法，也可以把算法的結(jié)果用來(lái)控制IO引腳。

測(cè)試中以4種不同的常見(jiàn)垃圾作為研究對(duì)象。拍攝時(shí)以白紙為背景，采用openMV4plus攝像頭模塊進(jìn)行拍攝，進(jìn)行正面和側(cè)面等多角度拍攝。共獲取樣本圖像1355幅，包括蘋(píng)果418幅，電池219幅，礦泉水瓶321幅，口罩397幅。圖像樣本示例如圖2所示。本實(shí)驗(yàn)搜集的垃圾數(shù)據(jù)集較少，為了減少訓(xùn)練誤差，采取了適應(yīng)最短軸（fit shortest axix）處理圖像，將較長(zhǎng)軸的外部裁剪為所需的縱橫比，然后插值到所需的大小。為了獲得遷移學(xué)習(xí)模塊的最佳準(zhǔn)確性并滿足MobileNetV2模型的輸入要求，將垃圾樣品圖像像素統(tǒng)一調(diào)整為96×96，將顏色格式設(shè)置為“RGB”，圖像格式保存為jpg 格式。并將79%的圖像作為訓(xùn)練數(shù)據(jù)集，剩下的21%作為測(cè)試數(shù)據(jù)集。

圖2 垃圾樣本示例(a)蘋(píng)果(b)礦泉水瓶(c)電池(d)口罩

1.2 壓力檢測(cè)模塊

當(dāng)垃圾箱的垃圾超過(guò)一定容量時(shí)，可以用語(yǔ)音模塊實(shí)現(xiàn)提示信息。設(shè)計(jì)采用HX711壓力檢測(cè)模塊。該模塊配置于垃圾桶桶蓋與桶箱之間，用于檢測(cè)垃圾桶是否已經(jīng)裝滿。對(duì)比上一次投放狀態(tài)，在本次投放動(dòng)作結(jié)束時(shí)，若垃圾未滿溢至桶蓋處，模塊不會(huì)檢測(cè)到擠壓力；若垃圾已堆積到桶蓋處，在桶蓋關(guān)閉完成前，壓力檢測(cè)模塊會(huì)收到來(lái)自桶蓋和桶內(nèi)垃圾的上下側(cè)的擠壓力，若在擠壓動(dòng)作過(guò)程中檢測(cè)到壓力大于0.5kg，單片機(jī)則會(huì)驅(qū)動(dòng)LED 燈常亮，同時(shí)操作語(yǔ)音模塊報(bào)警，提醒用戶取走桶內(nèi)垃圾。

1.3 語(yǔ)音報(bào)警模塊

垃圾超出設(shè)定的閾值時(shí)，語(yǔ)音提示“垃圾滿”；語(yǔ)音提示模塊采用SYN6288。SYN6288模塊通過(guò)異步串口接收指定文字，實(shí)現(xiàn)文本到語(yǔ)音(TTS)的轉(zhuǎn)換。

1.4 步進(jìn)電機(jī)驅(qū)動(dòng)器

選用2個(gè)57 步進(jìn)電機(jī)作為桶蓋轉(zhuǎn)軸以及分類桶轉(zhuǎn)軸，以TB6600驅(qū)動(dòng)器驅(qū)動(dòng)旋轉(zhuǎn)。TB6600驅(qū)動(dòng)器1控制電機(jī)1轉(zhuǎn)軸旋轉(zhuǎn)到桶口，然后TB6600驅(qū)動(dòng)器2控制電機(jī)2桶蓋打開(kāi)，垃圾自動(dòng)投放到對(duì)應(yīng)箱體中。

1.5 顯示模塊

自動(dòng)播放廣告信息和圖片宣傳，采用7寸的TFT電容屏。顯示內(nèi)容：垃圾的數(shù)量，幾類垃圾投放的順序，所有垃圾投放時(shí)間，垃圾桶是否滿載提示。

2 機(jī)械設(shè)計(jì)

智能分類垃圾桶整體采用全封閉式設(shè)計(jì)，并在正平面上端留下一個(gè)垃圾投放口。口內(nèi)固定一個(gè)垃圾識(shí)別盒狀空間，包含OpenMV攝像頭、傳感器與拍照平臺(tái)。附近安置一個(gè)主控盒，放置單片機(jī)、電路等。桶身采用圓柱型，平均分為4部分用以盛放4種垃圾，驅(qū)動(dòng)裝置采用一個(gè)舵機(jī)，連接一個(gè)形狀為3/4圓的桶蓋，與舵機(jī)同步旋轉(zhuǎn)。當(dāng)在光電傳感器感應(yīng)到有垃圾投入后并且openmv識(shí)別到垃圾并分析出垃圾種類時(shí)，stm32控制舵機(jī)旋轉(zhuǎn)到指定位置，等待垃圾投進(jìn)后通過(guò)圓形桶蓋的缺口落入指定桶中，完成分類工作。結(jié)構(gòu)圖如圖3所示。

圖3 機(jī)械結(jié)構(gòu)圖

3 軟件設(shè)計(jì)

3.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)，包含了卷積計(jì)算，具有深度結(jié)構(gòu)，是深度學(xué)習(xí)的代表算法之一。它包含輸入層和隱含層，而隱含層包含卷積層、池化層和全連接層3類常見(jiàn)構(gòu)筑。一般有正則化（regularization）、分批歸一化（Batch Normalization,BN）、跳躍連接（skip connection）等方式優(yōu)化網(wǎng)絡(luò)，以及量化（quantization）、遷移學(xué)習(xí)（transfer learning）、FFT 卷積、權(quán)重稀疏化等方式加速訓(xùn)練。參數(shù)整定的范圍包括：學(xué)習(xí)率（learning rate）、批次大小 (batch_size)、迭代次數(shù)、激活函數(shù)、優(yōu)化器(optimizer)等。

3.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，一般指將從源領(lǐng)域（Source Domain）的學(xué)習(xí)成果應(yīng)用到目標(biāo)領(lǐng)域（Target Domain）上去的方法。在開(kāi)發(fā)過(guò)程中，已經(jīng)消耗了巨大的時(shí)間與計(jì)算資源的預(yù)訓(xùn)練模型往往作為新模型的起點(diǎn)，將已習(xí)得的強(qiáng)大技能遷移到相關(guān)領(lǐng)域的新問(wèn)題上，這個(gè)方法避免了重新訓(xùn)練模型，節(jié)省大量資源。開(kāi)發(fā)時(shí)可選擇預(yù)訓(xùn)練。開(kāi)發(fā)流程一般分以下四步：

(1)選擇源任務(wù)：選擇一個(gè)在輸入和輸出方面與目標(biāo)任務(wù)有著一定映射關(guān)系的原任務(wù)。

(2)開(kāi)發(fā)源模型：為任務(wù)開(kāi)發(fā)一個(gè)高效率的模型。

(3)重用模型：將已開(kāi)發(fā)完成的現(xiàn)有模型作為用于新任務(wù)模型的學(xué)習(xí)起點(diǎn)，節(jié)省資源。

(4)調(diào)整模型：整定參數(shù)，微調(diào)模型，使之更好地適應(yīng)目標(biāo)任務(wù)要求。

預(yù)訓(xùn)練一般只需經(jīng)歷選擇源任務(wù)、重用模型、調(diào)整模型三步，較為常用。

3.3 模型選擇與構(gòu)建

從2014年VGG誕生以來(lái)，深度學(xué)習(xí)網(wǎng)絡(luò)模型在圖像處理中的計(jì)算能力越來(lái)越強(qiáng)，適應(yīng)能力越來(lái)越好。但是相應(yīng)的，高效率神經(jīng)網(wǎng)絡(luò)占有的空間也越來(lái)越大，結(jié)構(gòu)越來(lái)越復(fù)雜，預(yù)測(cè)和訓(xùn)練對(duì)硬件條件的要求越來(lái)越高，導(dǎo)致這種神經(jīng)網(wǎng)絡(luò)模型往往只能與高算力、高成本機(jī)器相綁定。移動(dòng)設(shè)備因硬件資源有限，對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)模型處理能力也有限。在深度學(xué)習(xí)領(lǐng)域內(nèi)也有神經(jīng)網(wǎng)絡(luò)小型化發(fā)展的趨勢(shì)。而MobileNet類的神經(jīng)網(wǎng)絡(luò)模型顯然在移動(dòng)設(shè)備與嵌入式設(shè)備的引入應(yīng)用中擁有極大的優(yōu)勢(shì)，在保證模型準(zhǔn)確率的同時(shí)體積更小，計(jì)算量更少，速度更快，準(zhǔn)確率更高。

模型結(jié)構(gòu)方面，實(shí)驗(yàn)采用的MobileNetV2模型中主要引入了線性瓶頸層（Linear Bottleneck）和反轉(zhuǎn)殘差層（Inverted Residuals），網(wǎng)絡(luò)的結(jié)構(gòu)也因此得以進(jìn)一步優(yōu)化。在MobileNetV2網(wǎng)絡(luò)模型中共有17個(gè)瓶頸層，一個(gè)標(biāo)準(zhǔn)卷積層（conv），兩個(gè)逐點(diǎn)卷積層（pw conv），共計(jì)54層可訓(xùn)練參數(shù)層。訓(xùn)練流程圖如圖4所示。具體描述如下。

圖4 算法流程圖

1）圖像預(yù)處理。將采集到的垃圾圖像進(jìn)行縮放、二值化等預(yù)處理，以此實(shí)現(xiàn)數(shù)據(jù)集的優(yōu)化。并將垃圾樣本圖像大小統(tǒng)一調(diào)整為96像素×96 像素，方便后續(xù)的操作。

2）輸入垃圾圖像樣本。隨機(jī)從垃圾圖像數(shù)據(jù)集中抽取 4種垃圾種類圖片79%，作為訓(xùn)練樣本輸入。

3)基于預(yù)訓(xùn)練 MobileNetV2 模型整體構(gòu)架構(gòu)建垃圾識(shí)別模型。

4)參數(shù)的遷移和微調(diào)。通過(guò)參數(shù)遷移方式初始化預(yù)訓(xùn)練MobileNetV2模型參數(shù)，通過(guò)學(xué)習(xí)率，學(xué)習(xí)周期等訓(xùn)練參數(shù)的設(shè)置，在訓(xùn)練期間隨機(jī)轉(zhuǎn)換數(shù)據(jù)，從而允許在不過(guò)擬合的情況下執(zhí)行更多訓(xùn)練周期，提高準(zhǔn)確率。

5)模型的測(cè)試。從垃圾數(shù)據(jù)集中抽取余下21%垃圾樣本圖片，作為測(cè)試樣本對(duì)模型進(jìn)行測(cè)試，以驗(yàn)證模型的精確度。

4 結(jié)果分析與性能評(píng)估

本文所設(shè)計(jì)的智能分類垃圾桶能實(shí)現(xiàn)較為精確和快速的預(yù)測(cè)結(jié)果，從而做出正確的分類決策。文中基于深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)均來(lái)自于作者自己拍攝的圖片，數(shù)據(jù)集包含1355張圖像，包含的類別有食物類、電池類、口罩類、礦泉水瓶類的4個(gè)類別。為驗(yàn)證模型的有效性，進(jìn)行了精確度實(shí)驗(yàn)。模型實(shí)驗(yàn)的樣本準(zhǔn)確性如圖5所示。

圖5 模型測(cè)試結(jié)果

從圖5中可以看出，對(duì)于這四種垃圾的識(shí)別準(zhǔn)確率都達(dá)到了98%以上，識(shí)別效果較好，組裝成整機(jī)后的實(shí)驗(yàn)效果也較好，在接收到數(shù)據(jù)且垃圾桶未滿桶的情況下，可以快速而精確地識(shí)別出對(duì)應(yīng)的垃圾種類，在顯示屏上顯示其種類英文名，并驅(qū)動(dòng)舵機(jī)和指示燈做出相應(yīng)反應(yīng)。

5 結(jié)語(yǔ)

針對(duì)傳統(tǒng)垃圾分類方法效率低、準(zhǔn)確度不高的問(wèn)題，本文提出了一種基于 MobileNetV2模型、遷移學(xué)習(xí)和stm32f407單片機(jī)的垃圾分類方法和系統(tǒng)設(shè)計(jì)。用遷移學(xué)習(xí)的方法把在edge impulse上訓(xùn)練的 MobileNetV2網(wǎng)絡(luò)遷移到自己的數(shù)據(jù)集上進(jìn)行微調(diào)，并通過(guò)“數(shù)據(jù)增強(qiáng)”功能在訓(xùn)練期間隨機(jī)轉(zhuǎn)換數(shù)據(jù)來(lái)防止模型過(guò)擬合，提高模型的泛化能力與準(zhǔn)確度。通過(guò)對(duì)比試驗(yàn)表明，文中提出的模型的平均準(zhǔn)確率達(dá)到了98.85%，能夠?qū)M(jìn)行有效分類并通過(guò)硬件設(shè)備完成分揀工作。