崔傳坤,王舜,張樂樂,馮麟皓,江亞峰,申燚
(江蘇科技大學 機電與動力工程學院,江蘇 張家港 215600)
近年來,隨著人口不斷增長及經(jīng)濟快速發(fā)展,生活垃圾也隨之不斷增加。垃圾分類回收有助于減少環(huán)境污染,提高再生資源利用率等[1],因此如何設(shè)計高效垃圾分類裝置是關(guān)鍵。魏子瑄等[2]基于LD3320語音識別芯片和VS1053語音播報芯片設(shè)計了一款智能分類垃圾桶。通過識別投放者的語音信息,實現(xiàn)了垃圾自動分類投放,但效果受限于投放者的主觀行為;SU S X等[3]基于物聯(lián)網(wǎng)設(shè)計了智能垃圾分類系統(tǒng)。該系統(tǒng)通過語音告訴投放者進行垃圾分類,清潔工可以通過物聯(lián)網(wǎng)進行垃圾桶容量的遠程查看。但該系統(tǒng)仍然取決于投放者的主觀自覺性;王玥等[4]通過紅外檢測儀識別傳送帶上垃圾,并基于STC89C52單片機設(shè)計了智能分類垃圾桶,但不能實現(xiàn)不同種類垃圾的分類;張方超等[5]基于圖像視覺設(shè)計了垃圾分類機器人,該機器人通過對瓶罐類垃圾進行圖像分割和識別,并用機械手臂抓取實現(xiàn)垃圾分類,但是垃圾分類種類有限且效率不高。從已有設(shè)計來看,目前垃圾分類裝置或受主觀性影響,或識別垃圾的種類不多,尚未達到社會對各類生活垃圾的高效、精確識別和分類需求。為此,文中基于機器視覺設(shè)計了一款新型智能垃圾分類裝置。通過機器學習進行可回收、廚余、有害和其他共4類垃圾的自動識別及分類。實驗測試也驗證了裝置的有效性,滿足了社會對生活垃圾的識別和分類回收要求。
為了更好地實現(xiàn)生活垃圾的分類儲運,本設(shè)計裝置需具備識別、分類、投放和儲存等功能。為此本裝置采用雙層框架式結(jié)構(gòu),整體為長×寬×高=500 mm×500 mm×700 mm的長方體,如圖1所示。裝置整體以鋁型材作為框架,上下兩層框架間通過合頁連接,主要便于實物裝置的安裝及使用過程中的垃圾傾倒。在上層裝置的上層支撐板上裝有投放識別機構(gòu)、光電傳感器、理線槽及系統(tǒng)控制盒等;在下層裝置的下層支撐板上裝有分類儲運機構(gòu)、限位開關(guān)、萬向輪等;在下層支撐板的底面裝有理線槽。分類裝置的四周及頂部安裝有亞克力板密封板,觸摸顯示屏固定在上層裝置的側(cè)面密封板上。
1—投放識別機構(gòu);2—觸摸顯示屏;3—光電傳感器;4—鋁型材框架;5—側(cè)板;6—下層支撐板;7—理線槽;8—分類儲運機構(gòu);9—上層支撐板;10—系統(tǒng)控制盒。
投放識別機構(gòu)如圖2所示,主要用于生活垃圾的圖像采集、識別及分類投放。該機構(gòu)由滑料板、攝像頭、驅(qū)動電機和投放轉(zhuǎn)盤等組成?;习骞潭ㄔ诼淞贤凹吧蠈禹敯迳?,攝像頭安裝在落料桶的頂部蓋板上,投放轉(zhuǎn)盤位于上層支撐板下方并固定在電機軸上,用于驅(qū)動投放轉(zhuǎn)盤旋轉(zhuǎn)的電機安裝在上層支撐板上。當生活垃圾通過滑料板落入落料桶時,投放轉(zhuǎn)盤擋住落料桶便于攝像頭進行垃圾識別。當識別完成后,電機驅(qū)動投放轉(zhuǎn)盤旋轉(zhuǎn)直至轉(zhuǎn)盤上圓形孔與落料桶對中,從而便于垃圾進入分類儲運機構(gòu)。
1—落料桶;2—攝像頭;3—擋板;4—滑料板;5—驅(qū)動電機;6—上層支撐板;7—投放轉(zhuǎn)盤。
分類儲運機構(gòu)如圖3所示,主要是為了實現(xiàn)4類生活垃圾的分類存儲。該機構(gòu)由中間軸、支撐座、驅(qū)動電機、垃圾桶、固定板、萬向球、同步帶輪等組成。中間軸上固定有支撐座、固定板和大同步帶輪,4類垃圾桶放置于支撐座上方并穿過固定板上的孔來限制徑向運動,用以支撐分類儲運機構(gòu)并減少摩擦力的萬向輪和用以回轉(zhuǎn)定位的限位開關(guān)安裝在下層支撐板上;電機固定在下層支撐板的下方,電機軸上安裝有小同步帶輪,與中間軸上的大同步帶輪以同步帶連接,并保證傳動比為2∶1。當識別結(jié)束后,電機驅(qū)動與識別結(jié)果對應(yīng)的垃圾桶旋轉(zhuǎn)至落料桶的下方,等待垃圾落入。待垃圾落入后,分類儲運機構(gòu)開始在電機的驅(qū)動下進行回轉(zhuǎn)運動直至觸碰到限位開關(guān)。
1—萬向球;2—限位開關(guān);3—同步帶輪;4—中間軸;5—垃圾桶;6—固定板;7—法蘭;8—驅(qū)動電機;9—支撐座。
垃圾分類裝置的控制系統(tǒng)主要是將由攝像頭識別的垃圾準確投入到各類垃圾桶中,并通過光電傳感器對垃圾桶內(nèi)垃圾量進行滿載監(jiān)測,控制系統(tǒng)框架如圖4所示,總共包括識別檢測單元、投放顯示單元和分類儲運單元。識別檢測單元中的圖像識別模塊主要是對投放生活垃圾進行準確識別,并將識別結(jié)果通過UART回傳至單片機[6],而滿載檢測模塊主要是用漫反射方式進行測距,當距離達到預(yù)設(shè)值后將會回傳電信號,進行滿載報警。投放顯示單元一方面通過單片機控制電機實現(xiàn)投放轉(zhuǎn)盤的轉(zhuǎn)動,另一方面利用UART口實現(xiàn)單片機與觸摸顯示屏的連接,完成宣傳動畫、垃圾種類、滿載檢測結(jié)果、垃圾投入狀態(tài)等信息的播放。分類儲運單元主要通過單片機控制電機并基于帶輪傳動實現(xiàn)垃圾桶的轉(zhuǎn)動,此外,采用LXW5-11N1限位開關(guān)進行垃圾桶的回轉(zhuǎn)定位。
圖4 控制系統(tǒng)框架圖
1)單片機
為了實現(xiàn)垃圾分類裝置的驅(qū)動控制、圖像識別與屏幕顯示等功能的相互配合,設(shè)計中采用功耗低、性價比高的STC89C52單片機作為控制核心。該單片機工作電壓為3.8 V~5 V,采用12 MHz的晶振,電容C1、C2主要用于過濾高頻信號,使晶振工作更加穩(wěn)定,其外圍電路如圖5所示。圖中I/O口P1.0-P1.2、P1.3-P1.5分別用于連接電機驅(qū)動器A、B;P2.4、P2.5用于接收光電傳感器及限位開關(guān)所回傳的電信號。
圖5 單片機外圍電路
2)圖像識別模塊
本裝置的圖像識別模塊需要實現(xiàn)生活垃圾的采集,并且可嵌入神經(jīng)網(wǎng)絡(luò)模型進行圖像識別及分類,故文中選用OpenMV4 H7 PLUS作為圖像識別模塊,如圖6(a)所示,其集成一塊主頻480 MHz的STM32H743II,擁有更為優(yōu)異的性能,在導(dǎo)入已訓(xùn)練好的模型后有助于實現(xiàn)垃圾的準確識別和分類。圖6(b)為STM32H743II與STC89C52的電路連接圖,使用STM32H743II中的串口1與STC89C52進行通信,其上的P0為UART1 RX端,P1為UART1 TX端,分別與STC89C52中的P3.1、P3.0相連。
圖6 圖像識別模塊
3)電機及其驅(qū)動模塊
為了實現(xiàn)投放轉(zhuǎn)盤及分類儲運機構(gòu)的精確旋轉(zhuǎn)角度控制,文中選用42步進電機作為執(zhí)行動力源,其步距角為1.8°,即當細分器處于n細分狀態(tài)時,要使輸出軸旋轉(zhuǎn)1.8°,細分器需接收n個方波脈沖[7];選用ZD-M42S作為步進電機驅(qū)動器,其支持脫機、使能、鎖定、128細分可調(diào)等功能,基于步進電機控制原理及該驅(qū)動器的128可調(diào)細分功能,可實現(xiàn)步進電機的精準定位,以保證投放的準確性。圖7為步進電機驅(qū)動模塊的實物圖及電路連接圖,STC89C52中的P1.0、P1.1、P1.2分別與驅(qū)動器中的CP、DIR、EN端相連,42步進電機中的黑、綠、紅、藍線分別與驅(qū)動器中的A+、A-、B+、B-相連。
圖7 步進電機驅(qū)動模塊
4)滿載檢測模塊
為了監(jiān)測桶內(nèi)垃圾是否已滿,選用E3F-DS30F1漫反射光電傳感器作為本裝置的滿載檢測模塊。當傳感器上發(fā)射器射出光束時,由于障礙物遮擋而造成光束漫反射,待接收器接收到足夠強度光束后,傳感器輸出相應(yīng)開關(guān)信號。該傳感器可調(diào)距離7~30 cm,響應(yīng)時間在2 ms以下,采用NPN輸出,滿足本裝置的滿載檢測使用要求。光電傳感器實物圖和電路圖如圖8所示,其中P2.4用于檢測高低電平變化,傳輸電信號。
圖8 光電傳感器電路圖
本文所設(shè)計的垃圾分類裝置主要用于可回收、有害、廚余及其他共4類垃圾的識別與分類。為了實現(xiàn)垃圾的精確分類,文中選用MobileNet V1可分離卷積神經(jīng)網(wǎng)絡(luò)作為數(shù)據(jù)集訓(xùn)練模型[8]。MobileNet V1是Google提出的用于嵌入式設(shè)備的輕量化神經(jīng)網(wǎng)絡(luò),其能夠在保證模型性能的前提下大大減少網(wǎng)絡(luò)參數(shù)量,且可以在計算資源有限的條件下通過小型化參數(shù)來實現(xiàn)識別率的最大化。相比起傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò),該模型的主要特點在于將標準卷積拆分為深度卷積和逐點卷積兩部分。圖9給出了MobileNet V1模型可分離卷積的原理。首先是對采集到圖片信息進行深度卷積,深度卷積指不跨通道的卷積,是將輸入特征中的通道與對應(yīng)的該通道上的卷積核進行卷積操作,并保證特征圖的數(shù)量不變,以此達到對輸入特征的濾波;接著進行逐點卷積,采用1×1的卷積核將濾波后的特征圖在通道方向進行擴展和整合處理,用以獲得輸出特征圖,即提取出輸出特征[9]。在MobileNet V1模型中有兩個超參數(shù):寬度因子α和分辨率因子ρ。通過調(diào)整上述參數(shù)能夠?qū)崿F(xiàn)模型計算量的縮放,從而有助于改變模型大小來滿足不同設(shè)備的需求。
圖9 MobileNet V1原理圖
在垃圾識別過程中,通過攝像頭獲取垃圾圖像信息,再將獲取的圖像導(dǎo)入至已訓(xùn)練好的MobileNet模型中進行圖像匹配,根據(jù)輪廓、色彩、材質(zhì)等特征識別方法[10]尋求兩者間的共同點,進而根據(jù)識別算法識別出所投垃圾類別。
文中用于訓(xùn)練和測試的數(shù)據(jù)集來源于網(wǎng)絡(luò)和OpenMV攝像頭拍攝。依據(jù)現(xiàn)行分類標準,在保證數(shù)據(jù)集具有典型性和代表性的同時兼顧訓(xùn)練效率,采集可回收垃圾、廚余垃圾、有害垃圾及其他垃圾共3 600張形態(tài)、顏色、角度等影響因素均不同的照片,其中訓(xùn)練樣本占比80%,即2 880張;測試樣本占比20%,即720張[11]。
在完成數(shù)據(jù)集采集后,利用MobileNet模型進行學習與訓(xùn)練。調(diào)整寬度因子α為1.0、分辨率因子ρ為0.86,設(shè)置學習率為0.001,置信度為0.75,并使用全連接層作為分類器進行訓(xùn)練,共訓(xùn)練80輪,輸出其訓(xùn)練過程中訓(xùn)練效果最好的模型。經(jīng)過訓(xùn)練后,結(jié)果如圖10所示,其訓(xùn)練數(shù)據(jù)集的平均準確率達97.18%,測試集的平均準確率達95.55%,訓(xùn)練效果較為理想,表明該模型具有較好的可靠性[12]。
圖10 模型訓(xùn)練結(jié)果
根據(jù)上述設(shè)計方法,課題組進行了基于視覺識別的智能垃圾分類裝置制作及實驗測試,如圖11所示。測試時完全根據(jù)實際生活中的垃圾投放,實驗在戶外正常光照條件下進行,分早晨、中午、晚上3個時間段,分別針對上文經(jīng)模型訓(xùn)練后的16種垃圾進行400次隨機投放測試。
圖11 智能垃圾分類裝置運作流程
表1給出了實驗測試結(jié)果。由表可以看出在中午光照充足的時候,分類平均正確率可達94.00%;在早晨、晚上光照不足的條件下,本裝置自帶的光源起到良好作用,分類平均正確率也可達92.00%、94.00%。此外,本裝置3個時間段累計1 200次的分類投放平均準確率達93.33%,符合預(yù)期效果,驗證了文中所設(shè)計裝置具有較好的垃圾分類性能。
表1 垃圾投放測試結(jié)果 單位:%
為了解決現(xiàn)行垃圾分類效率不高、人工成本過大等問題,提出了一種基于機器視覺的新型智能垃圾分類裝置。通過理論設(shè)計和實物測試可得出如下結(jié)論:
1)文中所設(shè)計的智能垃圾分類裝置采用雙層框架式結(jié)構(gòu),并將投放識別結(jié)構(gòu)和分類儲運機構(gòu)分別安裝于上、下兩層,實現(xiàn)了不同位置不同功能,提高了垃圾分類效率,同時使得垃圾在倒取過程中更為便捷;
2)文中所設(shè)計的控制系統(tǒng)實現(xiàn)了旋轉(zhuǎn)角度的精準控制、滿載的準確檢測及垃圾的正確回收,同時實現(xiàn)了人機交互界面的實時顯示,控制性能優(yōu)異;
3)文中通過對MobileNet V1模型的訓(xùn)練以及兩個超參數(shù)的調(diào)整,展現(xiàn)了識別系統(tǒng)的優(yōu)異性能,實現(xiàn)了可回收、其他、廚余和有害這4類垃圾的準確識別與分類,避免了人工分類過程中主觀因素的影響。
由裝置的應(yīng)用測試表明,其具備了生活垃圾的自動識別、分類回收、滿載檢測和界面顯示等功能,且性能優(yōu)異,對于減少環(huán)境污染和提高資源利用具有積極的應(yīng)用價值;但在生活實際應(yīng)用場景中,生活垃圾種類更為繁雜。因此,后續(xù)仍將會對本裝置的識別模型進行進一步的訓(xùn)練,不斷擴大樣本數(shù)據(jù),從而滿足日常生活垃圾的分類需求。