陳 彧，魏 然，宋立杰，張瑞娜，周 濤，2，趙由才，2

(1. 同濟(jì)大學(xué) 環(huán)境科學(xué)與工程學(xué)院，上海 200092；2.上海污染控制與生態(tài)安全研究院，上海 200092；3.上海環(huán)境衛(wèi)生工程設(shè)計(jì)院有限公司，上海 200232)

前 言

近年來，中國(guó)經(jīng)濟(jì)高速發(fā)展，城市居民生活質(zhì)量顯著提高，生活垃圾的產(chǎn)生量亦與日俱增。據(jù)《中國(guó)城鄉(xiāng)建設(shè)統(tǒng)計(jì)年鑒》顯示，1979年城市生活垃圾清運(yùn)量為0.25億噸，而2018年增長(zhǎng)至2.28億噸。2030年中國(guó)生活垃圾產(chǎn)生量預(yù)測(cè)值達(dá)到4.8億噸[1]。生活垃圾清運(yùn)量的逐年增加意味著生活垃圾管理行業(yè)體量仍在增長(zhǎng)，給后續(xù)的垃圾收運(yùn)和處理處置工作造成壓力。2019年7月1日，《上海市生活垃圾管理?xiàng)l例》開始施行，規(guī)定中明確要求建立健全生活垃圾全程分類體系。

人工智能(Artificial Intelligence，AI)是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門技術(shù)科學(xué)。在物聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)技術(shù)迅速發(fā)展的背景下，為應(yīng)對(duì)城市生活垃圾產(chǎn)量的增加和垃圾分類管理的新要求，生活垃圾管理系統(tǒng)逐漸向互聯(lián)互通、智能化的“智慧環(huán)衛(wèi)”的發(fā)展。機(jī)器學(xué)習(xí)(Machine Learning)是一種實(shí)現(xiàn)人工智能的方法，可分為監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)[2-3]三種類型，每種類型可使用一些特定算法來實(shí)現(xiàn)。AI技術(shù)的應(yīng)用可以輔助進(jìn)行生活垃圾全過程實(shí)時(shí)管理，幫助合理設(shè)計(jì)環(huán)衛(wèi)管理調(diào)度，提高環(huán)衛(wèi)作業(yè)質(zhì)量，降低環(huán)衛(wèi)運(yùn)營(yíng)成本，且便于進(jìn)行環(huán)衛(wèi)系統(tǒng)評(píng)估。為避免生活垃圾管理不當(dāng)可能帶來的一系列人居環(huán)境問題[5]，需加快落實(shí)以垃圾分類為導(dǎo)向的智能化生活垃圾管理系統(tǒng)。

因此，開展基于機(jī)器學(xué)習(xí)算法的生活垃圾組分識(shí)別，對(duì)于生活垃圾分類管理具有重要意義。如在源頭垃圾投放點(diǎn)，利用生活垃圾組分識(shí)別技術(shù)可實(shí)現(xiàn)垃圾組分監(jiān)控和垃圾回收價(jià)值的估測(cè)，幫助環(huán)衛(wèi)管理部門收集基礎(chǔ)數(shù)據(jù)供管理決策。本論文利用TensorFlow深度學(xué)習(xí)框架實(shí)現(xiàn)ANN算法，建立以光學(xué)和重量信息為基礎(chǔ)的生活垃圾組分識(shí)別模型，對(duì)比不同模型結(jié)構(gòu)、激活函數(shù)、迭代訓(xùn)練次數(shù)、學(xué)習(xí)率等超參數(shù)設(shè)置下模型的識(shí)別效果，分析ANN算法在此垃圾組分識(shí)別模型中的最優(yōu)算法架構(gòu)及實(shí)際應(yīng)用可行性。

1 實(shí)驗(yàn)材料與方法

1.1 生活垃圾來源

試驗(yàn)所用的生活垃圾成分取自上海市某居民小區(qū)。在小區(qū)干垃圾收集桶中進(jìn)行采樣，剔除樣品中除紙類和塑料以外的其他組分，得到紙類和塑料兩種生活垃圾組分，靜置保存于4 ℃冰箱待用。為確保試驗(yàn)結(jié)果的可靠性和準(zhǔn)確性，采樣后所有試驗(yàn)均在48 h內(nèi)完成。

1.2 光學(xué)信息收集

可見光范圍內(nèi)的濾光片可以使工業(yè)相機(jī)清晰成像。一般人的眼睛可以感知到的可見光波長(zhǎng)范圍為400～760 nm。使用510 nm、570 nm、590 nm、650 nm四種濾光片，對(duì)光學(xué)信息的豐富度進(jìn)行加強(qiáng)。

垃圾光學(xué)信息獲取裝置主要包括：固定光源、帶底色標(biāo)記框(PVC塑料1 m×1 m，底色白色)、色彩校正標(biāo)記物、多通道工業(yè)相機(jī)、計(jì)算機(jī)、多帶寬濾光片(帶通510 nm、570 nm、590 nm、650 nm)、固定高度的相機(jī)三腳架所組成。四種帶通的電磁波透過情況見圖1所示。

圖1 510nm、570nm、590nm、650 nm四種工業(yè)相機(jī)濾光片的波長(zhǎng)-透光率圖Fig.1 Wavelength-transmittance diagram of 4 industrial camera filters (510nm，570nm，590nm，650 nm)

1.3 重量信息收集

試驗(yàn)需要對(duì)光學(xué)采樣框內(nèi)的垃圾的物理組分進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)類別包括紙類和橡塑類兩類。紙類包括各種廢棄的紙張及紙制品。橡塑類包括各種廢棄的塑料、橡膠、皮革制品。重量信息的統(tǒng)計(jì)流程為：1)將光學(xué)采樣框中的樣品取出，按照紙類和橡塑類兩類進(jìn)行分類；2)使用電子秤測(cè)量紙類和橡塑類的重量；3)依據(jù)重量分別計(jì)算紙類和橡塑類的組分比例以及樣品的總重量并記錄。

1.4 試驗(yàn)方法

建立模型所使用的編程語言為Python，集成開發(fā)環(huán)境為Pycharm 2018年教育版，所構(gòu)建的模型使用人工神經(jīng)網(wǎng)絡(luò)(Aritificial Neural Network，ANN)算法。利用TensorFlow深度學(xué)習(xí)框架進(jìn)行模型代碼編寫。

2 研究結(jié)果

2.1 ANN算法模型超參數(shù)設(shè)置

2.1.1 數(shù)據(jù)處理與模型架構(gòu)

使用TensorFlow深度學(xué)習(xí)框架建立ANN算法結(jié)構(gòu)，對(duì)所收集到的生活垃圾光學(xué)和重量信息數(shù)據(jù)進(jìn)行擬合。建立一個(gè)三層ANN模型結(jié)構(gòu)，結(jié)構(gòu)如圖2所示。輸入層包含6個(gè)節(jié)點(diǎn)，分別代表生活垃圾重量與5張不同鏡頭所攝照片的RGB均值。原圖像經(jīng)過采樣區(qū)范圍截取后，圖像像素尺寸為1420×1420，利用Python對(duì)所有圖像進(jìn)行RGB均值的讀取。RGB均值的數(shù)據(jù)范圍為0～255，重量數(shù)據(jù)范圍為0～500 g，用所有參數(shù)除以250的標(biāo)準(zhǔn)進(jìn)行統(tǒng)一處理可使數(shù)據(jù)之間相差范圍盡可能減小。

圖2 ANN算法架構(gòu)圖Fig.2 Algorithm architecture diagram of ANN

ANN結(jié)構(gòu)中，隱藏層2層，每層包括4個(gè)節(jié)點(diǎn)。輸出層1層，包含1個(gè)輸出節(jié)點(diǎn)，代表紙類組分占比，另一種組分含量可以直接由紙類含量計(jì)算出，故使用1個(gè)輸出節(jié)點(diǎn)與使用2個(gè)輸出節(jié)點(diǎn)的效果相同。

ReLU函數(shù)、Tanh函數(shù)、Sigmoid函數(shù)是三種常見的非線性激活函數(shù)。為保證輸出層中輸出的數(shù)據(jù)范圍處于0～1的范圍內(nèi)，設(shè)定輸出層的激活函數(shù)使用Sigmoid函數(shù)。在三層神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)基礎(chǔ)上，對(duì)隱藏層的激活函數(shù)進(jìn)行修改，共建立四種模型，分別編號(hào)為A1、A2、A3、A4號(hào)模型，其各層級(jí)中激活函數(shù)的設(shè)置如表1所示。

表1 A1-4號(hào)模型的激活函數(shù)構(gòu)成Tab.1 Composition of A1-4 Models’ Activation Function

2.1.2 Adam優(yōu)化算法

ANN算法需要利用現(xiàn)有數(shù)據(jù)更新每層結(jié)構(gòu)中的權(quán)重和偏置量參數(shù)。最經(jīng)典的參數(shù)優(yōu)化算法為梯度下降優(yōu)化算法(Gradient Descent Optimization)[6]。梯度下降算法的計(jì)算過程即計(jì)算目標(biāo)函數(shù)對(duì)于參數(shù)的梯度，將參數(shù)沿著梯度相反的方向移動(dòng)一個(gè)步長(zhǎng)，以期實(shí)現(xiàn)目標(biāo)函數(shù)值的下降，獲得目標(biāo)函數(shù)最小時(shí)的參數(shù)配置。Adam優(yōu)化算法是由Kingma等人在2015年提出的一種新的參數(shù)優(yōu)化算法。結(jié)合了沖量梯度下降算法的沖量項(xiàng)應(yīng)用和RMSProp優(yōu)化算法的學(xué)習(xí)速率自適應(yīng)。算法中的主要運(yùn)算過程見式(1)～(5)所示。

mt=β1mt+(1-β1)gt

(1)

(2)

(3)

(4)

(5)

2.2 模型訓(xùn)練與性能分析

2.2.1 學(xué)習(xí)率與迭代次數(shù)調(diào)試

學(xué)習(xí)率(Learning Rate)被機(jī)器學(xué)習(xí)領(lǐng)域最重要的超參數(shù)之一，對(duì)模型是否能得到有效訓(xùn)練至關(guān)重要[7]。以A1模型為例，詳細(xì)分析學(xué)習(xí)率和迭代次數(shù)調(diào)整對(duì)模型性能的影響。

一般學(xué)習(xí)率取作較小的參數(shù)值，通過數(shù)量級(jí)的改變來進(jìn)行調(diào)試。當(dāng)學(xué)習(xí)速率為0.1時(shí)，迭代次數(shù)分別為40次和80次時(shí)，迭代次數(shù)與損失函數(shù)值的關(guān)系圖如圖3所示。

圖3 學(xué)習(xí)速率為0.1時(shí)，迭代次數(shù)(40次與80次)與損失函數(shù)值的關(guān)系圖Fig.3 Relationship of iterations (40 times and 80 times)and loss function value (learning rate = 0.1)

輸出結(jié)果表明經(jīng)過在學(xué)習(xí)速率為0.1，一批訓(xùn)練量為5個(gè)樣本量，迭代40次，可以觀察到成本函數(shù)隨著迭代次數(shù)增加呈現(xiàn)下降趨勢(shì)和明顯收斂。此時(shí)預(yù)測(cè)結(jié)果無法呈現(xiàn)有效的回歸輸出?？赡苁怯捎趯W(xué)習(xí)速率太大，導(dǎo)致?lián)p失函數(shù)無法進(jìn)一步優(yōu)化縮小。且出現(xiàn)了明顯的損失函數(shù)振蕩，即算法訓(xùn)練時(shí)步長(zhǎng)太大，導(dǎo)致參數(shù)優(yōu)化時(shí)直接越過最優(yōu)點(diǎn)到達(dá)另一端。

當(dāng)學(xué)習(xí)速率為0.01時(shí)，迭代次數(shù)分別為40次和80次時(shí)，迭代次數(shù)與損失函數(shù)值的關(guān)系圖如圖4所示。

圖4 學(xué)習(xí)速率為0.01時(shí)，迭代次數(shù)(40次與80次)與損失函數(shù)值的關(guān)系圖Fig.4 Relationship of iterations (40 times and 80 times)and loss function value (learning rate = 0.01)

輸出結(jié)果表明經(jīng)過在學(xué)習(xí)速率為0.01，一開始可以觀察到成本函數(shù)隨著迭代次數(shù)增加呈現(xiàn)下降趨勢(shì)和明顯收斂。但數(shù)次迭代后，雖沒有出現(xiàn)損失函數(shù)振蕩現(xiàn)象，但參數(shù)停止更新，損失函數(shù)值不再下降，可能是模型陷入局部最優(yōu)解，導(dǎo)致?lián)p失函數(shù)無法進(jìn)一步優(yōu)化縮小。

當(dāng)學(xué)習(xí)速率為0.001時(shí)，迭代次數(shù)分別為40次和80次時(shí)，迭代次數(shù)與損失函數(shù)值的關(guān)系圖如如圖5所示。

圖5 學(xué)習(xí)速率為0.001時(shí)，迭代次數(shù)(40次與80次)與損失函數(shù)值的關(guān)系圖Fig.5 Relationship of iterations (40 times and 80 times)and loss function value (learning rate = 0.001)

當(dāng)學(xué)習(xí)速率為0.001，迭代40次和80次時(shí)，可以觀察到損失函數(shù)隨著迭代次數(shù)的增加呈現(xiàn)下降趨勢(shì)并未出現(xiàn)收斂。這可能是由于迭代次數(shù)不夠，參數(shù)并未更新至最優(yōu)位置。當(dāng)?shù)螖?shù)為80次時(shí)，預(yù)測(cè)誤差在±24.15%以內(nèi)。

調(diào)整迭代次數(shù)至200次和400次時(shí)，可以發(fā)現(xiàn)曲線在200次以內(nèi)也并未出現(xiàn)收斂趨勢(shì)(如圖6所示)，數(shù)據(jù)的最終預(yù)測(cè)誤差在±3.62%以內(nèi)。進(jìn)一步提升迭代次數(shù)至400次，可以觀察到損失函數(shù)在迭代約200次時(shí)開始呈現(xiàn)收斂趨勢(shì)，函數(shù)值不再出現(xiàn)明顯下降，而迭代400次的模型最終預(yù)測(cè)誤差在±5.36%以內(nèi)。誤差比迭代200次時(shí)的模型要高。這可能是由于模型出現(xiàn)了過擬合現(xiàn)象(Overfitting)，出現(xiàn)過擬合現(xiàn)象的常見原因[8]有：(1)由于選取特征或樣本不夠具有全局代表性或樣本數(shù)量少，無法擬合出較有代表性的模型；(2)樣本噪音干擾過大，擾亂了參數(shù)正常擬合；(3)權(quán)值學(xué)習(xí)迭代次數(shù)過多，擬合了訓(xùn)練數(shù)據(jù)中的噪聲和訓(xùn)練樣例中沒有代表性的特征等。

圖6 學(xué)習(xí)速率為0.001時(shí)，迭代次數(shù)(200次與400次)與損失函數(shù)值的關(guān)系圖Fig.6 Relationship of iterations (200 times and 400 times)and loss function value (learning rate = 0.001)

此處可能是由于學(xué)習(xí)迭代次數(shù)過多，導(dǎo)致參數(shù)自初步收斂后的更新方向偏向于擬合了訓(xùn)練數(shù)據(jù)中的噪聲所導(dǎo)致的過擬合現(xiàn)象。但選取0.001作為學(xué)習(xí)率時(shí)，模型的整體表現(xiàn)優(yōu)于0.1和0.01。參數(shù)得到了有效的更新。故而確定學(xué)習(xí)率的數(shù)量級(jí)基本在10-3。當(dāng)學(xué)習(xí)速率為0.002，迭代80、200、400次時(shí)，損失函數(shù)在約125次時(shí)呈現(xiàn)出明顯收斂趨勢(shì)。三種情況下最終預(yù)測(cè)誤差在分別為±9.28%、±4.71%、±5.68%。同樣出現(xiàn)了當(dāng)權(quán)值更新迭代次數(shù)過多時(shí)，誤差反而變大的情況。嘗試過多種學(xué)習(xí)速率與迭代次數(shù)的組合后，最終得到誤差率最低的組合為學(xué)習(xí)率為0.001，迭代次數(shù)為200次，數(shù)據(jù)的預(yù)測(cè)誤差在±3.62%以內(nèi)。

2.2.2 模型性能分析

A1模型在嘗試調(diào)試學(xué)習(xí)率和權(quán)值更新次數(shù)后，可知學(xué)習(xí)率為0.001，迭代次數(shù)為200次時(shí)，A1模型數(shù)據(jù)的預(yù)測(cè)誤差在±3.62%以內(nèi)。具體的預(yù)測(cè)誤差表見表2所示。

表2 A1模型的預(yù)測(cè)誤差表Tab.2 Prediction error of A1 Model (%)

對(duì)A2模型進(jìn)行學(xué)習(xí)率和權(quán)值更新次數(shù)的調(diào)試后發(fā)現(xiàn)，當(dāng)學(xué)習(xí)率為0.1時(shí)，A2模型的在權(quán)值更新次數(shù)達(dá)到300次后，出現(xiàn)無法繼續(xù)正常更新參數(shù)使損失函數(shù)變小的情況，且在300次以前的模型擬合效果較為普通。當(dāng)學(xué)習(xí)率為0.01和0.001時(shí)，A2模型的預(yù)測(cè)誤差見表3所示。

A2模型在學(xué)習(xí)率為0.01時(shí)的訓(xùn)練效果較好，在200次后預(yù)測(cè)誤差都達(dá)到了1%以內(nèi)的水平。0.001的學(xué)習(xí)率對(duì)A2模型的參數(shù)更新過程來說可能步長(zhǎng)較短，故而參數(shù)優(yōu)化無法得到快速收斂。

A3模型在學(xué)習(xí)率為0.1或0.01時(shí)，模型均無法得到正常訓(xùn)練，而在學(xué)習(xí)率為0.001時(shí)，效果表現(xiàn)普通，最優(yōu)參數(shù)組合為權(quán)值更新次數(shù)2000次時(shí)，預(yù)測(cè)誤差才可達(dá)到1%以內(nèi)。A3模型如果達(dá)到較為穩(wěn)定的預(yù)測(cè)效果，必須得到大量多次訓(xùn)練。當(dāng)學(xué)習(xí)率為0.001時(shí)，A3模型的預(yù)測(cè)誤差見表4所示。

表4 A3模型的預(yù)測(cè)誤差表Tab.4 Prediction error of A3 Model (%)

A4模型在學(xué)習(xí)率為0.1時(shí)，進(jìn)行權(quán)值更新出現(xiàn)了劇烈的損失函數(shù)振蕩現(xiàn)象。而在學(xué)習(xí)率為0.01和0.001時(shí)，模型表現(xiàn)都較好。當(dāng)學(xué)習(xí)率為0.01時(shí)，經(jīng)過200次權(quán)值更新后，預(yù)測(cè)誤差達(dá)到1%以內(nèi)，并在隨后的迭代中，預(yù)測(cè)誤差呈現(xiàn)出穩(wěn)定下降的趨勢(shì)。A4模型的預(yù)測(cè)誤差見表5所示。

表5 A4模型的預(yù)測(cè)誤差表Tab.5 Prediction error of A4 Model (%)

綜合比較A1、A2、A3、A4模型的效果，可以得出A2模型和A4模型在學(xué)習(xí)率為0.01時(shí)，經(jīng)過200次訓(xùn)練后都呈現(xiàn)除了較好的擬合現(xiàn)象。預(yù)測(cè)誤差遠(yuǎn)低于其他模型。進(jìn)一步比較預(yù)測(cè)誤差隨迭代次數(shù)的變化可以發(fā)現(xiàn)，A4模型隨著訓(xùn)練迭代次數(shù)的增加，預(yù)測(cè)誤差呈現(xiàn)穩(wěn)定的減小趨勢(shì)，而A2模型則在權(quán)值更新多次后出現(xiàn)預(yù)測(cè)誤差振蕩的現(xiàn)象，穩(wěn)定性不如A4模型。

由此得出結(jié)論，在現(xiàn)有數(shù)據(jù)量的擬合中，三層神經(jīng)網(wǎng)絡(luò)架構(gòu)足夠進(jìn)行數(shù)據(jù)的擬合，使用A4模型，即隱藏層第一層、第二層、輸出層的激活函數(shù)分別為ReLU函數(shù)、Tanh函數(shù)和Sigmoid函數(shù)的結(jié)構(gòu)，可以在學(xué)習(xí)率為0.01的情況下，使模型得到快速有效的訓(xùn)練，最終達(dá)到的預(yù)測(cè)誤差可以穩(wěn)定的保持在±1%以內(nèi)。

3 結(jié) 論

(1)利用三層ANN算法結(jié)構(gòu)進(jìn)行建模，Adam優(yōu)化算法優(yōu)化參數(shù)。隱藏層數(shù)為2，每層包括4個(gè)節(jié)點(diǎn)。輸出層包括1個(gè)節(jié)點(diǎn)，代表紙類的含量。根據(jù)每層激活函數(shù)的不同建立四種模型?？梢越⑿阅軆?yōu)秀的垃圾組分回歸模型。

(2)使用0.001作為學(xué)習(xí)率時(shí)，可以得到較好的擬合效果。對(duì)比0.001和0.002作為學(xué)習(xí)率時(shí)，迭代次數(shù)分別為80、200、400時(shí)，可知迭代次數(shù)過多，模型出現(xiàn)過擬合現(xiàn)象。最佳條件為使用0.001作為學(xué)習(xí)率，迭代次數(shù)為200時(shí)，得到數(shù)據(jù)的最終預(yù)測(cè)誤差在±3.62%以內(nèi)，可以達(dá)到較為穩(wěn)定的預(yù)測(cè)效果。

(3)對(duì)比A1至A4四種模型，使用A4模型，即隱藏層第一層、第二層、輸出層的激活函數(shù)分別為ReLU函數(shù)、Tanh函數(shù)和Sigmoid函數(shù)的結(jié)構(gòu)，可以在學(xué)習(xí)率為0.01的情況下，使模型得到快速有效的訓(xùn)練，最終達(dá)到的預(yù)測(cè)誤差可以穩(wěn)定的保持在±1%以內(nèi)，為四種模型中預(yù)測(cè)誤差最低的模型結(jié)構(gòu)。