劉南杉，裴云強(qiáng)，蔣 皓，韓永國(guó)，吳亞?wèn)|，王賦攀，易思恒

基于VD-MobileNet網(wǎng)絡(luò)的WebAR生活垃圾分類信息可視化方法

劉南杉1，裴云強(qiáng)1，蔣 皓1，韓永國(guó)1，吳亞?wèn)|2，王賦攀1，易思恒1

(1. 西南科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川 綿陽(yáng) 621010；2. 四川輕化工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，四川 自貢 643002)

隨著我國(guó)垃圾分類制度的加速推行，基于虛擬/增強(qiáng)現(xiàn)實(shí)技術(shù)的垃圾分類應(yīng)用大量涌現(xiàn)。受識(shí)別設(shè)備平臺(tái)及居民應(yīng)用習(xí)慣等方面的影響，針對(duì)目前該類應(yīng)用在便捷性、實(shí)用性上存在較大不足，提出了一種基于輕量化神經(jīng)網(wǎng)絡(luò)并融合移動(dòng)增強(qiáng)現(xiàn)實(shí)及可視化技術(shù)的垃圾分類應(yīng)用方案。首先，提出了基于深度學(xué)習(xí)的垃圾分類可變擴(kuò)張卷積VD-MobileNet模型方法能夠解決移動(dòng)設(shè)備中存在的計(jì)算能力有限、網(wǎng)絡(luò)龐大等問(wèn)題，通過(guò)在MobileNet模型中引入空洞卷積增加感受野、擴(kuò)大垃圾的特征信息以提升分類精度，引入LeakyReLU激活函數(shù)優(yōu)化網(wǎng)絡(luò)的表達(dá)能力；其次，將該模型與WebAR技術(shù)結(jié)合，設(shè)計(jì)了一款面向移動(dòng)設(shè)備的輕量級(jí)垃圾分類信息可視化系統(tǒng)，該系統(tǒng)具備跨平臺(tái)特性，實(shí)現(xiàn)了對(duì)分類信息的多元化可視呈現(xiàn)，提供了靈活的交互方式。實(shí)驗(yàn)及評(píng)估表明，該VD-MobileNet模型在垃圾分類數(shù)據(jù)集中分類效果良好，能夠在參數(shù)量不變的前提下有效減少計(jì)算量，此外結(jié)合該模型所設(shè)計(jì)的WebAR應(yīng)用系統(tǒng)可為用戶的垃圾處理事務(wù)提供合理有效地協(xié)助。

垃圾分類；移動(dòng)增強(qiáng)現(xiàn)實(shí)；MobileNet模型；可視化技術(shù)；空洞卷積；WebAR

上海于2019年開(kāi)始嚴(yán)格執(zhí)行垃圾分類相關(guān)法律法規(guī)，其余各地部分示范城市也紛紛加入垃圾分類的行列中。當(dāng)前不同地區(qū)采取了各種方式協(xié)助居民進(jìn)行垃圾分類，同時(shí)相關(guān)部門安排監(jiān)管人員監(jiān)督、檢查生活垃圾的投放情況。但多數(shù)居民仍缺乏垃圾分類的環(huán)保意識(shí)，其主要原因?yàn)椋孩俨煌貐^(qū)對(duì)垃圾類型未明確定義，導(dǎo)致實(shí)際投放效果較差，且居民對(duì)垃圾分類意識(shí)薄弱；②傳統(tǒng)的垃圾分類宣傳方式成本物力高。

增強(qiáng)現(xiàn)實(shí)[1](augmented reality，AR)技術(shù)正在穩(wěn)定地發(fā)展，在真實(shí)場(chǎng)景中AR能夠渲染由計(jì)算機(jī)產(chǎn)生的虛擬物體，并將虛擬信息疊加到真實(shí)場(chǎng)景并進(jìn)行呈現(xiàn)，讓用戶感知信息增強(qiáng)后更豐富的新世界。結(jié)合該技術(shù)學(xué)習(xí)新知識(shí)的方式已運(yùn)用于如乳腺癌分類、人臉識(shí)別、零件分類等工作中。融合AR技術(shù)與垃圾分類的知識(shí)并結(jié)合信息可視化技術(shù)，能快速提示垃圾的類別信息，并提高垃圾分類的準(zhǔn)確性。AR設(shè)備大體分為頭戴式設(shè)備、投影顯示器、移動(dòng)設(shè)備等。當(dāng)前頭戴式設(shè)備價(jià)格高昂，不能滿足大部分用戶的需求，且不易隨身攜帶；投影顯示的不足在于設(shè)備體積龐大、受光照等環(huán)境因素制約太大[2-3]。對(duì)比之下，移動(dòng)設(shè)備的便攜性能滿足大部分用戶的應(yīng)用需求，而龐大的受眾群體基數(shù)同時(shí)也促進(jìn)了移動(dòng)AR技術(shù)的發(fā)展?；贏PP的移動(dòng)增強(qiáng)現(xiàn)實(shí)(mobile AR，MAR)技術(shù)和WebAR技術(shù)均屬于MAR技術(shù)。其中APP-based AR普遍存在額外下載、響應(yīng)時(shí)間長(zhǎng)、跨平臺(tái)等問(wèn)題。WebAR的優(yōu)勢(shì)不僅彌補(bǔ)了APP-based AR存在的上述不足，還擁有保護(hù)用戶隱私、提高用戶體驗(yàn)[4]等優(yōu)點(diǎn)。

針對(duì)目前傳統(tǒng)的WebAR圖像識(shí)別準(zhǔn)確性較低的問(wèn)題，本文提出基于深度學(xué)習(xí)的垃圾分類VD-MobileNet可視化系統(tǒng)，實(shí)現(xiàn)WebAR輔助用戶高效地處理垃圾。實(shí)驗(yàn)證明本文方法分類效果較好，在參數(shù)量不變的情況下，計(jì)算量降低，解決了移動(dòng)設(shè)備計(jì)算能力有限的問(wèn)題，同時(shí)減緩移動(dòng)設(shè)備延遲的現(xiàn)象。

1 相關(guān)工作

本文的目標(biāo)是促進(jìn)WebAR與垃圾分類的結(jié)合，并以可視化的形式展示出垃圾的類別等信息。

(1) WebAR與垃圾分類。CARMO等[5]提出了關(guān)于AR的應(yīng)用程序，使用可視化呈現(xiàn)太陽(yáng)輻射數(shù)據(jù)信息，其優(yōu)勢(shì)在于既可以檢測(cè)數(shù)據(jù)中的錯(cuò)誤，又能提高公眾對(duì)于發(fā)電的認(rèn)識(shí)。李軍鋒等[6]使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)解決了AR中變壓器圖像識(shí)別問(wèn)題，使得識(shí)別準(zhǔn)確率更高。裴云強(qiáng)等[7]使用L-K光流方法解決了對(duì)象的識(shí)別跟蹤問(wèn)題，并豐富了WebAR與信息可視化的交互方式?？讘c杰和林姝[8]提出了基于AR的垃圾分類方法，用戶可使用設(shè)備提示器快速準(zhǔn)確地進(jìn)行垃圾分類投放。以上研究大多未對(duì)垃圾作為目標(biāo)進(jìn)行獨(dú)立的圖像分類方案，因此本文考慮讓垃圾分類結(jié)合WebAR來(lái)做研究。

傳統(tǒng)的WebAR圖像識(shí)別技術(shù)，如：尺度不變特征變換(scale-invariant feature transform，SIFT)以及方向梯度直方圖(histogram of oriented gradient，HOG)等，由于計(jì)算量過(guò)大，無(wú)法滿足海量圖像的分類，導(dǎo)致識(shí)別準(zhǔn)確性較低。因此引入深度學(xué)習(xí)技術(shù)能夠加強(qiáng)圖像分類的精度以彌補(bǔ)這一缺陷。

(2) 輕量化網(wǎng)絡(luò)。深度學(xué)習(xí)更好地解決了圖像識(shí)別和圖像分類等問(wèn)題，其中對(duì)網(wǎng)絡(luò)架構(gòu)的研究是神經(jīng)網(wǎng)絡(luò)發(fā)展的重點(diǎn)之一。隨著研究的深入，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)會(huì)越來(lái)越龐大、復(fù)雜，越來(lái)越多的研究者開(kāi)始關(guān)注網(wǎng)絡(luò)模型與移動(dòng)設(shè)備存在的計(jì)算能力有限、模型過(guò)大、實(shí)時(shí)性等問(wèn)題。HOWARD等[9]提出了輕量化網(wǎng)絡(luò)結(jié)構(gòu)MobileNet，其中用深度可分離卷積代替標(biāo)準(zhǔn)卷積，有效地降低了計(jì)算量和參數(shù)量，使得網(wǎng)絡(luò)輕量化。接著SANDLER等[10]又繼續(xù)在MobileNet上做出創(chuàng)新改進(jìn)，并提出具有線性瓶頸的倒置殘差。該MobileNetV2結(jié)構(gòu)為低維-高維-低維，高維使用深度可分離卷積(depthwise separable convolutions)能夠有效提取網(wǎng)絡(luò)特征，而低維則避免了高維信息的丟失。之后，HOWARD等[11]在MobileNetV2的基礎(chǔ)上又提出MobileNetV3結(jié)構(gòu)，包括Large和Small 2個(gè)版本分別在V1和V2的基礎(chǔ)上，又引入了通道注意力結(jié)構(gòu)(squeeze-and-excitation，SE)，該組合能夠降低計(jì)算量。上述的輕量化網(wǎng)絡(luò)模型降低計(jì)算量卻導(dǎo)致分類準(zhǔn)確性有所降低。王威等[12]利用擴(kuò)張感受野，在MobileNet網(wǎng)絡(luò)結(jié)構(gòu)引入空洞卷積，有效地提高了圖像分類的準(zhǔn)確性。本文受此啟發(fā)，考慮在不增加額外計(jì)算量的情況下，將擴(kuò)張率為2的空洞卷積引入到MobileNet網(wǎng)絡(luò)模型的深度卷積層中，并作用于前幾層深度卷積層中，讓網(wǎng)絡(luò)模型獲得不同程度的感受野特征，增加垃圾的特征信息，以提高分類精度。

本文將深度學(xué)習(xí)引入WebAR與信息可視化系統(tǒng)，在不增加計(jì)算量和參數(shù)的前提下，在MobileNet網(wǎng)絡(luò)模型的基礎(chǔ)上加入空洞卷積，擴(kuò)張了特征局部感受區(qū)域，獲得更多的垃圾特征信息，以提升垃圾分類的精度。另一方面，在MobileNet網(wǎng)絡(luò)結(jié)構(gòu)中，原本存在的非線性激活函數(shù)ReLU，其負(fù)軸輸出為0，梯度為0，導(dǎo)致神經(jīng)元無(wú)法使用，最終忽略負(fù)值信息，造成信息丟失。因此本文采用優(yōu)化的LeakyReLU，保留了負(fù)值特征，避免信息丟失。

2 垃圾分類網(wǎng)絡(luò)模型

為了提高WebAR中垃圾分類的準(zhǔn)確性，本文提出了基于可變擴(kuò)張卷積MobileNet模型(variable dilation rate-MobileNet，VD-MobileNet)的垃圾分類的網(wǎng)絡(luò)架構(gòu)，并對(duì)WebAR中垃圾分類方法做如下4個(gè)假設(shè)：

(1) 基于VD-MobileNet的網(wǎng)絡(luò)模型，在參數(shù)量不變、計(jì)算量減少的前提下，在深度卷積層中引入空洞卷積增加感受野，以提升垃圾分類的精度。

(2) 使用LeakyReLU激活函數(shù)以保留更多的垃圾信息，能夠增加網(wǎng)絡(luò)的表達(dá)能力。

(3) 采用VD-MobileNet的網(wǎng)絡(luò)模型能穩(wěn)定地進(jìn)行垃圾分類。

(4) 該方案能在一定程度上緩解虛擬模型渲染時(shí)的延遲、卡頓等現(xiàn)象。

2.1 MobileNet基礎(chǔ)網(wǎng)絡(luò)模型

隨著深度學(xué)習(xí)向移動(dòng)設(shè)備滲透的趨勢(shì)，研究人員越來(lái)越注重尋找使深度神經(jīng)網(wǎng)絡(luò)更快、更簡(jiǎn)潔的方式。輕量化網(wǎng)絡(luò)MobileNet架構(gòu)，其核心思想是使用深度可分離卷積替代傳統(tǒng)卷積來(lái)大幅度降低模型的計(jì)算量和參數(shù)量，因此輕量化MobileNet網(wǎng)絡(luò)適用于移動(dòng)設(shè)備。圖1為MobileNet網(wǎng)絡(luò)。

圖1 MobileNet網(wǎng)絡(luò)結(jié)構(gòu)

深度可分離卷積分為深度卷積(depthwise convolution)和逐點(diǎn)1×1卷積[13-14](pointwise convolution)。各個(gè)深度卷積逐一將各自的卷積核應(yīng)用到不同的輸入通道，以此保證輸出特征的各個(gè)通道只與輸入特征圖對(duì)應(yīng)的通道相關(guān)。最后，將各個(gè)通道對(duì)應(yīng)的深度卷積的結(jié)果通過(guò)逐點(diǎn)1×1卷積進(jìn)行信息組合并輸出特征。圖2為深度卷積可分離卷積的分解過(guò)程。其中和分別表示輸入、輸出的通道數(shù)，特征圖輸入尺寸大小為×，×表示卷積核的大小，輸出的特征尺寸為×。

圖2 標(biāo)準(zhǔn)卷積分割為深度卷積和逐點(diǎn)卷積

針對(duì)圖像語(yǔ)義分割問(wèn)題，WANG等[15]提出了一種空洞卷積(dilated convolution)的思路。其又稱為擴(kuò)張卷積，該卷積需要引入一個(gè)擴(kuò)張率(dilation rate)參數(shù)，并在卷積核中完成卷積構(gòu)造，插入0來(lái)豐富卷積核的感受野(即視覺(jué)感受區(qū)域的大小)，以此彌補(bǔ)池化層中丟失的信息，以提升網(wǎng)絡(luò)精度[16]。

圖3以3×3卷積為例，展示普通卷積和空洞卷積之間的區(qū)別。

圖3 空洞卷積的示意圖((a)普通卷積；(b)擴(kuò)張率為2的空洞卷積；(c)擴(kuò)張率為3的空洞卷積)

黑色的圓點(diǎn)表示3×3的卷積核，灰色部分表示卷積后的感受區(qū)域，大框表示輸入圖像(感受野默認(rèn)為1)。圖3(a)～(c)分別表示普通卷積(擴(kuò)張率為1，感受區(qū)域大小為3×3)、空洞卷積(擴(kuò)張率為2，感受區(qū)域大小為5×5)、空洞卷積(擴(kuò)張率為3，感受區(qū)域大小為7×7)，三者分別進(jìn)行卷積。

圖3(b)在保持參數(shù)量的情況下，加入空洞卷積，感受野范圍相較于圖3(a)的普通卷積擴(kuò)大了許多；圖3(c)可知，空洞卷積的擴(kuò)張率越大，感受野越大，可獲得更多的信息，且不增加額外的成本。根據(jù)該思想，將空洞卷積引入垃圾分類網(wǎng)絡(luò)模型中，擴(kuò)大信息感知域，使得垃圾的特征信息更多，進(jìn)而提升垃圾分類精度。

2.2 模型優(yōu)化

目前MobileNet模型的卷積核多以3×3的小尺寸代替7×7或5×5的大尺寸，以減少計(jì)算成本，使模型更輕量化，方便設(shè)備移動(dòng)。但小尺寸卷積核的感受區(qū)域過(guò)小，在前幾層特征圖分辨率較高的情況下，無(wú)法獲取較好的特征信息[12]。反之，較大尺寸的卷積核又會(huì)增大計(jì)算量。而空洞卷積的設(shè)計(jì)可以很好地避免以上問(wèn)題，用以擴(kuò)大感受區(qū)域，且不會(huì)額外增加計(jì)算成本。因此，考慮在網(wǎng)絡(luò)模型的前幾層擴(kuò)大其感受野。感受野越大，感受的區(qū)域也越大，所獲得的垃圾特征信息就越完整。但隨著網(wǎng)絡(luò)層數(shù)的增加，特征圖的分辨率逐漸降低，感知的垃圾特征信息也隨之減少。故本文優(yōu)化方案考慮在不增加額外計(jì)算量的情況下，利用擴(kuò)張率為2的空洞卷積引入到深度卷積中，并作用于前幾層深度卷積層中，且稱其為可變擴(kuò)張卷積VD-MobileNet模型。VD-MobileNet將擴(kuò)張率為2的空洞卷積核引入到MobileNet中，作用在深度卷積層中。同時(shí)，為了避免增加多余的計(jì)算量，其他層不變。本文在前幾層深度卷積中引入不同數(shù)量的空洞卷積，使網(wǎng)絡(luò)模型表達(dá)不同程度的感受野特征，并增加網(wǎng)絡(luò)特征信息，進(jìn)而提高垃圾分類精度，VD-MobileNet模型結(jié)構(gòu)的核心是深度可分離空洞卷積層。本文設(shè)計(jì)的4種網(wǎng)絡(luò)模型，即VD1-MobileNet，VD2-MobileNet，VD3-MobileNet和VD4-MobileNet。

VD-MobileNet網(wǎng)絡(luò)模型是由VD1-MobileNet，VD2-MobileNet，VD3-MobileNet和VD4-MobileNet分別在前幾層深度卷積層中加入1，2，3和4個(gè)不同數(shù)量的空洞卷積，其他層不變。4種網(wǎng)絡(luò)模型在參數(shù)量不變，計(jì)算量減小的條件下，擴(kuò)張不同數(shù)量的深度卷積層的感知范圍，如圖4所示。

圖4 VD-MobileNet網(wǎng)絡(luò)

2.2.1 VD-MobileNet的特性

深度可分離卷積分解為一個(gè)深度卷積和逐點(diǎn)1×1卷積。對(duì)深度卷積層而言，假設(shè)輸入特征圖的大小為(高)×(寬)×(通道數(shù))，與大小為××的深度卷積核進(jìn)行無(wú)填充補(bǔ)零的卷積操作，最后輸出的通道數(shù)為，其輸出的特征圖尺寸為

其中，為輸入圖像的尺寸；為卷積核尺寸；為填充補(bǔ)零層數(shù)；為卷積步長(zhǎng)；w為輸出特征圖的尺寸大小。由式(1)可知，特征圖的輸出尺寸為1=(-+1)×(-+1)，即進(jìn)行(-+1)×(-+1)次運(yùn)算。

深度卷積的卷積計(jì)算過(guò)程為

則總計(jì)算量為

總的參數(shù)量為

在VD-MobileNet模型的深度卷積層中引入空洞卷積，其擴(kuò)張率為，輸入相同的特征圖，與卷積核進(jìn)行無(wú)填充補(bǔ)零的深度空洞卷積操作，最后輸出的通道數(shù)同樣為，輸出特征圖尺寸為

其中，輸入空洞卷積的大小為；步長(zhǎng)為；原卷積核大小為；為填充補(bǔ)零層數(shù)；為擴(kuò)張率；w為輸出特征圖的尺寸大小。由式(5)可知，特征圖的輸出尺寸為2=(--(-1)(-1)+1)×(--(-1) (-1)+1)，即進(jìn)行(--(-1)(-1)+1)×(--(-1) (-1)+1)次運(yùn)算，則總計(jì)算量為

總參數(shù)量為

在VD-MobileNet模型的深度可分離卷積層中引入空洞卷積，其擴(kuò)張率為，輸入相同的特征圖，與卷積核進(jìn)行無(wú)填充補(bǔ)零的深度可分離空洞卷積操作，最后輸出的通道數(shù)同樣為，由式(2)可知，輸出特征圖尺寸為2，即進(jìn)行(--(-1) (-1)+1)×(--(-1)(-1)+1)次運(yùn)算，則總計(jì)算量為

總參數(shù)量為

綜上，深度空洞卷積層相對(duì)于深度卷積層，計(jì)算量減少為

同理，深度可分離空洞卷積層相較于標(biāo)準(zhǔn)卷積，計(jì)算量減少為

由式(4)，式(7)和式(10)可知，引入空洞卷積后，雖然深度空洞卷積和深度卷積參數(shù)相同，但計(jì)算量減少了。

又假設(shè)深度卷積核大小為×，空洞卷積擴(kuò)張率為，則其空洞卷積的卷積核大小為

當(dāng)前層的感受野為

其中，RF+1為當(dāng)前層的感受野；RF為上一層的感受野；?為卷積核的大??；S為從第1層到第-1層步長(zhǎng)的乘積。

推算出當(dāng)前卷積核的感受野為(×-+1)× (×-+1)。由此說(shuō)明引入空洞卷積可以在參數(shù)量不變，計(jì)算成本減少的基礎(chǔ)上，擴(kuò)張感受野，使得感知信息更多。

此外，相較于深度卷積，空洞卷積可在保持原有卷積參數(shù)量的前提下，提升卷積核的感受野大小，以獲取特征圖不同范圍的信息，使網(wǎng)絡(luò)結(jié)構(gòu)更加高效和輕量，進(jìn)一步提升垃圾分類的準(zhǔn)確性。

2.2.2 LeakyReLU激活函數(shù)

在MobileNet網(wǎng)絡(luò)中，使用非線性ReLU激活函數(shù)避免了梯度消失的發(fā)生，同時(shí)為各層提供更好的非線性變換能力，減少各參數(shù)之間相互依賴關(guān)系，最大程度地避免過(guò)擬合問(wèn)題的發(fā)生[17]。

ReLU激活函數(shù)為

從式(14)可以看出，ReLU存在使所有的負(fù)輸入的輸出均變?yōu)?，導(dǎo)致神經(jīng)元不可使用，即神經(jīng)元死亡的局限性。因?yàn)镽eLU在小于0的范圍內(nèi)的梯度為零，隨著網(wǎng)絡(luò)訓(xùn)練次數(shù)的增加，部分神經(jīng)元對(duì)應(yīng)的權(quán)重不會(huì)再更新。該神經(jīng)元在輸入特征時(shí)是沒(méi)有反應(yīng)的，導(dǎo)致最終會(huì)忽略輸入負(fù)值信息，但是垃圾分類的關(guān)鍵點(diǎn)極有可能是這些被忽略掉的負(fù)值特征信息。

為了提高VD-MobileNet網(wǎng)絡(luò)對(duì)垃圾負(fù)值特征信息提取的完整度，解決ReLU激活函數(shù)神經(jīng)元死亡的問(wèn)題，使得負(fù)輸入垃圾信息不被忽略，本文使用LeakyReLU激活函數(shù)來(lái)解決此問(wèn)題。

LeakyReLU激活函數(shù)為

LeakyReLU與ReLU很相似，僅在負(fù)輸入的部分有差別，LeakyReLU負(fù)輸入的部分，輸出為負(fù)，梯度不為0。LeakyReLU與ReLU函數(shù)有著相同的簡(jiǎn)單計(jì)算過(guò)程，同時(shí)保留了負(fù)輸入的值，避免垃圾的特征信息全部丟失，增加了網(wǎng)絡(luò)的表達(dá)能力，使得垃圾分類的結(jié)果更加準(zhǔn)確。

3 WebAR垃圾分類可視化系統(tǒng)

3.1 AR與垃圾分類

AR技術(shù)能夠有效地輔助居民學(xué)習(xí)垃圾分類相關(guān)知識(shí)，其優(yōu)點(diǎn)主要包括沉浸式體驗(yàn)和低成本學(xué)習(xí)。一方面，對(duì)垃圾分類的宣講與傳統(tǒng)的方式不同，AR能通過(guò)沉浸式交互手段，輔助用戶學(xué)習(xí)垃圾分類的基礎(chǔ)知識(shí)。另一方面，AR的技術(shù)成本和體驗(yàn)門檻較低，開(kāi)發(fā)人員或用戶皆只需一部可攜帶的移動(dòng)設(shè)備(智能手機(jī))進(jìn)行開(kāi)發(fā)或體驗(yàn)分類過(guò)程和學(xué)習(xí)分類知識(shí)。

在城市基礎(chǔ)建設(shè)中，為了有效地提示居民垃圾投放方式，在垃圾箱上方通常會(huì)懸掛垃圾分類標(biāo)志。但該呈現(xiàn)方式存在一定的局限性，其一，垃圾箱上的標(biāo)志保存著提示垃圾投放的信息，惡劣天氣會(huì)腐蝕標(biāo)志，導(dǎo)致居民難以獲取提示信息；其二，垃圾箱上的標(biāo)志一旦被確定，則相關(guān)人員無(wú)法實(shí)時(shí)動(dòng)態(tài)地改變標(biāo)志內(nèi)容，導(dǎo)致提示信息不全面，進(jìn)而影響居民垃圾投放的總體效果。

本文將AR與可視化相結(jié)合，①豐富了AR的交互能力和空間數(shù)據(jù)分析方式以及呈現(xiàn)形式；②彌補(bǔ)了傳統(tǒng)信息可視化的空間感，使得表達(dá)的信息更加直觀、清晰。垃圾分類的可視化結(jié)果被AR作為模型疊加到現(xiàn)實(shí)世界中，極大豐富用戶所觀察到的真實(shí)場(chǎng)景，在虛擬場(chǎng)景中顯示垃圾分類信息，從而實(shí)現(xiàn)對(duì)現(xiàn)實(shí)世界信息的增強(qiáng)。AR的三維可視化既有三維場(chǎng)景的空間感和沉浸感，又有虛擬模型的真實(shí)感和交互感[18]，這樣AR與垃圾分類信息可視化的結(jié)合，能有效幫助用戶直觀地了解垃圾分類信息，并進(jìn)一步協(xié)助相關(guān)人員分析分類情況。

3.2 系統(tǒng)設(shè)計(jì)

該系統(tǒng)采用深度學(xué)習(xí)和WebAR技術(shù)實(shí)現(xiàn)垃圾分類，并將垃圾分類結(jié)果以可視化的形式呈現(xiàn)到AR模型中；用戶只需打開(kāi)手機(jī)攝像頭實(shí)時(shí)捕獲真實(shí)場(chǎng)景下的視頻幀，便可以圖片的形式輸入預(yù)先訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)其識(shí)別，并根據(jù)識(shí)別結(jié)果對(duì)這些視頻幀進(jìn)行分類；得到分類結(jié)果傳向前端，并將對(duì)應(yīng)的虛擬數(shù)據(jù)信息通過(guò)可視化的形式疊加在視頻幀的對(duì)應(yīng)位置，AR通過(guò)虛實(shí)結(jié)合的方式將多元的垃圾數(shù)據(jù)信息呈現(xiàn)出來(lái)，并運(yùn)用WebGL技術(shù)將二維垃圾分類數(shù)據(jù)三維化，更直觀地為體驗(yàn)者提供相關(guān)垃圾分類的信息。圖5(a)和(b)分別展示了操作流程和系統(tǒng)流程圖。

圖5 WebAR系統(tǒng)框架((a)操作流程；(b)系統(tǒng)流程圖；(c)交互操作)

3.2.1 WebAR中的數(shù)據(jù)交互

主流的MAR應(yīng)用存在一定的交互局限性。一方面，直接操控三維空間難度較大，用戶可以通過(guò)二維屏幕感知三維空間以彌補(bǔ)三維空間交互的缺失；另一方面，移動(dòng)設(shè)備的屏幕過(guò)小導(dǎo)致交互范圍、呈現(xiàn)信息均有限。針對(duì)這些問(wèn)題本系統(tǒng)運(yùn)用可視化技術(shù)和WebAR技術(shù)來(lái)呈現(xiàn)和渲染這些數(shù)據(jù)信息。交互方面，除了常規(guī)的單指操作外，系統(tǒng)還增加了六自由度下的雙指交互如雙指縮放、雙指拖動(dòng)等(圖5(c))，用以提升居民的垃圾分類沉浸式體驗(yàn)。

3.2.2 可視化結(jié)果呈現(xiàn)

該系統(tǒng)的目的是將可視化后垃圾的信息呈現(xiàn)給用戶，讓用戶了解室內(nèi)生活垃圾的產(chǎn)生和投放情況等，以協(xié)助用戶合理地處理垃圾?？梢暬Y(jié)果包括對(duì)室內(nèi)生活垃圾占比(圖6(a))、生活垃圾所處環(huán)境的溫度、濕度、光照(圖6(b))，各類垃圾的月投放量(圖6(c))以及每月四周垃圾的投放情況(圖6(d))。垃圾分類可視分析結(jié)果如圖6所示。

圖6 可視化結(jié)果呈現(xiàn)((a)室內(nèi)生活垃圾占比；(b)生活垃圾的環(huán)境；(c)各類垃圾的月投放量；(d)每月四周垃圾的投放情況)

所用數(shù)據(jù)均來(lái)源于室內(nèi)生活垃圾的產(chǎn)生和投放情況。圖6(a)餅圖描述的是生活垃圾(廚余垃圾、可回收物、其他垃圾、有害垃圾)的占比情況，讓用戶實(shí)時(shí)掌握各類生活垃圾投放量占總投放量的比例，通過(guò)單指點(diǎn)擊各類別垃圾相關(guān)區(qū)域查看對(duì)應(yīng)類別垃圾的具體投放量，以協(xié)助用戶合理處理各類生活垃圾；圖6(c)詞云描述的是各類垃圾的月投放量，每種垃圾均有與之對(duì)應(yīng)的文字，文字越大表明該類垃圾投放的數(shù)量越多。用戶通過(guò)觸屏詞云中的文字可以查看具體垃圾的月投放量。詞云讓用戶更加直觀地了解每月垃圾投放情況，協(xié)助用戶及時(shí)控制當(dāng)月部分垃圾的數(shù)量；圖6(d)折線圖呈現(xiàn)的是每月四周時(shí)間內(nèi)的垃圾投放情況，用戶需單指點(diǎn)擊、縮放等交互方式來(lái)查看每周垃圾的具體投放量；用戶可以通過(guò)旋轉(zhuǎn)、雙指縮放、單指點(diǎn)擊等交互方式，查看圖6(b)雷達(dá)圖展示的生活垃圾所處環(huán)境的溫度、濕度、光照，并根據(jù)不同環(huán)境改善對(duì)垃圾的處理方式，以免出現(xiàn)垃圾腐化等情況，更便捷地協(xié)助用戶高效地處理垃圾。

因此，信息可視化多元的呈現(xiàn)方式和交互能力彌補(bǔ)了WebAR在呈現(xiàn)、交互能力和空間數(shù)據(jù)分析方式上的不足。

4 測(cè)試結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)設(shè)備包括OppoR15 (安卓手機(jī))、華碩筆記本電腦和一臺(tái)寶塔服務(wù)器，設(shè)備參數(shù)見(jiàn)表1。該實(shí)驗(yàn)采用Python3.6版本下的Anaconda，來(lái)安裝Tensorflow深度學(xué)習(xí)框架。深度學(xué)習(xí)模型的訓(xùn)練采用隨機(jī)梯度下降優(yōu)化器，學(xué)習(xí)率以余弦方式衰減，動(dòng)量因子為0.9，批量大小設(shè)定為32，分類器采用Softmax，損失函數(shù)為交叉熵?fù)p失函數(shù)。

表1 設(shè)備參數(shù)

4.2 數(shù)據(jù)集

本文垃圾分類數(shù)據(jù)集來(lái)自于華為垃圾分類公開(kāi)數(shù)據(jù)集和自制數(shù)據(jù)集。按照要求垃圾分為4類：廚余垃圾、其他垃圾、可回收物和有害垃圾。公開(kāi)垃圾分類數(shù)據(jù)集有5 000余張圖片，由于數(shù)據(jù)集中廚余垃圾、其他垃圾種類相較與可回收物和有害垃圾種類偏少，可能影響垃圾分類準(zhǔn)確性的測(cè)試。因此額外從谷歌和百度爬蟲(chóng)得到的1 000余張廚余及其他垃圾的圖片，以滿足4類垃圾數(shù)量的均衡訓(xùn)練，所有圖片均經(jīng)過(guò)篩選，且圖片均為jpg格式，以方便輸入數(shù)據(jù)，加快訓(xùn)練速度。在網(wǎng)絡(luò)訓(xùn)練時(shí)，首先將數(shù)據(jù)集中的圖片進(jìn)行標(biāo)簽分類，之后充分打亂，再隨機(jī)抽取圖片訓(xùn)練網(wǎng)絡(luò)。表2是各類垃圾的訓(xùn)練集、測(cè)試集的數(shù)量。

表2 各類垃圾的數(shù)據(jù)集

4.3 實(shí)驗(yàn)測(cè)試及分析

為驗(yàn)證本文提出的VD-MobileNet 4種網(wǎng)絡(luò)模型(VD1-MobileNet到VD4-MobileNet)及LeakyReLU激活函數(shù)在垃圾分類數(shù)據(jù)集上的合理性，實(shí)驗(yàn)分別在準(zhǔn)確率、召回率、模型參數(shù)、計(jì)算量與原MobileNet網(wǎng)絡(luò)進(jìn)行了對(duì)比，且參考了近幾年的輕量化網(wǎng)絡(luò)以對(duì)比本文設(shè)計(jì)的4種網(wǎng)絡(luò)模型的有效性。表3為不同垃圾分類網(wǎng)絡(luò)模型的實(shí)驗(yàn)性能對(duì)比。

表3 不同分類網(wǎng)絡(luò)模型實(shí)驗(yàn)性能對(duì)比

從表3可以看出，改進(jìn)的4種垃圾分類網(wǎng)絡(luò)模型在參數(shù)不變、計(jì)算量下降的前提下，準(zhǔn)確率均有提升，其原因是在前幾層深度卷積中分別引入不同數(shù)量的空洞卷積，增大了感受野，使感受區(qū)域也變大，感知的垃圾特征信息也越完整，使得分類準(zhǔn)確率均得到了提升。其中VD3-MobileNet提升的精度效果比其余3種模型要好。但VD4-MobileNet網(wǎng)絡(luò)準(zhǔn)確率略降低，是由于當(dāng)前層數(shù)不斷增加，分辨率逐漸減小，捕獲的垃圾特征信息不夠全面，再加入空洞卷積使準(zhǔn)確率就開(kāi)始逐漸降低；與原MobileNet模型相比，在參數(shù)量相同的情況下，性能更高效。在加入空洞卷積的同時(shí)，還引入了LeakyReLU激活函數(shù)，其功能是增強(qiáng)垃圾的被忽略的特征信息，使網(wǎng)絡(luò)分類效果更準(zhǔn)確。與MobileNet模型的改進(jìn)版網(wǎng)絡(luò)MobileNetV2和MobileNetV3相比較，后兩者的參數(shù)量比其高，但計(jì)算量比其低，從準(zhǔn)確率看來(lái)本文設(shè)計(jì)的VD3-MobileNet模型比這2個(gè)模型要更高效。本文使用的4種網(wǎng)絡(luò)模型相較于流行的參數(shù)量、計(jì)算量更少的輕量化網(wǎng)絡(luò)SqueezeNet和Xception，其準(zhǔn)確性更高。綜上，驗(yàn)證了VD3-MobileNet網(wǎng)絡(luò)模型的高效性及其余3種模型的有效性。

為了更好比較模型之間的優(yōu)劣，實(shí)驗(yàn)分別對(duì)各類垃圾的數(shù)據(jù)集針對(duì)準(zhǔn)確率、召回率進(jìn)行了性能測(cè)試，結(jié)果見(jiàn)表4。

表4 模型性能對(duì)比(%)

從表4可以看出，原模型和改進(jìn)的VD-MobileNet 4種網(wǎng)絡(luò)模型在各類垃圾的數(shù)據(jù)集中的性能較穩(wěn)定，其中VD3-MobileNet模型比其余3種改進(jìn)的模型效果更高效，驗(yàn)證了改進(jìn)的垃圾分類網(wǎng)絡(luò)模型的正確性。

對(duì)移動(dòng)設(shè)備而言，關(guān)鍵的是模型在測(cè)試或?qū)嶋H使用時(shí)的分類時(shí)間，能否達(dá)到實(shí)時(shí)的效果。表5對(duì)模型內(nèi)存、訓(xùn)練時(shí)間、識(shí)別時(shí)間分別進(jìn)行了測(cè)試。

表5 時(shí)間性能對(duì)比

從表5可以看出，MobileNet網(wǎng)絡(luò)識(shí)別垃圾的時(shí)間比改進(jìn)的4種模型識(shí)別時(shí)間長(zhǎng)，其原因是網(wǎng)絡(luò)的計(jì)算量大，導(dǎo)致識(shí)別時(shí)間更長(zhǎng)，對(duì)于移動(dòng)應(yīng)用來(lái)說(shuō)效果欠佳，需縮短識(shí)別時(shí)間。MobileNet網(wǎng)絡(luò)訓(xùn)練垃圾分類數(shù)據(jù)集的時(shí)間是252 s，而改進(jìn)后的4種垃圾分類網(wǎng)絡(luò)模型訓(xùn)練時(shí)間均少于其用時(shí)。其原因VD-MobileNet網(wǎng)絡(luò)中的深度卷積層加入空洞卷積，使得計(jì)算量有所下降，訓(xùn)練時(shí)間減少。MobileNet占用內(nèi)存比其他4種改進(jìn)的網(wǎng)絡(luò)模型的容量大。從而，驗(yàn)證了VD-MobileNet網(wǎng)絡(luò)能夠達(dá)到移動(dòng)設(shè)備實(shí)時(shí)性等要求。

4.4 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證基于MobileNet網(wǎng)絡(luò)引入的空洞卷積所設(shè)計(jì)的4種網(wǎng)絡(luò)模型的性能和加入LeakyReLU激活函數(shù)是否能增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力，設(shè)計(jì)了一個(gè)消融實(shí)驗(yàn)來(lái)證明引入空洞卷積和LeakyReLU激活函數(shù)的必要性，見(jiàn)表6。

表6 消融實(shí)驗(yàn)(%)

從表6和表3可以看出，原模型MobileNet中加入LeakyReLU激活函數(shù)，準(zhǔn)確率增加了0.4%，改進(jìn)的4種模型加入LeakyReLU激活函數(shù)也分別增加了0.1%，0.3%，0.2%和0.2%，原因是LeakyReLU激活函數(shù)比ReLU激活函數(shù)能保留更多的垃圾信息，增強(qiáng)網(wǎng)絡(luò)性能；結(jié)合表3可以看出，在原模型MobileNet中加入不同數(shù)量的空洞卷積，準(zhǔn)確率比原模型分別增加了1.3%，1.7%和3.5%，其計(jì)算量也逐漸降低，VD4-MobileNet的準(zhǔn)確率有所下降，是因?yàn)榫矸e層數(shù)不斷增加，獲得的垃圾特征信息不夠完整所致。

綜上，在原模型中加入空洞卷積和LeakyReLU激活函數(shù)性能均有所提升，驗(yàn)證了該設(shè)計(jì)的合理性。

4.5 用戶評(píng)估

為驗(yàn)證本系統(tǒng)及可視化結(jié)果的有效性和準(zhǔn)確性，實(shí)驗(yàn)邀請(qǐng)了20名受試者(包括本科生和研究生)，其中男性12名，女性8名，年齡20～26歲，所有受試者均具有可視化相關(guān)知識(shí)，13名熟悉AR相關(guān)知識(shí)。20名受試者均參加用戶評(píng)估實(shí)驗(yàn)。

具體的評(píng)估指標(biāo)是室內(nèi)垃圾占比、各類垃圾的月投放量、每月四周垃圾的投放情況和生活垃圾所處的環(huán)境以及系統(tǒng)的有效性，根據(jù)用戶的使用情況選擇使用效果。如圖7所示，大部分用戶對(duì)該系統(tǒng)的使用效果較好，并表示使用該系統(tǒng)了解室內(nèi)垃圾占比情況，聯(lián)合圖6(b)雷達(dá)圖能夠及時(shí)知曉當(dāng)日垃圾所處的環(huán)境，及處理容易腐化和有害的生活垃圾；圖6(c)詞云的字體大小能提醒用戶及時(shí)處理腐化的垃圾，及了解用戶的生活狀況，其中外賣盒最多，進(jìn)而提醒用戶飲食需健康；圖6(d)折線圖的設(shè)計(jì)既能讓用戶了解具體垃圾投放情況，也積極響應(yīng)社會(huì)對(duì)垃圾分類的號(hào)召。此外，也體現(xiàn)了系統(tǒng)滿足用戶對(duì)交互操作、模型流暢的認(rèn)可，驗(yàn)證了該系統(tǒng)及可視化結(jié)果的有效性和準(zhǔn)確性。

圖7 用戶評(píng)估((a)可視化結(jié)果評(píng)估；(b)系統(tǒng)設(shè)計(jì))

5 總 結(jié)

本文提出了一種基于深度學(xué)習(xí)的WebAR垃圾分類可視化方案，利用改進(jìn)的VD-MobileNet網(wǎng)絡(luò)對(duì)垃圾進(jìn)行識(shí)別分類。首先對(duì)垃圾分類的數(shù)據(jù)集進(jìn)行處理，再將數(shù)據(jù)集放入改進(jìn)后的模型中訓(xùn)練，并利用手機(jī)攝像頭實(shí)時(shí)捕獲真實(shí)世界的垃圾，獲取信息后再利用預(yù)先訓(xùn)練好的模型對(duì)垃圾進(jìn)行分類預(yù)測(cè)。WebAR結(jié)合可視化技術(shù)更好地將垃圾分類的結(jié)果及相關(guān)信息呈現(xiàn)在虛擬物體上，雙指縮放等高效的交互方式協(xié)助用戶及時(shí)了解到垃圾分類的數(shù)據(jù)信息，然后根據(jù)垃圾的投放情況做出反應(yīng)。通過(guò)實(shí)驗(yàn)證明，在原模型MobileNet的基礎(chǔ)上引入空洞卷積比原模型分類精度更高，改進(jìn)后的模型優(yōu)點(diǎn)在于參數(shù)量不變、計(jì)算量減少，說(shuō)明改進(jìn)后的VD-MobileNet網(wǎng)絡(luò)模型將圖像分類更好地應(yīng)用到移動(dòng)設(shè)備。本文的研究也可用于其他應(yīng)用場(chǎng)景，如花木識(shí)取、寵物品種甄別等。另外，在后續(xù)研究中結(jié)合WebAR垃圾分類可視化對(duì)垃圾三維位姿進(jìn)行精確估計(jì)來(lái)提升識(shí)別精度等方面展開(kāi)研究。

[1] 劉佳, 郭斌, 張晶晶, 等. 視觸覺(jué)融合的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2021, 57(11): 70-76.

LIU J, GUO B, ZHANG J J, et al. 3D registration method for augmented reality based on visual and haptic integration[J]. Computer Engineering and Applications, 2021, 57(11): 70-76 (in Chinese).

[2] 劉萬(wàn)奎, 劉越. 用于增強(qiáng)現(xiàn)實(shí)的光照估計(jì)研究綜述[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2016, 28(2): 197-207.

LIU W K, LIU Y. Review on illumination estimation in augmented reality[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(2): 197-207 (in Chinese).

[3] 朱淼良, 姚遠(yuǎn), 蔣云良. 增強(qiáng)現(xiàn)實(shí)綜述[J]. 中國(guó)圖象圖形學(xué)報(bào), 2004, 9(7): 767-774.

ZHU M L, YAO Y, JIANG Y L. Overview of augmented reality[J].Chinese Journal of Image and Graphics, 2004, 9(7): 767-774 (in Chinese).

[4] ZHANG Y X, LU Y P. Application advantages and prospects of web-based AR technology in publishing[EB/OL]. [2021-08-17]. https://doi.org/10.1007/978-3-030-25999-0_2.

[5] CARMO M B, CLáUDIO A P, FERREIRA A, et al. Poster] Visualization of solar radiation data in augmented reality[C]// 2014 IEEE International Symposium on Mixed and Augmented Reality. New York: IEEE Press, 2014: 255-256.

[6] 李軍鋒, 何雙伯, 馮偉夏, 等. 基于改進(jìn)CNN的增強(qiáng)現(xiàn)實(shí)變壓器圖像識(shí)別技術(shù)[J]. 現(xiàn)代電子技術(shù), 2018, 41(7): 29-32.

LI J F, HE S B, FENG W X, et al. Improved CNN based transformer image recognition technology in augmented reality environment[J]. Modern Electronics Technique, 2018, 41(7): 29-32 (in Chinese).

[7] 裴云強(qiáng), 吳亞?wèn)|, 王賦攀, 等. 基于改進(jìn)L-K光流的WebAR信息可視分析方法[J]. 圖學(xué)學(xué)報(bào), 2020, 41(6): 962-969.

PEI Y Q, WU Y D, WANG F P, et al. IV LKWA: an information visual analysis tool with advanced L-K optical flow based WebAR[J]. Journal of Graphics, 2020, 41(6): 962-969 (in Chinese).

[8] 孔慶杰, 林姝. 垃圾分類的方法及增強(qiáng)現(xiàn)實(shí)設(shè)備: 中國(guó), CN201910894312.4[P]. 2020-01-24.

KONG Q J, LIN S. Waste classification method and augmented realityequipment: China, CN201910894312.4[P]. 2020-01-24 (in Chinese).

[9] HOWARD A G, ZHU M L, CHEN B, et al. MobileNets: efficient convolutional neural networks for mobile vision applications [EB/OL]. [2017-04-17]. https://arxiv.org/abs/1704. 04861.

[10] SANDLER M, HOWARD A, ZHU M L, et al. MobileNetV2: inverted residuals and linear bottlenecks[EB/OL]. [2021-09-12]. https://arxiv.org/abs/1801.04381.

[11] HOWARD A, SANDLER M, CHU G, et al. Searching for MobileNetV3[EB/OL]. (2019-05-06) [2021-10-20]. https://arxiv. org/abs/1905.02244.

[12] 王威, 鄒婷, 王新. 基于局部感受野擴(kuò)張D-MobileNet模型的圖像分類方法[J]. 計(jì)算機(jī)應(yīng)用研究, 2020, 37(4): 1261-1264, 1270.

WANG W, ZOU T, WANG X. Image classification method based on D-MobileNet model[J]. Application Research of Computers, 2020, 37(4): 1261-1264, 1270 (in Chinese).

[13] 程越, 劉志剛. 基于輕量型卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別方法[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2020, 29(2): 198-204.

CHENG Y, LIU Z G. Traffic sign recognition method based on lightweight convolutional neural network[J]. Computer Systems & Applications, 2020, 29(2): 198-204 (in Chinese).

[14] 楊輝華, 張?zhí)煊? 李靈巧, 等. 基于MobileNet的移動(dòng)端城管案件目標(biāo)識(shí)別算法[J]. 計(jì)算機(jī)應(yīng)用, 2019, 39(8): 2475-2479.

YANG H H, ZHANG T Y, LI L Q, et al. Target recognition algorithm for urban management cases by mobile devices based on MobileNet[J]. Journal of Computer Applications, 2019, 39(8): 2475-2479 (in Chinese).

[15] WANG P, CHEN P, YUAN Y, et al. Understanding Convolution for Semantic Segmentation[C]//2018 IEEE Winter Conference on Applications of Computer Vision. New York: IEEE Press, 2018: 1451-1458.

[16] 楊少波. 一種基于空洞卷積的遮擋目標(biāo)檢測(cè)方法[J]. 軟件, 2021, 42(1): 135-139.

YANG S B. A method base on dilated convolution for occluded object detection[J]. Software, 2021, 42(1): 135-139 (in Chinese).

[17] 王韋祥, 周欣, 何小海, 等. 基于改進(jìn)MobileNet網(wǎng)絡(luò)的人臉表情識(shí)別[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2020, 37(4): 137-144.

WANG W X, ZHOU X, HE X H, et al. Facial expression recognition based on improved mobilenet[J]. Computer Applications and Software, 2020, 37(4): 137-144 (in Chinese).

[18] 吳蕾, 肖書(shū)浩, 何為, 等. 基于增強(qiáng)現(xiàn)實(shí)技術(shù)的三維可視化教具的研制[J]. 信息通信, 2017, 30(12): 47-49.

WU L, XIAO S H, HE W, et al. The development of 3D visuals based on augmented reality technology[J]. Information & Communications, 2017, 30(12): 47-49 (in Chinese).

WebAR garbage classification information visualization method based on VD-MobileNet network

LIU Nan-shan1, PEI Yun-qiang1, JIANG Hao1, HAN Yong-guo1, WU Ya-dong2, WANG Fu-pan1, YI Si-heng1

(1. School of Computer Science & Technology, Southwest University of Science and Technology, Mianyang Sichuan 621010, China; 2. School of Computer Science & Engineering, Sichuan University of Science and Engineering, Zigong Sichuan 643002, China)

With the accelerated implementation of the garbage classification regulation in China, many applications for garbage classification based on virtual/augmented reality technologies have sprung up. Under the influence of the identification equipment platform and residents’ habits of using applications, there remain a number of shortcomings in convenience and practicability for this kind of application. A waste classification application scheme was proposed based on a lightweight neural network combined with mobile augmented reality and visualization technology. Firstly, the variable expansion convolution VD-MobileNet model method was proposed for garbage classification based on deep learning, which can solve the problems of limited computing capacity and a huge network of mobile devices. The receptive field was increased by introducing dilated convolution in the MobileNet model. The characteristic information of garbage could be expanded to enhance classification accuracy, and LeakyReLU activation function was introduced to optimize the expression ability of the network. Secondly, the model was equipped with the WebAR technology, and a lightweight garbage classification information visualization system was designed for mobile devices. This system could operate cross different platforms, realize the diversified visual presentation of classified information, and enable flexible interactions. Experiments and evaluations show that the VD-MobileNet model could achieve excellent classification in the garbage classification data set and can effectively reduce the amount of calculation with constant parameters. In addition, the WebAR application system designed based on the model can provide users with reasonable and effective assistance in garbage disposal.

garbage classification; web-based augmented reality; MobileNet model; visualization technology; dilated convolution; WebAR

25 November，2021；

Sichuan Science and Technology Department Jieqing Project (19JCQN0108); Key Research and Development Project of Sichuan Province (2020YFS0360, 2020YFG0031)

LIU Nan-sha (1996-), master student. Her main research interest covers human-computer interaction. E-mail：643652033@qq.com

TP 391

10.11996/JG.j.2095-302X.2022040667

A

2095-302X(2022)04-0667-10

2021-11-25；

2022-03-04

4March，2022

四川省科技廳杰青項(xiàng)目(19JCQN0108)；四川省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(2020YFS0360，2020YFG0031)

劉南杉(1996-)，女，碩士研究生。主要研究方向?yàn)槿藱C(jī)交互。E-mail：643652033@qq.com

吳亞?wèn)|(1979-)，男，教授，博士。主要研究方向?yàn)榭梢暬c可視分析、人機(jī)交互。E-mail：wyd028@163.com

WU Ya-dong (1979-), professor, Ph.D. His main research interests cover visualization and visual analysis and human-computer interaction. E-mail：wyd028@163.com