張 寶，胡 偉，陳禹伶，彭 帆*

（1.四川中煙工業(yè)有限責(zé)任公司綿陽卷煙廠，綿陽 621000；2.西南科技大學(xué)，綿陽 621000）

0 引言

煙草甲蟲屬鞘翅目竊蠢科，原生于美洲溫?zé)岬貛?，現(xiàn)為世界性倉儲物害蟲。煙草甲幼蟲喜黑暗，有群集性，具有鉆蛀習(xí)性[1]。幼蟲喜蛀入煙梗，咬食煙葉或蛀食茶葉，也喜吃淀粉類食物。尤喜食香氣濃郁的優(yōu)質(zhì)煙葉。世界各國普遍發(fā)現(xiàn)煙草甲是煙葉、香煙、雪茄的重要害蟲，在煙葉倉庫里危害儲藏的煙葉，以及香煙和雪茄等煙草制品，特別喜食儲存1～2年的正在醇化的上、中等煙葉。成蟲將卵產(chǎn)于煙葉的皺 及中肋處、糧粒表面及碎屑中間，產(chǎn)卵方式多為散產(chǎn)，防護(hù)工作很難。煙草甲蟲蛀食煙葉不僅造成煙葉直接的重量損失，而且使被害后的煙葉、煙支千瘡百孔，其排泄物和蟲尸還造成嚴(yán)重污染，影響煙草品質(zhì)。據(jù)資料顯示，全世界每年受到煙草甲蟲危害的貯藏?zé)熑~損失達(dá)1%。因此，對煙草甲蟲的監(jiān)測和預(yù)警工作尤為重要。高效的煙草甲蟲監(jiān)測系統(tǒng)能夠及時發(fā)現(xiàn)蟲情，從而指導(dǎo)精準(zhǔn)殺蟲，防止蟲情擴(kuò)大，避免造成嚴(yán)重的經(jīng)濟(jì)損失。

國內(nèi)對煙草甲蟲的防治已有一定的研究。例如：2017年，紅塔煙草公司獲得一種新型的煙片儲存環(huán)境蟲害檢測裝置的專利[2]；2017年，華中科技大學(xué)的孫艘設(shè)計了一種煙草蟲情圖像采集與監(jiān)測系統(tǒng)[3]；2018年，白沙煙草公司保定卷煙廠獲得了一種殺蟲板煙蟲數(shù)量快速計數(shù)裝置的專利[4]；2019年，浙江中煙寧波卷煙廠制絲車間上線“蟲情電子地圖”平臺。學(xué)界和業(yè)界對自動化監(jiān)測煙草甲蟲情的研究十分關(guān)注，并形成了一些理論研究成果和驗證系統(tǒng)[5～7]，但時至今日仍沒有全自動智能化的煙草甲監(jiān)測系統(tǒng)落地產(chǎn)品進(jìn)行規(guī)模應(yīng)用和推廣，因此還有廣闊的研究空間。

在煙草甲防治過程中，業(yè)內(nèi)普遍采用在制煙車間內(nèi)的監(jiān)測點布置煙草甲誘捕器，然后人工定期統(tǒng)計每個誘捕器上煙草甲數(shù)量的監(jiān)測方案，該方案存在統(tǒng)計數(shù)據(jù)代表性差、監(jiān)測效率低、實時性差和對歷史數(shù)據(jù)的信息挖掘不夠等問題。本項目研究的智能監(jiān)測系統(tǒng)通過采集樣本監(jiān)測點的圖像數(shù)據(jù)進(jìn)行煙草甲檢測和識別得到蟲情狀況，通過分析歷史數(shù)據(jù)來指導(dǎo)監(jiān)測點位置的選取和精準(zhǔn)殺蟲，做到科學(xué)有效的監(jiān)測控制蟲情。

1 整體設(shè)計

基于卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲智能監(jiān)測系統(tǒng)由圖像采集終端、網(wǎng)絡(luò)通信線路、圖像處理算法、數(shù)據(jù)分析及用戶展示界面組成，整體設(shè)計技術(shù)路線圖如圖1所示。圖像采集終端包括圖像傳感器（相機(jī)）、光源、控制器以及防塵誘捕裝置，用于對煙草甲蟲進(jìn)行圖像采集；網(wǎng)絡(luò)通信線路用于將圖像采集終端采集到的圖像傳送至服務(wù)器進(jìn)行煙草甲蟲檢測識別；圖像處理算法為改進(jìn)的Cascade R-CNN[8]，用于對煙草甲蟲進(jìn)行檢測；檢測結(jié)果分析后將被保存至數(shù)據(jù)庫并輸送至圖形用戶界面進(jìn)行可視化展示?；诰矸e神經(jīng)網(wǎng)絡(luò)的煙草甲蟲智能監(jiān)控系統(tǒng)可以實現(xiàn)自動統(tǒng)計各監(jiān)控點的煙草甲個數(shù)，生成數(shù)據(jù)報表、熱力圖、趨勢圖，預(yù)警蟲情等級，實現(xiàn)蟲情智能監(jiān)測。

圖1 整體設(shè)計技術(shù)路線圖

在煙廠實地考察之后選擇二十個監(jiān)控點進(jìn)行煙草甲蟲數(shù)量監(jiān)測，每一個監(jiān)控點設(shè)置一個圖像采集終端進(jìn)行圖像采集，采集時間為每隔一小時采集一張圖像。采集到圖像之后，基于卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲智能監(jiān)測系統(tǒng)按照整體設(shè)計技術(shù)路線圖所示流程進(jìn)行工作，最終，用戶從軟件用戶界面獲取信息，做出相應(yīng)處理。

2 硬件設(shè)計

基于卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲智能監(jiān)測系統(tǒng)通過采集并分析圖像來獲得煙草甲蟲的數(shù)量，實現(xiàn)煙草甲蟲情的自動監(jiān)控，其依賴于可靠的硬件來采集圖像和傳輸圖像，在服務(wù)器上處理并保存圖像數(shù)據(jù)。本硬件設(shè)計方案包括自主設(shè)計的圖像采集終端、網(wǎng)絡(luò)通信線路和服務(wù)器。

圖像采集終端由樹 派4代B型（4B）作為控制器，負(fù)責(zé)接收來自服務(wù)器端的數(shù)據(jù)請求，控制USB高清攝像頭和LED光源采集圖片或視頻數(shù)據(jù)并傳送到服務(wù)器端。網(wǎng)絡(luò)通信線路由網(wǎng)線和具有POE供電功能的交換機(jī)組成，是數(shù)據(jù)傳輸和樹 派供電的物理載體。服務(wù)器需要具備足夠的圖像存儲空間和用于圖像處理的計算能力，滿足本項目對服務(wù)器的技術(shù)指標(biāo)要求。系統(tǒng)硬件總體結(jié)構(gòu)如圖2所示。

圖2 硬件總體結(jié)構(gòu)圖

2.1 圖像采集終端

圖像采集終端由圖像傳感器、控制器和誘捕器組成。圖像傳感器選用的是一款800萬像素的USB攝像頭。煙草甲蟲體積小，需要選用微距拍攝效果好的攝像頭，同時，卷煙廠廠房內(nèi)一天不同時間的光照也不同，攝像頭需要根據(jù)光照的變化來改變焦距，該款攝像頭適合微距拍攝高清圖像，可快速自動對焦，非常適合本套系統(tǒng)的應(yīng)用場景。

圖像傳感器功能參數(shù)列表如表1所示。

表1 圖像傳感器功能參數(shù)表

本套系統(tǒng)要應(yīng)用在各種光照條件和不同場景下，需要配合燈光才可以采集到質(zhì)量較好的煙草甲蟲圖像，因此需要使用控制器來達(dá)到這個要求，綜合考慮布線復(fù)雜程度、程序開發(fā)量和成本因素決定采用樹 派4代B型作為圖像采集終端的控制器。

由于圖像采集終端需長期工作于生產(chǎn)環(huán)境現(xiàn)場，廠房內(nèi)的生產(chǎn)活動會產(chǎn)生一定的沖擊和大量的煙塵，圖像傳感器需要避免鏡頭沾染煙塵，同時圖像傳感器等都需要精密的保護(hù)，因此，為了保證拍攝圖像的質(zhì)量使用 金設(shè)計制作雙層防塵誘捕裝置，圖像傳感器和光源安裝在該裝置內(nèi)，其外觀示意圖如圖3所示。

圖3 圖像采集終端結(jié)構(gòu)圖

誘捕裝置在X和-X方向上只有一面，在其余四個方向上均由兩面構(gòu)成。X方向的平面上的虛線框為相機(jī)的安裝位置，并在相機(jī)安裝位置的四周布置2個LED燈用于采集圖像時補(bǔ)光，誘捕器由Z方向靠墻位置垂直插入誘捕裝置中，樹莓派安裝在-X方向。在Z、-Z、Y、-Y四個方向的平面上內(nèi)外壁交錯布置直徑8mm的小圓孔來散發(fā)出誘捕器的信息素，引誘煙草甲蟲進(jìn)入，同時防止灰塵進(jìn)入，圓孔布置位置如圖4所示，實線圓是外壁上的圓孔，虛線圓是內(nèi)壁上的圓孔。

圖4 內(nèi)外壁圓孔布置位置圖

2.2 網(wǎng)絡(luò)通信線路

網(wǎng)絡(luò)通信線路由六類千兆網(wǎng)線和具有POE功能的交換機(jī)構(gòu)成，通過網(wǎng)絡(luò)通信線路建立圖像采集終端與服務(wù)器之間的數(shù)據(jù)通信，圖像采集終端通過套接字（Socket）與服務(wù)器進(jìn)行通信[9]，同時網(wǎng)絡(luò)通信線路也是圖像采集終端的供電線路[10]，這樣的設(shè)計可以大量減少系統(tǒng)的布線。

2.3 服務(wù)器

將采集到的圖像傳入服務(wù)器之后，服務(wù)器需要對圖像進(jìn)行處理與存儲，處理大量的圖片數(shù)據(jù)需要強(qiáng)大的服務(wù)器支持，服務(wù)器處理器選用4U機(jī)架式服務(wù)器，配置兩顆Inter Xeon5118CPU，顯卡選用GPU2080Ti，同時配置一個4口千兆以太網(wǎng)控制器作為網(wǎng)卡，硬盤為4*1TB 7.2K 6G SATA 2.5寸的HDD硬盤，服務(wù)器主要的配置如表2所示。

學(xué)生已經(jīng)學(xué)習(xí)了細(xì)胞的有絲分裂、減數(shù)分裂和受精作用等細(xì)胞學(xué)基礎(chǔ)知識，了解了DNA的基本單位以及染色體、蛋白質(zhì)等大分子物質(zhì)的化學(xué)組成，為新知識的學(xué)習(xí)奠定了堅實基礎(chǔ)。此外，學(xué)生通過之前“遺傳規(guī)律”單元的學(xué)習(xí)，也具備了一定了實驗設(shè)計能力。

表2 服務(wù)器主要配置

圖像采集終端程序流程圖如圖5所示，終端程序需要一直運行，等待服務(wù)器的連接。

圖5 圖像采集終端程序流程圖

為了系統(tǒng)的主程序能夠方便獲取到圖像或視頻流，我們將獲取數(shù)據(jù)的程序封裝成一個函數(shù)，函數(shù)的輸入?yún)?shù)為圖像或者視頻的控制參數(shù)（如幀率和分辨率等），通過調(diào)用這個函數(shù)返回圖像或者視頻數(shù)據(jù)。

3 算法設(shè)計

煙草甲蟲全長約3毫米，是一種典型的小目標(biāo)。因此本套系統(tǒng)的算法針對小目標(biāo)識別這個關(guān)鍵問題進(jìn)行研究。算法的基礎(chǔ)數(shù)據(jù)集均為自建數(shù)據(jù)集，基礎(chǔ)網(wǎng)絡(luò)為Cascade R-CNN，并基于經(jīng)典特征金字塔（Feature Pyramid Network，F(xiàn)PN）[11]形成新的多路特征紋理轉(zhuǎn)移（Multi feature texture transfer，MFFT）模塊。

3.1 煙草甲蟲圖像數(shù)據(jù)集

對于基于深度卷積神經(jīng)網(wǎng)絡(luò)的檢測算法來說，質(zhì)量優(yōu)異的數(shù)據(jù)集是并不可少的一部分，由于現(xiàn)如今常見數(shù)據(jù)集中并無系統(tǒng)的煙草甲蟲圖像，本文進(jìn)行了自建數(shù)據(jù)集的工作，使用自行設(shè)計的圖像采集終端對煙草甲蟲進(jìn)行圖像采集。本文實驗使用的圖像數(shù)據(jù)為2406張煙草甲蟲圖像數(shù)據(jù)，這2406張圖像包括各種真實存在的，會影響圖像質(zhì)量的情況，例如：煙絲附著遮擋煙草甲蟲的情況、光線較暗的情況以及各種情況的組合等。典型圖像如圖6所示。采集完成后，在服務(wù)器端通過改進(jìn)的Cascade R-CNN算法對這些圖像進(jìn)行檢測。該系統(tǒng)檢測準(zhǔn)確率達(dá)97.4%。

圖6 典型煙草甲蟲圖像

3.2 多路特征紋理轉(zhuǎn)移模塊

目標(biāo)檢測算法采用在工程應(yīng)用方面具有很好魯棒性的基礎(chǔ)網(wǎng)絡(luò)Cascade R-CNN，在自建數(shù)據(jù)集上也可以獲得優(yōu)異的檢測結(jié)果。

多路特征紋理轉(zhuǎn)移模塊在典型的特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）中加入多路特征紋理遷移（Multi Feature Texture Transfer，MFTT）模塊，得到擴(kuò)展金字塔，進(jìn)而獲取更多的圖像特征，提高圖像的檢測效果。

多路特征紋理遷移（MFTT）模塊實現(xiàn)了對特征的超分辨，即獲得超分辨后的特征，同時從參考特征中提取區(qū)域紋理。多路特征紋理遷移（MFTT）模塊解決了特征金字塔中噪聲直接傳遞淹沒語義的問題，可排除參考特征中的干擾噪聲。多路特征紋理遷移（MFTT）模塊框架如圖7所示。

圖7 多路特征紋理遷移（MFTT）模塊框架

其中，P1、P2、P3、P4為典型特征金字塔網(wǎng)絡(luò)自頂向下的四個不同級別的特征金字塔，P1為底層金字塔，P4為頂層金字塔，P5為最終生成的擴(kuò)展金字塔。P1輸入作為參考特征，P2、P3、P4由內(nèi)容提取器提取主要的語義信息，作為主要特征，再經(jīng)過上采樣將提取到的主要特征的分辨率提高一倍，然后由紋理提取器選擇可信的區(qū)域紋理進(jìn)行小目標(biāo)檢測。最后，將紋理提取器提取的特征與P2、P3、P4層的主要特征進(jìn)行融合，生成擴(kuò)展金字塔P5。

3.3 實驗結(jié)果

為驗證該系統(tǒng)中改進(jìn)的Cascade R-CNN對于煙草甲蟲的檢測效果，選取原始的Cascade R-CNN算法對采集到的2406張圖像進(jìn)行檢測，并與改進(jìn)的Cascade R-CNN（本文方法）對比。由表3可知，本文方法檢測準(zhǔn)確率有較大的提升。

表3 不同檢測算法檢測準(zhǔn)確率對比

基于深度卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲智能監(jiān)測系統(tǒng)需要對煙草甲蟲這種典型的小目標(biāo)進(jìn)行檢測，因此檢測算法需要針對小目標(biāo)。加入了多路特征紋理轉(zhuǎn)移（MFTT）模塊的Cascsde R-CNN在小目標(biāo)檢測上具有良好的性能，同時Cascade R-CNN具有很好的魯棒性，使之在煙廠復(fù)雜的環(huán)境下也可以很好的工作，整套算法充分考慮了應(yīng)用場景與檢測需求，非常符合基于深度卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲智能監(jiān)測系統(tǒng)的需求。

4 軟件設(shè)計

軟件主要包括系統(tǒng)管理、用戶界面和數(shù)據(jù)庫管理這三部分，其中用戶界面需要展示蟲情信息、報警信息和監(jiān)控點。整體框架采用B/S架構(gòu)，即瀏覽器和服務(wù)器架構(gòu)模式，在這種架構(gòu)下，用戶工作界面是通過 覽器來實現(xiàn)，少部分事務(wù)邏輯在前端（Browser）實現(xiàn)，主要事務(wù)邏輯在服務(wù)器端（Server）實現(xiàn)。由于不需要專門的客戶端，因此跨平臺的可移植性較強(qiáng)。

軟件系統(tǒng)能集中管理監(jiān)測點采集的原始圖像數(shù)據(jù)和系統(tǒng)運算產(chǎn)生的各種數(shù)據(jù)，滿足實時監(jiān)控、歷史數(shù)據(jù)查詢、統(tǒng)計數(shù)據(jù)報表、可視化圖表（熱力圖、趨勢圖、蟲情點位爆炸圖）的數(shù)據(jù)分析和數(shù)據(jù)可視化要求，以及根據(jù)蟲情等級的設(shè)置要求自動預(yù)警。同時還增加了以下功能：系統(tǒng)管理中可實現(xiàn)用戶登錄、注冊、注銷、退出等功能，還可對不同用戶設(shè)置不同的權(quán)限，如只有管理人員可對后臺用戶數(shù)據(jù)和蟲情信息進(jìn)行增刪補(bǔ)查，一般人員只能查看監(jiān)控信息等。

軟件功能結(jié)構(gòu)圖如圖8所示。

圖8 軟件功能結(jié)構(gòu)圖

一個卷煙廠中包含多個監(jiān)控點（本系統(tǒng)中的監(jiān)控點數(shù)量為20個），每個監(jiān)控點會在等時間間隔采集圖像，并對圖像數(shù)據(jù)進(jìn)行處理，得到每個監(jiān)控點的蟲情數(shù)量，將統(tǒng)計后的蟲情數(shù)量根據(jù)預(yù)先規(guī)定的 值劃分蟲情報警級別。普通用戶只能獲取數(shù)據(jù)庫中的數(shù)據(jù)或者向數(shù)據(jù)庫寫入數(shù)據(jù)（兩個功能中的一個），管理員則能對數(shù)據(jù)庫中的所有數(shù)據(jù)進(jìn)行管理（包括添加數(shù)據(jù)、刪除數(shù)據(jù)和修改數(shù)據(jù)等）。

用戶界面展示如圖9所示，其中，圖9(a)為卷煙廠監(jiān)控點的平面示意圖以及報警信息，圖9(b)為每個監(jiān)控點在某個時間段內(nèi)的蟲情占比餅狀圖，圖9(c)為蟲情數(shù)據(jù)庫展示，提供每個監(jiān)控點當(dāng)前時刻煙草甲蟲數(shù)量以及與上一時刻相比的增長數(shù)量。

圖9 用戶界面展示

5 結(jié)語

本文設(shè)計了一個基于深度卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲智能監(jiān)測系統(tǒng)，以改進(jìn)的Cascade R-CNN算法為核心的智能監(jiān)測系統(tǒng)可以自動采集圖像，傳輸圖像，進(jìn)行圖像檢測以及將檢測結(jié)果展示在網(wǎng)頁上，這是一個完全智能、不需要進(jìn)行人為干預(yù)的系統(tǒng)，打破了現(xiàn)如今人力檢測的困局。本文提出改進(jìn)的Cascade R-CNN算法在采集到的2406張圖像上可達(dá)到97.4%的檢測準(zhǔn)確率，明顯優(yōu)于其他檢測算法。因此，基于深度卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲智能監(jiān)測系統(tǒng)，為卷煙廠內(nèi)煙草甲蟲的防治提供了一種自動化且檢測準(zhǔn)確率高的方法，對卷煙廠內(nèi)煙草甲蟲的防治具有重大意義。