李昊，劉海隆，劉生龍

(1. 電子科技大學(xué)資源與環(huán)境學(xué)院，成都市，611731；2. 四川煤礦安全監(jiān)察局安全技術(shù)中心，成都市，610045)

0 引言

隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展，現(xiàn)已在各個(gè)行業(yè)被廣泛應(yīng)用，其中在現(xiàn)代農(nóng)業(yè)領(lǐng)域應(yīng)用農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)能夠?qū)崿F(xiàn)農(nóng)業(yè)精準(zhǔn)播種、精準(zhǔn)施肥、精準(zhǔn)控制病蟲(chóng)害防治用藥等，逐漸成為研究的熱點(diǎn)。如施盛華等[1]研發(fā)了基于物聯(lián)網(wǎng)與圖像識(shí)別的太陽(yáng)能果園蟲(chóng)害監(jiān)測(cè)系統(tǒng)。以STM32和4G通信技術(shù)研發(fā)而成，實(shí)現(xiàn)了環(huán)境信息監(jiān)測(cè)、蟲(chóng)害誘殺、蟲(chóng)害圖像采集和遠(yuǎn)程信息傳輸?shù)裙δ堋?/p>

病蟲(chóng)害防控是保障農(nóng)產(chǎn)品品質(zhì)的重要環(huán)節(jié)，病蟲(chóng)害監(jiān)測(cè)是物聯(lián)網(wǎng)技術(shù)應(yīng)用的重要內(nèi)容。如蘇一峰等[2]研發(fā)了小麥病蟲(chóng)害遠(yuǎn)程診斷系統(tǒng)，以傳統(tǒng)圖像識(shí)別技術(shù)為基本原理方法，基于國(guó)家小麥物聯(lián)網(wǎng)系統(tǒng)平臺(tái)，研發(fā)了集圖像獲取、圖像識(shí)別診斷于一體的應(yīng)用系統(tǒng)，實(shí)現(xiàn)了對(duì)小麥白粉病、銹病、蚜蟲(chóng)及健康小麥葉片圖像的分類(lèi)識(shí)別。當(dāng)前的研究主要集中在對(duì)作物病蟲(chóng)害圖像識(shí)別和環(huán)境信息采集方面。如趙潔等[3]通過(guò)特殊的實(shí)驗(yàn)裝置采集水培黃瓜病圖像，再采用圖像處理技術(shù)從復(fù)雜環(huán)境中分割葉片病斑圖像，提取最優(yōu)病斑特征參數(shù)組合，自動(dòng)識(shí)別病害黃瓜病斑種類(lèi)。吳桐等[4]基于物聯(lián)網(wǎng)技術(shù)的圖像采集環(huán)境，對(duì)玉米病蟲(chóng)害圖像進(jìn)行收集，對(duì)于采集后的圖像針對(duì)玉米葉部病斑的顏色、形狀及紋理特征，利用支持向量機(jī)進(jìn)行特征提取，對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分類(lèi)識(shí)別。

總體來(lái)看，當(dāng)前研究的圖像采集大多為了保證圖像質(zhì)量，是在可控的實(shí)驗(yàn)理想條件下進(jìn)行，而對(duì)于大田作物或室外條件則存在設(shè)備無(wú)法適應(yīng)自然條件而造成圖像質(zhì)量無(wú)法處理等問(wèn)題[5]。另一方面，從病蟲(chóng)害識(shí)別方法上來(lái)看，當(dāng)前大多使用傳統(tǒng)的圖像處理方法，提取特征的過(guò)程過(guò)于繁瑣，效率不高。因此，構(gòu)建針對(duì)農(nóng)作物病害的智能在線(xiàn)監(jiān)測(cè)系統(tǒng)，對(duì)現(xiàn)代農(nóng)業(yè)發(fā)展具有現(xiàn)實(shí)意義。

本文擬以柑橘病蟲(chóng)害為研究對(duì)象，以物聯(lián)網(wǎng)技術(shù)為支撐，基于深度學(xué)習(xí)算法，研發(fā)一套能夠?qū)ψ匀画h(huán)境下柑橘視頻動(dòng)態(tài)實(shí)現(xiàn)實(shí)時(shí)監(jiān)控，集信息采集、葉片追蹤、病蟲(chóng)害深度學(xué)習(xí)快速檢測(cè)、結(jié)果輸出一體的自動(dòng)化智能監(jiān)控系統(tǒng)。

1 柑橘病蟲(chóng)害動(dòng)態(tài)識(shí)別系統(tǒng)設(shè)計(jì)

根據(jù)系統(tǒng)功能要求，將該系統(tǒng)設(shè)計(jì)為三大層面，分別為信息感知層、信息傳輸層、系統(tǒng)應(yīng)用層。其中信息感知層主要是基于攝像頭的信息采集，信息傳輸層主要是基于無(wú)線(xiàn)網(wǎng)絡(luò)的數(shù)據(jù)傳輸，系統(tǒng)應(yīng)用層主要是基于深度學(xué)習(xí)算法的病蟲(chóng)害信息處理與自動(dòng)識(shí)別。該系統(tǒng)整體結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)整體結(jié)構(gòu)圖

1.1 信息感知層設(shè)計(jì)

信息感知層是整個(gè)系統(tǒng)的基礎(chǔ)，為滿(mǎn)足動(dòng)態(tài)識(shí)別的需求，采用?？低旸S-2DC4423IW-D型號(hào)的球形攝像頭，通過(guò)智能控制云臺(tái)實(shí)現(xiàn)設(shè)備的旋轉(zhuǎn)、移動(dòng)以及焦距的變化。

1.2 信息傳輸層設(shè)計(jì)

信息傳輸層通過(guò)WIFI的方式實(shí)現(xiàn)數(shù)據(jù)傳輸，通過(guò)數(shù)據(jù)壓縮算法在不丟失有用信息的前提下，減少數(shù)據(jù)傳輸或者轉(zhuǎn)移過(guò)程中的數(shù)據(jù)量。當(dāng)客戶(hù)端與攝像頭處于同一局域網(wǎng)下，客戶(hù)端可以直接通過(guò)IP和端口號(hào)獲取攝像頭的數(shù)據(jù)流。但實(shí)際情況下客戶(hù)端與攝像頭不處于同一局域網(wǎng)下，系統(tǒng)采用內(nèi)網(wǎng)穿透技術(shù)實(shí)現(xiàn)對(duì)局域網(wǎng)內(nèi)攝像頭的數(shù)據(jù)流讀取從而實(shí)現(xiàn)遠(yuǎn)程監(jiān)控功能[8，11-12]。

圖2 內(nèi)網(wǎng)穿透示意圖

內(nèi)網(wǎng)穿透即實(shí)現(xiàn)外網(wǎng)訪(fǎng)問(wèn)內(nèi)網(wǎng)的功能，本系統(tǒng)使用硬件花生棒來(lái)實(shí)現(xiàn)內(nèi)網(wǎng)穿透，將內(nèi)網(wǎng)穿透硬件花生棒接入攝像頭所在的局域網(wǎng)，將攝像頭的IP設(shè)置為靜態(tài)IP，在花生棒的管理軟件上配置外網(wǎng)到內(nèi)網(wǎng)IP的映射。

訪(fǎng)問(wèn)映射列表中自動(dòng)為用戶(hù)分配的域名及端口號(hào)，如圖3所示，則會(huì)自動(dòng)重定向至局域網(wǎng)攝像頭的IP及端口上，這樣通過(guò)花生棒便可實(shí)現(xiàn)外網(wǎng)訪(fǎng)問(wèn)攝像頭即遠(yuǎn)程監(jiān)控功能。

圖3 花生殼平臺(tái)

1.3 系統(tǒng)應(yīng)用層設(shè)計(jì)

系統(tǒng)應(yīng)用層對(duì)攝像頭的視頻流進(jìn)行解碼，獲取視頻流中圖像數(shù)據(jù)[6]，通過(guò)集成深度學(xué)習(xí)算法實(shí)現(xiàn)柑橘的葉片檢測(cè)與病害識(shí)別，并將檢測(cè)的結(jié)果保存至數(shù)據(jù)庫(kù)。根據(jù)研究目標(biāo)，采用模塊化思想[7]把系統(tǒng)功能劃分為7個(gè)模塊，分別是實(shí)時(shí)視頻監(jiān)控模塊、視頻采集模塊、圖像采集模塊、云臺(tái)控制模塊、數(shù)據(jù)庫(kù)模塊、葉片檢測(cè)模塊、病害識(shí)別模塊，如圖4所示。

圖4 系統(tǒng)功能結(jié)構(gòu)圖

1) 實(shí)時(shí)視頻監(jiān)控模塊。該模塊提供現(xiàn)場(chǎng)視頻信息，通過(guò)輸入IP和端口查看實(shí)時(shí)現(xiàn)場(chǎng)視頻。

2) 視頻采集模塊。該模塊提供監(jiān)控視頻數(shù)據(jù)實(shí)時(shí)智能采集的功能，并將采集的視頻數(shù)據(jù)保存至本地。

3) 圖像采集模塊。該模塊調(diào)用?？低昐DK解碼器對(duì)海康的視頻流進(jìn)行解析并生成圖像，并將生成的圖像實(shí)時(shí)顯示和保存至本地。

4) 云臺(tái)控制模塊。該模塊實(shí)現(xiàn)鏡頭控制和云臺(tái)控制，鏡頭控制有聚焦/散焦、變倍近/遠(yuǎn)，云臺(tái)控制包括上、下、左、右等4個(gè)方向，客戶(hù)端發(fā)送控制指令就可以實(shí)現(xiàn)攝像頭旋轉(zhuǎn)和放大縮小，攝像頭關(guān)閉、開(kāi)啟等動(dòng)作。

5) 數(shù)據(jù)庫(kù)模塊。該模塊提供系統(tǒng)數(shù)據(jù)存儲(chǔ)和管理功能，本系統(tǒng)采用MySQL數(shù)據(jù)庫(kù)，因?yàn)樵摂?shù)據(jù)庫(kù)開(kāi)源、性能卓越、服務(wù)穩(wěn)定，并且體積小、易于維護(hù)，能夠在達(dá)到性能要求的前提下節(jié)約成本。數(shù)據(jù)庫(kù)包含三張表，User表用于用戶(hù)管理，TestResult用于記錄葉片檢測(cè)結(jié)果，Log表用于記錄用戶(hù)的查詢(xún)記錄。

6) 葉片檢測(cè)模塊。該模塊調(diào)用深度學(xué)習(xí)目標(biāo)檢測(cè)算法對(duì)采集的圖像進(jìn)行葉片檢測(cè)，根據(jù)檢測(cè)的目標(biāo)框?qū)D像進(jìn)行局部切割生成葉片圖像保存至本地用于下一步病害識(shí)別。

7) 病害識(shí)別模塊。該模塊調(diào)用深度學(xué)習(xí)分類(lèi)算法對(duì)葉片檢測(cè)模塊中生成的局部葉片進(jìn)行病害識(shí)別，對(duì)識(shí)別的結(jié)果進(jìn)行顯示并保存至數(shù)據(jù)庫(kù)。

2 基于深度學(xué)習(xí)的柑橘病蟲(chóng)害葉片智能識(shí)別算法研究

本文基于改進(jìn)的YOLOv4算法實(shí)現(xiàn)圖像的葉片檢測(cè)，并根據(jù)檢測(cè)的目標(biāo)框?qū)崿F(xiàn)葉片的局部分割，再利用DenseNet算法對(duì)分割出來(lái)的葉片進(jìn)行病害檢測(cè)[9]。

2.1 葉片檢測(cè)算法與改進(jìn)

YOLO網(wǎng)絡(luò)是一種基于回歸的目標(biāo)檢測(cè)算法，具有較快的檢測(cè)速度，在很多目標(biāo)檢測(cè)任務(wù)中取得了很好的效果[10]。YOLOv4引入Mosaic數(shù)據(jù)增強(qiáng)方法對(duì)現(xiàn)有方法進(jìn)行改進(jìn)使其具有更低的訓(xùn)練門(mén)檻，能夠在GPU資源有限的條件下得到更好的結(jié)果。Mosaic數(shù)據(jù)增強(qiáng)采用了4張圖片隨機(jī)縮放、隨機(jī)裁剪、隨機(jī)排布的方式進(jìn)行拼接，豐富檢測(cè)物體的背景。

YOLOv4采用CSPDarknet53網(wǎng)絡(luò)來(lái)提取目標(biāo)特征。在Darknet53的每個(gè)大殘差塊上加上CSP，將基礎(chǔ)層的特征映射劃分為兩部分，再通過(guò)跨階段層次結(jié)構(gòu)合并,在減少計(jì)算量的同時(shí)保證準(zhǔn)確率。YOLOv4先通過(guò)上采樣方式將高層特征的語(yǔ)義信息傳播到低層網(wǎng)絡(luò)然后與底層特征的高分辨率信息相融合,提高小目標(biāo)檢測(cè)物的檢測(cè)效果。再增加從最底層到最上層的信息傳輸路徑,通過(guò)下采樣加強(qiáng)特征金字塔。最后用不同層的特征圖融合來(lái)做預(yù)測(cè)。YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

針對(duì)柑橘葉片的尺寸特點(diǎn)，本系統(tǒng)對(duì)YOLOv4算法進(jìn)行改進(jìn)。先驗(yàn)框的引入將目標(biāo)檢測(cè)問(wèn)題轉(zhuǎn)化為目標(biāo)物的有無(wú)以及判斷預(yù)測(cè)框與真實(shí)框的距離問(wèn)題，而且還摒棄了以往的多尺度滑動(dòng)窗口遍歷環(huán)節(jié)，使得目標(biāo)檢測(cè)的速度和精確度大大提升。為解決YOLOv4中先驗(yàn)框長(zhǎng)寬比例差別較大而影響精度的問(wèn)題，本文提出了基于K-Means算法用于數(shù)據(jù)集標(biāo)注框聚類(lèi)，獲取與葉片尺寸及比例相匹配的基準(zhǔn)框。K-Means算法通常采用歐氏距離進(jìn)行聚類(lèi)，容易造成較大的先驗(yàn)框聚類(lèi)誤差，因此本文采用處理后的IOU作為進(jìn)行聚類(lèi)。

Distance(i,center)=1-IOU(i,center)

(1)

Distance(i,center)指的是每個(gè)聚類(lèi)中心與其它的框的重合程度，如果單用IOU(i,center)的話(huà)，則IOU(i,center)越大重合度越高，只有重合度越高距離越短才可以進(jìn)行聚類(lèi)，所以使用IOU(i,center)取負(fù)號(hào)后加上1。

本文針對(duì)葉片檢測(cè)任務(wù)，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，YOLOv4模型利用三個(gè)分支來(lái)識(shí)別圖像中的大中小三類(lèi)目標(biāo)，為了適應(yīng)葉片的尺寸特點(diǎn)，同時(shí)精簡(jiǎn)網(wǎng)絡(luò)結(jié)構(gòu)，本文減去用來(lái)識(shí)別大目標(biāo)的分支，保留剩下兩個(gè)分支，在兩個(gè)尺度上建立葉片特征檢測(cè)層。同時(shí)充分利用低層特征圖提取的細(xì)節(jié)信息，融合中等特征圖的細(xì)節(jié)信息和小特征圖的語(yǔ)義信息，在剩余兩個(gè)尺度上訓(xùn)練出最終的葉片檢測(cè)模型。與此同時(shí)，由于本文采集到的葉片檢測(cè)數(shù)據(jù)有限，無(wú)法構(gòu)建大規(guī)模的數(shù)據(jù)集，因此引入遷移學(xué)習(xí)，加速模型收斂，以保證取得更好的訓(xùn)練效果。

2.2 病害檢測(cè)算法

DenseNet的整體結(jié)構(gòu)如圖6所示，包含Dense Blocks和Transition layers[17]。其中Dense Blocks為稠密連接的Highway的模塊，Transition layer為相鄰2個(gè)Dense Blocks的中間部分。

LayersOutput SizeDenseNet121DenseNet169DenseNet201DenseNet264Convolution112×1127×7 conv, stride 2Pooling56×563×3 max pool, stride 2Dense Block(1)56×561×1 conv3×3 conv×61×1 conv3×3 conv×61×1 conv3×3 conv×61×1 conv3×3 conv×6Transition Layer(1)56×561×1 conv28×282×2 average pool, stride 2Dense Block(2)28×281×1 conv3×3 conv×121×1 conv3×3 conv×121×1 conv3×3 conv×121×1 conv3×3 conv×12Transition Layer(2)28×281×1 conv14×142×2 average pool, stride 2Dense Block(3)14×141×1 conv3×3 conv×241×1 conv3×3 conv×321×1 conv3×3 conv×481×1 conv3×3 conv×64Transition Layer(3)14×141×1 conv7×72×2 average pool, stride 2Dense Block(4)7×71×1 conv3×3 conv×161×1 conv3×3 conv×321×1 conv3×3 conv×321×1 conv3×3 conv×48ClassificationLayer1×17×7 global average pool1000D fully-connected, softmax

一個(gè)Dense Block模塊如圖7所示，其中層數(shù)為5，即具有5個(gè)BN+Relu+Conv(3×3)的layer，網(wǎng)絡(luò)增長(zhǎng)率為4，即每一個(gè)layer輸出的feature map維度為4。由于每一個(gè)Dense Block模塊都利用到了該模塊中前面所有層的信息，即每一個(gè)layer都和前面的layer有highway的稠密連接。假設(shè)一個(gè)具有L層的網(wǎng)絡(luò)，那么highway稠密連接數(shù)目為L(zhǎng)×(L+1)/2。

圖7 Dense Block模塊結(jié)構(gòu)

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的變換方程

Xl=Hl(Xl)

(2)

ResNet的變換方程

Xl=Hl(Xl)+Xl

(3)

DenseNet的變換方程

Xl=Hl([X0,X1,…Xl-1])

(4)

DenseNet解決了深層網(wǎng)絡(luò)的梯度消失問(wèn)題，加強(qiáng)了特征的傳播，鼓勵(lì)特征重用，減少了模型參數(shù)。尤其是針對(duì)小數(shù)據(jù)集，因?yàn)樾?shù)據(jù)集的時(shí)候容易產(chǎn)生過(guò)擬合，DenseNet能夠很好的解決過(guò)擬合的問(wèn)題，在小數(shù)據(jù)集的情況下DenseNet的效果好于ResNet。

3 智能識(shí)別算法的測(cè)試與集成

3.1 葉片檢測(cè)算法測(cè)試

3.1.1 數(shù)據(jù)預(yù)處理

葉片檢測(cè)實(shí)驗(yàn)圖像于示范地拍攝得到，通過(guò)攝像頭拍攝和手機(jī)拍攝相結(jié)合的方式，通過(guò)旋轉(zhuǎn)移動(dòng)攝像頭得到盡可能的葉片圖像，得到共計(jì)392幅葉片圖像，利用翻轉(zhuǎn)變換、隨機(jī)修剪、色彩抖動(dòng)、平移變換、尺度變換、對(duì)比度變換、噪聲擾動(dòng)和旋轉(zhuǎn)變換等多種方式對(duì)圖像進(jìn)行增廣最終得到1 960幅圖像，按照6∶2∶2的比例進(jìn)行訓(xùn)練集、驗(yàn)證集和測(cè)試集的劃分，利用圖像標(biāo)注工具Labelme對(duì)柑橘葉片圖片進(jìn)行標(biāo)注，批量標(biāo)注完成后產(chǎn)生一系列Json文件，將Json文件進(jìn)行轉(zhuǎn)換形成柑橘葉片檢測(cè)數(shù)據(jù)集。

表1 葉片檢測(cè)數(shù)據(jù)集Tab. 1 Leaf detection dataset 幅

3.1.2 評(píng)價(jià)指標(biāo)

在目標(biāo)檢測(cè)領(lǐng)域,為了準(zhǔn)確評(píng)估模型檢測(cè)效果，需要計(jì)算目標(biāo)的精準(zhǔn)率P(Precision)和召回率R(Recall)。

(5)

(6)

式中：TP——預(yù)測(cè)正確的目標(biāo)數(shù)量；

FP——誤檢的目標(biāo)數(shù)量；

FN——漏檢的目標(biāo)數(shù)量。

P-R曲線(xiàn)是一條分別以Р和R為橫縱坐標(biāo)的曲線(xiàn)。平均精準(zhǔn)度指標(biāo)AP(Average Precision)反映的是PR曲線(xiàn)下的面積,綜合了精確率和召回率的結(jié)果,用于評(píng)估模型在單個(gè)檢測(cè)類(lèi)別上的表現(xiàn)。葉片檢測(cè)實(shí)驗(yàn)以VOC數(shù)據(jù)集評(píng)價(jià)指標(biāo)為準(zhǔn)，即MAP=AP@0.5, 則IOU=0.5就作為T(mén)rue Positive。由于本實(shí)驗(yàn)只有l(wèi)eaf一個(gè)類(lèi)別，因此其AP即作為MAP。

3.1.3 試驗(yàn)結(jié)果分析

完成準(zhǔn)備工作后基于YOLOv4網(wǎng)絡(luò)模型和本文改進(jìn)的YOLOv4網(wǎng)絡(luò)模型對(duì)訓(xùn)練集進(jìn)行訓(xùn)練，得到的模型對(duì)測(cè)試集進(jìn)行測(cè)試，相比之下本文改進(jìn)的YOLOv4網(wǎng)絡(luò)模型與YOLOv4網(wǎng)絡(luò)模型相比，在檢測(cè)速度和精度上都有一定的提升。兩種模型檢測(cè)的P-R曲線(xiàn)如圖8所示。

圖8 兩種算法檢測(cè)P-R曲線(xiàn)對(duì)比圖

AP的值是P-R曲線(xiàn)下的面積，分析兩種算法檢測(cè)P-R曲線(xiàn)對(duì)比圖，本文算法曲線(xiàn)下對(duì)應(yīng)面積明顯大于原算法，說(shuō)明了本文算法的檢測(cè)精度優(yōu)于原算法，兩種算法檢測(cè)結(jié)果對(duì)比如表2所示。

表2 檢測(cè)結(jié)果對(duì)比Tab. 2 Comparison of test results

3.2 病害檢測(cè)算法測(cè)試

3.2.1 數(shù)據(jù)預(yù)處理

病害識(shí)別實(shí)驗(yàn)圖像于示范地拍攝得到，由于示范地果園柑橘植株密集，為了防止病害擴(kuò)散蔓延，果園管理人員對(duì)大部分病害及時(shí)作出處理，所以能夠采集到的圖像樣本不夠充分，于是通過(guò)中國(guó)農(nóng)業(yè)大學(xué)網(wǎng)絡(luò)數(shù)據(jù)庫(kù)、農(nóng)業(yè)交流論壇、農(nóng)業(yè)技術(shù)服務(wù)平臺(tái)、Bing images等渠道獲得病害圖像樣本以充實(shí)實(shí)驗(yàn)樣本集[13-14]。最后獲得病害葉片341幅，正常葉片圖像732幅，同樣使用數(shù)據(jù)增廣的方式對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充，病害葉片使用更多增廣策略以達(dá)到病害葉片和正常葉片數(shù)量均衡，最終獲得共計(jì)4 245幅圖像，按照6∶2∶2的比例進(jìn)行訓(xùn)練集、驗(yàn)證集和測(cè)試集的劃分。

表3 病害檢測(cè)數(shù)據(jù)集Tab. 3 Disease detection dataset 幅

3.2.2 試驗(yàn)結(jié)果分析

完成準(zhǔn)備工作后基于DenseNet網(wǎng)絡(luò)模型對(duì)訓(xùn)練集進(jìn)行訓(xùn)練，得到的模型對(duì)測(cè)試集進(jìn)行測(cè)試，采用分類(lèi)算法常見(jiàn)的準(zhǔn)確率ACC作為評(píng)價(jià)指標(biāo)，平均檢測(cè)精度可以達(dá)到95.46%，實(shí)驗(yàn)結(jié)果如表4所示。

表4 實(shí)驗(yàn)結(jié)果Tab. 4 Resultsof experimental

3.3 算法集成

目前深度學(xué)習(xí)算法集成大多采用生成dll再進(jìn)行調(diào)用的方式，本系統(tǒng)中算法集成采用Socket通信方式實(shí)現(xiàn)，將算法調(diào)用部分發(fā)布服務(wù)以供客戶(hù)端調(diào)用，本文方法的優(yōu)勢(shì)在于算法模塊發(fā)生更新只需要重啟服務(wù)即可，相比于dll的重新生成與替換過(guò)程更加簡(jiǎn)潔，并且用戶(hù)系統(tǒng)不必發(fā)生改變，減輕用戶(hù)的操作難度。

圖9 算法集成示意圖

客戶(hù)端系統(tǒng)圖像采集模塊實(shí)現(xiàn)圖像的截取，將截圖圖像利用Socket傳輸至服務(wù)端，服務(wù)端接受后對(duì)圖像進(jìn)行檢測(cè)，將檢測(cè)結(jié)果保存至數(shù)據(jù)庫(kù)，客戶(hù)端調(diào)用數(shù)據(jù)庫(kù)數(shù)據(jù)在界面呈現(xiàn)。

4 柑橘病蟲(chóng)害動(dòng)態(tài)識(shí)別系統(tǒng)開(kāi)發(fā)與應(yīng)用

4.1 系統(tǒng)開(kāi)發(fā)

柑橘病蟲(chóng)害動(dòng)態(tài)識(shí)別系統(tǒng)研發(fā)分為系統(tǒng)服務(wù)端研發(fā)和系統(tǒng)客戶(hù)端研發(fā)等兩個(gè)方面，系統(tǒng)服務(wù)端使用python語(yǔ)言實(shí)現(xiàn)算法調(diào)用服務(wù)的搭建，系統(tǒng)客戶(hù)端利用C#語(yǔ)言基于海康SDK實(shí)現(xiàn)二次開(kāi)發(fā)，以Visual Studio2017為開(kāi)發(fā)工具，本系統(tǒng)基于MySQL數(shù)據(jù)庫(kù)，采用Navicat for MySQL作為數(shù)據(jù)庫(kù)開(kāi)發(fā)工具。系統(tǒng)開(kāi)發(fā)環(huán)境由攝像頭、服務(wù)端工作站、客戶(hù)端PC機(jī)組成，攝像頭獲取視頻數(shù)據(jù)，客戶(hù)端遠(yuǎn)程獲取視頻數(shù)據(jù)，服務(wù)端設(shè)備與客戶(hù)端設(shè)備通過(guò)局域網(wǎng)連接，系統(tǒng)設(shè)備的具體配置和功能如表5所示。

表5 系統(tǒng)開(kāi)發(fā)設(shè)備配置及功能Tab. 5 System development equipment configuration and function

本文設(shè)計(jì)并開(kāi)發(fā)的柑橘病蟲(chóng)害動(dòng)態(tài)識(shí)別系統(tǒng)主界面如圖10所示。

圖10 系統(tǒng)主界面

通過(guò)輸入IP和端口進(jìn)行登錄點(diǎn)擊預(yù)覽即可查看實(shí)時(shí)現(xiàn)場(chǎng)視頻。截圖和錄像按鈕分別實(shí)現(xiàn)圖像和視頻的截取以及保存至本地。選擇某一速度，點(diǎn)擊上、下、左、右、放大、縮小按鈕可以實(shí)現(xiàn)攝像頭的旋轉(zhuǎn)，實(shí)現(xiàn)監(jiān)測(cè)視場(chǎng)的最大化。將攝像頭旋轉(zhuǎn)移動(dòng)至某一位置，選擇某一預(yù)置點(diǎn)編號(hào)點(diǎn)擊設(shè)置按鈕可將該位置設(shè)置為預(yù)置點(diǎn)，后續(xù)可通過(guò)預(yù)置點(diǎn)編號(hào)點(diǎn)擊調(diào)用按鈕使得攝像頭旋轉(zhuǎn)移動(dòng)至之前設(shè)置的位置，可用于對(duì)同一區(qū)域的變化性觀測(cè)。

4.2 系統(tǒng)應(yīng)用

點(diǎn)擊截圖按鈕實(shí)現(xiàn)圖像截取，截取后的圖像既會(huì)顯示在界面上又會(huì)保存至數(shù)據(jù)庫(kù)。點(diǎn)擊葉片提取按鈕實(shí)現(xiàn)調(diào)用深度學(xué)習(xí)目標(biāo)檢測(cè)算法對(duì)采集的圖像進(jìn)行葉片檢測(cè)，檢測(cè)后的結(jié)果會(huì)顯示在界面上。點(diǎn)擊病害檢測(cè)按鈕實(shí)現(xiàn)調(diào)用深度學(xué)習(xí)分類(lèi)算法對(duì)上一步葉片檢測(cè)的結(jié)果進(jìn)行病害識(shí)別，識(shí)別后的結(jié)果會(huì)顯示在界面上，圖中的方框綠色代表正常葉片，紅色代表檢測(cè)出疑似病害葉片，并且識(shí)別的結(jié)果將會(huì)保存至數(shù)據(jù)庫(kù)，如圖11所示。

(a) 檢測(cè)結(jié)果無(wú)病害葉片

5 結(jié)論

本文將視頻圖像的動(dòng)態(tài)采集和深度學(xué)習(xí)算法相結(jié)合，基于圖像采集、葉片檢測(cè)和病害識(shí)別的完整流程，實(shí)現(xiàn)了基于深度學(xué)習(xí)的柑橘病蟲(chóng)害動(dòng)態(tài)識(shí)別系統(tǒng)。該系統(tǒng)運(yùn)行良好，視頻遠(yuǎn)程傳輸穩(wěn)定，葉片檢測(cè)的MAP達(dá)到87.72%，滿(mǎn)足了生產(chǎn)實(shí)際葉片提取的基本要求，病害識(shí)別準(zhǔn)確率達(dá)到95.46%，為柑橘病害的智能監(jiān)控奠定了基礎(chǔ)。