李旺枝 陸健強 王衛(wèi)星 林佳翰 周平

特約論文

基于卷積神經網絡的熱紅外圖像檢測模型*

李旺枝 陸健強 王衛(wèi)星 林佳翰 周平

（華南農業(yè)大學電子工程學院，廣東 廣州 510642）

針對我國目前大部分果園的果樹冠層施藥情況檢測效率低、成本高等問題，提出一種基于卷積神經網絡的熱紅外圖像檢測模型。通過采集大量柑橘樹在不同環(huán)境條件下施藥前后的熱紅外圖像，在經典卷積神經網絡模型Inception-v3基礎上，利用計算機視覺相關知識改進模型參數(shù)，設計一種新型卷積神經網絡模型——S-Inception-v3。與Mobile Net，Shuffle Net和Inception-v3網絡模型對比，S-Inception-v3網絡模型在測試集上的分類準確率分別提高了10.28%，8.46%，3.43%；召回率分別提高了8.66%，7.48%，3.35%；模型大小分別降低了6.4 M，1.1 M，1.6 M。該模型在柑橘果樹冠層熱紅外圖像上的分類性能更好，在保證網絡分類準確率的同時，網絡大小、計算量均有所下降，為農業(yè)航空領域施藥檢測技術改進提供了參考。

遷移學習；S-Inception-v3模型；卷積神經網絡；計算機視覺

0 引言

近年來，無人機在農業(yè)航空領域發(fā)揮越來越重要的作用，利用無人機精準施藥已成為當代智慧農業(yè)的主要手段之一。無人機施藥對象幾乎覆蓋了全部農作物[1]，包括小麥、水稻和玉米等主要糧食作物；柑橘、葡萄和白菜等瓜果蔬菜；棉花、麻類等纖維作物。以往常用的植物冠層藥物檢測方式是人工直接觀測[2]或無人機搭載可見光攝像頭對植物冠層拍照，通過圖像分辨植物冠層噴藥情況。但常規(guī)可見光攝像頭對光線和天氣情況十分敏感，檢測效率較低[3]。紅外熱成像技術利用物體各部分紅外熱輻射的差異，把物體不可見的熱輻射轉化為可視圖，對煙霧和云層具有一定的穿透性，受天氣影響較小[4]。

王康麗[5]利用機載熱紅外相機對植物冠層溫度敏感的特性，通過溫度變化測量植物冠層是否施藥；此方法需要標定一個參照溫度直方圖作為參考，過程復雜。張智韜等[6]提出熱紅外圖像溫度直方圖檢測法，熱紅外相機拍攝的圖像利用特征數(shù)方法檢測植物冠層溫度變化，通過溫度直方圖變化得出植物冠層施藥情況；此方法植物冠層特征數(shù)的選擇較為復雜[7]，需挑選互不影響的參數(shù)作為特征，實際操作難度較大。

如何快速、實時地進行施藥情況檢測已成為當前農業(yè)航空領域重大關切的問題[8]。本文提出一種新型卷積神經網絡模型——S-Inception-v3，該網絡模型在柑橘果樹冠層熱紅外圖像上的分類性能更好，提高無人機施藥檢測效率，降低農業(yè)生產成本。

1 試驗設計與方法

1.1 圖像采集

試驗圖像取自6棵柑橘果樹冠層，如圖1所示。

圖1 6棵柑橘果樹的冠層原圖

在柑橘果樹適宜生長的溫度（20℃~31℃）、濕度（45％RH～65％RH）[9-10]和光照強度（800 lx~3500 lx）條件下，分時段采集3052幅柑橘果樹冠層熱紅外圖像。其中，1602幅未噴藥圖像（1280幅為訓練集、322幅為測試集）；1450幅噴藥圖像（1160幅為訓練集、290幅為測試集）。柑橘果樹冠層熱紅外圖像數(shù)據采集試驗環(huán)境如表1所示。

表1 柑橘果樹冠層熱紅外圖像數(shù)據采集試驗環(huán)境[1]

表1中的農藥沉積量是通過10 mm×20 mm的霧滴測試卡（水敏紙）標定的。霧滴測試卡是一種便攜、簡單，并提供即時霧滴視覺效果的檢測工具。在對柑橘果樹冠層噴藥前，將霧滴測試卡放置在施藥部位，并用工具將其固定以避免被風吹落（可用回形針等固定在作物葉片上），如圖2(a)所示。施藥后的情況如圖2(b)所示，霧滴分布越均勻，噴灑效果越好。

圖2 霧滴測試卡

利用ImagePy軟件選取施藥后的水敏紙，并對需要分析霧滴的區(qū)域進行前景色背景剝離；再進行霧滴反選，具體分析過程如圖3所示。

圖3 霧滴測試卡（水敏紙）分析過程

通過ImagePy軟件自動得到圖2中霧滴測試卡的農藥沉積量為0.68μL/cm2，如表2所示。

表2 ImagePy軟件分析結果

1.2 圖像預處理

無人機飛行時，熱紅外相機拍攝的柑橘果樹冠層圖像可能含有大面積土壤區(qū)域或果樹冠層缺失較多，對網絡訓練產生較大干擾，使網絡泛化能力和分類準確率降低，直接影響網絡模型性能。同時熱紅外攝像頭采用非制冷紅外焦平面設計，本身可能存在工藝缺陷，如焦平面陣列不均勻，拍攝時產生噪聲等，造成成像效果不理想。為提高網絡模型的泛化能力和分類準確率，需對圖像數(shù)據進行預處理，以提高純凈度。

Kim等[11]提出一種塊部分重疊的直方圖均衡化（POSHE）算法，力求在運算效率和圖像質量之間達到平衡。圖像直方圖均衡化適用于景物深度變化較小的圖像[12]。一些研究人員提出的局部增強方法在一定程度上減小了場景深度的影響，可使圖像每個區(qū)域的對比度都得到較大改善，如基于移動模板的局部直方圖均衡技術[13]。薛月菊等[14]在對未成熟芒果檢測研究中，為減小光照不均對目標特征造成的影響，采取直方均衡化方法對芒果圖像進行增強，提高了芒果識別準確率。

本文通過數(shù)據增強增加數(shù)據量，可降低網絡訓練過擬合程度，提升模型泛化能力。本文運用的數(shù)據增強方法包括：1）利用rotate函數(shù)、Affine函數(shù)對熱紅外圖像分別進行45°旋轉和仿射；2）利用flip函數(shù)對熱紅外圖像分別進行水平和垂直翻轉；3）利用Affine函數(shù)對熱紅外圖像進行平移，如圖4所示。直方圖均衡化前后效果如圖5所示。

圖4 數(shù)據擴增示例圖

圖5 直方圖均衡化前后效果對比

2 S-Inception-v3網絡模型設計

巨志勇等[15]提出改進的Inception-v3果蔬識別算法，在學習率為0.1、迭代次數(shù)為5000時效果良好。本文采用參數(shù)遷移學習方法，將Inception-v3改進為適用于本文的S-Inception-v3網絡模型。S-Inception-v3網絡模型主要包括3個卷積模塊運算（1個常規(guī)卷積模塊和2個Inception結構）和7個混合層，并在卷積層與全連接層之間加入SPP-Net算法，以便實現(xiàn)圖像的信息特征融合，增強特征提取效果，網絡結構如表3所示。

表3 S-Inception-v3網絡結構

首先，對訓練集中的正負樣本進行數(shù)據預處理，包括圖像大小裁剪、直方圖均衡化與數(shù)據擴增等操作；然后，采用S-Inception-v3網絡模型對數(shù)據集進行訓練并不斷優(yōu)化模型，通過遷移ImageNet數(shù)據集上的先驗知識對模型進行微調，并保存最佳權重文件以及模型結構；最后，利用訓練好的網絡模型對測試集進行預測，得到熱紅外圖像的分類準確率。S-Inception- v3網絡模型訓練、預測過程如圖6所示。

圖6 S-Inception-v3網絡模型訓練、預測過程

3 實驗與分析

3.1 實驗條件

采用Python3.7程序設計語言編寫代碼，并使用keras1.12.1搭建模型框架；利用GPU加速；集成開發(fā)工具為Spyder。處理器為Intel Xeon(R) CPU E5-2620 v4 @ 2.10 GHz ×16，內存為64 GB，GPU為GTX TIAN X。

3.2 與其他網絡模型比較

Mobile Net網絡模型主要通過改變卷積方式，并適當降低參數(shù)精度、參數(shù)量和計算量進行網絡加速[16]。Shuffle Net網絡模型在基本不影響網絡精度的前提下，降低參數(shù)量和計算量，主要應用于手機、平板電腦等移動設備[17]。S-Inception-v3網絡模型與其他3種網絡模型對比結果如表4所示。

表4 S-Inception-v3網絡模型與其他網絡模型對比結果

實驗中，分類正確的圖像572幅（冠層未噴藥分類正確的圖像314幅，冠層噴藥分類正確的圖像258幅）；分類錯誤的圖像40幅（冠層未噴藥的圖像分類到冠層噴藥的圖像32幅，冠層噴藥的圖像分類到冠層未噴藥的圖像8幅）。由表4可知：S-Inception-v3網絡模型分類準確率為93.74%，召回率為92.58%。S-Inception-v3網絡模型相較于Mobile Net，Shuffle Net和Inception-v3網絡模型，分類準確率和召回率都較高，且具有更好的泛化能力。

4 結論

針對傳統(tǒng)檢測植物冠層施藥情況由人工觀測顯示屏或照片耗時費力，且傳統(tǒng)神經網絡Mobile Net，Shuffle Net模型參數(shù)量大、準確率低的問題[16,18-19]，本文提出基于Inception-v3改進的S-Inception-v3網絡模型，分類準確率可達93.74%。此外，本文采取直方圖均衡化[20]和數(shù)據擴增進行數(shù)據預處理，豐富了數(shù)據多樣性，減輕模型過擬合現(xiàn)象[20-22]。但過度依賴原始數(shù)據集，不利于模型對未知數(shù)據的泛化性能。

本文改進的S-Inception-v3網絡模型對柑橘果樹冠層施藥情況檢測較為理想，避免了人工直接觀測的弊端，無需人工選取特征，且模型便于使用。本研究為進一步豐富植物冠層施藥情況檢測方法提供參考。

[1] 趙峰,李寒松,孔凡祝,等.我國節(jié)水灌溉技術發(fā)展現(xiàn)狀與趨勢[J].農業(yè)裝備與車輛工程,2018,56(2):25-28.

[2] 郭裕元,程紅.熱紅外遙感的成像原理及溫度標定[J].影像技術,1998(4):37-41.

[3] 紀景純,趙原,鄒曉娟,等.無人機遙感在農田信息監(jiān)測中的應用進展[J].土壤學報,2019,56(4):773-784.

[4] 章書聲,李佳琦,鄭而重,等.基于紅外相機技術監(jiān)測浙江省自然保護區(qū)豹貓生存狀況[J].浙江林業(yè)科技,2017,37(4):12-17.

[5] 王康麗.基于無人機可見光和熱紅外圖像的棉花冠層信息識別[D].北京:中國農業(yè)科學院,2019.

[6] 張智韜,邊江,韓文霆,等.剔除土壤背景的棉花水分脅迫無人機熱紅外遙感診斷[J].農業(yè)機械學報,2018,49(10):250-260.

[7] 艾明晶,戴隆忠,曹慶華.霧天環(huán)境下自適應圖像增強去霧方法研究[J].計算機仿真,2009,26(7):244-247.

[8] 吳小偉,茹煜,周宏平.無人機噴灑技術的研究[J].農機化研究,2010,32(7):224-228.

[9] 謝國強.西吉縣節(jié)水灌溉技術發(fā)展現(xiàn)狀及改進節(jié)水灌溉技術若干建議[J].山西農經, 2017(20):50.

[10] 張立偉,張智郡,劉海軍,等.基于冠層溫度的玉米缺水診斷研究[J].干旱地區(qū)農業(yè)研究,2017,35(3):94-98.

[11] 薛新宇,蘭玉彬.美國農業(yè)航空技術現(xiàn)狀和發(fā)展趨勢分析[J]. 農業(yè)機械學報,2013,44(5):194-201.

[12] 楊帥.無人機低空噴霧霧滴在作物冠層的沉積分布規(guī)律及防治效果研究[D].北京:中國農業(yè)科學院,2014.

[13] 易曉曈,張超博,李有芳,等.廣西產區(qū)柑橘葉片大中量元素營養(yǎng)豐缺狀況研究[J].果樹學報,2019,36(2):153-162.

[14] 薛月菊,黃寧,涂淑琴,等.未成熟芒果的改進YOLOv2識別方法[J].農業(yè)工程學報,2018,34(7):173-179.

[15] 巨志勇,馬素萍.改進的Inceptionv3果蔬識別算法[J].包裝工程,2019,40(21):30-35.

[16] 張勝.基于ZigBee無線傳感網和模糊控制的溫室番茄智能灌溉系統(tǒng)設計[D].杭州:浙江大學,2011.

[17] ZHANG Xiangyu, Zhou Xinyu, Lin Mengxiao, et al. ShuffleNet: An extremely efficient convolutional neural network for mobile devices[J]. Computer Vision and Pattern Recognition, 2017.

[18] 張志云,李長賀.無人機技術在現(xiàn)代農業(yè)中的應用[J].農業(yè)工程,2016,6(4):23-25.

[19] KRIZHEVSKY A, SUTSKEVER I, HINTON G . ImageNet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2012, 25(2): 1097- 1105.

[20] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]// IEEE Conference on Computer Vision & Pattern Recognition. IEEE Computer Society, 2016.

[21] LECUN Y L, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998,86(11):2278-2324.

[22] LIANG F, SHEN C, WU F. An iterative BP-CNN architecture for channel decoding[J]. IEEE Journal of Selected Topics in Signal Processing, 2018,12(1):144-159.

Thermal Infrared Image Detection Model Based on Convolution Neural Network

Li Wangzhi Lu Jianqiang Wang Weixing Lin Jiahan Zhou Ping

(School of Electronic Engineering, South China Agricultural University, Guangzhou 510642, China)

In view of the problems of low efficiency and high cost in the detection of the application of pesticides in the canopy of most orchards in China, a thermal infrared image detection model based on convolution neural network is proposed. Based on the classic convolution neural network model Inception-v3, a new convolution neural network model, S-Inception-v3, was designed by collecting a large number of thermal infrared images of citrus trees before and after application under different environmental conditions. Compared with Mobile Net，Shuffle Net and Inception-v3, the classification accuracy of S-Inception-v3 network model on the test set increased by 10.28%, 8.46% and 3.43% respectively; the recall rate increased by 8.66%, 7.48% and 3.35% respectively; the model size decreased by 6.4 M, 1.1 M and 1.6 M respectively. The classification performance of the model is better on the thermal infrared image of the citrus tree canopy. While ensuring the accuracy of the network classification, the network size and calculation amount are decreased, which provides a reference for the improvement of the application detection technology in the field of precision agriculture and aviation.

migration learning; S-Inception-v3 model; convolution neural network; computer vision

S126

A

1674-2605(2020)06-0001-05

10.3969/j.issn.1674-2605.2020.06.001

2019年廣東省教育廳特色創(chuàng)新類項目（2019KTSCX013）；2018年省級鄉(xiāng)村振興戰(zhàn)略專項資金（2018LM2163）；廣西科技計劃重點研發(fā)計劃項目（桂科AB16380286）。

李旺枝，男，1994年生，碩士研究生，主要研究方向：圖像處理。E-mail: 631093306@qq.com

陸健強（通信作者），男，1980年生，高級實驗師，碩士生導師，主要研究方向：圖像處理。E-mail: 646346@qq.com