鄒立雯 梁春英 周 正 李 普 李圳鵬 張榮丹
(1 黑龍江八一農(nóng)墾大學工程學院 黑龍江大慶 163319;2 黑龍江八一農(nóng)墾大學信息與電氣工程學院 黑龍江大慶 163319)
水稻是我國主要的糧食作物之一,種植面積較大[1]。目前,由于水稻種植田塊高低不平、秸稈殘留、插秧機操作不當?shù)葐栴},常發(fā)生水稻秧苗漏插、漂秧等情況,目前水稻田間秧苗識別還主要依賴于人工評估,這種傳統(tǒng)方式不僅費時費力,而且效率低下。隨著計算機信息技術的廣泛應用,運用圖像識別作物成為了可能,深度學習(Deep Learing,DL)是相對支持向量機、最大熵等“淺層學習”而言非線性、層級更多的新型學習模式,通過建立模型,模擬人類大腦對接收的信息進行識別、處理與解釋。深度學習通過數(shù)據(jù)集訓練和學習,特征提取,可以快速準確識別秧苗,在精度和實時性方面遠超傳統(tǒng)作業(yè)方式,對水稻秧苗識別具有重要意義。
本文綜述了近年來國內(nèi)外水稻秧苗識別領域深度學習的相關研究,以期為研究者提供更多參考。
深度學習的優(yōu)勢在于特征學習,即從初始數(shù)據(jù)中自動提取特征,由較低階特征組合成更高層次特征[2]。不同的深度學習由各種不同組件構成,具體取決于所使用的網(wǎng)絡類型。當前網(wǎng)絡主要有卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)[3]、遞歸神經(jīng)網(wǎng)絡(Recursive Neural Network, RNN)[4]、棧式自編碼網(wǎng)絡(Stacked Auto Encoder)[5]、深 度 置 信 網(wǎng) 絡(Deep Belief Network, DBN)[6]等,其中卷積神經(jīng)網(wǎng)絡是農(nóng)業(yè)中最常用的一種網(wǎng)絡模型。
深度學習網(wǎng)絡基本構成為卷積層(Convolution layer)、池化層(Pooling layer)、全連接層(Fully connected layer)、損 失函 數(shù)(Loss function)、激活函數(shù)(Activation Function)等。卷積層包括多個卷積單元,用于從原始圖像中提取復雜特征;池化層可以有效提取復雜特征信息,通過權矩陣集成局部信息,并輸出降維信息;全連接層在整個網(wǎng)絡中起“分類器”作用,將每一節(jié)點與上一層的節(jié)點相連,進行特征提?。粨p失函數(shù)用于判斷模型輸出與實際值間的誤差,常用的損失函數(shù)有最小二乘損失函數(shù)、指數(shù)損失函數(shù)等;激活函數(shù)是深入學習建模的重要組成部分;神經(jīng)網(wǎng)絡通過激活函數(shù)進行非線性學習,常用功能包括Sigmoid、Tanne、Relu等。
目前,卷積神經(jīng)網(wǎng)絡是發(fā)展比較成熟的深度學習網(wǎng)絡[7],20 世紀90 年代LeNet5 的出現(xiàn)標志著卷積神經(jīng)網(wǎng)絡已經(jīng)初步成熟[8]。卷積神經(jīng)網(wǎng)絡包含輸入層、隱含層、輸出層,其中輸入層可以處理多維數(shù)據(jù),一般對原始數(shù)據(jù)進行初步處理,經(jīng)過灰化度與歸一化,使數(shù)據(jù)特征更加顯著;隱含層為卷積神經(jīng)網(wǎng)絡的核心,經(jīng)卷積層提取特征數(shù)據(jù),由池化層選擇和過濾信息,優(yōu)化網(wǎng)絡結構并輸出降維信息,最后由全連接層分類整合傳遞給輸出層,由輸出層結合邏輯函數(shù)或歸一化函數(shù)輸出分類標簽。
遞歸神經(jīng)網(wǎng)絡是空間上的展開,處理的是樹狀結構的信息,分為全局反饋遞歸網(wǎng)絡、前向遞歸神經(jīng)網(wǎng)絡、混合型遞歸網(wǎng)絡。遞歸神經(jīng)網(wǎng)絡可以描述系統(tǒng)的動態(tài)特征,使動態(tài)數(shù)據(jù)在網(wǎng)絡中循環(huán),并將動態(tài)特征與信息儲存[9];遞歸神經(jīng)網(wǎng)絡的隱含層環(huán)環(huán)相扣,對于上一結點的數(shù)據(jù)有記憶功能,并添加到當前的計算中。
棧式自編碼網(wǎng)絡是基于自編碼神經(jīng)網(wǎng)絡改進而成[10],由多層訓練好的自編碼器組成,有效減少了自編碼網(wǎng)絡由于數(shù)據(jù)隨機初始化而造成的參數(shù)無法調(diào)節(jié)問題,保證了數(shù)據(jù)的穩(wěn)定性;這種每層都由自編碼器單獨訓練的好處是提高了算法準確性,收斂效果更好。
深度置信網(wǎng)絡[11-12]是由無數(shù)個受限玻爾茲曼機(Restricted Boltzmann Machine,RBM)與單層反向傳播神經(jīng)網(wǎng)絡構成,為生成概率模型;通過對數(shù)據(jù)高階相關性描述,得到聯(lián)合分布概率,推斷樣本的分布,常用來進行文字檢測、人臉識別、遙感圖像分類等。
水稻秧苗識別對提高插秧質(zhì)量、預測產(chǎn)量等有重要意義。李愛傳等[13]通過監(jiān)測水稻的生長指導水稻生產(chǎn)。景卓鑫等[14]使用神經(jīng)網(wǎng)絡與雷達結合實現(xiàn)水稻參數(shù)的估算,繪制水稻不同時期的空間分布圖,實現(xiàn)水稻生物量的生長監(jiān)測。遲德霞等[15]基于模糊C均值聚類對水稻秧苗進行圖像分割,發(fā)現(xiàn)對水稻圖像與背景像素的不同聚類點進行分割,平均誤差率在1.5%,大大改善了插秧機的精確度。陳信新等[16]基于機器視覺對水稻的發(fā)育形態(tài)和生長環(huán)境進行識別,采用聚類算法對圖像進行分割,結合Hough 預處理,秧苗識別準確度達到87.5%,秧苗形態(tài)參數(shù)誤差不超過7%。Wang Y Y等[17]利用線性混合模型對水稻生物量進行估測,與傳統(tǒng)機器學習算法進行比較,結果表明,線性混合效應模型可以準確估計水稻生物量和葉面積指數(shù),固定翼無人機在監(jiān)測大規(guī)模農(nóng)田作物生長狀況方面很有前景。Vlaminck L 等[18]通過自動計算機分析水稻幼苗的相關參數(shù),這種新型、穩(wěn)健、快速基于表型的水稻篩選方法與預期的植物生長調(diào)節(jié)一致,揭示了該裝置在重現(xiàn)性方面的穩(wěn)健性。王姍姍等[19]提出基于特征點鄰域Hough 變換的水稻秧苗檢測方法,結合Faster RCNN 網(wǎng)絡對水稻秧苗的特征點進行提取,這種方法對測試秧苗的平均識別準確度達到92%,對曲率較大的秧苗行也能準確識別。陳旭君等[20]提出基于YOLO 卷積神經(jīng)網(wǎng)絡對水稻秧苗的行線檢測,通過YOLO網(wǎng)絡對水稻圖片訓練,對秧苗進行定位,檢測行線標準,相比Faster R-CNN和Res Net101,該方法泛化能力更強、魯棒性更好。Ramadhani等[21]開發(fā)了一個自動繪圖工作流,使用多源遙感數(shù)據(jù)(Sentinel-2、MOD13Q1和Sentinel-1)以10 m 空間分辨率繪制水稻生長階段的近實時多時相地圖,基于Sentinel-2的模型分類給出了90.6%的總體準確率,融合模型MOD13Q1/Sentinel-1顯示了78.3%,Sentinel-2/MOD13Q1/Sentinel-1 的集成精度為84.15%。Ramadhani 進行改進[22],提出Sentinel-2 分類過程中的一些變化,以提高總體績效,這將為農(nóng)業(yè)決策者提供更好的信息。Yang M D等[23]將卷積神經(jīng)網(wǎng)絡與無人機結合,介紹了一種利用ExGR 索引生成水稻幼苗訓練數(shù)據(jù)的半自動標注方法,采用k倍交叉驗證,以獲得訓練與測試比數(shù)據(jù)為80/20 的分割比。網(wǎng)絡的精度隨著歷元的增加而增加,交叉驗證數(shù)據(jù)集的所有劃分均達到0.99的精度。Ramadhani F等[24]提出了光學(PROBA-V)和雷達(Sentinel-1)圖像的集成,用于水稻生長階段的時間地圖繪制,PROBA-V 的水稻生長階段模型的總體準確率為83.87%,使用支持向量機分類器的Sentinel-1模型的準確率為71.74%。植被面積和收獲面積之間的平均相關性為0.50,滯后時間為89.5 d,這一結果與當?shù)亟y(tǒng)計數(shù)據(jù)相似。徐建鵬等[25]提 出 一 種 基 于Rectified Adam 優(yōu) 化 器 的ResNet50卷積神經(jīng)網(wǎng)絡圖像識別方法,對水稻生育期 進 行 自 動 識 別, 并 于VGG16、 VGG19、ResNet50 和Inception v3 進行對比分析圖像識別能力,結果表明,在真實場景下,Rectified Adam 優(yōu)化器的ResNet50 卷積神經(jīng)網(wǎng)絡分類識別準確率在97.33%,穩(wěn)定性好、收斂速度快、魯棒性強。朱偉等[26]提出一種基于卷積神經(jīng)網(wǎng)絡Google Net 對水稻秧苗進行形態(tài)識別,采用無人機進行低空拍照,Google Net 訓練數(shù)據(jù),對單穴秧苗分類識別,平均識別正確率為91.17%,平均耗時0.27 s,與傳統(tǒng)支持向量機、BP神經(jīng)網(wǎng)絡相比,分類精度分別提高21%、13%,時間分別縮短了1.09、0.58 s。
本文介紹了深度學習在水稻秧苗識別中的應用,前期試驗表明,深度學習在水稻秧苗識別上的準確度可達90%以上,可幫助插秧機有效規(guī)避錯誤,實現(xiàn)水稻的優(yōu)質(zhì)高產(chǎn)。深度學習是目前最具潛力的圖像識別方法,具有良好的泛化能力和魯棒性,在水稻秧苗識別中可以有效提取圖像特征,擴展數(shù)據(jù)集,節(jié)省更多的人工成本。
目前,有關深度學習的研究大多還處于試驗階段,僅簡單將采集到的圖片發(fā)送給終端,在水稻圖像集收集及前期處理過程中還存在很多問題亟待解決,如田間圖片背景復雜,光線造成陰影斑駁等,后期訓練過程中也出現(xiàn)數(shù)據(jù)集樣本不典型、過擬合等問題。