賈海峰 王廷超 洪小麗 舒坤良 黃帥 譚化

摘要：田間作物生長動態(tài)監(jiān)測一直是農(nóng)業(yè)研究的重要方向之一，實時動態(tài)監(jiān)測能夠為指導農(nóng)業(yè)生產(chǎn)提供數(shù)據(jù)支撐。但是傳統(tǒng)長勢監(jiān)測方法多用于白天而忽略了夜間作物的生長狀態(tài)，無法充分滿足對作物生長全過程實時準確的監(jiān)測需求。為了更精確地了解玉米作物的生長全過程，探究玉米作物的產(chǎn)量潛力，實現(xiàn)對田間玉米作物晝夜生長動態(tài)監(jiān)測，提出了一種適用于日間和夜間的田間作物圖像分割網(wǎng)絡(luò)（day-night crop segmentation network，DNCSN），該方法綜合利用遷移學習和雙解碼器注意力機制，實現(xiàn)了對晝夜時序圖像數(shù)據(jù)中玉米作物冠層的準確分割。結(jié)果表明，本研究提出的DNSCN模型與對比模型相比，具有更高的分割精度（P=0.942 7，R=0.910 6，F(xiàn)=0.926 3）和更好的穩(wěn)定性。最后，本研究以玉米作物為試驗樣本，使用提出的DNSCN模型對田間玉米時序圖像進行了分析，發(fā)現(xiàn)日間整體增長速率呈下降趨勢，而夜間則存在快速增長階段，在02：00時玉米冠層增長達到最大值，夜間玉米冠層增長速率明顯大于日間。本研究提出的DNSCN模型可為實現(xiàn)作物晝夜生長實時動態(tài)監(jiān)測提供有效方法。

關(guān)鍵詞：玉米；深度學習；圖像分割；夜間圖像；動態(tài)監(jiān)測

中圖分類號：S126；TP391.41? 文獻標志碼：A

文章編號：1002-1302（2023）24-0184-06

田間作物的生長動態(tài)監(jiān)測是農(nóng)業(yè)生產(chǎn)系統(tǒng)的核心，能夠幫助研究人員更好地了解作物的生長過程，從而達到優(yōu)化農(nóng)作物產(chǎn)量潛力的可能［1-2］。通過實時監(jiān)測，可以確定最佳的施肥、灌溉和病蟲害防治策略，以及適時收獲［3］。近年來，基于圖像分析的方法被廣泛應(yīng)用于農(nóng)作物長勢監(jiān)測［4-5］。但傳統(tǒng)的長勢監(jiān)測多集中于白天而忽略夜間，日間圖像分析方法雖然在一定程度上能夠提供有關(guān)作物生長的信息，但無法充分滿足對作物生長全過程的實時、準確監(jiān)測的需求［6-7］。在這一背景下，夜間圖像分割技術(shù)提供了一個全新的視角，使我們能夠深入了解田間作物在光線不足條件下的生長情況，進而實現(xiàn)作物生長全過程的實時、準確監(jiān)測。

夜間圖像分割是計算機視覺領(lǐng)域的前沿研究方向，旨在將夜晚拍攝的圖像分解成不同的像素區(qū)域，從而識別出田間作物及其特征［8］。這項技術(shù)依賴于先進的圖像處理算法和深度學習模型，能夠從夜間圖像中提取出關(guān)鍵信息，如作物的位置、大小、生長狀態(tài)以及其他潛在的表型參數(shù)［9］。通過夜間圖像分割實時地監(jiān)測田間作物的生長動態(tài)，從而優(yōu)化農(nóng)業(yè)管理和決策。為了彌補夜間的環(huán)境限制，先前的研究主要集中于低光相機圖像恢復(fù)［10-11］。例如，將輸入圖像通過拉普拉斯金字塔進行劃分，通過拉普拉斯金字塔輸入，精確學習了原始圖像的高頻分量，從而最大化了低光圖像的高頻分量實現(xiàn)夜間圖像分割［12］。此外，已有研究發(fā)現(xiàn)HSL顏色空間的L通道圖像在低光恢復(fù)中是非常重要的。通過將恢復(fù)的L通道圖像與低光色調(diào)和飽和度分量連接來獲得最終圖像，能有效提升夜間圖像分割精度［13］。然而，改變圖像亮度并在分割模型中使用相對復(fù)雜，因為這一過程需要圖像恢復(fù)和分割2個過程。

為了克服上述問題，本研究提出了一種適用于日間和夜間圖像的田間作物分割網(wǎng)絡(luò)（day-night crop segmentation network，DNCSN），該模型無需圖像恢復(fù)即可在夜間圖像中自動分割作物冠層。本研究將介紹DNCSN用于日間和夜間作物冠層圖像分割的原理，探討并展示其在田間作物生長動態(tài)監(jiān)測中的應(yīng)用潛力，有望為現(xiàn)代育種和栽培研究提供強有力的工具。

1 材料與方法

1.1 數(shù)據(jù)來源

本研究使用2組數(shù)據(jù)集進行模型訓練。其中一組數(shù)據(jù)集是開源數(shù)據(jù)集，包含300張?zhí)镩g植物的冠層圖像機及其對應(yīng)標簽，圖像的分辨率為512×512。開源數(shù)據(jù)集主要用于訓練模型對田間植物冠層進行分割，進一步配合遷移學習機制來實現(xiàn)田間玉米冠層分割。此外，本研究設(shè)計了田間試驗獲取了田間玉米冠層圖像。田間試驗于2023年5月在吉林省農(nóng)業(yè)科學院公主嶺試驗基地（43°05′～45°15′N，124°18′～127°05′E）開展。使用3 m高的固定裝置搭配EOS5DⅢ數(shù)碼相機拍攝田間時序定點監(jiān)測圖像。采集的田間玉米冠層圖像分辨率為 1 920×1 080。在玉米播種1周后進行持續(xù)監(jiān)測，圖像的獲取間隔為1 h。圖1展示了研究使用的部分圖像數(shù)據(jù)集。

1.2 DNCSN模型框架

本研究構(gòu)建了一種基于編碼器-解碼器結(jié)構(gòu)的晝夜農(nóng)田場景圖像分割網(wǎng)絡(luò)，并命名為DNCSN。該網(wǎng)絡(luò)利用遷移學習策略實現(xiàn)開源數(shù)據(jù)集到田間定點監(jiān)測的晝夜圖像數(shù)據(jù)集的多目標域適應(yīng)圖像分割。首先，利用遷移學習實現(xiàn)開源數(shù)據(jù)集到日間玉米圖像的分割任務(wù)，因為這2組數(shù)據(jù)都在日間拍攝，光照相似。然后，以日間拍攝的圖像數(shù)據(jù)的預(yù)測值作為偽標簽，訓練夜間獲取的田間圖像數(shù)據(jù)集。利用設(shè)計的雙解碼器模塊，使不同時間獲取的圖像亮度分布接近。進一步，結(jié)合權(quán)重共享的語義分割網(wǎng)絡(luò)，對其進行預(yù)測。并且引入調(diào)整權(quán)重的機制，以處理日間-夜間圖像的偏差和對日間圖像的錯誤預(yù)測所造成的誤差。

綜上所述，DNCSN網(wǎng)絡(luò)包括1個源域 和2個目標域，其中源域表示網(wǎng)絡(luò)收集的開源數(shù)據(jù)集，2個目標域分別表示Dark Zurich-D（日間拍攝）、Dark Zurich-N （夜間拍攝）。因此，在訓練的過程中，只有網(wǎng)絡(luò)收集的開源數(shù)據(jù)集具有g(shù)round truth 用于有監(jiān)督的分割訓練。所提出的DNCSN同時進行從源域到日間圖像和從源域到夜間圖像的域適應(yīng)訓練。DNCSN模型的整體框架如圖2所示。

1.3 雙解碼器模塊

在本研究提出的DNCSN模型中，2種解碼器分別針對日間和夜間的玉米植株分割進行設(shè)計。在第1種解碼器中，主要關(guān)注遷移學習后玉米植株的分割任務(wù)，同時該解碼器也被用于去除日間圖像中的非對象部分。從遷移學習的最終層提取的特征圖被應(yīng)用于解碼器的最終層中，帶有空間注意力機制，使得在上模型中充分訓練的作物植株區(qū)域可以用于提高對日間玉米植株詳細分割的準確性。第2種解碼器設(shè)計了針對夜間圖像的不同分割任務(wù)通過這種多層次的處理和融合策略，DNCSN能夠在低光環(huán)境下對玉米植株進行準確的分割，從而提高了模型的性能。將注意力集中在訓練細節(jié)區(qū)域的玉米植株解碼器上，可以防止信息丟失。此外， 為了準確檢測背景和作物區(qū)域，通過雙解碼器級聯(lián)來獲得最終的輸出。具體的雙解碼器連接方式結(jié)構(gòu)圖如圖3所示。圖3中A、B、C分別代表對應(yīng)層輸出的特征結(jié)果。

1.4 損失函數(shù)

在DNCSN模型中，應(yīng)用了2組損失函數(shù)，分別如公式（1）和公式（2）所示。

其中：B表示批量大?。粁和y表示像素坐標；G表示標簽圖像；e表示預(yù)測結(jié)果灰度值。該方程與骰子損失有關(guān)，常用于對特定區(qū)域進行分割。如前所述，在第2個模型中應(yīng)用了焦點損失和骰子損失作為默認值［14］。在DNCSN模型中使用的焦點損失具體公式如下：

其中：N表示批處理的大?。籥表示損失置信度。

1.5 評價指標

在計算機試驗中，使用平均交并比（mIoU）、精確度（P）、召回率（R）和F1分數(shù)（F）作為評價指標進行模型性能對比測試［15］。IoU的計算公式如下：

其中：TP表示圖像中玉米植株部分預(yù)測正確的像素數(shù)量；FP和FN分別指示玉米植株被預(yù)測為背景的像素數(shù)量以及背景被預(yù)測為玉米植株的像素數(shù)量。精確度（P）、召回率（R）和F1分數(shù)（F）的計算方式如公式（5）至公式（7）所示。

2 結(jié)果與分析

所有的計算機試驗在1臺Ubuntu 20.04系統(tǒng)的臺式工作站上進行。該工作站搭載了Intel CoreTM i7-9700 F中央處理單元（CPU）、16 GB RAM和NVIDIA GeForce RTX 3060（GPU）。使用Pycharm編譯器，以Tensorflow 2.6.0為框架構(gòu)建了DNCSN模型。訓練過程中，Batch Size大小設(shè)置為4，訓練持續(xù)500個Epoch。

2.1 DNCSN分割效果

使用訓練好的DNSCN模型對不同生育期的田間玉米圖像進行分割，分割結(jié)果的可視化效果如圖4所示。圖4中，選擇了4組不同生育期的玉米冠層圖像進行展示。每組圖像中包含弱光、暗光和明亮3種典型圖像數(shù)據(jù)。弱光圖像獲取于04：00，明亮圖像獲取于14：00，暗光圖像獲取于21：00。可以看出，DNSCN模型能夠有效地分割來自日間和夜間獲取的田間玉米圖像。

2.2 模型分割精度比較結(jié)果

為了驗證所提出的DNSCN模型的可靠性，將其與SegNet、FCN-8s、U-Net、DeepLab V3以及SegFormer等主流深度學習模型［16-20］進行對比。對比模型都以遷移學習后的田間圖像偽標簽作為訓練數(shù)據(jù)。具體的模型對比結(jié)果見表1。

由表1可知，僅SegFormer模型的召回率高于DNSCN模型?？傮w看來，本研究提出的DNSCN模型相比其他模型具有更高的分割精度。為了進一步量化不同模型的分割結(jié)果，以正判（玉米植株或背景被正確判定）和誤判（玉米植株被預(yù)測為背景或背景被預(yù)測為玉米植株）的像素點數(shù)量為依據(jù)繪制了不同模型分割結(jié)果的混淆矩陣。由表2可以看出，DNSCN模型對于誤判具有較低的錯誤率，相比之下，本研究提出的DNSCN模型具有更好的穩(wěn)定性。

2.3 模型計算效率比較結(jié)果

為了衡量模型的計算效率，在測試過程中輸出了模型的每秒浮點運算次數(shù)（FLOPs）、模型參數(shù)量（Parameters）以及GPU內(nèi)存占用量（GPU Memory），具體的統(tǒng)計結(jié)果見表3。從表3可以看出，本研究提出的DNSCN模型在計算過程中的每秒浮點運算次數(shù)僅低于SegFormer模型，參數(shù)量僅低于FCN-8s模型，但是GPU內(nèi)存占用量比較大，該模型在計算效率方面并不占優(yōu)勢，主要是因為雙解碼器機制影響了模型的計算效率。但是，犧牲一些計算效率，提升模型精度是可取的。因為，一些細微的變化足以影響數(shù)據(jù)分析結(jié)果。

2.4 田間玉米晝夜長勢差異分析

使用本研究提出的DNSCN模型對田間玉米時序圖像進行分析。選取08：00—17：00時間段圖像作為日間時序圖像數(shù)據(jù)，20：00—05：00作為夜間時序圖像數(shù)據(jù)，分別分析日間和夜間的田間玉米冠層變化規(guī)律。在分析過程中，避開了玉米拔節(jié)期數(shù)據(jù)，選擇長勢較為穩(wěn)定時期的玉米圖像，以更客觀地分析日間和夜間的玉米變化。為了更好地量化玉米冠層動態(tài)變化規(guī)律，以像素點數(shù)量為基本單位，使用多組數(shù)據(jù)的均值作為動態(tài)變化監(jiān)測結(jié)果，利用移動平均方法擬合了日間和夜間玉米冠層變化曲線。從圖5可以看出，日間和夜間玉米冠層都在增長，夜間增長速率明顯大于日間。其中，日間整體增長速率呈下降趨勢；而夜間則存在快速增長階段，在02：00左右，玉米冠層增長達到最大值。

3 討論與結(jié)論

作為一種適用于日間和夜間作物圖像分割的方法，相關(guān)研究提出先提升夜間圖像亮度或降低日間圖像亮度使兩者統(tǒng)一再進行分割。這些方法沒有對每個模型的任務(wù)分別應(yīng)用反向傳播，而是同時進行，容易導致訓練不足的可能性。而本研究提出的DNSCN模型則利用雙解碼器并行的機制，能夠同時分割日間和夜間圖像，且所有的權(quán)重都被設(shè)計為共享，具有新意。DNSCN模型的優(yōu)勢可以歸納為以下幾個方面。首先，本研究提出的DNSCN模型在沒有弱光恢復(fù)的情況下進行作物分割，證明了本研究提出的雙解碼器機制跳過弱光圖像恢復(fù)過程的有效性。其次，在輸出目標特征圖的解碼器中加入注意力模塊，對作物區(qū)域進行聚焦。在對目標區(qū)域進行粗略訓練后，可以對作物區(qū)域進行詳細評估。此外，本研究提出了相應(yīng)的損失函數(shù)，從而準確地執(zhí)行了日間和夜間的田間玉米圖像分割任務(wù)?？梢酝ㄟ^找到訓練任務(wù)之間的平衡點來降低過擬合的風險。但是，DNSCN模型中使用了2個解碼器，使其計算效率比現(xiàn)有的方法慢。

從對玉米冠層變化的分析結(jié)果可以看出，夜間玉米長勢明顯高于日間，不排除在日間中午日照強的時間段玉米存在萎蔫從而對分析結(jié)果造成一定的影響。但是，利用移動平均方程仍然能夠解析并定量化描述田間玉米冠層的動態(tài)變化規(guī)律。進一步，本研究所提出的方法能夠用于高時序的田間動態(tài)表型監(jiān)測過程，能夠給育種和栽培學者提供一定幫助。

本研究提出了一種適用于日間和夜間圖像分割的DNSCN算法，能夠有效地解析田間玉米冠層的動態(tài)變化規(guī)律。通過與現(xiàn)有的方法進行比較，證明了本研究所提出的DNSCN模型的優(yōu)勢，雙解碼器的注意力機制模塊能夠有效提升模型對于日間和夜間圖像的分割精度。此外，利用DNSCN模型對晝夜玉米冠層的動態(tài)變化規(guī)律進行了解析，為動態(tài)表型監(jiān)測提供了應(yīng)用案例。隨著計算機農(nóng)業(yè)應(yīng)用的不斷深入，期望為智慧栽培和育種研究提供有力的支持。

參考文獻：

［1］Cheiere T，Lorin M，Corre-Hellou G. Choosing the right associated crop species in soybean-based intercropping systems：using a functional approach to understand crop growth dynamics［J］. Field Crops Research，2023，298：108964.

［2］楊建寧，張井超，朱 艷，等. 便攜式作物生長監(jiān)測診斷儀性能試驗［J］. 農(nóng)業(yè)機械學報，2013，44（4）：208-212，201.

［3］陳建福，趙 亮，岳云開，等. 無人機多光譜遙感在作物生長監(jiān)測中的應(yīng)用研究進展［J］. 作物研究，2022，36（4）：391-395.

［4］Kazemi F，Ghanbari Parmehr E. Evaluation of RGB vegetation indices derived from UAV images for rice crop growth monitoring［C］//ISPRS Annals of the Photogrammetry，Remote Sensing and Spatial Information Sciences，GeoSpatial Conference 2022-Joint 6th SMPR and 4th GIResearch Conferences. Tehran，Iran （virtual），2023：385-390.

［5］祁佳峰，郭 鵬，劉 笑，等. 基于無人機高清影像的棉花苗期長勢監(jiān)測及后期長勢預(yù)測［J］. 江蘇農(nóng)業(yè)科學，2023，51（16）：170-178.

［6］楊 斯，黃鋁文，張 馨. 機器視覺在設(shè)施育苗作物生長監(jiān)測中的研究與應(yīng)用［J］. 江蘇農(nóng)業(yè)科學，2019，47（6）：179-187.

［7］Zhao J，Zhang X，Gao C，et al. Rapid mosaicking of unmanned aerial vehicle （UAV） images for crop growth monitoring using the SIFT algorithm［J］. Remote Sensing，2019，11（10）：2-19.

［8］王 艷，祁 萌. 基于遺傳算法和閾值分割的夜間蘋果識別方法［J］. 機械設(shè)計與研究，2020，36（3）：220-225，233.

［9］項 榮，張杰蘭. 基于改進PCNN的番茄植株夜間圖像分割算法［J］. 農(nóng)業(yè)機械學報，2020，51（3）：130-137.

［10］王璽琨，劉 艷，張清祎，等. 一種光照條件自判斷的夜間灰度圖像增強算法［J］. 上海師范大學學報（自然科學版），2021，50（1）：101-107.

［11］Sun L，Wang K W，Yang K L，et al. See clearer at night：towards robust nighttime semantic segmentation through day-night image conversion［J/OL］. （2019-08-16）［2023-08-12］. https：//doi.org/10.48550/arXiv.1908.05868.

［12］何吉上，鐘映春. 融合拉普拉斯金字塔與Unet的Meckel腔圖像分割研究［J］. 工業(yè)控制計算機，2023，36（7）：92-95.

［13］Kumar J B，Kaushalya G B M，Bhola P，et al. Prediction of total soluble solids and pH of strawberry fruits using RGB，HSV and HSL colour spaces and machine learning models［J］. Foods，2022，11（14）：2-24.

［14］Jatin S，Cameron B，Zhiyi S，et al. Batch-balanced focal loss：a hybrid solution to class imbalance in deep learning［J］. Journal of Medical Imaging，2023，10（5）：1-12.

［15］馬博淵，姜淑芳，尹 豆，等. 圖像分割評估方法在顯微圖像分析中的應(yīng)用［J］. 工程科學學報，2021，43（1）：137-149.

［16］胡春華，劉 炫，計銘杰，等. 基于SegNet與三維點云聚類的大田楊樹苗葉片分割方法［J］. 農(nóng)業(yè)機械學報，2022，53（6）：259-264.

［17］李凱雨，張 慧，馬浚誠，等. 基于語義分割和可見光譜圖的作物葉部病斑分割方法［J］. 光譜學與光譜分析，2023，43（4）：1248-1253.

［18］李 萍，劉 裕，師曉麗，等. 基于多尺度殘差空間注意力輕量化U-Net的農(nóng)業(yè)害蟲檢測方法［J］. 江蘇農(nóng)業(yè)科學，2023，51（3）：187-196.

［19］烏 蘭，蘇力德，賈立國，等. 基于改進DeepLab v3+網(wǎng)絡(luò)的馬鈴薯根系圖像分割方法［J］. 農(nóng)業(yè)工程學報，2023，39（3）：134-144.

［20］田雪偉，汪佳麗，陳 明，等. 改進SegFormer網(wǎng)絡(luò)的遙感圖像語義分割方法［J］. 計算機工程與應(yīng)用，2023，59（8）：217-226.