doi：10.15889/j.issn.1002-1302.2024.20.014

摘要：開花是油菜生長過程中的重要階段，花朵覆蓋度可以精確反映油菜花的生長狀態(tài)，為產量預測提供有用信息。為了解決傳統(tǒng)覆蓋度獲取方法需要大量人工的問題，本研究將覆蓋度問題轉變?yōu)橛筒嘶ǖ姆指顔栴}，提出了一種快速、無損的油菜花簇覆蓋度獲取方法。首先，基于無人機（UAV）的RGB影像，針對UNet網(wǎng)絡特征融合不充分的問題，設計了一種特征聚合橋分割網(wǎng)絡FABM-UNet；其次，為了驗證模型的有效性，構建了油菜花分割數(shù)據(jù)集RSD，該數(shù)據(jù)集由DJI Phantom 4 Pro v2.0捕獲而得，包括720張油菜花的影像以及對應的分割標簽；最后，與傳統(tǒng)的4種分割方法以及7種深度學習的網(wǎng)絡（Deeplabv3+、PSPNet、UNet、UNet++、UNet3plus、Attention-UNet和TransUNet）進行對比，結果表明，F(xiàn)ABM-UNet網(wǎng)絡的分割指標IoU和Dice系數(shù)分別為0.87和0.93，在本研究的油菜花數(shù)據(jù)集上實現(xiàn)了最優(yōu)分割性能，分割結果可以直觀揭示油菜花朵覆蓋度的變化情況，為油菜品種的選育提供了有力的支撐。

關鍵詞：油菜花；油菜花覆蓋度；圖像分割；特征融合模塊；油菜產量

中圖分類號：S126；S127；TP79" 文獻標志碼：A

文章編號：1002-1302（2024）20-0113-08

收稿日期：2023-11-14

基金項目：湖北省重點研發(fā)計劃（編號：2023BB030）；武漢市知識創(chuàng)新項目（編號：108）；國家自然科學基金-青年科學基金（編號：42301515）；湖北省教育廳項目-科研計劃青年項目（編號：Q20320413）；湖北工業(yè)大學博士科研啟動基金（編號：XJ2021004501）。

作者簡介：李" 婕（1984—），女，湖北武漢人，博士，碩士生導師，主要從事計算機視覺研究。E-mail：jielonline@hbut.edu.cn。

通信作者：喬江偉，博士，副研究員，主要從事油菜育種工作。E-mail：qiaojiangwei@caas.cn。

油菜是世界上重要的四大油料作物之一，在我國更是種植面積最廣的油料作物，對我國的經(jīng)濟發(fā)展有著非常重要的影響。油菜產出的油菜籽可用于食用油、脫脂粉、榨菜、豆腐等食品的制作，具有很高的使用價值，油菜籽產業(yè)的發(fā)展對保障油料供應來說至關重要［1］。隨著經(jīng)濟的發(fā)展和消費水平的提高，油菜籽的需求也在不斷提高，如何培育高產的油菜改善油菜籽的產量至關重要［2］。油菜的花期長達1個月，幾乎占油菜全部生長期的1/4，是育種人員分析影響種子產量因素的關鍵時期。油菜的產量成分包括每莢的種子數(shù)、莢果數(shù)和每粒種子的質量，成熟時保留的豆莢數(shù)量對種子產量的影響最大［3］。保留的豆莢數(shù)量在很大程度上取決于開花時間和花朵成熟時間［4］。因此，有效識別花期已成為油菜育種的重要研究課題［5］。

作物覆蓋度是反映農作物生長狀況的常用參數(shù)，是對作物長勢進行分析的常用性指標之一［6］。油菜花覆蓋度的獲取是將通過遙感獲取的油菜花簇影像進行分割，計算花簇部分的面積占比，油菜花簇覆蓋度的獲取可以準確地反映每個品種的油菜在花期不同時間段的生長狀況。覆蓋度達到最大值時，油菜花達到開花峰值。DAndrimont等的研究表明，油菜花覆蓋度和開花峰值與油菜籽產量相關［7-8］。因此，快速準確地測定油菜花在花期不同階段的覆蓋度變化具有重要意義。

近年來，衛(wèi)星遙感技術在農業(yè)中的應用已經(jīng)成為一種趨勢。該方法可以在不破壞農作物的情況下，在大面積范圍內獲取不同時間、不同空間的作物信息［9-10］。但是，衛(wèi)星遙感受到空間分辨率的限制，特別是對于需要獲取植物詳細冠層信息的應用。雖然近年來隨著遙感技術的發(fā)展，已經(jīng)可以將遙感圖像的空間分辨率提高到30、10、3 m。但是由于訪問周期大、云量大等原因，一些小地塊植物生長信息的獲取仍然存在獲取難度高、獲取成本高昂的問題［11］。

無人機（unmanned aerial vehicle，簡稱UAV）平臺在農業(yè)遙感方面的應用大大彌補了衛(wèi)星平臺的缺陷。UAV的特點是低成本、高靈活性，可以在需要的時間和地點頻繁地進行飛行試驗，收集影像用于作物監(jiān)測［12-13］。Zhang等使用攜帶RGB相機的UAV平臺對油菜的紫葉進行了提?。?4］。胡靈炆等利用UAV獲取的RGB影像成功地對苗期的油菜品種進行了識別［15］。龔龑等使用UAV獲取的混合光譜建立了油菜的估產模型［16］。因此，使用UAV遙感平臺獲取的油菜影像進行表型分析，具有非常廣泛的應用。

隨著計算機技術的發(fā)展，圖像分割技術在農業(yè)遙感中存在著非常廣泛的應用。在油菜花的分割方面。Wan等將UAV獲取的RGB油菜花影像轉換到LAB空間，并使用了K均值聚類的方法對油菜花進行分割，并計算了油菜花的覆蓋度［17］。肖美欣等使用顏色閾值與聚類結合的分割方法來分割油菜花，考慮到油菜花突出的黃色特征，這類基于顏色特征的方法能較好地分割出油菜花信息［18］。

然而，以上方法皆為傳統(tǒng)分割方法在油菜花分割任務中的應用，目前很少有將深度學習語義分割的方法應用于油菜花分割的案例。劉立波等利用FCN網(wǎng)絡結合條件隨機場，實現(xiàn)了棉花的冠層圖像分割［19］。和興華使用Segnet模型對玉米的冠層進行了分割提?。?0］。萬園潔等對FCN網(wǎng)絡進行改進，并對小麥圖像進行了分割［21］。Xiong等提出了一種基于超像素分割和CNN的稻穗分割算法Panicle-SEG，很好地應用于不同品種及生育期的大田稻穗分割［22］。以上研究證明了深度學習語義分割的方法在提取農作物語義信息方面的可行性。因此，本研究嘗試使用深度學習的分割方法對油菜花簇進行分割，以證明深度學習語義分割方法的有效性。

本研究提出一種FABM-UNet網(wǎng)絡，針對傳統(tǒng)語義分割網(wǎng)絡UNet特征融合不充分的問題，設計了基于監(jiān)督信息的FABM模塊，將編碼器底層與解碼器高層的信息統(tǒng)合，以提升網(wǎng)絡提取油菜花邊緣特征的能力；建立了無人機影響下的油菜花分割數(shù)據(jù)集RSD，該數(shù)據(jù)集包含720張圖片，以及對應的label標簽，并在此數(shù)據(jù)集上對比了4種傳統(tǒng)的分割方法和8種深度學習的分割方法，證明語義分割算法在油菜花分割應用上的可行性；評估了本研究方法在不同花期數(shù)據(jù)的魯棒性，并根據(jù)分割結果，計算油菜花簇的覆蓋度。

1" 材料與方法

1.1" 總體流程圖

本研究的總體流程分為3個部分無人機影像采集、油菜花分割數(shù)據(jù)集和覆蓋度獲取3個部分。如圖1所示，首先使用攜帶RGB相機的無人機和影像拼接軟件Agisoft PhotoScan來采集整塊大田的影像數(shù)據(jù)，并使用裁剪軟件Adobe Photoshop將每一塊小區(qū)的油菜花影像單獨裁剪出來；其次，使用labelme軟件制作油菜花分割數(shù)據(jù)集RSD，包括制作語義標簽以及對油菜原始影像和語義圖片進行裁剪處理；最后，評估了4種傳統(tǒng)的分割方法和8種深度學習的分割方法以及本研究提出的圖像分割方法提取油菜花的語義信息，并利用分割后的影像計算油菜花的覆蓋度占比。

1.2" 數(shù)據(jù)獲取

試驗所用的數(shù)據(jù)采集于湖北省武漢市新洲區(qū)中國農業(yè)科學院油料作物研究所陽邏基地（30°42′N，114°30′E），該試驗基地（圖2）海拔約 24 m，氣候類型為亞熱帶季風氣候，油菜以小區(qū)的形式種植于大田之中，本研究選取冬油菜（9月底種植，次年5月收獲）作為試驗數(shù)據(jù)，采集時間在2021年的2—5月進行。

數(shù)據(jù)采集使用的無人機型號為大疆精靈Phantom 4 Pro v2.0，搭載相機為2×107像素，拍攝單張圖像尺寸為5 472像素×3 648像素，具體采集環(huán)境如表1所示。無人機使用自動歸航模式進行航拍，飛行高度為10 m，速度為1.9 m/s，拍照方式為等間距，每一次飛行約需10 min完成數(shù)據(jù)采集。

圖3按照從左到右的順序展示了同一塊小區(qū)的油菜花在整個花期不同時間段的生長狀況。從圖中可以看出，隨著油菜花期的不同時間段，油菜花的密度差異較大。在初花期階段，油菜花小區(qū)影像中油菜葉片占多數(shù)。隨著盛花期到來，花朵逐漸展開，覆蓋率逐漸增加，油菜花序密集、粘連現(xiàn)象嚴重。在油菜花的晚期生長階段，油菜花序逐漸減少，隨之而來的油菜角果的增加，對油菜花造成了一定程度的遮擋。由于不同生長階段油菜花影像的背景不同，讓不同時期油菜花簇影像分割存在一定難度。

1.3" 油菜花期數(shù)據(jù)集構建

本研究利用2021年油菜在不同花期的影像數(shù)據(jù)，作為網(wǎng)絡模型的訓練樣本。首先，將無人機拍攝的影像數(shù)據(jù)進行預處理。影像數(shù)據(jù)經(jīng)過拼接，得到大田的正射影像。然后，使用圖像處理軟件Agisoft PhotoScan按照實際地面尺寸，以小區(qū)為單位進行裁剪。同時，結合種植時的數(shù)據(jù)，為每個小區(qū)的影像打上標簽，這樣就得到了各個小區(qū)的影像數(shù)據(jù)。接下來，將裁剪成小區(qū)的油菜影像制作為分割所需的油菜花數(shù)據(jù)集，使用標注工具labelme對裁剪的油菜影像進行標注，并將標注完成后的json文件轉化為語義分割所需的mask圖片。由于試驗基地中種植的油菜品種和數(shù)量均有限，無人機獲取到的影像數(shù)據(jù)可能數(shù)量較少、無法滿足模型訓練的需求，所以對已經(jīng)標記好的原始小區(qū)影像進行裁剪工作。裁剪后的大小為256像素×256像素。由于原始圖片大小不一致，每一塊小區(qū)能夠裁剪出的小圖數(shù)量也不同，范圍在10～15張之間。通過這樣的處理，得到了最終包含720張圖片和720張label標簽的油菜花簇分割數(shù)據(jù)集（rapeseed segmentation dataset，簡稱RSD）。

1.4" 基于FABM-UNet網(wǎng)絡的油菜花簇分割方法

1.4.1" UNet網(wǎng)絡

UNet網(wǎng)絡是一個“U”形結構的全卷積神經(jīng)網(wǎng)絡。該網(wǎng)絡包含編碼器和解碼器部分［23］。編碼器部分包括一系列的下采樣模塊，用于特征提取，解碼器部分包含一系列上采樣模塊，用于特征融合。此外，在上采樣的過程中，加入了跳躍連接部分來融合下采樣過程中的特征圖，融合方式為通道疊加。UNet網(wǎng)絡使用的loss函數(shù)是像素級別的交叉熵損失函數(shù)，用于衡量預測像素和實際像素之間的差異。損失函數(shù)的公式如下：

L=1N∑i{-［yigln（pi）+（1-yi）gln（1-pi）］}。（1）

式中：yi表示樣本i的真實值，正類為1；pi表示樣本i預測為正類的概率；N為樣本的數(shù)量。

1.4.2" 特征聚合橋模塊（feature aggregation bridge module，簡稱FABM）

盡管UNet網(wǎng)絡在各種醫(yī)學語義分割任務中表現(xiàn)出良好的分割效果，然而油菜花花朵較小、間隔不規(guī)律、花朵布局的雜亂無章以及花朵邊緣輪廓信息的復雜性導致傳統(tǒng)的UNet在無人機油菜花數(shù)據(jù)集上表現(xiàn)不突出。因為UNet網(wǎng)絡在下采樣的過程中使用了最大池化層，而最大池化層會導致圖像信息的丟失，另一方面UNet網(wǎng)絡的跳躍連接部分只是簡單地將編碼器層和解碼器層的特征進行通道疊加，從而導致特征的融合不充分。

為了解決這些問題，本研究提出了一種特征聚合橋模塊FABM，一方面跳躍連接編解碼部分，另一方面嘗試聚合不同尺度的特征，該模塊可以將來自網(wǎng)絡不同層、不同尺度的信息進行特征融合，確保低級特征和高級特征的有效融合，使網(wǎng)絡更好地捕捉花朵的細節(jié)和邊緣信息。圖4展示了FABM模塊的具體細節(jié)，由特征組合、特征聚合2個部分組成，輸入分別為來自編碼器層的高級特征和低級特征，以及解碼器卷積層直接輸出的預測特征圖。在特征組合部分，先將高級特征和預測特征圖進行上采樣操作，使其大小與低級特征對齊，之后將高級特征和低級特征平均切割成4組，預測特征圖是單通道圖片，將其復制4份之后，與高級特征、低級特征組合到一起，得到4組張量。4組張量送入特征聚合部分，使其經(jīng)過不同擴張率（d=1，2，5，7）的空洞卷積，得到4組特征，并將4組特征進行通道疊加，通過一個卷積塊得到最終的輸出特征。

1.4.3" 本研究提出的FABM-UNet網(wǎng)絡結構

本研究提出的FABM-UNet網(wǎng)絡具體結構如圖5所示，將256像素×256像素大小的RGB影像輸入到網(wǎng)絡中。在編碼器部分，經(jīng)過第1次3×3的卷積后，特征層通道數(shù)增加至64個，第2次3×3的卷積僅用于特征整合，大小與通道數(shù)不發(fā)生變化，得到網(wǎng)絡第1層的特征塊，再將所得的特征層通過2×2最大池化層操作后將特征尺寸變?yōu)?28×128。如此重復共進行5次操作，得到編碼器結構的5個特征塊。在對第5層特征進行上采樣解碼前，經(jīng)過卷積模塊fmconv，輸出為通道數(shù)為1的預測特征圖。為了使網(wǎng)絡能夠聚合不同尺度的特征，將FABM模塊插入到模型的跳躍連接層中，并將作為低級特征的第4層的特征塊、作為高級特征的第5層的特征塊和預測特征圖輸入到FABM模塊中，經(jīng)過模塊的特征聚合，得到輸出的特征。此特征與網(wǎng)絡第5層特征塊上采樣解碼后的特征進行通道疊加，完成跳躍連接操作。接著進行2個3×3卷積操作，將通道數(shù)變?yōu)?12。如此重復4次，得到大小為256像素×256像素、通道數(shù)為64的最終特征，再經(jīng)過一個1×1×1的卷積塊，得到最終的輸出圖片。

1.5" 評價指標

油菜花的分割是一個二分類問題，本研究采用Dice系數(shù)（即預測結果和真實值之間的相似度）、精準率（Precision，即分割正確的油菜花像素個數(shù)占預測出的油菜像素個數(shù)的比例）、召回率（Recall，即分割正確的油菜花像素個數(shù)占實際的油菜花像素個數(shù)的比例）、交并比（IoU，即兩者的交集除以并集以衡量預測結果與原始標簽的重疊程度）4個評價指標評估網(wǎng)絡整體性能。

IoU=TPTP+FN+TP；（2）

Recall=TPTP+FN；（3）

Dice系數(shù)=2TP（TP+FN）+（TP+FP）；（4）

Precision=TPTP+FP。（5）

式中：TP代表預測正確的正樣本的數(shù)量；TN代表預測正確的負樣本別的數(shù)量；FP代表預測錯誤的正樣本的數(shù)量；FN代表預測錯誤的負樣本的數(shù)量。

2" 結果與分析

2.1" 網(wǎng)絡訓練

本研究的試驗平臺為湖北工業(yè)大學電子信息實驗室提供的計算機，試驗時間為2023年2—9月。試驗使用了基于PyTorch的Windows操作系統(tǒng)和NVIDIA GTX 3070 GPU進行實現(xiàn)，將數(shù)據(jù)集按照 9 ∶1 的比例劃分為訓練集和驗證集。通過參數(shù)調整，初始學習率lr設置為0.000 1，batchsize大小設置為2，并進行了100個Epochs的試驗迭代。隨著迭代次數(shù)的增加，學習率逐漸加速，并利用Adam優(yōu)化器對模型的訓練過程進行了優(yōu)化。在訓練過程中，隨著迭代次數(shù)的增加，模型的IoU精度逐漸提高。訓練和驗證的loss損失值在開始時變化較大，在經(jīng)過10個Epochs之后開始逐漸下降。經(jīng)過大約50個Epochs的訓練，這2個損失值趨于穩(wěn)定并接近收斂狀態(tài)。經(jīng)過100個Epochs的訓練，得到了最終的檢測網(wǎng)絡模型，并將其用于油菜花朵的分割任務。

2.2" 與不同網(wǎng)絡的對比

本研究使用了傳統(tǒng)的4種學習方法與7種深度學習語義分割網(wǎng)絡進行對比試驗。4種傳統(tǒng)學習方法分別為Otsu大津法、HSV顏色通道H通道顏色分割、Lab空間的k-means聚類以及基于顏色特征的分割。Otsu大津法在1979年被提出，它通過最大化圖像的類間方差來找到最佳分割閾值，從而對圖像進行二值化；HSV顏色通道H通道顏色分割方法使用色調通道進行閾值分割；LAB空間k-means聚類方法將圖像轉化到LAB顏色空間中，然后使用 k-means 算法對圖像進行聚類；基于顏色特征的分割方法首先將RGB圖像轉換到LAB、HSV空間，得到圖像中每個像素的9個顏色特征，然后將圖像中油菜花區(qū)域像素點的顏色特征統(tǒng)計為訓練集的前景，圖片中其他區(qū)域像素點的顏色特征作為背景，在確定的訓練集監(jiān)督下實現(xiàn)圖像分割。

7種深度學習語義分割網(wǎng)絡分別為UNet、Deeplabv3+、PSPNet、UNet++、Attention-UNet、UNet3plus、TransUNet。Deeplabv3+網(wǎng)絡包含編碼器和解碼器部分，其最大的改進點是在編碼器結構中加入了空洞卷積來改善圖像的特征提?。?4］。PSPNet網(wǎng)絡在Resnet基礎結構中引入了空洞卷積，在編碼器部分之后，使用了金字塔層池化來聚合上下文信息［25］。UNet++網(wǎng)絡改進了UNet的跳躍連接方式，引入了一種新的密集連接的方式，可以讓不同語義尺度之間的特征進行聚合［26］。UNet3plus網(wǎng)絡改進了UNet++的連接方式，使解碼器層的特征可以聚合到全尺度的特征［27］。Attention-UNet網(wǎng)絡將attention gate插入到UNet的跳躍連接過程中，在來自編碼器的特征與解碼器上采樣之后的特征進行通道疊加之前，將它們送入attention gate模塊中，該模塊生成一個門控信號，用來控制不同位置處特征的重要性［28］。TransUNet是首次將transformer融入到以CNN為基礎架構的UNet網(wǎng)絡中的一種網(wǎng)絡，通過CNN結構將圖像編碼為高級特征表示，再經(jīng)過transformer結構得到全局的輸出特征，將輸出特征reshape后經(jīng)過CNN的解碼器層，得到最終輸出結果［29］。

以上方法應用在本研究的RBS數(shù)據(jù)集上，具體的指標如表2所示。從表2可以看出，深度學習方法的4項精度指標要明顯高于傳統(tǒng)學習方法。在傳統(tǒng)方法中，Otsu大津法、HSV（H）顏色分割和Lab空間k-means聚類3種方法分割精度較低，其Dice系數(shù)、IoU、精準率和召回率值均在0.5～0.8，其中最差的為Lab空間k-means聚類方法，其Dice系數(shù)、IoU、精準率、召回率分別為0.500、0.630、0.610和0.750?；陬伾卣鞯姆指罘椒ㄈ〉昧溯^好的方法，其Dice系數(shù)達到了0.710，IoU達到了0.800，精準率和召回率分別達到了0.800和0.840，4項分割指標要明顯優(yōu)于其他3種傳統(tǒng)方法。而基于深度學習的8種不同的方法，其4項評價指標均高于傳統(tǒng)方法。其中，Deeplabv3+和PSPNet網(wǎng)絡的Dice系數(shù)為0.820和0.740，IoU、精準率和召回率均在0.8～0.9。而UNet網(wǎng)絡以及基于UNet的變種網(wǎng)絡的Dice系數(shù)均高于0.84，IoU、精準率和召回率均可達到0.9及以上，4項精度要明顯高于Deeplabv3+和PSPNet網(wǎng)絡。本研究提出的FABM-UNet網(wǎng)絡的IoU達到0.93，精準率和召回率分別為0.92和0.94，說明了本研究方法的有效性。

圖6呈現(xiàn)了可視化分割結果，由結果可以看出，8種不同深度學習方法均可以提取黃色的油菜花朵信息，但不同的深度學習方法分割效果有較大的差異。如圖6的藍色圓框部分為密集的油菜花區(qū)域以及紅色圓框所示的稀疏區(qū)域所示，Deeplabv3+和PSPNet網(wǎng)絡分割結果中，花簇與花簇間粘連嚴重、無法區(qū)分，這是由于油菜花的邊緣和輪廓信息較多，特征提取不充分。UNet及其變種網(wǎng)絡的效果從視覺效果上要好于Deeplabv3+和PSPNet網(wǎng)絡，這與表2所呈現(xiàn)的客觀評價指標一致。圖6的紅色圓框部分還存在著一些顏色較淺、性狀極度不規(guī)則的油菜花花簇，可以看出，UNet、UNet++、UNet3plus、Attention-UNet和TransUNet這5種網(wǎng)絡無法將油菜花的輪廓分割出來，而FABM-UNet網(wǎng)絡的分割結果與label標簽和原圖形狀最為接近。結合分割精度指標和可視化效果， 本研究提出的FABM-UNet網(wǎng)絡具有優(yōu)越性。

2.3" 不同密度下的分割精度說明

為了驗證FABM-UNet網(wǎng)絡的魯棒性，本研究利用2021年采集的油菜花數(shù)據(jù)20張影像作為測試數(shù)據(jù)集。將網(wǎng)絡對不同花期、不同密度下的小區(qū)進行了測試，計算測試后的精度，并將預測結果與原始ground truth進行可視化結果對比（圖7）。

如表3所示，可以看出，網(wǎng)絡在B組圖片上魯棒性較好，Dice系數(shù)、IoU、精準率和召回率分別達到了0.939、0.886、0.984、0.899，而在A組圖中，網(wǎng)絡的魯棒性表現(xiàn)較差，Dice系數(shù)、Iou、精準率和召回率僅為0.878、0.782、0.934、0.824。造成這一差異的主要原因是因為B組圖中是油菜花生長的茂盛期，而A組圖是油菜早花期的影像，存在著大量不明顯的花苞和形狀極度不規(guī)則的花朵，所以網(wǎng)絡較難準確分割出這些花簇信息。

3" 討論與結論

油菜花的覆蓋度變化對育種具有重要意義。通過測定油菜花田的覆蓋度變化情況，可以清晰地觀察油菜花的生長和枯萎情況，同時還可以確定每個品種的開花峰值時間，即覆蓋度最大的時間點。當獲取到油菜花的分割影像后，可以計算花朵像素的占比，即油菜花的覆蓋度，如式（6）所示?？梢愿玫亓私馔粫r間大田油菜花的生長情況（圖8）。

花朵覆蓋度=花朵像素個數(shù)小區(qū)像素個數(shù)×100%。（6）

本研究結合無人機遙感和深度學習技術，探究了油菜花朵覆蓋度的獲取方法。通過制作油菜花分割數(shù)據(jù)集RSD，針對UNet網(wǎng)絡特征融合不充分的問題，提出了FABM特征聚合橋模塊，將其插入UNet的跳躍連接層中?；贔ABM特征聚合橋模塊的FABM-UNet網(wǎng)絡模型能夠通過分析油菜作物的無人機遙感影像，學習到更具表達力的語義特征。隨著引入FABM模塊和監(jiān)督信息的增加，網(wǎng)絡模型對特征的提取變得更加充分。在這個過程中，網(wǎng)絡模型能夠保持學習到的特征信息的不變性，從而能夠快速確定油菜生長過程中的關鍵節(jié)點。與4種傳統(tǒng)的圖像分割方法以及UNet、UNet++、UNet3plus、 Attention-UNet、 TransUNet等經(jīng)典網(wǎng)絡

模型相比，F(xiàn)ABM-UNet網(wǎng)絡模型在各項精度指標上表現(xiàn)最好，IoU達到了0.870，Dice系數(shù)達到了0.930，精準率和召回率分別達到了0.920和0.940。

通過對不同密度下的油菜花影像進行分割，發(fā)現(xiàn)網(wǎng)絡在花期較早、油菜花較為稀疏的情況下，網(wǎng)絡的預測效果較差，然而在油菜花朵密集的盛花期，網(wǎng)絡的預測效果十分良好，IoU可以達到0.886，Dice系數(shù)可達到0.939。這為利用無人機遙感影像進行油菜育種提供了一種新的技術參考。然而，由于試驗小區(qū)和油菜品種的限制，后續(xù)試驗將考慮增加更多試驗田和油菜品種，以驗證網(wǎng)絡模型結構的魯棒性。此外，考慮到早期花期中不同品種的相似性，還計劃添加更多不同物候期的油菜數(shù)據(jù)，以進行精細化的識別研究。

參考文獻：

［1］Fu D H，Jiang L Y，Mason A S，et al. Research progress and strategies for multifunctional rapeseed：a case study of China［J］. Journal of Integrative Agriculture，2016，15（8）：1673-1684.

［2］Blackshaw R，Johnson E，Gan Y T，et al. Alternative oilseed crops for biodiesel feedstock on the Canadian prairies［J］. Canadian Journal of Plant Science，2011，91（5）：889-896.

［3］Tayo T O，Morgan D G.Quantitative analysis of the growth，development and distribution of flowers and pods in oil seed rape （Brassica napus L.）［J］. The Journal of Agricultural Science，1975，85（1）：103-110.

［4］Faraji A. Flower formation and pod/flower ratio in canola （Brassica napus L.） affected by assimilates supply around flowering［J］. International Journal of Plant Production，2010，4（4）：271-280.

［5］Raman H，Raman R，Coombes N，et al. Genome-wide association analyses reveal complex genetic architecture underlying natural variation for flowering time in canola［J］. Plant，Cell amp; Environment，2016，39（6）：1228-1239.

［6］賈" 坤，姚云軍，魏香琴，等. 植被覆蓋度遙感估算研究進展［J］. 地球科學進展，2013，28（7）：774-782.

［7］D’Andrimont R，Taymans M，Lemoine G，et al. Detecting flowering phenology in oil seed rape parcels with Sentinel-1 and-2 time series［J］. Remote Sensing of Environment，2020，239：111660.

［8］Zhang T，Vail S，Duddu H S N，et al. Phenotyping flowering in canola （Brassica napus L.） and estimating seed yield using an unmanned aerial vehicle-based imagery［J］. Frontiers in Plant Science，2021，12：686332.

［9］Ines A V M，Das N N，Hansen J W，et al. Assimilation of remotely sensed soil moisture and vegetation with a crop simulation model for maize yield prediction［J］. Remote Sensing of Environment，2013，138：149-164.

［10］Huang J X，Sedano F，Huang Y B，et al. Assimilating a synthetic Kalman filter leaf area index series into the WOFOST model to improve regional winter wheat yield estimation［J］. Agricultural and Forest Meteorology，2016，216：188-202.

［11］Zhou X，Zheng H B，Xu X Q，et al. Predicting grain yield in rice using multi-temporal vegetation indices from UAV-based multispectral and digital imagery［J］. ISPRS Journal of Photogrammetry and Remote Sensing，2017，130：246-255.

［12］Verger A，Vigneau N，Chéron C，et al. Green area index from an unmanned aerial system over wheat and rapeseed crops［J］. Remote Sensing of Environment，2014，152：654-664.

［13］Gao J F，Liao W Z，Nuyttens D，et al. Fusion of pixel and object-based features for weed mapping using unmanned aerial vehicle imagery［J］. International Journal of Applied Earth Observation and Geoinformation，2018，67：43-53.

［14］Zhang J，Xie T J，Yang C H，et al. Segmenting purple rapeseed leaves in the field from UAV RGB imagery using deep learning as an auxiliary means for nitrogen stress detection［J］. Remote Sensing，2020，12（9）：1403.

［15］胡靈炆，周忠發(fā)，尹林江，等. 基于無人機RGB影像的苗期油菜識別［J］. 中國農業(yè)科技導報，2022，24（9）：116-128.

［16］龔" 龑，肖" 潔，候金雨，等. 基于無人機遙感混合光譜分析的油菜估產模型［J］. 測繪地理信息，2017，42（6）：40-45.

［17］Wan L，Li Y J，Cen H Y，et al. Combining UAV-based vegetation indices and image classification to estimate flower number in oilseed rape［J］. Remote Sensing，2018，10（9）：1484.

［18］肖美欣，梅" 杰，孫開瓊，等. 顏色閾值與聚類結合的自動油菜花圖像分割［J］. 武漢輕工大學學報，2021，40（6）：27-33，46.

［19］劉立波，程曉龍，賴軍臣. 基于改進全卷積網(wǎng)絡的棉田冠層圖像

分割方法［J］. 農業(yè)工程學報，2018，34（12）：193-201.

［20］和興華. 基于卷積神經(jīng)網(wǎng)絡的玉米冠層圖像分割與生育期鑒定方法［D］. 南昌：江西農業(yè)大學，2018.

［21］萬園潔，卿粼波，何小海，等. 基于改進全卷積網(wǎng)絡的小麥圖像分割［J］. 計算機系統(tǒng)應用，2018，27（3）：221-227.

［22］Xiong X，Duan L F，Liu L B，et al. Panicle-SEG：a robust image segmentation method for rice panicles in the field based on deep learning and superpixel optimization［J］. Plant Methods，2017，13：104.

［23］Ronneberger O，F(xiàn)ischer P，Brox T. U-net：convolutional networks for biomedical image segmentation［C］//International Conference on Medical Image Computing and Computer-Assisted Intervention.Cham：Springer，2015：234-241.

［24］Chen L C，Zhu Y K，Papandreou G，et al. Encoder-decoder with atrous separable convolution for semantic image segmentation［C］//European Conference on Computer Vision.Cham：Springer，2018：833-851.

［25］Zhao H S，Shi J P，Qi X J，et al. Pyramid scene parsing network［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu：IEEE，2017：6230-6239.

［26］Zhou Z W，Siddiquee M M R，Tajbakhsh N，et al. UNet：redesigning skip connections to exploit multiscale features in image segmentation［J］. IEEE Transactions on Medical Imaging，2020，39（6）：1856-1867.

［27］Huang H M，Lin L F，Tong R F，et al. UNet3：a full-scale connected UNet for medical image segmentation［C］//2020 IEEE International Conference on Acoustics，Speech and Signal Processing. Barcelona：IEEE，2020：1055-1059.

［28］Oktay O，Schlemper J，Le Folgoc L，et al. Attention U-net：learning where to look for the pancreas［EB/OL］. （2018-04-11）［2023-11-01］. http：//arxiv.org/abs/1804.03999v3.

［29］Chen J N，Lu Y Y，Yu Q H，et al. TransUNet：transformers make strong encoders for medical image segmentation［EB/OL］. （2021-02-08）［2023-11-01］. http：//arxiv.org/abs/2102.04306v1.