肖 帥， 郭 嘉， 蘆天罡， 唐 朝， 張輝鑫， 劉胤池， 趙志強(qiáng)， 李 響

（1.北京市農(nóng)產(chǎn)品質(zhì)量安全中心，北京 100020； 2.北京市數(shù)字農(nóng)業(yè)農(nóng)村促進(jìn)中心，北京 100021；3.北京市昌平區(qū)農(nóng)業(yè)農(nóng)村事務(wù)中心，北京 102200）

0 引言

近幾年來，隨著大數(shù)據(jù)、云計(jì)算和人工智能等技術(shù)的發(fā)展，圖像識(shí)別技術(shù)逐漸登上新興科技的舞臺(tái)，許多新的技術(shù)方法與農(nóng)業(yè)種植實(shí)際相融合，為圖像識(shí)別技術(shù)的應(yīng)用奠定了基礎(chǔ)。在農(nóng)業(yè)領(lǐng)域中，大范圍、實(shí)時(shí)、高效地獲取農(nóng)情信息是現(xiàn)代化農(nóng)業(yè)生產(chǎn)和管理的一個(gè)重要環(huán)節(jié)，傳統(tǒng)依靠人工采集和有線測量的數(shù)據(jù)獲取方式在實(shí)時(shí)性、精準(zhǔn)性和便捷性等方面均無法滿足精準(zhǔn)農(nóng)業(yè)的要求。將圖像識(shí)別技術(shù)應(yīng)用于農(nóng)業(yè)中，實(shí)時(shí)監(jiān)測大棚室內(nèi)環(huán)境、作物長勢、作物品質(zhì)等農(nóng)業(yè)生產(chǎn)中的各個(gè)環(huán)節(jié)都有著至關(guān)重要的作用。

本項(xiàng)目基于北京市通州區(qū)、昌平區(qū)、大興區(qū)和順義區(qū)等已實(shí)施“數(shù)字菜田項(xiàng)目”采集的5 000 個(gè)設(shè)施溫室實(shí)時(shí)環(huán)境數(shù)據(jù)和圖像數(shù)據(jù)等，開展基于圖像識(shí)別技術(shù)的設(shè)施生產(chǎn)狀態(tài)和作物品種識(shí)別研究，構(gòu)建設(shè)施溫室生產(chǎn)狀態(tài)識(shí)別模型和作物品種識(shí)別模型，并結(jié)合北京市設(shè)施農(nóng)業(yè)臺(tái)賬信息管理系統(tǒng)設(shè)施基礎(chǔ)數(shù)據(jù)，最終集成到北京市種植業(yè)綜合管理平臺(tái)，為全市設(shè)施溫室動(dòng)態(tài)自動(dòng)監(jiān)管提供技術(shù)支撐，滿足政府“誰在種、在哪種、種什么、怎么種、產(chǎn)多少”的產(chǎn)業(yè)監(jiān)管需求。

1 技術(shù)路線

項(xiàng)目基于“數(shù)字菜田項(xiàng)目”獲取到的設(shè)施圖像數(shù)據(jù)，依托人工智能圖像識(shí)別技術(shù)，開展了設(shè)施溫室生產(chǎn)狀態(tài)、作物品種識(shí)別模型的研究及平臺(tái)搭建工作，建立了模型服務(wù)平臺(tái)，并與北京市種植業(yè)綜合管理平臺(tái)進(jìn)行了數(shù)據(jù)對接，主要工作路線如圖1 所示。

圖1 工作路線Fig.1 Work roadmap

模型構(gòu)建主要包括設(shè)施溫室生產(chǎn)狀態(tài)識(shí)別模型和設(shè)施溫室作物品種識(shí)別模型。設(shè)施溫室生產(chǎn)狀態(tài)識(shí)別模型主要包括基于圖像分類的設(shè)施溫室生產(chǎn)狀態(tài)識(shí)別模型和稀缺樣本標(biāo)注環(huán)境下設(shè)施“大棚房”自動(dòng)識(shí)別模型。設(shè)施溫室作物品種識(shí)別模型主要包括基于可解釋深度學(xué)習(xí)模型的果菜/葉菜分類識(shí)別、基于深度學(xué)習(xí)的設(shè)施溫室作物品種識(shí)別模型[1]。

面向設(shè)施溫室環(huán)境下的狀態(tài)與作物高效識(shí)別，以管理平臺(tái)所采集的眾多溫室、作物的圖像為基準(zhǔn)，通過圖像預(yù)處理實(shí)現(xiàn)數(shù)據(jù)清洗、擴(kuò)增和標(biāo)注。利用圖像分類算法識(shí)別設(shè)施溫室生產(chǎn)狀態(tài)，進(jìn)而結(jié)合圖像分割與目標(biāo)檢測，利用圖像內(nèi)土壤與便道比例關(guān)系及違禁物品檢測精準(zhǔn)判別大棚房。針對存在作物種植的圖像樣本，依據(jù)不同作物大類形態(tài)與生育特征，進(jìn)行一級作物分類及具體作物分類。所有步驟均利用增量數(shù)據(jù)驅(qū)動(dòng)模型動(dòng)態(tài)迭代升級?？偧夹g(shù)路線如圖2 所示。

圖2 總技術(shù)路線Fig.2 Overall technical roadmap

2 研究內(nèi)容

以圖像識(shí)別技術(shù)為核心，面向北京市設(shè)施溫室動(dòng)態(tài)監(jiān)測需求，構(gòu)建了研究內(nèi)容。

2.1 構(gòu)建設(shè)施溫室生產(chǎn)狀態(tài)識(shí)別模型

以設(shè)施溫室為主要研究對象，綜合運(yùn)用圖像分類、目標(biāo)檢測和圖像分割等新一代視覺技術(shù)賦能，面向種植、休耕、撂荒和大棚房等不同農(nóng)業(yè)生產(chǎn)狀態(tài)主要開展了以下研究，設(shè)施溫室生產(chǎn)狀態(tài)識(shí)別模型流程如圖3所示。

圖3 設(shè)施溫室生產(chǎn)狀態(tài)識(shí)別模型流程Fig.3 Production status recognition model process for facility greenhouses

2.1.1 高質(zhì)量設(shè)施溫室圖像數(shù)據(jù)集構(gòu)建

高質(zhì)量的設(shè)施溫室圖像數(shù)據(jù)集，是設(shè)施溫室自動(dòng)化監(jiān)測的基礎(chǔ)[2]。本項(xiàng)目從物聯(lián)網(wǎng)中臺(tái)獲取了近4 萬張溫室設(shè)施、溫室生產(chǎn)狀態(tài)和作物品種圖片，由于大棚房圖片較少，因此根據(jù)國家規(guī)定從違禁物品和便道比例兩個(gè)方面進(jìn)行大棚房預(yù)警，最終人工篩選違禁物品和便道圖像1 793 張，其中違禁物品118 張，便道圖像1 675 張。在此基礎(chǔ)上綜合應(yīng)用人工識(shí)別和圖像分類技術(shù)，針對設(shè)施農(nóng)業(yè)生產(chǎn)狀態(tài)的監(jiān)測需求，經(jīng)過數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)注、數(shù)據(jù)擴(kuò)增及構(gòu)建自動(dòng)化異常圖像檢測模型，形成了2 萬多張包含種植、休耕、撂荒和大棚房不同生產(chǎn)狀態(tài)的高質(zhì)量數(shù)據(jù)集，其中包括異常圖像3 751 張、損壞圖像3 100 張、正常圖像11 711 張、休耕圖像3 172 張、撂荒圖像4 254 張、種植圖像4 285張、違禁物品圖像1 180 張及土壤-便道圖像1 675 張。為自動(dòng)化篩選異常數(shù)據(jù)以節(jié)省人力資源，構(gòu)建了異常圖像檢測模型，又在樣本集基礎(chǔ)上，構(gòu)建3 種主流異常圖像檢測模型進(jìn)行試驗(yàn)對比。最終結(jié)果為MobileNet V2 最好，準(zhǔn)確率98.15%。

2.1.2 基于圖像分類的設(shè)施溫室生產(chǎn)狀態(tài)識(shí)別模型

為了加強(qiáng)對設(shè)施溫室生產(chǎn)狀態(tài)管理，解決溫室大棚房出現(xiàn)撂荒、閑置等問題，采集了設(shè)施溫室不同狀態(tài)下的圖片，分別運(yùn)用4 種不同的分類模型對設(shè)施溫室的生產(chǎn)狀態(tài)進(jìn)行識(shí)別，以此為依據(jù)實(shí)現(xiàn)對設(shè)施溫室生產(chǎn)狀態(tài)智能化管理。項(xiàng)目分別使用MobileNetV2、ResNet50、VGG-16 和ViT 對設(shè)施溫室的生產(chǎn)狀態(tài)進(jìn)行工況識(shí)別，驗(yàn)證幾種分類網(wǎng)絡(luò)對設(shè)施溫室生產(chǎn)狀態(tài)的分類性能。為了更加直觀表現(xiàn)不同模型下設(shè)施溫室生產(chǎn)狀態(tài)圖像分類的準(zhǔn)確性和提取模型性能更多的信息，本項(xiàng)目采用了混淆矩陣。最終結(jié)果為工況識(shí)別使用MobileNet 分類模型最好，準(zhǔn)確率98.43%，能夠精準(zhǔn)識(shí)別撂荒、休耕和種植3 種生產(chǎn)狀態(tài)，為溫室狀態(tài)監(jiān)管服務(wù)提供基礎(chǔ)。

2.1.3 稀缺樣本標(biāo)注環(huán)境下設(shè)施大棚房自動(dòng)識(shí)別

溫室大棚房屬于違法違規(guī)建設(shè)，其定義標(biāo)準(zhǔn)復(fù)雜，正因如此，很難通過溫室所安裝的攝像頭采集到足夠滿足大棚房標(biāo)準(zhǔn)樣本用于訓(xùn)練。本項(xiàng)目綜合應(yīng)用目標(biāo)檢測和圖像分割技術(shù)，針對大棚房的相關(guān)政策，分別構(gòu)建了溫室違禁物品檢測模型和溫室便道比例識(shí)別模型，可用于種植規(guī)范識(shí)別或者撂荒發(fā)生預(yù)警，如圖4所示[3]。

圖4 違禁物品識(shí)別及土壤-便道識(shí)別Fig.4 Identification of prohibited items and identification of "soil access road"

以北京市規(guī)劃和國土資源管理委員會(huì)發(fā)布的《大棚類設(shè)施農(nóng)業(yè)項(xiàng)目違法違規(guī)用地整改標(biāo)準(zhǔn)》為基準(zhǔn)，在缺少真實(shí)環(huán)境圖像樣本的背景下，結(jié)合MSCOCO 等公開數(shù)據(jù)集制定違禁物品黑名單，分別采用DeepLabv3 語義分割技術(shù)通過土壤-便道比例識(shí)別溫室違建、采用YOLO 目標(biāo)檢測技術(shù)識(shí)別違規(guī)物品，綜合判定大棚房，實(shí)現(xiàn)覆蓋大棚房認(rèn)定標(biāo)準(zhǔn)高效自動(dòng)識(shí)別方法。基于3 000 余張圖片，使用7 種主流模型進(jìn)行試驗(yàn)對比。最終結(jié)果為使用YOLOX 和Unet 模型最好，準(zhǔn)確率>90%。經(jīng)過分析后得出土壤-便道比例閾值35.71%，超出35.71%則有大棚房風(fēng)險(xiǎn)。

2.2 構(gòu)建設(shè)施溫室作物品種識(shí)別模型

以設(shè)施溫室作物為主要研究對象，綜合運(yùn)用數(shù)據(jù)清洗、圖像擴(kuò)展、圖像自動(dòng)化標(biāo)注和圖像分類等新一代人工智能技術(shù)賦能，針對10 種常見作物（番茄、芹菜、黃瓜、草莓、茄子、辣椒、油菜、韭菜、紅薯葉和苦瓜）開展研究，設(shè)施溫室作物品種識(shí)別模型流程如圖5 所示。

2.2.1 面向海量數(shù)據(jù)標(biāo)簽自學(xué)習(xí)的圖像半自動(dòng)預(yù)處理

針對所采集數(shù)據(jù)圖像標(biāo)注中耗費(fèi)大量人力現(xiàn)象、提升數(shù)據(jù)集泛化支撐能力，采用圖像模糊度評價(jià)、EISeg 標(biāo)注平臺(tái)和多類型變換技術(shù)，開展數(shù)據(jù)清洗、半自動(dòng)化標(biāo)注和數(shù)據(jù)擴(kuò)增研究，將圖片從4 萬余張擴(kuò)充到30 萬余張，為后續(xù)研究構(gòu)建體量大、樣本豐富、代表性強(qiáng)的訓(xùn)練數(shù)據(jù)集。

2.2.2 基于可解釋深度學(xué)習(xí)模型的果菜/葉菜分類識(shí)別

本項(xiàng)目中涉及分類的作物種類多，而果菜和葉菜等作物大類具有全生育期明顯的植株生理性狀差異（如高度、覆蓋度等）。為了更好地利用模型準(zhǔn)確識(shí)別出具體作物，構(gòu)建獨(dú)立的深度學(xué)習(xí)模型提前判別果菜/葉菜一級作物，實(shí)現(xiàn)作物“粗分類”是本項(xiàng)目的關(guān)鍵問題，為后續(xù)具體作物識(shí)別模型縮小分類判定范圍從而“減負(fù)”。針對作物果菜/葉菜種類的“粗分類”問題，以大類作物的生理形態(tài)特征為驅(qū)動(dòng)，對比最新網(wǎng)絡(luò)框架模型的分類精度，結(jié)合特征可視化技術(shù)，直觀展示分類結(jié)果所關(guān)聯(lián)的FeatureMap 圖像特征區(qū)域熱力分布，更好地解釋模型的運(yùn)行機(jī)制，通過高精度大類作物分類為后續(xù)具體作物識(shí)別縮小范圍實(shí)現(xiàn)“減負(fù)”。利用果菜和葉菜一級作物20 萬余張圖片，對比MoblieNet、Resnet 50、VGG 和ViT 共4 種 主 流CNN架構(gòu)分類網(wǎng)絡(luò)，其中ViT 模型效果最好，準(zhǔn)確率99.71%，并且通過輕量化壓縮模型，便于邊緣部署[4]。

2.2.3 基于深度學(xué)習(xí)的設(shè)施溫室作物品種識(shí)別模型

針對設(shè)施農(nóng)業(yè)10 類常見作物品種高效分類的問題，采用先進(jìn)的EfficientNetV2 深度學(xué)習(xí)分類網(wǎng)絡(luò)進(jìn)行作物品種識(shí)別。對北京市設(shè)施監(jiān)控云平臺(tái)收集作物圖片進(jìn)行均衡化擴(kuò)充與圖像增強(qiáng)，然后根據(jù)數(shù)據(jù)量訓(xùn)練相應(yīng)地合適規(guī)模大小的EfficientNet 網(wǎng)絡(luò)，為后續(xù)根據(jù)不同的作物品種采用不同的農(nóng)事管理策略提供基礎(chǔ)。利用10 種作物的20 萬余張圖片，使用EfficientNetV2 模型進(jìn)行識(shí)別，針對10 類常見設(shè)施溫室作物，每類作物的識(shí)別率均達(dá)到85%以上，總體準(zhǔn)確率89.43%。

2.3 建立設(shè)施溫室動(dòng)態(tài)監(jiān)測模塊

系統(tǒng)開發(fā)采用“模型訓(xùn)練-模型部署-平臺(tái)對接”的方式。將設(shè)施溫室生產(chǎn)狀態(tài)識(shí)別模型和設(shè)施溫室作物品種識(shí)別模型與北京市種植業(yè)綜合管理平臺(tái)的物聯(lián)網(wǎng)中臺(tái)集成，構(gòu)建設(shè)施溫室動(dòng)態(tài)監(jiān)測模塊，充分利用北京市種植業(yè)各類數(shù)據(jù)，實(shí)現(xiàn)了設(shè)施作物生產(chǎn)動(dòng)態(tài)監(jiān)測服務(wù)，設(shè)施溫室生產(chǎn)狀態(tài)識(shí)別模型應(yīng)用效果和設(shè)施溫室作物品種識(shí)別模型應(yīng)用效果如圖6 和圖7 所示。

3 創(chuàng)新點(diǎn)

（1）面向海量數(shù)據(jù)的標(biāo)簽自學(xué)習(xí)下的圖像半自動(dòng)預(yù)處理技術(shù)應(yīng)用。項(xiàng)目通過對原始圖像進(jìn)行預(yù)處理，實(shí)現(xiàn)擴(kuò)展訓(xùn)練數(shù)據(jù)體量，進(jìn)而提升模型泛化能力，進(jìn)一步結(jié)合半自動(dòng)打標(biāo)機(jī)制，在保證標(biāo)準(zhǔn)準(zhǔn)確率的同時(shí)，有效減輕人工標(biāo)注壓力。

（2）稀缺樣本標(biāo)注環(huán)境下設(shè)施大棚房的自動(dòng)識(shí)別技術(shù)創(chuàng)新。項(xiàng)目突破了原有對大棚房直接識(shí)別的固化思路，提出了采用圖像語義分割與目標(biāo)檢測相結(jié)合的綜合大棚房判定方法，創(chuàng)造性地提出土壤-便道相對比例法識(shí)別違建，構(gòu)建違規(guī)物品黑名單，實(shí)現(xiàn)違規(guī)物品的動(dòng)態(tài)檢測。

（3）基于可解釋深度學(xué)習(xí)模型的果菜/葉菜分類識(shí)別技術(shù)創(chuàng)新。本項(xiàng)目的創(chuàng)新性在于采用“粗分類+特征識(shí)別”形式組合構(gòu)成分類模型，避免過度依賴數(shù)據(jù)樣本和訓(xùn)練模型的單一深度學(xué)習(xí)模型，提高預(yù)測結(jié)果準(zhǔn)確率，避免直接端對端的黑箱學(xué)習(xí)過程，解析網(wǎng)絡(luò)層提取特征，并進(jìn)行本地化的遷移學(xué)習(xí)或模型改進(jìn)[5]。

4 效益及應(yīng)用前景

4.1 效益分析

4.1.1 經(jīng)濟(jì)效益

（1）通過對種植環(huán)境的監(jiān)測、品種分析，可輔助生產(chǎn)和管理技術(shù)指導(dǎo)等科學(xué)生產(chǎn)管理和標(biāo)準(zhǔn)化種植，有助于建立穩(wěn)定和適宜的生長環(huán)境，減少因環(huán)境不適和管理不善導(dǎo)致的減產(chǎn)和品質(zhì)下降，提升了蔬菜產(chǎn)出規(guī)模，保障了產(chǎn)品長勢良好、大小均勻、外觀一致度高，提高了設(shè)施種植的品質(zhì)等級。

（2）基于種植數(shù)據(jù)與市場需求數(shù)據(jù)等綜合大數(shù)據(jù)的分析，指導(dǎo)優(yōu)化種植結(jié)構(gòu)，合理排產(chǎn)，實(shí)現(xiàn)種植產(chǎn)出與市場需求的合理匹配，解決蔬菜上市扎堆、大量蔬菜滯銷的問題，保障蔬菜銷售價(jià)格，減少了因銷售不暢所帶來的損失。

4.1.2 社會(huì)效益

項(xiàng)目利用圖像識(shí)別技術(shù)，構(gòu)建設(shè)施溫室生產(chǎn)狀態(tài)識(shí)別模型、作物品種識(shí)別模型，可以智能識(shí)別生產(chǎn)設(shè)施狀態(tài)（大棚房問題、撂荒、閑置和種植等），生產(chǎn)作物的信息，可以進(jìn)行設(shè)施監(jiān)管的異常報(bào)警，隨時(shí)摸清生產(chǎn)空間資源底牌，實(shí)時(shí)掌握生產(chǎn)空間資源的變化、資源利用等動(dòng)態(tài)數(shù)據(jù)，為全市設(shè)施農(nóng)業(yè)監(jiān)管及補(bǔ)貼發(fā)放提供動(dòng)態(tài)化、透明化的數(shù)據(jù)支撐，有助于推動(dòng)以獎(jiǎng)補(bǔ)帶動(dòng)北京市設(shè)施農(nóng)業(yè)產(chǎn)業(yè)振興和鄉(xiāng)村振興的成效，對全市農(nóng)業(yè)供給側(cè)改革工作推進(jìn)具有重要意義[6]。

4.2 應(yīng)用前景分析

4.2.1 智能硬件升級，提升智能化服務(wù)技術(shù)水平

項(xiàng)目構(gòu)建的設(shè)施溫室生產(chǎn)狀況識(shí)別模型和作物品種識(shí)別模型可以通過邊緣部署等手段嵌入到硬件設(shè)備中，實(shí)現(xiàn)對硬件設(shè)備的升級改造，擴(kuò)展傳統(tǒng)設(shè)備的功能，提高智能化服務(wù)效能。

《北京市加快推進(jìn)數(shù)字農(nóng)業(yè)農(nóng)村發(fā)展行動(dòng)計(jì)劃（2022—2025）》提出，到2025 年，信息技術(shù)在設(shè)施生產(chǎn)中的應(yīng)用率達(dá)到80%?？梢姡畔⒒c農(nóng)業(yè)生產(chǎn)的有效融合應(yīng)用是未來的主要趨勢，信息技術(shù)在農(nóng)業(yè)領(lǐng)域的市場需求大[7]。

4.2.2 軟件平臺(tái)部署，強(qiáng)化設(shè)施農(nóng)業(yè)數(shù)字化監(jiān)管

項(xiàng)目將物聯(lián)網(wǎng)技術(shù)、圖像識(shí)別技術(shù)等農(nóng)業(yè)智能化技術(shù)應(yīng)用于農(nóng)情信息的識(shí)別與設(shè)施動(dòng)態(tài)監(jiān)測、研究，建立設(shè)施溫室生產(chǎn)狀況識(shí)別模型和作物品種識(shí)別模型，部署到軟件平臺(tái)中，著力發(fā)揮先進(jìn)軟件技術(shù)對農(nóng)業(yè)生產(chǎn)空間資源變化、資源利用等動(dòng)態(tài)數(shù)據(jù)的監(jiān)控，強(qiáng)化設(shè)施農(nóng)業(yè)數(shù)字化監(jiān)管?！侗本┦小笆奈濉睍r(shí)期鄉(xiāng)村振興戰(zhàn)略實(shí)施規(guī)劃》提出，到2025 年，蔬菜產(chǎn)量達(dá)到220 萬t，自給率提升至20%以上?？梢?，設(shè)施作物的市場需求量較大，對作物進(jìn)行數(shù)字化監(jiān)管有利于作物的科學(xué)種植，以提高產(chǎn)量[8-10]。

4.2.3 大田場景遷移，保障糧食安全屏障

項(xiàng)目構(gòu)建了針對設(shè)施農(nóng)業(yè)動(dòng)態(tài)監(jiān)管與服務(wù)的技術(shù)路徑，包括“圖像采集-模型構(gòu)建-模型量化-平臺(tái)對接”。應(yīng)用前景較為廣泛，其技術(shù)路徑不僅僅局限于設(shè)施溫室，還可以推廣到其他的場景中去。未來，可以將設(shè)施溫室的智能化監(jiān)管與服務(wù)的技術(shù)手段遷移到大田中去，結(jié)合大田實(shí)際采集圖像及構(gòu)建大田作物生長參數(shù)識(shí)別模型，以穩(wěn)定大田作物產(chǎn)量，提高大田作物質(zhì)量。

5 結(jié)束語

本項(xiàng)目通過構(gòu)建設(shè)施溫室生產(chǎn)狀態(tài)識(shí)別模型和設(shè)施溫室作物品種識(shí)別模型，不僅能精準(zhǔn)掌握北京市設(shè)施蔬菜種植情況和產(chǎn)能情況，還能進(jìn)一步整合現(xiàn)有北京市農(nóng)業(yè)產(chǎn)業(yè)資源，匯集全市農(nóng)業(yè)生產(chǎn)園區(qū)生產(chǎn)種植全過程的數(shù)據(jù)，實(shí)現(xiàn)精準(zhǔn)且高效的集中監(jiān)管、遠(yuǎn)程指揮和決策支持，從而以科技手段助力北京市設(shè)施蔬菜發(fā)展，推進(jìn)農(nóng)業(yè)產(chǎn)業(yè)振興、鄉(xiāng)村振興。