朱懷衛(wèi) 盧煥萍 黃光民 王廣倫 馮國安

基于圖像識別的植物物候期自動觀測系統(tǒng)平臺設(shè)計與實現(xiàn)

朱懷衛(wèi)1盧煥萍1黃光民2王廣倫2馮國安2

（1. 廣東省生態(tài)氣象中心 廣東廣州 510641；2. 廣東省農(nóng)業(yè)氣象試驗站 廣東佛山 528225）

為解決人工觀測植物物候期費時費力、人手不足的問題，文章以珠三角地區(qū)特色果樹和觀花樹為觀測對象，基于圖像識別技術(shù)構(gòu)建植物物候期自動識別模型，開發(fā)物候期自動識別系統(tǒng)平臺。系統(tǒng)平臺可實時拍攝采集觀測植物全物候期視頻和高清圖像信息，具備識別高清視頻圖像實時觀測、自動識別結(jié)果展示、人工訂正、植物科普信息展示等功能。經(jīng)過一年半時間的調(diào)試和功能升級，目前應(yīng)用平臺前期設(shè)計功能基本實現(xiàn)。該系統(tǒng)自動化平臺的研發(fā)減少觀測工作量，提升農(nóng)業(yè)氣象服務(wù)水平，具有一定的業(yè)務(wù)應(yīng)用價值。

物候期；圖像識別；自動觀測；平臺設(shè)計

廣東地區(qū)光照、熱量、降水等農(nóng)業(yè)氣象資源充足[1]，非常適宜花卉和亞熱帶水果生長。近年來隨著人民生活水平不斷提高，賞花、摘果等生態(tài)農(nóng)業(yè)旅游形式日益興起，提前預(yù)測觀賞性花卉開花期和瓜果采摘期[2]，對農(nóng)業(yè)氣象服務(wù)技術(shù)提出了更高的要求[3-4]。目前，我國農(nóng)業(yè)氣象觀測中物候觀測主要依賴人工，存在費時費力，且無法實時連續(xù)觀測植物物候期生長全過程等弊端[5]。因此，對農(nóng)業(yè)氣象的觀測方式和服務(wù)方式更迫切地提出了自動化、系統(tǒng)化和智能化的要求[6-10]。實現(xiàn)物候期自動化觀測技術(shù)對物候模型、植物物候期預(yù)測技術(shù)研發(fā)至關(guān)重要[5]。

廣東省農(nóng)業(yè)氣象試驗站在物候觀測方面經(jīng)驗豐富。1984年1月起，開始對木棉、苦楝、玉蘭3種樹木以及青蛙、蟾蜍、家燕3種動物開展物候觀測，但現(xiàn)有的觀測對象無法滿足當(dāng)前農(nóng)業(yè)氣象觀測業(yè)務(wù)的需求。因此，基于2019年中國氣象局應(yīng)急減災(zāi)與公共服務(wù)司審批的廣東省農(nóng)業(yè)氣象試驗站“三農(nóng)”服務(wù)專項項目，在農(nóng)試站全站內(nèi)布設(shè)8套高清視頻物候觀測設(shè)備，針對荔枝、龍眼、木棉、黃花風(fēng)鈴木等11種廣東特色果樹和觀花樹，搭建物候觀測對象實景觀測站，建設(shè)特色果樹和觀花樹木物候觀測系統(tǒng)，完善農(nóng)業(yè)氣象觀測體系。

該植物物候觀測系統(tǒng)首先基于廣州、東莞、茂名等地歷年荔枝、龍眼等全生育期物候期圖像觀測資料，人工標(biāo)注圖片樣本物候期特征并初步建立樣本數(shù)據(jù)庫，構(gòu)建物候期識別模型；其次，布設(shè)高清物候觀測設(shè)備建設(shè)植物物候?qū)嵕坝^測站，實時觀測并采集植物實時生長圖片，建立樣本圖片數(shù)據(jù)庫，對后期提高植物物候期識別模型精度及更好地提供農(nóng)業(yè)氣象服務(wù)具有重要的意義。

1 設(shè)計思路

針對廣東省農(nóng)業(yè)氣象試驗站內(nèi)當(dāng)前的種植樹種確定觀測樹種對象，采集并分類標(biāo)記物候期圖像，建立物候期圖像數(shù)據(jù)庫。采用在機器視覺領(lǐng)域興起的，對二維圖像識別具有獨特優(yōu)勢的卷積神經(jīng)網(wǎng)絡(luò)，對采集的物候觀測圖像進行自動分類識別，建立基于機器學(xué)習(xí)的植物種類和生長期自動識別系統(tǒng)。

2 系統(tǒng)模塊設(shè)計

物候期自動觀測系統(tǒng)各分系統(tǒng)和模塊共由8個部分組成。分別是：實景觀測系統(tǒng)、負載均衡識別模型、數(shù)據(jù)清洗模塊、圖像剪裁拆分模塊、圖像識別模塊、圖像分類模塊、周期分析模塊和顯示模塊，具體介紹如下。

（1）實景觀測系統(tǒng)：實時采集植物每日生長圖像信息，搭載8臺高清攝像機拍攝11種植物，后臺設(shè)置每臺攝像機的角度及時間，多角度采集多品種植物圖像，初步建立覆蓋11個樹種的植物圖像樣本數(shù)據(jù)庫。

（2）負載均衡識別模型：實時讀取實景觀測系統(tǒng)采集的圖像數(shù)據(jù)，創(chuàng)建識別進程作業(yè)（流程：①創(chuàng)建request識別接口請求→②建立nginx分配計算機制→③依據(jù)植物標(biāo)識ID遞歸待處理源圖片數(shù)據(jù)→④讀取輸入源數(shù)據(jù)創(chuàng)建識別進程作業(yè)）。

（3）數(shù)據(jù)清洗模塊：判斷植物圖像文件有效性，刪除并清理不具備有效性的樣本圖像。

（4）圖像裁剪拆分模塊：裁剪和拆分植物采集觀測的圖像。

（5）圖像識別模塊：該模塊是植物物候期自動觀測系統(tǒng)的核心功能模塊。首先輪詢獲取圖片，輸入主要物候期識別模型并識別圖像物候期特征，輸出特征權(quán)重≥0.5的主要物候期識別模型識別結(jié)果。主要物候期識別模型檢索出的識別結(jié)果輸入圖像分類模塊整合或排序輸出結(jié)果，輸出識別結(jié)果包含主要物候期識別模型檢測目標(biāo)物候期進入周期分類模塊，并分析判斷植物當(dāng)前物候期，若輸出結(jié)果不包含主要物候期識別模型的檢測目標(biāo)物候期，直接回到圖像裁剪模塊，待識圖像原圖輸入特殊物候期識別模型，識別圖像物候期特征。技術(shù)路線如圖1所示。

（6）圖像分類模塊：統(tǒng)計整合并排列物候期識別模型輸出的物候期特征檢索結(jié)果。

（7）周期分析模塊：判定植物當(dāng)前所處物候期。

（8）顯示模塊：實時顯示監(jiān)控植物物候生長圖像數(shù)據(jù)和物候期自動識別結(jié)果。

圖1 植物物候期圖像識別技術(shù)路線圖

3 系統(tǒng)界面實現(xiàn)

開發(fā)植物物候期自動觀測系統(tǒng)平臺用于對植物物候期自動識別結(jié)果進行展示，主要設(shè)計六大功能界面：系統(tǒng)首頁、觀測識別、訂正記錄、資料歸檔、科普資料、系統(tǒng)設(shè)置。模塊架構(gòu)詳見圖2。同時具備植物物候自動觀測、物候期自動識別、存儲、訂正、管理、科普等功能。平臺功能界面具體介紹如下。

圖2 植物物候期自動觀測系統(tǒng)平臺功能架構(gòu)圖

3.1 系統(tǒng)首頁

該界面主要用于展示觀測區(qū)域?qū)崟r全景，具備720°旋轉(zhuǎn)、放大和縮小功能，且首頁全景圖上每個觀測植物采用定位點圖標(biāo)標(biāo)識，并在定位點右側(cè)顯示植物名片信息：圖片實況+植物名稱+當(dāng)前生長周期+下個物候期預(yù)計時間。系統(tǒng)首頁界面效果圖詳見圖3。

圖3 物候期自動觀測系統(tǒng)首頁界面效果圖

3.2 觀測識別

該界面是植物物候期自動觀測系統(tǒng)核心技術(shù)的展示界面，主要用于顯示植物實時或歷史生長圖像數(shù)據(jù)和物候期識別結(jié)果信息，識別結(jié)果信息包括：植物物種名稱、當(dāng)前物候生長期、該物候期生長特征、時間跨度、識別周期等。此外，該模塊可實現(xiàn)識別結(jié)果訂正、歷史觀測圖像及視頻查詢、植物物候期時間軸、植物物候期識別結(jié)果二維碼溯源等展示功能。荔枝和龍眼觀測識別界面效果圖詳見圖4。

圖4 物候期自動觀測系統(tǒng)觀測識別界面效果圖（荔枝和龍眼果實成熟期）

3.3 訂正記錄

該界面主要用于管理并記錄觀測識別模塊中植物物候期識別結(jié)果的人工訂正信息。實時切換多種植物圖片通過查看詳情，顯示訂正記錄識別結(jié)果和訂正結(jié)果列表信息，包括識別次數(shù)、識別時間、人工訂正次數(shù)、人工訂正時間等，列表格Excel導(dǎo)出用于統(tǒng)計植物物候期周年統(tǒng)計。

3.4 資料歸檔

該界面主要用于存儲歷史觀測圖片和展示植物觀測結(jié)果歸檔形成的生長報告和觀測報告，生長報告和觀測報告實現(xiàn)自動生成和下載功能。資料歸檔界面效果圖詳見圖5。

圖5 物候期自動觀測系統(tǒng)資料歸檔界面效果圖

3.5 科普資料

該界面主要用于科普圖文介紹觀測植物相關(guān)知識，包括品種科屬、植物花（果）期、形狀特征、功能用途、地理分布信息等?？破召Y料界面效果見圖6。

3.6 系統(tǒng)設(shè)置

該界面主要用于管理科普資料信息、觀測區(qū)域全景信息、人員權(quán)限信息、識別結(jié)果信息等。管理后臺界面效果見圖7。

圖6 物候期自動觀測系統(tǒng)科普資料界面效果圖

4 結(jié)語

（1）為提高物候觀測數(shù)據(jù)的質(zhì)量和規(guī)范性，解決物候觀測中人手不足、效率低、費時費力的問題，采用卷積神經(jīng)網(wǎng)絡(luò)法自動分類并識別采集的物候觀測二維圖像，建立基于機器學(xué)習(xí)的植物種類和物候期自動識別系統(tǒng)。

（2）本研究植物物候期自動觀測系統(tǒng)平臺共設(shè)計六大功能界面：系統(tǒng)首頁、觀測識別、訂正記錄、資料歸檔、科普資料和系統(tǒng)設(shè)置。

（3）基于實時拍攝的植物圖片，自動識別并輸出植物當(dāng)前物候期結(jié)果是本觀測系統(tǒng)平臺設(shè)計的核心內(nèi)容之一。

（4）后期進一步獲取多個植物物種的周年圖像樣本，人工標(biāo)定圖像中物候期特征，進而構(gòu)建多個物種的物候期自動識別模型及提高模型物候期自動識別結(jié)果的精度，后續(xù)的工作中將更好地改進和完善。

（5）目前，廣東省氣象為農(nóng)服務(wù)農(nóng)情調(diào)查業(yè)務(wù)工作，多以傳統(tǒng)人工調(diào)查實地調(diào)研為主。長期以來，人工觀測在觀測頻次、記錄方式、觀測技術(shù)手段、觀測精度等方面，還無法滿足數(shù)字農(nóng)情監(jiān)測以及種植氣象服務(wù)的要求。植物物候期自動觀測系統(tǒng)平臺核心在于物候期自動識別技術(shù)，該平臺果樹（荔枝和龍眼）物候期識別技術(shù)成熟，具有普遍適用性，適合在全省農(nóng)情調(diào)查物候期觀測業(yè)務(wù)中推廣。全省多點布置物候高清觀測攝像機，一方面可以全天候24 h內(nèi)監(jiān)測植物長勢，實時自動化識別出物候期，另一方面助力構(gòu)建全省果樹（荔枝和龍眼）物候期自動化觀測網(wǎng)絡(luò)體系。

[1] 國效寧. 廣東省農(nóng)業(yè)氣候資源特點及主要氣象災(zāi)害分析[J]. 廣東農(nóng)業(yè)科學(xué), 2013, 40(6): 181-185+237.

[2] 劉俊, 李云云, 劉浩龍, 等. 氣候變化對成都桃花觀賞旅游的影響與人類適應(yīng)行為[J]. 地理研究, 2016, 35(3): 504-512.

[3] 李穎, 陳懷亮. 機器學(xué)習(xí)技術(shù)在現(xiàn)代農(nóng)業(yè)氣象中的應(yīng)用[J]. 應(yīng)用氣象學(xué)報, 2020, 31(3): 257-266.

[4] 王高芳, 牛永波, 裴克莉, 等. 物聯(lián)網(wǎng)技術(shù)在農(nóng)業(yè)氣象服務(wù)中的應(yīng)用[C]. 第35屆中國氣象學(xué)會年會S14大數(shù)據(jù)、互聯(lián)網(wǎng)、融媒體時代氣象服務(wù)的創(chuàng)新與變革——第八屆氣象服務(wù)發(fā)展論壇. 北京: 中國氣象學(xué)會, 2018:3.

[5] 周運麗. 果園物候期自動觀測系統(tǒng)初步研究和實現(xiàn)[J]. 中國新通信, 2018, 20(22): 136.

[6] 趙曉妮, 張藝博, 姚俊強. 錨定目標(biāo)加快推進氣象科技創(chuàng)新[N]. 中國氣象報, 2022-05-25(001).

[7] 余衛(wèi)東, 楊光仙, 張志紅. 我國農(nóng)業(yè)氣象自動化觀測現(xiàn)狀與展望[J]. 氣象與環(huán)境科學(xué), 2013, 36(2): 66-71.

[8] 阿衣敏·沙依熱特, 卡木塞亞·扎木在, 恰力哈爾·霍賽. 我國農(nóng)業(yè)氣象自動化觀測現(xiàn)狀與展望[J]. 現(xiàn)代農(nóng)村科技, 2017(9): 85.

[9] 李要中, 劉鈞, 馬尚昌. 基于AM335X的農(nóng)作物氣象自動觀測系統(tǒng)設(shè)計[J]. 氣象科技, 2017, 45(5): 818-824.

[10] 張雪芬, 農(nóng)業(yè)氣象自動化觀測系統(tǒng)[Z]. 北京: 中國氣象局氣象探測中心, 2014-12-18.

Research and Implementation of Automatic Plant-phenological Observation System Based on the Image Recognition

ZHU Huaiwei1LU Huanping1HUANG Guangmin2WANG Guanglun2FENG Guoan2

(1. Guangdong Ecological Meteorology Center, Guangzhou, Guangdong 510641, China; 2. Guangdong Agro-meteorological Experimental Station, Foshan, Guangdong 528225, China)

In order to solve the problem of time-consuming and manpower shortage in observing plant phenophases manually, taking flower-appreciating and fruit trees as the observational object, build automatic recognition models based on the image recognition technology and developed the automatic plant-phenological observation system. The platform captures video and high-definition image information of plants during the total phenology in real-time, had these basic features such as real-time observation, automatic recognition result display, correction of results manually, popular science information display for plants. After a year and a half of debugging and upgrading, the pre-designed functions are now basically implemented. The automatic platform alleviates the daily workload of plant phenology operational observers and improve agricultural meteorological services, which is full of certain business application value.

phenological period; image recognition; automatic observation; platform design

Q948

A

10.12008/j.issn.1009-2196.2022.09.014

2022-04-24；

2022-05-24

廣東省氣象局科學(xué)技術(shù)研究項目青年基金（No.GRMC2020Q06）；廣東省生態(tài)氣象中心科學(xué)技術(shù)研究項目（No.2150400004）。

朱懷衛(wèi)（1992—），女，碩士研究生，中級工程師，研究方向為農(nóng)業(yè)氣象與氣象應(yīng)用等，Email：zhuhuaiwei214@163.com。

（責(zé)任編輯 龍婭麗）