張慧春 周宏平 鄭加強 葛玉峰 李楊先
(1.南京林業(yè)大學機械電子工程學院,南京 210037;2.內(nèi)布拉斯加大學林肯分校生物系統(tǒng)工程學院,林肯 NE 68583)
高通量測序技術的快速發(fā)展提供了經(jīng)濟和高效的基因組信息,極大地加速了對調(diào)控作物重要性狀基因的挖掘。然而,由于植物表型的復雜性、受環(huán)境影響多變及全程動態(tài)變化等特性,表型研究嚴重滯后于基因型研究,造成植物信息之間無法互聯(lián)互通,也使海量的基因數(shù)據(jù)的科研價值降低[1]。只有將大量可用的基因型信息與表型性狀相匹配,架設起數(shù)據(jù)之間溝通的橋梁,才能充分挖掘基因組、轉(zhuǎn)錄組和蛋白質(zhì)組等組學信息,揭示特征多樣性隨時間變化的趨勢?;诠鈱W成像的表型采集平臺和圖像分析技術是當前植物表型測定的主要瓶頸,由于受限于平臺與技術,缺乏足夠數(shù)量與精度的表型數(shù)據(jù),限制了解析植物生長速率、產(chǎn)量和適應壓力相關基因的能力。表型采集與分析技術結(jié)合基因組信息,可培育出更高產(chǎn)、更優(yōu)質(zhì)、更耐脅迫的作物,從而大大提高育種改良效率[2]。
作物收獲的是表型,而不是基因型。表型是指受基因和環(huán)境決定或影響的復雜植物性狀,包括生長、發(fā)育、耐性、抗性、生理、結(jié)構(gòu)、產(chǎn)量等[3]??蓽y量參數(shù)包括植物高度、葉形態(tài)(如葉片長度、葉片寬度、葉片數(shù)量、葉面積、葉面傾角、葉空間分布等)[4-5]、根形態(tài)(如根長度、根的數(shù)量等)[6]、生物量(指某一時刻單位面積內(nèi)實存生活的有機物質(zhì)總量)[7]、果實特征(如果實大小、果實形狀、果實顏色等)及生物脅迫(包括病害、蟲害、雜草危害等)[8]與非生物脅迫(包括干旱、鹽堿、洪澇等)[9-10]等。
早在DNA和分子標記被發(fā)現(xiàn)之前,人們就已經(jīng)根據(jù)表型對品種進行選擇、確定和改良,依靠肉眼觀察進行表型評估,將田間小塊作物的長勢、倒伏和衰老等作為判斷依據(jù)。植物表型信息采集技術是農(nóng)業(yè)生產(chǎn)領域的重大革新,通過這項技術,可以快速獲取植物的結(jié)構(gòu)、形態(tài)、生長、光合作用等特征,客觀準確地得到各項表型數(shù)據(jù),對生物體進行從宏觀到微觀的系統(tǒng)展示,監(jiān)測作物生長狀況,從而有利于培育出更優(yōu)良的品種,為調(diào)控作物生長環(huán)境提供可靠依據(jù),也為農(nóng)作物優(yōu)質(zhì)豐產(chǎn)研究提供新的方法。
本文從應用環(huán)境的室內(nèi)和田間角度,匯總當前國內(nèi)外的各種類型表型平臺,分析其原理構(gòu)成、獲取的表型參數(shù)和優(yōu)勢特點,闡述面向植物表型信息采集的圖像采集技術和圖像數(shù)據(jù)分析算法,對采集植物表型圖像的分析和處理方法、流程加以總結(jié),對根據(jù)提取的性狀參數(shù)進行作物產(chǎn)量預測、制定相應的栽培管理措施等智能決策應用進行分析,并對未來植物表型信息采集技術和平臺的發(fā)展進行展望。
傳統(tǒng)的植物表型信息采集方法存在樣本量小(測量性狀少)、效率低(多為人工測量)、誤差大(主觀性嚴重)、適應性差(多針對單一植物)等缺點[11],無法適應大批量、快速、準確、無損的表型測量要求,已成為制約植物生物學研究的重要因素[12]。隨著科研需求的增長及成像傳感器技術的發(fā)展,進行高通量、高效率、高精度、低誤差、低成本的自動表型信息采集已成為可能。成像傳感器監(jiān)測的數(shù)據(jù)具有客觀性,且可以對植物進行實時監(jiān)測與分析,因此自動表型信息采集技術開始廣泛用于植物表型信息采集平臺[13-15]。植物表型信息采集平臺的應用需要以下條件:高分辨率的成像傳感器;能進行數(shù)據(jù)自動采集的高精度環(huán)境傳感器;有利于進行計算機視覺、機器學習等處理的優(yōu)質(zhì)數(shù)據(jù);數(shù)據(jù)管理和分析技術[16-20]。
隨著現(xiàn)代化、智能化農(nóng)業(yè)裝備的發(fā)展,學者們希望在大批量植株中挖掘物種功能多樣性、比較品種性能及植株對環(huán)境的響應,以獲取表型性狀之間的關聯(lián),基因、環(huán)境與表型之間的關系等,高通量植物表型信息采集平臺應運而生[21-24]。高通量(HTTP)指的是與人工表型分析相比,能夠測量更多樣品和/或更多數(shù)據(jù)點,不僅在單位時間內(nèi)采樣數(shù)量高,同時數(shù)據(jù)處理和參數(shù)獲取的同步性和高效性也與硬件平臺掃描源數(shù)據(jù)相匹配。高通量表型依賴于快速輸送、自動化傳感、數(shù)據(jù)采集、數(shù)據(jù)分析方法和技術裝備,通過在平臺(包括拖拉機、機器人、無人機、固定軌道、傳送帶、懸索纜架等)搭載多種傳感器,如電荷耦合器件(Charge coupled device,CCD)相機、近紅外儀(Near infrared,NIR)、紅外儀(Infrared,IR)、熱成像儀、光譜成像儀、熒光成像儀等對室內(nèi)、田間的植物進行監(jiān)測,從而在短時間內(nèi)獲取較多的表型參數(shù)[25]。由于植物表型信息采集技術在農(nóng)業(yè)領域存在巨大潛力,各國的科研機構(gòu)與企業(yè)都在積極開發(fā)構(gòu)建高通量植物表型信息采集平臺[26]。
植物表型采集平臺按照搭載方式可分為臺式、傳送帶式、車載式、自走式、門架式、懸索式以及無人機式植物表型平臺,表1列舉對比了部分表型信息采集平臺性能。
表1 植物表型信息采集平臺性能對比
植物表型信息采集平臺按照使用環(huán)境分為溫室植物表型平臺和田間植物表型平臺。室內(nèi)容易控制氣象環(huán)境,包括氣候箱、生長室、溫室等,方便開展不同水分、光照、養(yǎng)分、溫濕度等對植物的影響以及植物對生物和非生物脅迫反應的研究[36-37],實驗可重復性好,有助于完成基因定位和機理分析。
1.1.1臺式植物表型平臺
臺式植物表型平臺是一種專門針對小型植物、小批量采樣的系統(tǒng),通常以氣候生長箱為依托,用于實驗室中??蛇x擇可見光、近紅外、紅外或熒光成像攝像頭中的一種或多種,一般采用攝像頭固定、植物運動的方式進行成像。由于沒有傳送裝置,只能間接進行植物運動測量(必須手工更換樣品)。圖1為荷蘭的臺式多光譜植物表型信息采集平臺PlantMonitor。該平臺包括一個可見光相機和一個熒光相機,通過可見光相機可獲取植物在R、G、B(紅、綠、藍)通道下的圖像,這些圖像可獨立使用,也可以自動合成高分辨率的可見光圖像用于分析。熒光相機可用于葉綠素熒光成像,由于除植物之外包括花盆、土壤等在內(nèi)的其他部分都不含有葉綠素,因此葉綠素熒光成像直接去除了花盆、土壤等背景噪聲,達到圖像分割的目的。此外,對于擬南芥等冠層平展的小型植物,可以自動進行葉片計數(shù)。
圖1 臺式多光譜植物表型信息采集系統(tǒng)PlantMonitor
LemnaTec的臺式掃描分析表型信息采集平臺是一種多功能成像分析系統(tǒng)(圖2),它專為低成本的植物表型分析和小型生物的表型參數(shù)提取而設計[38]。在平臺中,一個RGB傳感器安裝在頂部,下方有光源,底部也有可用照明。樣品需經(jīng)手工裝載,該平臺主要用于花盆植物、小托盤里的植物、培養(yǎng)皿中的植物(如種子、葉盤)、燒杯中的植物(如浮萍)、植物的部分片段(如樹葉、水果)等樣品的表型信息采集。測量的參數(shù)包括尺寸、顏色等信息,這種臺式掃描分析表型信息采集系統(tǒng)對表型參數(shù)測試準確性高、可重復性強,對于研究植物生長過程中植物對環(huán)境脅迫的表型響應、萌發(fā)試驗或生態(tài)毒理測試效果較好。
圖2 LemnaTec的臺式掃描分析表型信息采集系統(tǒng)
中國科學院聯(lián)合其它機構(gòu)研發(fā)了高通量植物監(jiān)測平臺——Crop 3D[39](圖3),該平臺以激光雷達為主,并集成高分辨率相機、熱成像儀、高光譜成像儀等傳感器。Crop 3D高通量植物監(jiān)測平臺對田間或溫室作物的各生長時期進行多源數(shù)據(jù)獲取,結(jié)合自主開發(fā)的軟件,可提取株高、株幅、葉長、葉寬、葉傾角和葉面積等表型參數(shù)。
圖3 高通量植物監(jiān)測平臺Crop 3D
美國阿拉斯加大學臺式表型信息采集系統(tǒng)主要針對小型植物,如圖4所示[40],能自動進行高通量測試。該生長箱除了可以精確控制溫度、濕度、光照強度外,還在軌道上安裝了可見光相機、熒光成像儀和近紅外成像儀來定時采集植物圖像。需要手動檢查托盤的目標質(zhì)量,用水分測量儀來測試土壤水分數(shù)據(jù)。當葉片足夠大時,還可測定植物的光合作用效率。
1.1.2傳送帶式植物表型平臺
傳送帶式植物表型平臺是在溫室內(nèi)將各類成像裝置和傳感器固定,盆栽植物裝在與牽引件連結(jié)在一起的承載構(gòu)件內(nèi),或直接裝在輸送帶上,利用工作構(gòu)件的旋轉(zhuǎn)運動或往復運動,使盆栽植物向前輸送,運動到有成像裝置的暗箱或傳感器處,進行表型數(shù)據(jù)的采集,采集完成后繼續(xù)移動,形成閉合環(huán)路。
圖5為荷蘭WPS公司的溫室植物表型平臺,該平臺通過傳送帶將植物傳送到指定成像模塊,并依次對植物進行成像。對成像后的植物進行參數(shù)提取,從而獲取植物生長狀況。由于所有植物都采用條形碼進行標記,其各個生長階段的所有表型數(shù)據(jù)都可定期、自動進行監(jiān)測,適用于盆栽、小型作物。荷蘭Ovata應用這種溫室高通量植物表型平臺實現(xiàn)了多肉植物從播種、灌溉、施肥到清洗苗床等過程的全自動作業(yè)。
圖5 WPS公司的傳送帶式溫室植物表型平臺
美國內(nèi)布拉斯加大學林肯分校建立了傳送帶式溫室高通量植物表型平臺(圖6)[41],可實現(xiàn)對最高4 m的玉米、高粱等高大作物的表型信息提取,傳送帶輸送系統(tǒng)將植物自動送入RGB、近紅外、熱成像、穩(wěn)態(tài)熒光、高光譜等5個獨立的成像暗室,采集植物的形態(tài)結(jié)構(gòu)參數(shù)和生理生化參數(shù),以此來分析植物生長、水分利用、生物量等表型信息。
圖6 內(nèi)布拉斯加大學的傳送帶式溫室高通量植物掃描成像暗室表型平臺
溫室中的植物表型信息與田間的植物表型信息相關性有限,不能代替田間表型研究。田間環(huán)境可以研究植物在自然條件下的性狀,氣象環(huán)境真實,土壤不受限于盆,且環(huán)境開闊,有利于高通量植物表型的研究,方便全球定位系統(tǒng)(GPS)、地理信息系統(tǒng)等技術的融合使用,空間解析度好,有助于發(fā)現(xiàn)野外自然條件對于生物變異和生物多樣性的影響,研究成果也可直接應用于生產(chǎn)實踐中。面向田間的植物表型平臺從近端到遠距離精確、連續(xù)采集單個葉片或植物器官、單株植物、小地塊和整個農(nóng)場,主要包括車載式、自走式、門架式、懸索式以及無人機、航空遙感和光譜衛(wèi)星成像等幾種類型(圖7)[42]。
圖7 面向田間的植物表型平臺
1.2.1車載式植物表型平臺
車載式植物表型平臺[43]主要是指由拖拉機等進行驅(qū)動[44-46],按照植物種類和生長狀況布置傳感器,并搭載其他配件(如電力設備、數(shù)據(jù)存儲器等)的平臺。這種平臺旨在降低成本、減少人力和提高工作效率。這類平臺可以在GPS、陀螺儀等配合下實現(xiàn)自動導航。由于田間土壤分布異質(zhì)化等特點,車載系統(tǒng)在行進過程中不可避免地存在顛簸和抖動。同時,它對作物生長有較大的機械影響,常引起土壤壓實,從而對植物造成損害,且由于機身高度有限,主要適用于小麥、棉花等低矮作物,并受到行株距和植物空間限制。除了田間土壤條件可能限制操作外,許多地面車輛需要人工操作,無法快速通過試驗田,也限制了該方法的高通量表型分析能力。在特定的氣候時期,潮濕的土壤條件可能是一個限制因素。如對于冬季作物來說,只要土壤沒有凍結(jié),車載式表型平臺就無法順利下地,因此阻礙了表型信息的采集。
愛荷華州立大學開發(fā)了搭載在約翰迪爾1026R型小型拖拉機上的植物表型平臺,如圖8所示[47]。該系統(tǒng)除了擁有多個進行植物表型數(shù)據(jù)采集的GRAS-20S4C-C型深度相機外,還配備了Topcon 350型自動導航系統(tǒng)和AGI-4型接收器/轉(zhuǎn)向控制器,實現(xiàn)了自動在田間行駛采集表型數(shù)據(jù)。結(jié)合天線、接收器和轉(zhuǎn)向控制器,可達到2 cm的定位精度。一個可旋轉(zhuǎn)的平臺連接在拖拉機前,用于支持立體攝像機和調(diào)節(jié)攝像頭到作物之間的距離,一次拍攝兩排立體圖像,多幅圖像進行拼接來實現(xiàn)作物表型信息的全采集。
圖8 搭載在小型拖拉機上的表型平臺
美國內(nèi)布拉斯加大學林肯分校開發(fā)的田間高通量表型分析平臺(圖9)用于大豆和小麥的田間數(shù)據(jù)采集[48],搭載了超聲波傳感器、熱紅外輻射儀、植被覆蓋指數(shù)傳感器、光譜測定儀和RGB相機,將這些傳感器按照模塊固定在傳感條上,并配有GPS定位和溫濕度環(huán)境條件采集等功能,能在野外田間進行大范圍的快速表型數(shù)據(jù)采集提取。
圖9 美國內(nèi)布拉斯加大學林肯分校的田間高通量表型分析平臺
美國農(nóng)業(yè)部開發(fā)了搭載在高地隙拖拉機上的田間高通量表型分析平臺(圖10),主要用于棉花等冠層結(jié)構(gòu)復雜、株型矮小植物的表型信息監(jiān)測[49]。有4個可調(diào)臂搭載在該高地隙拖拉機前臂上,集成安裝了多個可進行近距離拍攝的傳感器同時采集數(shù)據(jù)。傳感器臂的高度可根據(jù)植物生長的時間進行調(diào)節(jié),安裝了慣性測量單元(IMU)和實時動態(tài)差分定位系統(tǒng)(RTK-GPS),前臂還采用陣列的形式安裝了超聲波傳感器Honeywell和Pepperl+Fuchs、激光雷達傳感器LidarLite、掃描波束傳感器LMS511。試驗結(jié)果表明該傳感器集成系統(tǒng)可以提供更精確的植物株高,用于鑒定水分和營養(yǎng)缺乏引起的植物脅迫表型反應。
圖10 搭載在高地隙拖拉機上的田間高通量表型分析平臺
1.2.2自走式植物表型平臺
圖11 Vinobot機器人表型平臺
自走式植物表型平臺也稱為機器人表型平臺,其自身可以提供驅(qū)動動力、行走動力,不需要其它動力提供就能完成表型信息采集作業(yè)。在設計自走式植物表型系統(tǒng)時,需要考慮4個主要的部分,即移動平臺、導航定位、儀器裝備和數(shù)據(jù)管理。圖11為美國密蘇里大學研制的Vinobot機器人表型平臺[50]。該平臺搭載深度相機(獲取深度信息)和環(huán)境傳感器(溫度傳感器和光強度傳感器),按照預定導航線路進行田間表型信息采集,從而減少人力,提高工作效率。該平臺適用于高粱、玉米等田間作物。機器人表型平臺的優(yōu)勢是設置好行走導航線路后就不需要人工控制,可全天24 h連續(xù)獲取表型信息,且體積較小。
圖12為愛荷華州立大學開發(fā)的機器人表型平臺[51]。通過集成3D機器視覺,采集側(cè)視圖3D點云作物行數(shù)據(jù),建立的點云處理算法可估算預測植物整個生長階段的高度、葉角、植物朝向和莖干直徑等表型參數(shù),機器人平臺從連續(xù)深度幀中獲得側(cè)視點云數(shù)據(jù),并進行信息記錄,在RTK-GPS傳感器的作用下產(chǎn)生匹配精準定位的表型數(shù)據(jù)信息。
圖12 基于3D機器視覺的表型信息自動采集機器人平臺
1.2.3門架式植物表型平臺
田間環(huán)境條件復雜,不利于人工控制,比如從白天到夜間的光照強度變化會影響成像技術的準確性;另外,車載式平臺可能會因路面不平導致設備抖動,進而影響成像質(zhì)量。為獲得高精度表型信息,且對植物進行全天監(jiān)測、不因設備抖動而影響成像質(zhì)量,門架式田間表型平臺應運而生。門架式表型平臺是指在田間搭建固定軌道,利用電機驅(qū)動傳感器系統(tǒng)對植物進行監(jiān)測的移動平臺。該系統(tǒng)可在任何環(huán)境下進行全天候測量,且不會由于機構(gòu)抖動而影響成像質(zhì)量,是采集高分辨率表型信息較為理想的田間平臺。
比較有代表性的門架式植物表型平臺有荷蘭Pheno Spex公司的FieldScan平臺(圖13)[52],它采用植物激光三維掃描測量儀PlantEye作為核心,并集成了其它多種傳感器來獲取植物生長情況。通過3D的頂部成像,不僅能獲得葉面積、葉傾角、冠層等參數(shù),還可在任何環(huán)境條件下全天候測量,同時還能確保較高的精度和通量。
圖13 FieldScan門架式植物表型平臺
圖14 Field Scanalyzer門架式植物表型平臺
英國洛桑研究所使用的Field Scanalyzer門架式植物表型平臺(圖14)是利用門架式起重系統(tǒng)設計和組建的3軸表型系統(tǒng)[53],可對10 m×110 m范圍內(nèi)的作物以高分辨率進行全天24 h自動化監(jiān)視。X軸方向的運動是通過軌道系統(tǒng)進入地面,以允許自然排水和無障礙運行,傳統(tǒng)的混凝土地基可以充當流動屏障,Y軸垂直于軌道,并且承擔攝像機設置的升降裝置,Z軸是升降單元上下移動的方向。X軸運動單元是由兩個變頻電源組成,被綁定在支撐梁上,Y軸包括門式框架,并保護Z軸的運動,F(xiàn)ield Scanalyzer系統(tǒng)的推進包括兩個電動逆變器供電引擎,驅(qū)動底部兩個齒輪傳輸,Y軸和Z軸同樣是由電動逆變器和齒條一起供應運轉(zhuǎn),確保系統(tǒng)在X、Y、Z軸上的精密運動。門架式植物表型平臺所搭載的照明裝置方便數(shù)據(jù)的收集,傳感器包括多波長成像系統(tǒng)、測量葉綠素熒光傳感器、三維可視化系統(tǒng)和測定作物高度的激光系統(tǒng)。
1.2.4懸索式植物表型平臺
懸索式植物表型平臺固定在某一個田間地塊,采集的表型數(shù)據(jù)來源于自然環(huán)境,可靠度高,但它的缺點是采樣地塊固定,植物種植面積和品種有限。
瑞士聯(lián)邦理工學院建立的田間高通量植物表型平臺是一個懸索式多傳感器平臺,用于自動化、精確、高通量地進行植物表型數(shù)據(jù)采集[54]。它位于瑞士蘇黎世植物科學研究站,在1 hm2的矩形田塊內(nèi)配備4根24 m高的塔柱(圖15a),塔柱頂端的滑輪引導纜繩,纜繩由位于每根塔柱底部的絞車操作(圖15b)。配有多個成像裝置的傳感器頭連接在電纜上(圖15c),通過控制絞車調(diào)整纜繩的長度,從而調(diào)整傳感器頭的位置。每根絞車有2根纜繩,總質(zhì)量為90 kg的傳感器頭由8根纜繩攜帶,不僅確保傳感器頭不會在纜繩斷裂的情況下墜毀,還起到了抗風、防傾的作用。傳感器頭在田間上方任何位置的定位高度最大可達6 m,位移速度最快為2 m/s。搭載的傳感器(圖15d)包括2個單反相機(佳能5D Mark Ⅱ)、激光掃描儀(Faro Focus 3D)、熱成像儀(InfratecVarioCAM)。
圖15 瑞士聯(lián)邦理工學院的田間高通量植物表型平臺
美國內(nèi)布拉斯加大學林肯分校建立了田間懸索式植物表型平臺Spidercam,如圖16所示[55]。該懸索平臺上搭載有多個攝像頭和傳感器,如RGB相機、近紅外相機、激光雷達和多光譜儀,可以準確地定位在一個田塊進行信息傳感和表型成像[56]。該系統(tǒng)有4個塔桿牽引若干纜繩,傳感器集成系統(tǒng)在纜繩中間的交匯處。纜繩上的張緊力根據(jù)其位置進行實時動態(tài)調(diào)整,通過縮短和延長每一根纜繩,精確控制傳感器系統(tǒng)到達一個特定的位置,從地面上升最高高度達9 m。該場地還配備了先進的自動化氣象站,以及先進的地下滴灌系統(tǒng),用于在15 m×20 m的地塊上進行水和肥料的精確施用。
圖16 美國內(nèi)布拉斯加大學林肯分校的Spidercam田間懸索式高通量植物表型平臺
1.2.5無人機植物表型平臺
無人機植物表型平臺是指將用于測量作物生長和發(fā)育的傳感器搭載到小型無人機,以獲得作物生長參數(shù)的平臺[57]。它相比車載平臺具有更廣泛的測量面積與更高的測量效率。但是無人機植物表型平臺通常飛行時間短,受載荷限制,只能攜帶小型傳感器,比車載平臺能搭載的傳感器數(shù)量要少,因此采集的表型信息有限。而且,在多風、大風的條件下操作會導致很多問題發(fā)生,同時,在無人機下面的空氣湍流會強烈影響冠層結(jié)構(gòu)。另外,基于無人機的植物表型平臺通常離作物冠層很遠,因此,圖像的分辨率通常很低。目前利用無人機植物表型平臺搭載熱像儀監(jiān)測小麥和玉米冠層溫度、氣孔導度和葉片水分狀態(tài)等指標的精度較高,而在棉花應用上精度較低[58]。
圖17 HiSystems公司安裝有RGB傳感器的MK-Oktokopter旋翼無人機
考慮到靈活性與飛行時間,最廣泛使用的小型無人機類型是多旋翼飛行器和固定翼飛行器[59]。多旋翼飛行器由4~8個螺旋槳驅(qū)動,可以在不同高度飛行且可以在不同高度懸停,具有較強的靈活性,它能在GPS引導下水平或者垂直飛行,具有懸停能力,且對起降條件要求較低,只需要較短的??繒r間。圖17為HiSystems公司安裝有RGB傳感器的MK-Oktokopter旋翼無人機[60]。與多旋翼飛行器相比,固定翼飛行器(圖18)的飛行時間較長,且具有更快的飛行速度和更高的飛行高度,且續(xù)航較長,但無法懸停,且由于高速拍攝會導致圖像模糊,需使用高快門速度的成像傳感器。目前在田間作物表型解析應用中,多旋翼飛行器表型平臺的應用較為廣泛,然而,續(xù)航時間短、有效載荷不足和易受天氣影響是限制其廣泛推廣應用的主要瓶頸因素[61]。在這種高速條件下采集作物的表型信息,會導致圖像模糊,可以通過改進成像傳感器功能來改善[62-63]。目前正在改進電池與電機的性能以延長飛行時間,如使用太陽能資源等。
圖18 固定翼式無人機植物表型平臺
1.2.6其他遠距離遙測植物表型平臺
隨著技術的發(fā)展,高分辨率、高質(zhì)量的傳感器成像系統(tǒng)重量已經(jīng)超過了無人機的有效載荷限制,因此面向田間的遙測植物表型需要更大的平臺,如飛機和衛(wèi)星。田間大規(guī)模的植物表型監(jiān)測和大面積的病蟲害識別對指導不同的田間管理和植物栽培具有重要的現(xiàn)實意義[64]。最近,遙測植物表型衛(wèi)星平臺陸續(xù)投入使用,其配備多個傳感器,包括美國國家航空航天局的星載熱輻射計、土壤水分監(jiān)測儀、高光譜紅外成像儀等,這些傳感器在衛(wèi)星平臺上大尺度收集高分辨率光譜和環(huán)境數(shù)據(jù),并提供緩解土地干旱和植物水分利用效率低下的方案[65-67]。
綜上可見,面向溫室的植物表型平臺主要按照植物移動或傳感器移動兩種方式來實現(xiàn),“植物移動”就是傳感器保持固定位置、目標植物通過傳送帶等運輸平臺進入到采集區(qū)進行圖像采集,但傳送帶的搬移或轉(zhuǎn)盤的旋轉(zhuǎn)會導致植物尤其是葉片微小、莖稈細長類型植物的器官抖動,影響表型信息采集的質(zhì)量,使得圖像的噪聲過大,影響對植物表型信息的采集和分析?!皞鞲衅饕苿印本褪侵参镌厣L、通過移動傳感器到目標植物種植區(qū)域進行圖像采集等表型信息獲取,這種掃描作業(yè)方式保持了植物位置的固定,對植物的真實生長干擾少,傳感器移動的靈活性大,工作效率高,成為當前研發(fā)的主要方向。但是,傳感器在移動過程中實時采集大規(guī)模植物的群體數(shù)據(jù)并實現(xiàn)高通量的表型參數(shù)提取,對于硬件集成和軟件開發(fā)而言都是巨大的挑戰(zhàn)。面向田間的植物其種植模式?jīng)Q定了只能采用“傳感器移動”的方式對固定有效觀測區(qū)內(nèi)植物進行連續(xù)觀測,表型平臺面臨著環(huán)境因素互作、高密度種植、采集規(guī)模尺度大等問題,其難點在于環(huán)境尤其是光照的復雜性和不穩(wěn)定性,這給圖像處理帶來了很大的難度。另外,在田間,植株以群體而非單株的形式生長,不同植株間相互遮擋,不同器官間密度也存在差異,這給研究田間群體條件下單株植株的表型帶來了很大困難。
植物表型信息平臺可進行精確、自動化和可重復的植物特性參數(shù)測量,涉及形態(tài)結(jié)構(gòu)、幼苗活力、生物量、產(chǎn)量等,還可用于獲取光合作用、蒸騰作用、病蟲害和抗逆性等性狀。植物表型信息采集系統(tǒng)主要通過圖像采集技術對植物的物理、生理、生化等信息進行成像[68-69],然后通過圖像數(shù)據(jù)分析技術對獲取的表型參數(shù)進行解析,提取影響植物產(chǎn)量的相關參數(shù),用于分析表型與基因組的關系,從而為生長監(jiān)測、種植管理、脅迫響應和大田估產(chǎn)智能決策提供理論依據(jù)和技術支持,對需要進行操作的植物采取一定作業(yè)措施。
量化植物表型是實施植物表型分類的關鍵步驟。現(xiàn)代圖像采集技術具有很高的分辨率,可以實現(xiàn)多維和多參數(shù)數(shù)據(jù)可視化。成像技術用于量化植物生長和產(chǎn)量的復雜性狀,以便在室內(nèi)或田間對植物表型進行分析。使用圖像采集技術來實時監(jiān)測植物生長和脅迫下的動態(tài)反應也可以更容易地實現(xiàn)。目前,植物表型主要成像技術包括可見光成像、高光譜成像、紅外成像、近紅外成像、熱成像、熒光成像、三維成像、激光成像、CT技術等[70-71],這些成像技術對應的傳感器能夠進行圖像采集從而得到不同的植物表型參數(shù)。表2對當前主流圖像采集技術的傳感器、原始數(shù)據(jù)、獲取參數(shù)、應用優(yōu)勢和成像環(huán)境等方面進行了分析[72-74]。
圖19展示了利用不同圖像采集技術獲取和分析的擬南芥圖像。使用可見光成像技術獲取的圖像用來測量植株的大小、顏色和形態(tài)結(jié)構(gòu),使用熒光成像技術獲得的圖像用來分析評估植物葉綠素含量,以及使用近紅外成像技術獲得的圖像用于監(jiān)測植物的含水量[91]。開發(fā)準確、自動、穩(wěn)健的圖像分析算法,從圖像中提取感興趣的表型性狀,是自動化表型測量的關鍵。植物生長是一個復雜的動態(tài)系統(tǒng),隨著時間推移,植株的外觀表現(xiàn)如形狀、大小、顏色、形態(tài)、結(jié)構(gòu)、紋理等都會不斷改變。同一時間節(jié)點下不同品種的植株,其外觀表現(xiàn)差異也很大,這些因素都增加了自動化植物圖像分析的難度。
表2 不同圖像采集技術在植物表型中的應用
圖像數(shù)據(jù)分析是對成像傳感器得到的植物圖像進行處理分析。通過對傳感器捕獲的圖像進行處理,提取出可能影響作物產(chǎn)量的表型參數(shù),然后對獲取到的表型參數(shù)進行整合分析,從而準確分析計算生物量、葉面積指數(shù)、生長速率等與作物產(chǎn)量相關的性狀,進一步研究控制該性狀的基因,實現(xiàn)基因改良,提高作物產(chǎn)量的目標。植物葉片在電磁波譜上的吸收和反射率特性可以用來評價許多生物物理特性,對光譜反射數(shù)據(jù)進行經(jīng)驗性處理與分析,能夠構(gòu)建大量的植被指數(shù),可用來監(jiān)測作物的葉面積指數(shù)、葉綠素含量、植株養(yǎng)分和水分狀態(tài)、生物量和產(chǎn)量等表型信息。在圖像數(shù)據(jù)分析算法中,重點考慮的兩個因素是獲取的圖像類型以及如何對其進行分析處理。例如作為生物量的重要指標之一,歸一化植被指數(shù)(Normalized difference vegetation index,NDVI)被用來表征作物生長狀況和預測葉面積指數(shù)、產(chǎn)量,確定NDVI有多種方法,可以使用無人機采集的植被覆蓋度圖和RGB圖像之間的降尺度與隨機回歸來預測裸地、光合植被和非光合植被覆蓋,也可以通過基于多光譜圖像中識別的終端元件進行光譜分離,還可以使用基于對象的分類法標記圖像片段來確定覆蓋指數(shù)[92-93]。
圖20為基于圖像的植物表型分析技術和工作流程,總結(jié)了當前的圖像數(shù)據(jù)分析處理方法,并介紹了基于圖像的植物表型工作流程,這些分析技術促進了基于圖像的表型學的發(fā)展。圖像數(shù)據(jù)分析包括圖像預處理、圖像分割、特征提取和機器分類等環(huán)節(jié)。
圖像預處理的目的是提高對比度和消除噪聲,從而增強給定圖像中感興趣的部分,可以使用圖像裁剪、區(qū)域限制、對比度改善等簡單操作或主成分分析、聚類分析等復雜算法來進行圖像預處理,然后才能進行有意義的圖像分割。
圖19 用可見光、熒光和近紅外成像技術采集及分析的擬南芥圖像
圖20 基于圖像的植物表型分析技術和工作流程
從圖像中提取信息是通過分割來完成的,圖像分割是植物表型圖像處理的核心,其目的是提取感興趣的部分,即去除圖像的背景或其它無關的組件。因此,最終得到一個具有重要區(qū)域的分區(qū)圖像,重要區(qū)域可以定義為前景對背景,或者通過從圖像中選擇多個單獨的組件[94]。所選區(qū)域的構(gòu)建可以基于顏色、光譜輻射度(植被指數(shù))、邊緣檢測、相鄰近似性等圖像特征,或者通過機器學習進行集成的組合。圖像分割時,感興趣的對象由紋理、顏色等參數(shù)中像素的內(nèi)部相似性來定義,最簡單的算法是閾值分割,根據(jù)強度級別在灰度上創(chuàng)建像素組,從而將背景與目標分離。
特征提取是基于計算機視覺的目標識別和分類歸納的支撐技術之一,其目的是提供各組分類以進行機器學習,從圖像中提取的特征被處理成“特征向量”,包括邊緣、像素強度、幾何形狀、不同顏色空間像素的組合等。特征提取是一項艱巨的任務,需要對數(shù)百種特征提取算法進行測試,并進行各種算法的組合測試以提取可靠的表型數(shù)據(jù)。
高通量圖像采集技術所產(chǎn)生的大量數(shù)據(jù)促進了機器學習統(tǒng)計方法的使用,機器學習利用各種統(tǒng)計和概率工具從植物表型的海量數(shù)據(jù)中“學習”,對獨特的數(shù)據(jù)進行分類,識別新的模式,并預測新的趨勢[95]。機器學習為數(shù)據(jù)分析提供了框架,使用因素組合來識別模式,而不是執(zhí)行片面的分析[96]。經(jīng)過機器學習這個最終環(huán)節(jié),就可以實現(xiàn)葉長葉寬、面積周長、葉片個數(shù)、葉面傾角、生長角度、卷曲度、葉空間分布、葉綠素含量等葉片表型參數(shù)的獲取[97]。機器學習方法的使用依賴于數(shù)據(jù)預處理的3個關鍵方面,即識別、分類和量化。最近鄰算法、偏最小二乘、隨機森林、支持向量機、人工神經(jīng)網(wǎng)絡和樸素貝葉斯算法等建模方法在解析基于光學成像的植物表型信息時具有廣泛的應用。由于波段間反射率有著密切的關系,造成線性模型所需參數(shù)的重復,因此在解析植物表型的圖像數(shù)據(jù)時可以利用偏最小二乘法、主成分分析和人工神經(jīng)網(wǎng)絡等方法,結(jié)合高光譜信息,構(gòu)建包含更多波段的模型,以期更好的解釋模型預測的變異。針對基因型+表型的數(shù)據(jù)建立數(shù)據(jù)庫,以基因組數(shù)據(jù)為輸入變量、以表型數(shù)據(jù)為輸出變量,以實現(xiàn)從品種的基因型來預測表型,進而通過改良品種來提高產(chǎn)量。
智能決策將圖像數(shù)據(jù)分析得到的表型數(shù)據(jù)與預先設定好的標準數(shù)據(jù)進行比對,從而及時進行決策,對與標準數(shù)據(jù)有出入的植物采取一定措施,圖像采集和圖像數(shù)據(jù)分析都是為智能決策服務的,從而為精確育種、精確施肥、精確灌溉、精確施藥、精確采收等精確農(nóng)業(yè)全過程提供理論支持和技術依據(jù)[98]。
對于用在室內(nèi)表型平臺的智能決策,計算機按照預先設定的程序判斷是否對植物采取措施。例如,植物在低肥或缺水脅迫下,其葉片就會產(chǎn)生失綠、發(fā)黃、發(fā)蔫、枯萎等顏色和形態(tài)變化,通過圖像處理監(jiān)測到這種表型變化后,進行智能決策并提高其肥料的影響水平以確保植物的正常生長[99-100]。荷蘭的Ovata多肉植物公司采用CCD相機對傳送裝置上的多肉植物進行圖像采集,并通過圖像處理對其進行植物高度、冠幅等長勢數(shù)據(jù)計算,利用分級系統(tǒng)將植物按照其長勢分成不同的等級,利用機器人將不同等級的多肉植物放到相應的苗床,送至不同的溫室種植區(qū)進行培養(yǎng)。整個環(huán)節(jié)實現(xiàn)了全自動化處理,極大節(jié)省了人力。
對于用在田間表型平臺的智能決策,可根據(jù)提取的性狀參數(shù)進行作物產(chǎn)量預測,并制定相應的栽培管理措施。如在作物早期至中期多次收集光譜反射率數(shù)據(jù),然后利用數(shù)據(jù)計算植被指數(shù),建立動態(tài)變化模型和季節(jié)性糧食產(chǎn)量預測模型,繼而進行診斷決策和追肥的定量調(diào)控[101]。利用熒光成像在不破壞植物葉片的情況下,采集葉綠素指標,不僅可以分析其化學元素含量,還可以評估產(chǎn)量,并決定農(nóng)業(yè)生產(chǎn)中化學農(nóng)藥的投入[102]。利用熱成像儀獲取光譜反射率和冠層溫度等性狀也可以預測作物長勢,而且在整個生長季節(jié)可以多次測量,不僅可以監(jiān)測植物生長,還可以分析估計籽粒產(chǎn)量,并對育種改良計劃進行決策[103]。
綜上所述,植物表型信息采集平臺通常是自動化的,因此,在植物生長的整個生命周期中,可以多次獲得有關植物表型的數(shù)據(jù)。獲取圖像是植物表型信息采集平臺的基本功能,當前的挑戰(zhàn)在于對圖像的分析。成千上萬的、在短時間內(nèi)獲得的圖像可以經(jīng)過圖像分析技術提取出高度、葉片數(shù)量、分蘗數(shù)、冠層覆蓋度、葉面積、地上部生物量、生長速度和水分利用效率等[104-105]。對于玉米、高粱、水稻等單子葉作物的全生長階段和棉花、大豆、花生等雙子葉植物的早期生長階段,由于各器官間無遮擋或僅有輕微遮擋,可拍攝多個角度下的植株圖像,開發(fā)對應的圖像處理與分析技術計算不同角度的植株投影面積,進而提取出各個表型性狀,估測葉面積或地上部生物量。當植株長大尤其是分蘗后,葉片間遮擋較嚴重,不同器官間其密度增大,簡單的投影面積已經(jīng)無法準確估測葉面積或地上部生物量,這時需結(jié)合生長天數(shù)、形態(tài)學參數(shù)、紋理參數(shù)等能反映植株生長情況的特征參數(shù)來提高生物量的估測精度。通過分析植株的紅外成像和顏色等光學成像信息,還可定量化研究由于脅迫或病變等引起的植株受損衰老程度、氣孔導度、葉綠素含量、光和功能等生理生化表型性狀的改變,這些復雜參數(shù)的無損估測是比較多種植物基因型資源利用效率和抗逆性的重要依據(jù)[106]。
植物表型信息的獲取速度緩慢,阻礙了遺傳和基因組分析的進展,隨著表型信息采集技術與平臺的不斷成熟,將在農(nóng)林業(yè)中得到更廣泛應用。整合有效資源,建立相關的研究設施,開發(fā)性價比高的表型研究平臺,對推動我國分子育種和加速挖掘種質(zhì)資源至關重要,有助于推進我國植物育種和農(nóng)業(yè)的跨越式發(fā)展,展望未來,植物表型信息采集平臺與分析技術將有以下發(fā)展熱點和趨勢:
(1)開發(fā)植物表型信息采集平臺的多傳感器集成系統(tǒng),實現(xiàn)高整合度、高分辨率、抗干擾性強的目標。近年來,單獨使用某種成像傳感器獲取作物表型信息受限于測量樣本批量少、處理速度慢、分析精度低及所得表型參數(shù)單一而不能全面滿足科研及應用需求。大部分現(xiàn)有表型采集平臺都只針對少數(shù)幾個表型性狀甚至是單一表型性狀,而在植物表型研究如抗旱、抗倒伏、耐鹽堿、抗病蟲害等抗性特征篩選中,往往需要同時提供多種表型信息,以便于更準確全面地進行分析。面對快速和高通量的科研需求,今后的表型信息采集平臺將融合多種傳感器,并能夠自動收集數(shù)據(jù),充分整合它們的性能以實現(xiàn)多個參數(shù)的并行測量,全面提取表型性狀。所以,應選用高分辨率、抗干擾性強的傳感器,并優(yōu)化它們的安裝位置和角度以充分利用其性能。
(2)將植物生長環(huán)境監(jiān)測模塊融入植物表型信息采集平臺中。同樣的作物、同樣的基因在不同的環(huán)境下,生長出來的表型可能就不一樣,可見研究表型與基因、環(huán)境之間的關系至關重要。表型受到基因及環(huán)境的交互影響控制,植物生長和發(fā)育與生長環(huán)境密切相關,然而現(xiàn)有的植物表型信息采集平臺很少將生長環(huán)境納入到監(jiān)測體系,從而缺少了一項與植物生長發(fā)育息息相關的指標。環(huán)境如種植季節(jié)和栽植密度,生長過程中的生物脅迫及溫度、濕度、水分、光照、營養(yǎng)等非生物脅迫都會在很大程度上影響植物的生長發(fā)育,從而影響到其表型。因此,在記錄表型信息的同時,必須記錄植物生長過程相對應的環(huán)境信息。監(jiān)測植物生長環(huán)境對于分析不同基因型植物的表型變化很有必要。通過在表型信息采集平臺上安裝相應環(huán)境傳感器(如土壤養(yǎng)分測試儀、溫濕度傳感器、輻照度測量儀),監(jiān)測土壤養(yǎng)分、環(huán)境溫濕度以及太陽輻射等參數(shù),并結(jié)合植物表型建立相應數(shù)據(jù)庫系統(tǒng),從而分析植物表型與生長環(huán)境之間的關系。
(3)開發(fā)針對林木的表型信息采集平臺。目前對農(nóng)作物進行表型分析的平臺很多,卻鮮見對林木的表型分析平臺。與農(nóng)作物相比,林木的以下特點不便于對其進行表型采集和分析。首先,林木一般比較高大,這就要求對林木進行表型信息采集的平臺有足夠的高度;其次,林木多枝且葉密,更容易造成葉片間的遮擋,意味著更不易獲取完整的表型信息;第三,林木的生長周期一般較長,不便于對生長周期長的林木進行全生長周期的觀測;第四,根系發(fā)達和株型較大的林木,決定了這類林木不能像農(nóng)作物一樣在溫室內(nèi)進行培育,因此不便于使用溫室自動化表型平臺。林木的這些特性意味著對林木進行表型分析的平臺結(jié)構(gòu)、圖像處理算法及多源數(shù)據(jù)整合的要求更高。雖然對林木進行表型信息采集有一定的難度,但從林木的經(jīng)濟價值及生態(tài)價值角度考慮,有必要通過研究林木的表型(如葉面結(jié)構(gòu)、表皮特性、樹高、冠幅、根結(jié)構(gòu)、果實、木質(zhì)素等),培育出有利于提高經(jīng)濟價值和提升人類生存環(huán)境的樹種,從而完善表型信息采集系統(tǒng)在植物領域的應用。
(4)對傳感器獲取的表型數(shù)據(jù)進行更好的集成與挖掘,從而高效、直觀的進行管理與分析。使用多種傳感器雖然可以提供豐富的植物信息,但數(shù)據(jù)量較大,處理起來耗時,如何將各個傳感器采集到的數(shù)據(jù)進行管理及系統(tǒng)分析,從而提取出統(tǒng)一的、比單一數(shù)據(jù)更好、更豐富的信息以獲取表型性狀之間的關聯(lián)也是植物表型研究所面臨的難點。解決這一難點,首先應根據(jù)監(jiān)測對象優(yōu)選出各傳感器相應采集到的數(shù)據(jù)。然后,對優(yōu)選出的傳感器數(shù)據(jù)進行預處理,避免未經(jīng)處理的數(shù)據(jù)在多元集成時影響融合效果。例如,同樣對于葉面的監(jiān)測,激光雷達掃描儀可獲取葉面積,光譜成像儀可測試葉面的健康狀況,熒光成像儀可分析出葉片的光合作用狀況,將這些傳感器得到的葉片數(shù)據(jù)分別進行提取、處理,并進行融合集成,可得到關于葉片生長發(fā)育的全面綜合信息。
(5)無損原位根系表型信息采集技術有助于得到地下部分的表型數(shù)據(jù)。植物表型信息采集技術大多應用于地上可見部分,而地下根系的監(jiān)測技術較為落后。根是植物生長發(fā)育的重要器官,它可以通過改善對營養(yǎng)和水分的吸收來提高植物在資源有限環(huán)境中的生存能力。評估識別和有選擇地將對環(huán)境敏感的根系引入育種計劃是改善資源有限條件下農(nóng)作物生產(chǎn)力的一個新興領域。目前,主要通過將植物種植在透明的非土壤介質(zhì)如營養(yǎng)液、凝膠或瓊脂培養(yǎng)皿上進行根系表型信息采集,它避免了土壤對成像模塊的影響,可直接觀察到根系形態(tài)及生長狀況,其缺點在于這些非土壤介質(zhì)的理化性質(zhì)與土壤差別較大,無法真實地展現(xiàn)根系在土壤中的形態(tài)及結(jié)構(gòu)的動態(tài)發(fā)展情況。而且,受限于培養(yǎng)袋和培養(yǎng)皿的種植體積,這種方法只適用于小型作物的根系表型信息采集。未來應發(fā)展根系表型信息采集技術,如利用X射線的巨大穿透力和高分辨率(μCT,可達24 μm)對植物地下的根系進行表型研究。
(6)表型數(shù)據(jù)的共享和統(tǒng)一開放的標準將有助于基因組的解碼,學科交叉間的深度合作有助于切實將技術轉(zhuǎn)化為生產(chǎn)力。將基因組學信息、表型組學信息及其他組學包括代謝組學、蛋白質(zhì)組學及轉(zhuǎn)錄組學的信息綜合起來進行數(shù)據(jù)重析和深入挖掘,可以快速解碼大量未知基因功能、推動作物遺傳改良。隨著高通量植物表型信息采集技術的快速發(fā)展,各表型參數(shù)的數(shù)據(jù)量呈幾何級數(shù)增長,植物表型大數(shù)據(jù)時代已經(jīng)到來。可建立一套完善的數(shù)據(jù)共享機制,各科研機構(gòu)獲取的表型信息經(jīng)過處理后,通過云端上傳至表型信息庫進行共享,用于植物基因組的解碼,有助于加快優(yōu)良作物品種的培育。同時,形成統(tǒng)一開放的技術標準體系,加強各表型平臺供應商和開發(fā)者之間的協(xié)作。表型分析需要植物學家、機電工程師、計算機學家等在植物生理特征、機械科學和圖像處理、數(shù)據(jù)分析的基礎上,為選擇雜交和遺傳增益的材料提供信息。只有依靠各學科合作、多方面交叉,將傳感器技術、機器視覺技術和高通量技術與經(jīng)濟實惠的基因組測序和基因分型、機器學習和基因組選擇方法相結(jié)合,作物生理學家才能夠定量測量復雜、難以處理的表型性狀,育種學家才有機會快速深入遺傳研究。
在現(xiàn)代植物研究與育種中,表型研究面臨著機遇與挑戰(zhàn)。因此,對表型信息采集技術而言,需要設定非常合理的信噪比以準確地獲取表型信息、正確地解釋結(jié)果、確保重復性;對表型信息采集平臺而言,需要在有限的時間段里,高通量、自動化、快速獲取植物的表型信息,同時對環(huán)境因子進行全面綜合的同步監(jiān)測。未來,植物表型信息采集平臺獲取到的表型數(shù)據(jù)將被更好地分析和挖掘,并把篩選出的長勢好、產(chǎn)量高的作物相關數(shù)據(jù)提供給育種工作者,從而更好地將基因型與表型數(shù)據(jù)結(jié)合起來,改良作物品種,提高作物產(chǎn)量。今后,隨著相關技術的進一步發(fā)展,高通量、低成本的植物表型信息采集技術與平臺將由試驗研究轉(zhuǎn)向生產(chǎn)應用,由技術形成產(chǎn)業(yè),推動基因組學開創(chuàng)嶄新的局面。