劉帥兵，楊貴軍，周成全,4，景海濤，馮海寬,4，徐 波，楊 浩

?

基于無人機遙感影像的玉米苗期株數(shù)信息提取

劉帥兵1,2，楊貴軍2,3※，周成全2,3,4，景海濤1，馮海寬2,3,4，徐 波2,3，楊 浩3,4

（1.河南理工大學測繪與國土信息工程學院，焦作 454000； 2. 農(nóng)業(yè)部農(nóng)業(yè)遙感機理與定量遙感重點實驗室， 北京農(nóng)業(yè)信息技術(shù)研究中心，北京 100097； 3. 國家農(nóng)業(yè)信息化工程技術(shù)研究中心，北京 100097； 4. 北京市農(nóng)業(yè)物聯(lián)網(wǎng)工程技術(shù)研究中心，北京 100097）

準確、快速地獲取玉米苗期株數(shù)對于育種早期決策起著至關(guān)重要的作用。該文利用2017年6月于北京市小湯山鎮(zhèn)采集的無人機影像，首先對比分析RGB、HSV、YCbCr及L*A*B 4種色彩空間，變換優(yōu)選HSV顏色模型對無人機影像前景（作物）與后景（土壤背景）進行分割，得到分類二值圖。然后利用骨架提取算法及多次去毛刺處理等數(shù)學形態(tài)學流程提取玉米苗形態(tài)，得到高精度作物形態(tài)骨架，結(jié)合影像尺度變換剔除噪聲影像，將影像分為多葉、少葉2類，經(jīng)Harris、Moravec和Fast角點檢測識別結(jié)果對比，Harris角點檢測算法可以較好地提取玉米苗期影像的株數(shù)信息。結(jié)果表明，少葉類型識別率達到96.3%，多葉類型識別率達到99%，總體識別率為97.8%，將目前傳統(tǒng)影像識別精度提高了約3%。同時在多個植株葉片交叉重疊覆蓋的情況下，該文的研究方法有良好的適用性。通過無人機影像提取玉米苗期作物準確數(shù)目是可行的。該文采用了數(shù)學形態(tài)學的原理，通過HSV色彩空間變換得到的二值圖，從無人機影像中識別提取玉米苗期形態(tài)信息，利用影像尺度縮放變換去除噪點，優(yōu)化骨架識別算法使得識別精度大大提高，最后采用角點檢測從無人機影像中直接讀取玉米材料小區(qū)內(nèi)的具體數(shù)目，該方法節(jié)省了人力物力，為田間大面積測定出苗率及最終估產(chǎn)提供了參考。

無人機；作物；遙感；玉米；株數(shù)；色彩空間；骨架提??；角點檢測

0 引 言

玉米的產(chǎn)量不僅受遺傳因素的影響，還受到栽培方式與生長環(huán)境等因素綜合影響。研究玉米苗期出苗株數(shù)對育種早期決策，研究不同品種出苗率，以及在空缺土地及時補種作物，提高產(chǎn)量起著重要作用[1-2]。隨著無人機（unmanned aerial vehicles，UAV）技術(shù)的迅速發(fā)展及其在農(nóng)業(yè)科學中的應用，使得獲取田間信息的手段變得多樣化，靈活化[3-4]。無人機影像相較于傳統(tǒng)衛(wèi)星影像，可以有效排除云朵的遮擋的影響，在陰天同樣可以采集遙感影像數(shù)據(jù)[5]，按照實際需求方便地制定測量方案，改變飛行高度，得到高分辨率的影像數(shù)據(jù)[6]。此外，無人機遙感作物表型平臺可以在短時間內(nèi)得到高通量遙感影像，節(jié)省了時間、人力和經(jīng)濟成本[7-8]，為農(nóng)業(yè)科學田間作物信息快速采集分析，提供了有力的支持，前景廣闊[9]。

表型組學是研究生物體表現(xiàn)型特征的學科，利用目標群體詳細的表型信息，結(jié)合生物的基因型為功能基因組學提供堅實的基礎，現(xiàn)已經(jīng)用于復雜的生命系統(tǒng)研究中[10]。今年來，農(nóng)業(yè)科學發(fā)展已經(jīng)對植物密度、作物產(chǎn)量和相關(guān)土壤特性等空間數(shù)據(jù)獲取分析研究提出更多需求。雖然現(xiàn)代的農(nóng)業(yè)機械化水平不斷地提高，但是傳統(tǒng)的生物量、葉面積指數(shù)（leaf area index，LAI）和產(chǎn)量等表型參數(shù)大多還停留在人工操作階段，耗時耗力，效率低且精度較低[11-14]，因此需要采集高分辨率的影像，對作物表型進行研究[15-16]。高通量作物表型平臺作為快速獲取表型信息的有效工具，從平臺上劃分可以分為溫室型和田間型。溫室型高通量平臺配置可見光（visible light，VIS）成像，紅外（infrared，IR）成像，近紅外（near infrared，NIR）成像和激光3D掃描儀等傳感器，獲取大量單株表型信息，但是其機動性差、成本高等限制，難以用于植物種植密度大、生長環(huán)境多變的大田生產(chǎn)條件。針對溫室型高通量平臺觀測局限性及現(xiàn)代農(nóng)業(yè)對大田觀測條件的要求，田間高通量平臺發(fā)展迅速。其主要分為農(nóng)用機械平臺（農(nóng)業(yè)機械、農(nóng)用車等）、人工移動平臺（手推車）和無人機平臺等。同時在識別方法上主要采用模式識別，機器學習等算法，對目標地物進行識別分類，目前大多數(shù)研究對作物識別精度停留在95%左右。Burgos-Artizzu等[17]利用拖拉機平臺，采用數(shù)字視頻流的方式，在不同光照、土壤濕度和雜草生長的條件下檢測植物，在錄制的視頻中，其探測系統(tǒng)對雜草的識別率為95%，對作物的識別度為80%。Shi等[18]利用人工移動平臺搭載激光雷達，從多個角度掃描秸稈根部，利用改進的算法誤差將前期研究24%誤差的降低到14%。Shrestha等[19-20]利用數(shù)字視頻流對玉米植物進行計數(shù)，通過橢圓決策表面模型與空間分析的方法確定作物個數(shù)，驗證表明人工計數(shù)與系統(tǒng)株數(shù)有良好的相關(guān)性，其2達到0.9，對作物的識別誤差為5.4%。Gn?dinger等[21]利用無人機RGB影像采用閾值分割模式識別方式識別玉米苗，其人工計數(shù)與計算機計數(shù)相關(guān)系數(shù)2=0.89，誤差約為5%；Jin等[22]首次利用無人機影像，采用支持向量機對包含的圖像進行估計，并用粒子群優(yōu)化算法進行訓練優(yōu)化，識別計算作物密度狀況。對比其他高通量表型平臺，基于搭載多傳感器無人機表型平臺進行田間作物表型信息快速解析的技術(shù)，效率高、成本低，適合復雜農(nóng)田環(huán)境[23-31]?，F(xiàn)今大多數(shù)研究還停留在溫室[24]，或在可控條件下進行試驗，難以用于種植密度大、環(huán)境因素不可控的大田生產(chǎn)條件。因此，本文針對大田環(huán)境數(shù)據(jù)采集處理困難等缺點，采用田間無人機遙感平臺進行數(shù)據(jù)采集，監(jiān)測田間田間作物表型信息，有一定的實用價值。

本研究針對玉米苗期分葉較少、重疊度低等特點，借助無人機遙感高通量作物表型平臺，利用計算機視覺原理，建立一套基于數(shù)學形態(tài)學自動化處理流程提取株數(shù)信息研究，以期為田間估產(chǎn)、農(nóng)場管理以及田間育種試驗等提供參考。

1 材料與方法

1.1 試驗材料與數(shù)據(jù)源獲取設計

試驗田位于北京市昌平區(qū)小湯山國家精準農(nóng)業(yè)示范基地。小湯山40°10′31″～40°11′18″N，116°26′10″～116°27′05″E，海拔高度約為50 m，有豐富的地熱資源。整個試驗區(qū)總體約800個玉米材料小區(qū)，為了進行育種分析，每個玉米材料的品種都不盡相同。每個材料小區(qū)設定為2.5 m×2.4 m，種植3行，每行栽種9到10株，設置25 cm株間距，每行間距0.6 m，排距為0.8 m。部分育種材料小區(qū)分布如圖1所示。

注：圖中紅色方框為不同育種材料的小區(qū)分布框圖。

無人機影像試驗數(shù)據(jù)于2017年6月8日（10:00－14:00）在北京市小湯山國家精準農(nóng)業(yè)示范基地進行采集。在無人機影像獲取時，為了避免因云朵遮擋使得部分影像紋理特征信息丟失，選取太陽光輻射強度穩(wěn)定，天空晴朗無云的天氣情況進行采集。飛行高度約為40 m。采用DJ-S1 000八旋翼電動無人機，總質(zhì)量為4.4 kg，飛行載質(zhì)量為6 000～11 000 g，電池為LiPo（6S、10 000～20 000 mAh、最小15C)，尺寸為460 mm×511 mm× 305 mm，懸停時間為15 min左右。無人機搭載高清數(shù)碼相機航測影像儀器采用Sony Cyber-shot DSC-QX100鏡頭，質(zhì)量為179 g，尺寸62.5 mm×62.5 mm×55.5 mm像素，2 090萬像素CMOS傳感器，拍攝影像最大分辨率為5 472×3 648，焦距10 mm（定焦拍攝），光學變焦倍數(shù)為3.6倍，采集到的數(shù)據(jù)源為*.TIF格式影像數(shù)據(jù)。在無人機拍攝影像前，在飛行區(qū)域內(nèi)布置地面黑白布，用于數(shù)碼影像DN值的標定，降低相機的系統(tǒng)誤差。

本研究借助Agisoft PhotoScan軟件進行無人機高清數(shù)碼影像的拼接處理。不同航帶之間設置30 cm×30 cm幾何參考板，在玉米整個生長周期內(nèi)保持固定。幾何參考板中心點為測量的GPS控制點，為不同航帶影像拼接時提供依據(jù)，提高影像拼接精度。本研究借助Agisoft PhotoScan軟件自帶的幾何校正功能，基于幾何參考板GPS控制點進行影像幾何校正，去除無人機姿態(tài)變化，大氣折射等影像。由于800個玉米育種小區(qū)的品種都不相同，采用Adobe Photoshop CC 2017將所有的地塊按照育種材料小區(qū)規(guī)劃進行切割，整理出可行的研究區(qū)域。

1.2 研究方法

1.2.1 作物識別分割研究

本研究為了檢測田間植株數(shù)量及空間分布，將獲取的RGB圖像轉(zhuǎn)換到HSV進行顏色分析，玉米苗期影像識別及形態(tài)拾取采用Matlab 2017b軟件進行處理。具體處理流程如圖2所示。

圖2 影像處理流程

為了減少影像噪聲及多余骨架分支對研究精度的影響，本研究引入影像尺度變換的原理，將影像進行縮放，突出骨架主軸部分，去除大部分的噪點和骨架分叉。由于玉米品種的不同，同時期各材料小區(qū)內(nèi)玉米苗的長勢也不盡相同。因此，根據(jù)玉米苗分葉情況，將材料小區(qū)分為2類，一類為窄葉-葉小，二類為寬葉-葉大。2種材料小區(qū)采用不同的影像縮放系數(shù)，分類處理。通過選取40個小區(qū)，作為影像尺度研究樣本，反復分析樣本區(qū)域，最終確定影像尺度縮放系數(shù)為0.04與0.05。同時另選40個小區(qū)作為驗證。

構(gòu)建彩色直方圖有助于判斷、校正和優(yōu)化圖像的亮度和對比度，評價圖像質(zhì)量，從影像中得到顏色通道信息，以供進一步處理。對于RGB圖像，利用各顏色通道的直方圖來解釋圖像的亮度，利用紅色、藍色和綠色通道直方圖，采用0～255的取值范圍，其中0為黑色，255為白色，直方圖的高度演示了圖像中以像素表示的顏色值頻率。

本研究選取4種色彩空間模型，分別為RGB、HSV、YCbCr及L*A*B模型，通過對比分析，優(yōu)選HSV色彩空間作為遙感影像處理模型。RGB色彩空間模型通道可以表示為Red、Green、Blue，3個通道相互作用形成了各種顏色，各個分量的數(shù)值越小，亮度越低，數(shù)值越大，亮度越高。HSV（hue, saturation, value）是根據(jù)顏色的直觀特性由Smith創(chuàng)建的顏色空間，是顏色模型是RGB模式的一種非線性變換，因為接近人類的色彩感知，因此常用到人臉識別[32]、園藝檢測[33]及去除陰影[34]等研究中。其中H表示色相，由物體反射或透射出來的顏色，在色相環(huán)上用0～360°來表示，從紅色開始逆時針方向計算，紅色為0，綠色為120°，藍色為240°；S表示飽和度（saturation，又稱純度），是指顏色的強度，用色相中彩色成分所占的比例來表示，0為灰色，100%達到完全飽和，取值范圍為0~1.0，值越大顏色越飽和；V表示明度（value），表示顏色的明亮程度，反映顏色的相對明暗程度，取值范圍為0～255，取值為0時為黑色，255時達到最大亮度為白色。YCbCr色彩模型中，Y代表亮度分量，Cb指藍色色度分量，Cr指紅色色度分量。L*A*B*色彩模型中，L*指亮度，底端為黑色，頂端為白色。+a*代表品紅色，-a*代表綠色，+b*代表黃色，-b*代表藍色。通過不斷重復對比分析，確定影像處理閾值設定，將原始影像分為前景（作物）與后景（土壤背景），去除后景，只留下前景影像作為研究區(qū)域，將前景影像二值化得到玉米苗期形態(tài)二值圖。

1.2.2 骨架提取

通過色彩變換將影像變換到HSV色彩模型，根據(jù)作物色彩特性，通過閾值分割進行邊緣信息提取[35]提取，最終得到作物土壤分離后的二值圖。本文采用基于勢能平衡的圖像骨架提取方法[36]，在作物分割二值圖的基礎上進行骨架提取研究，識別作物形態(tài)結(jié)構(gòu)。骨架化的結(jié)構(gòu)是目標圖像的重要拓撲描述，在影像處理中，形態(tài)信息是非常重要的，可以從視覺上保有物體原有形狀即細化結(jié)構(gòu)，便于描述目標形態(tài)和抽取特征。本研究利用作物識別二值圖進行骨架提取，同時加入多次去除毛刺分叉的方法，得到準確度較高的玉米苗形態(tài)圖。

設原始影像中的像素點(，)如圖3所示（、為格網(wǎng)坐標數(shù)值，、為像素點臨近格網(wǎng)坐標數(shù)值），當(，)=0時，響應點為黑點；當值為1時，為白色背景點。其中(，)為

若(，)<9，且不為0，則說明該背景像素點周圍至少臨近了一個黑點，此時該點被標注為邊界點(，)，所有的邊界點(，)的集合為。在求取像素點勢能時，只計算以像素點為中心半徑為的范圍內(nèi)各邊界點對該點的影響。以窗口中間像素為中心，考察其對鄰近點的勢能矢量對，若兩者角為鈍角，則可以認為當前點在該對稱方向的勢能為0。若所有4對對稱鄰近點在當前點上形成的勢能矢量都為0，則該像素點為基本骨架。

1.2.3 角點檢測方法

本研究通過角點計數(shù)的方式，從材料小區(qū)中提取作物數(shù)目信息。為了驗證本文方法的適用性，采用Harris、Moravec以及Fast 3種經(jīng)典的角點檢測算法，對影像株數(shù)信息進行分析提取。從影像分析的角度來定義角點有2種：1）角點可以是2個邊緣的角點；2）角點是鄰域內(nèi)具有兩個主方向的特征點。基于邊緣進行角點提取，由于形態(tài)的不規(guī)則性導致角點拾取偏差較大，因此采用從作物二值圖提取識別的形態(tài)骨架進行第二種角點檢測。Moravec等[37-38]提出了基于灰度強度的角點檢測算法，主要通過檢查圖像局部邊緣、角點及同質(zhì)區(qū)域的灰度值的變化來檢測角點。Harris角點檢測算法是由Harris和Stephens在Moravec算法的基礎上提出的一種特征點提取算法[39]。Fast角點檢測算法是由Smith等[40]提出的基于鄰域中與中心像素有相同亮度色素點小于閾值表明中心像素點是角點。經(jīng)過分析論證，發(fā)現(xiàn)利用Harris角點檢測提取影像縮放后的株數(shù)信息精度最高。因此本文利用經(jīng)典Harris角點檢測算法[41]進行檢測，將檢測出的角點數(shù)目作為材料小區(qū)內(nèi)的計算機視覺準確計數(shù)數(shù)目進行統(tǒng)計，實現(xiàn)了短時間內(nèi)，低成本測定材料小區(qū)作物的準確株數(shù)。其基本原理是通過一個識別窗口，當遇到窗口內(nèi)區(qū)域灰度發(fā)生較大變化是，就認為遇到了角點。如果這個特定的窗口在圖像各個方向上移動時，窗口內(nèi)圖像的灰度沒有發(fā)生變化，那么窗口內(nèi)的圖像可能就是一條直線的線段。構(gòu)建數(shù)學模型，計算移動窗口的灰度差值對于影像(，)，當在點(，)處平移(Δ，Δ)，產(chǎn)生灰度變化(，)

式中(，)為窗口函數(shù)，(+，+)為平移后的圖像灰度，(，)為圖像灰度。為了減小計算量，利用泰勒級數(shù)進行簡化公式最終得到

式中矩陣為梯度協(xié)方差矩陣，在實際應用中為了能夠應用更好的編程，定義焦點響應函數(shù)，通過判定大小來判斷像素是否為角點

其中det=12，trace=1+2，1和2為矩陣的特征值，為特征系數(shù)。

2 結(jié)果與分析

2.1 4種色彩空間對比

本研究采用了4種色彩空間變換模型對影像進行研究分析，通過設定各個顏色通道特征閾值范圍，將影像前景與后景分離，得到材料小區(qū)內(nèi)植株作物閾值分割圖。4種色彩空間變換模型對比圖如圖3所示。

a. 原始圖像a. Original imageb. 閾值分割b. Threshold segmentation c. 骨架提取c. Skeleton extractiond. Harris角點檢測提取結(jié)果d. Harris corner detection extraction results

根據(jù)數(shù)學形態(tài)學原理，經(jīng)過一步步處理，最終得到Harris角點檢測結(jié)果如圖3d所示。本研究嘗試過腐蝕膨脹的算法對閾值影像進行處理，但仍未得到平滑的邊緣，因此采用原始閾值分割圖像進行后續(xù)研究處理。參照劉濤等[42]，麥穗識別方式，最終將二值圖骨架的Harris角點個數(shù)作為田間玉米株數(shù)。4種色彩模型閾值設置范圍及處理過后影像特征結(jié)果如表1所示。

經(jīng)表1所表述的閾值，可以將玉米植株與土壤背景完全分離，并且同時進行二值化，得到4種玉米苗形態(tài)二值圖。但是，由于各彩色通道的特性不同，因此影像處理出的結(jié)果有明顯差異。橫向?qū)Ρ?種色彩模型分析結(jié)果，其中采用HSV色彩變換模型得到的玉米形態(tài)像元數(shù)最高為156 591個，同時產(chǎn)生的噪點（獨立點塊）數(shù)最少，為133個。因此說明，在4種色彩空間變換模型中，HSV處理的效果最好，噪點最少，精度最高。材料小區(qū)處理過后4種色彩空間處理過后的影像如圖4所示。

表1 色彩空間閾值范圍與信息統(tǒng)計

Table 1 Threshold range and information statistics of color space

統(tǒng)計信息statistical informationRGB模型RGB modelHSV模型HSV modelL*A*B模型L*A*B modelYCbCr模型YCbCr model 通道1 Channel 1最大值Max1660.12166.905157 最小值Min1220.05237.64098 通道2 Channel 2最大值Max1340.6089.930127 最小值Min1070.0450.471108 通道3 Channel 3最大值Max1120.94827.589146 最小值Min630.33715.409137 玉米形態(tài)像元數(shù)Maize morphological pixels148 171156 591179 057149 252 獨立點塊Independent point block1113133206183

a. RGBb. HSV c. L*A*B*d. YCbCr

圖4 4種色彩空間變換模型閾值分割結(jié)果

Fig.4 Threshold segmentation results of 4 color space transformation models

從圖4中可以明顯看到，HSV相較于其他3種色彩空間處理結(jié)果，在保持較好形態(tài)的情況下，噪聲點塊最少，尤其是小石頭等田間雜物產(chǎn)生的大塊圖斑，在HSV閾值分割結(jié)果中可以準確的過濾掉，同時植株邊緣提取結(jié)果更圓滑，凸起及毛刺較少。因此，本研究采用HSV色彩空間模型進行圖像處理。

2.2 樣本小區(qū)統(tǒng)計結(jié)果

由于本研究采用樣本按照品種進行劃分分析，因此為了驗證方法可行性，將作物小區(qū)按照1/2小區(qū)、2/3小區(qū)、1個小區(qū)、2個小區(qū)和4個小區(qū)進行分別計數(shù)，以驗證方法的可行性及精度。當材料小區(qū)分割面積不同時，各樣本區(qū)域真實植株數(shù)目與計算機自動識別技術(shù)對比，各小區(qū)具有較高的識別精度。計算機識別株數(shù)與人工目視株數(shù)十分的接近。將2組數(shù)據(jù)進行線性回歸分析，經(jīng)檢驗其相關(guān)指數(shù)2約為0.99，證明2組數(shù)據(jù)擬合效果較高，具有較強的相關(guān)性，證明了本文的方法可靠。

將試驗田按照玉米苗葉子形態(tài)大小進行分類，利用Harris角點檢測識別提取40個樣本小區(qū)株數(shù)信息如圖5所示。圖中紅色框中區(qū)域代表一類材料小區(qū)（葉窄、葉少），藍色框中區(qū)域代表二類材料小區(qū)（葉寬、葉多），將影像尺度縮放系數(shù)分別設定在0.05和0.04，得到材料小區(qū)數(shù)目分類計數(shù)結(jié)果。

圖5 材料小區(qū)精度統(tǒng)計

由圖5可知，絕大部分小區(qū)（32個）的誤差在3個以內(nèi)，各個材料小區(qū)內(nèi)的平均株數(shù)約為24株，平均誤差為2.25株，精度可靠。其中有7個小區(qū)計算機識別計數(shù)值與材料小區(qū)內(nèi)實際植株數(shù)目完全相同，達到100%。剩下的由于材料小區(qū)植株基數(shù)較小，因此很小的誤差所帶來的精度影響也是比較大的。但是絕大多數(shù)小區(qū)準確率達到80%以上（小區(qū)總樣本量較少，因此浮動較大），實現(xiàn)了從材料小區(qū)中通過計算機計數(shù)高精度識別作物準確株數(shù)的目標。

本文采用3種不同的角點檢測方法對作物小區(qū)作物株數(shù)進行識別研究，在圖6中可以得到，Harris角點檢測的精度優(yōu)于其他2種角點檢測方法。從作為驗證的10個樣本小區(qū)中可以看出，Harris角點檢測材料小區(qū)識別精度曲線要明顯高于其他2種方法識別精度，且小區(qū)平均精度也明顯更準確。經(jīng)Harris角點檢測得到的材料小區(qū)株數(shù)信息平均精度為91.07%，Moravec檢測平均精度為83.28%，F(xiàn)ast角點檢測得到的結(jié)果為77.64%。從結(jié)果上看Harris對整體材料小區(qū)識別精度最高，其對折線轉(zhuǎn)點識別要更為準確。

圖6 樣本小區(qū)作物株數(shù)信息識別精度

2.3 精度分析

本研究從試驗區(qū)中摘選常見的物種玉米苗期形態(tài)進行分類分析，表2為流程處理結(jié)果。

表2 流程處理結(jié)果

由表2可知，玉米苗期田間作物常見形態(tài)有5種，分別是雙葉單株、四葉單株、五葉單株、雙株重疊覆蓋、3株重疊覆蓋。根據(jù)本文的處理流程，表2介紹了從原始RGB影像到去土壤背景，二值化，骨架提取，角點檢測，一步步流程處理中，單株形態(tài)變化。

從影像準確度上來說，絕大部分可以從單株上進行檢測，在出現(xiàn)有幾株作物重疊覆蓋的時候，本方法依然有良好的識別適應性。計算材料小區(qū)真實作物數(shù)目時候，利用正射影像的特性，從玉米苗開葉之后，莖中心出現(xiàn)的黑色紋理進行識別，得到真實值。從圖中可以看出，在單株時，雖然可以檢測出角點，但是由于影像尺度變換使得紋理改變，導致檢測出的角點所代表的中心點未能與目視中心重合。

圖7為不同角點檢測方法對結(jié)果準確性的影響。由圖7可知，Moravec角點檢測對邊緣進行檢測而Fast角點檢測主要依據(jù)識別窗口灰度差值進行識別，因此這兩種角點檢測對于骨架折線圖沒有良好的適用性，精度較低。本文得到的影像識別結(jié)果，從誤差的角度上分為誤識率和漏識率兩部分。將識別提取出的玉米苗位置與無人機原始影像位置進行目視匹配，統(tǒng)計各小區(qū)錯分入（誤識率）與錯分出（漏識率）的誤差情況。同時考慮到小區(qū)域向大區(qū)域匯總時誤差相互抵消問題，在驗證本文方法可行性時，在不同影像范圍下進行統(tǒng)計。其中Harris角點檢測的漏識率為1.9%，誤識率為0.3%；Moravec角點檢測漏識率為4.4%，錯識率為7.9%；Fast角點檢測漏識率為4.9%，誤識率為9.9%。從統(tǒng)計結(jié)果上看，Harris角點檢測在漏識率與誤識率上面誤差較小，而Moravec與Fast角點檢測算法的誤差較大。在總體的識別率上，Harris角點檢測精度達到了97.8%，平均每個育種材料小區(qū)的處理時間為0.646 s，Moravec角點檢測識別率為87.4%，處理時間為0.984 9 s，而Fast角點檢測識別精度為85.8%，時間效率為0.3121 s。Fast角點檢測雖然時間效率最高，但精度最低。綜上所述，Harris角點檢測對于田間玉米苗期株數(shù)識別精度最高，也最為適用，因此最終采用Harris角點檢測對育種材料小區(qū)進行分析。

圖7 不同角點檢測方法對結(jié)果準確性的影響

本試驗根據(jù)作物生長情況不同，采用Harris角點檢測算法，將40個材料小區(qū)作為樣本反復試驗分析，確定2類影像尺度縮放比例系數(shù)，最終確定準確值。同時另選40個作物小區(qū)作為驗證集，同樣將材料小區(qū)分為2類，一類材料小區(qū)有26個，實際作物株數(shù)為644株，計算機自動識別提取作物數(shù)目為668株，準確度為96.3%。二類材料小區(qū)有14個，材料小區(qū)作物株數(shù)為310株，計算機識別作物為307株，準確度為99%。40個材料小區(qū)總體實際株數(shù)為954株，計算機識別作物為975株，總體準確度可達到97.8%，誤差控制在5%以下，精度可靠。統(tǒng)計結(jié)果如表3所示。

表3 材料小區(qū)與總體計數(shù)精度統(tǒng)計表

經(jīng)精度驗證，對比Shrestha等的方法，采用影像尺度縮放的方式，將整體精度上提升了約3%，尤其在處理多葉單株的情況時，精度可以達到99%（總株數(shù)為310）。在苗期葉片重疊覆蓋的情況下，本文的研究方法有良好的適用性，依然可以得到高準確度的玉米作物株數(shù)。在試驗設計上，相較于溫室單株盆栽研究及其他無人機試驗的飛行高度于3、5和7 m等情況，本文無人機的飛行高度為40 m，對于大面積影像玉米信息快速準確提取有明顯優(yōu)勢。同時，根據(jù)不同地點，不同氣候影響等情況的出現(xiàn)，結(jié)合田間實際玉米苗情，可以靈活的進行分析處理，得到高精度的玉米株數(shù)識別統(tǒng)計結(jié)果。

從整體上看，根據(jù)出葉狀況，有2葉到6葉不等，因此從物候的角度來說測區(qū)大部分玉米處于出苗期。本研究只針對玉米出苗期作為研究對象，分析苗期出苗情況，可以粗略測定各個材料品種之間不同的出苗率，對育種品種的甄選提供依據(jù)。同時在玉米出苗期時，作物植株結(jié)構(gòu)簡單，相連的玉米苗之間有較小的重疊度，避免了大面積葉片粘連，圖像無法分離的狀況。按照試驗方案設計要求，不同玉米育種材料在相同的水肥條件下自然生長。但在大田種植的條件下，無法精準控制材料小區(qū)長勢情況，因此存在明顯的長勢差異。按照玉米苗期出苗長勢情況，無人機數(shù)碼影像數(shù)據(jù)處理時按照相同影像縮放系數(shù)提取株數(shù)信息，但是處理出的結(jié)果不理想，識別率僅有90.6%。因此需要按照不同長勢差異將玉米育種材料人為劃分為雙葉型與多葉型進行分類處理，以提高識別率。本文方法主要以玉米苗期的骨架形態(tài)信息作為切入點進行提取研究，當玉米過了苗期進入其他生育期時，葉片開始變大，重疊現(xiàn)象加劇，很難從影像上進行單株骨架提取，因此本研究只適用于玉米苗期圖像處理，對于玉米其他生育期未能有后續(xù)的研究。

本試驗采用800個不同的玉米品種，在相同條件下，長勢有明顯差異。同時測區(qū)地面中間部分地勢低，相較于兩邊地面土質(zhì)潮濕，中間部分的長勢較好，分葉明顯葉片較大，其他區(qū)域的玉米長勢較弱，因此產(chǎn)生了一部分材料不均勻的誤差?？紤]其他的誤差來源，一是當無人機按照預定設計路線飛行時，在有風情況下，攝影相機會有輕微晃動，導致局部影像紋理特征丟失，影像出現(xiàn)了模糊的情況。其次，試驗田是在較理想的狀態(tài)下進行識別的，田間雜草較少，但同時也會導致計數(shù)誤差的存在。此外，利用Harris角點檢測識別時，會有單株出現(xiàn)兩個角點的情況出現(xiàn)，產(chǎn)生計數(shù)誤差。在普通田地進行處理時，可以在前景影像與后景影像分離時，考慮使用雜草識別的方式，將土壤背景與雜草一塊進行剔除，減少對影像識別的干擾。

本文的研究方法是基于像元的方式進行影像信息提取，嘗試基于面向?qū)ο蟮姆绞竭M行作物獨立塊數(shù)的識別提取。但出現(xiàn)的問題是，影像產(chǎn)生了很多噪點斑塊，同時對于長勢較弱的植株，特征信息不明顯，容易被識別為噪聲斑塊，導致在進行濾波處理時被錯誤刪除，使得到的株數(shù)信息不準確。

3 結(jié) 論

本研究采用了數(shù)學形態(tài)學的原理，通過閾值分割得到的二值圖，從RGB影像中直接分離出玉米苗期形態(tài)信息，利用影像尺度縮放變換，去除材料小區(qū)中大部分的噪聲點及骨架分叉，使得識別精度大大提高，結(jié)果證明：

1）在不同面積材料小區(qū)中，本研究計算機自動識別株數(shù)與人工目視識別株數(shù)的相關(guān)系數(shù)2可以達到0.99，證明本研究在不同影像分辨率下的適用性。對比三種角點檢測的方法，得到Harris角點檢測精度最高，效果最好。同時在有少量重疊度的情況下，本文方法有良好適應性。

2）從無人機影像中獲取玉米材料小區(qū)內(nèi)作物的準確數(shù)目，將材料小區(qū)分為2類，各個材料小區(qū)內(nèi)的平均株數(shù)約為24株，平均誤差為2.25株，一類材料小區(qū)識別率為96.3%，二類識別率為99%，總體識別率為97.8%，將目前傳統(tǒng)影像識別精度提高了約3%，精度可靠。

從無人機影像中直接讀取玉米材料小區(qū)內(nèi)的具體數(shù)目，節(jié)省了人力物力，為田間大面積測定出苗率及最終估產(chǎn)提供了有力的支持.

[1] Cao Q, He M R, Dai X L, et al. Effects of interaction between densityand nitrogen on grain yield and nitrogen use ef?ciency of winter wheat[J]. Plant Nutrition and FertilizerScience, 2011, 17: 815－822.

[2] Liu P, Guo W S, Xu Y, et al. Effect of planting density ongrain yield and quality of weak-gluten and medium-gluten wheat[J]. Journal of Triticeae Crops, 2006, 26: 117－121.

[3] Floreano D, Wood R J. Science, technology and the future of small autonomous drones[J]. Nature, 2015, 521(7553): 460－466.

[4] Sankaran S, Khot L R, Espinoza C Z, et al. Low-altitude, high-resolution aerial imaging systems for row and field crop phenotyping: A review[J]. European Journal of Agronomy, 2015, 70: 112－123.

[5] Zhang C, Kovacs J M. The application of small unmanned aerial systems for precision agriculture: A review[J]. Precision Agriculture, 2012, 13(6): 693－712.

[6] Pe?a J M, Torres-Sánchez J, de Castro A I, et al. Weed mapping in early-season maize fields using object-based analysis of unmanned aerial vehicle (UAV) images[J]. Plos One, 2013, 8(10): e77151.

[7] Tripicchio P, Satler M, Dabisias G, et al. Towards smart farming and sustainable agriculture with drones[C]// International Conference on Intelligent Environments, IEEE, 2015: 140－143.

[8] Rez-Ortiz M, Jos A, Manuel, et al. Selecting patterns and features for between- and within- crop-row weed mapping using UAV-imagery[J]. Expert Systems with Applications An International Journal, 2016, 47(C): 85－94.

[9] 劉建剛，趙春江，楊貴軍，等. 無人機遙感解析田間作物表型信息研究進展[J]. 農(nóng)業(yè)工程學報，2016，32(24)：98－106.

Liu Jiangang, Zhao Chunping, Yang Guijun, et al. Review of field-based phenotyping by unmanned aerial vehicle remote sensing platform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(24): 98－106. (in Chinese with English abstract)

[10] 楊有新，楊澤茂，吳才軍，等. 植物表型組學研究進展[J]. 江西農(nóng)業(yè)大學學報，2015，37(6)：1105－1112.

Yang Youxin, Yang Zemao, Wu Caijun, et al. Advances in plant phenomics research[J]. Acta Agriculture Universitatis Jiangxiensis, 2015, 37(6): 1105－1112. (in Chinese with English abstract)

[11] Geesing D, Diacono M, Schmidhalter U. Site-specific effects of variable water supply and nitrogen fertilisation on winter wheat[J]. Journal of Plant Nutrition and Soil Science/ Zeitschrift fuer Pflanzenernaehrung und Bodenkunde, 2014, 177(4): 509－523.

[12] Fu Y, Yang G, Wang J, et al. Winter wheat biomass estimation based on spectral indices, band depth analysis and partial least squares regression using hyperspectral measurements[J]. Computers & Electronics in Agriculture, 2014, 100(2): 51－59.

[13] Pajares G. Overview and current status of remote sensing applications based on unmanned aerial vehicles (UAVs)[J]. Photogrammetric Engineering & Remote Sensing, 2015, 81(4): 281－329.

[14] Grosskinsky D K, Svensgaard J, Christensen S, et al. Plant phenomics and the need for physiological phenotyping across scales to narrow the genotype-to-phenotype knowledge gap[J]. Journal of Experimental Botany, 2015, 66(18): 5429－5440.

[15] Barabaschi D, Tondelli A, Desiderio F, et al. Next generation breeding[J]. Plant Science an International Journal of Experimental Plant Biology, 2016, 242: 3－13.

[16] Cobb J N, Declerck G, Greenberg A, et al. Next-generation phenotyping: requirements and strategies for enhancing our understanding of genotype–phenotype relationships and its relevance to crop improvement[J]. Theoretical & Applied Genetics, 2013, 126(4): 867－887.

[17] Burgos-Artizzu X P, Ribeiro A, Guijarro M, et al. Original paper: Real-time image processing for crop/weed discrimination in maize fields[J]. Computers & Electronics in Agriculture, 2011, 75(2): 337－346.

[18] Shi Y, Wang N, Taylor R K, et al. Improvement of a ground-LiDAR-based corn plant population and spacing measurement system[J]. Computers & Electronics in Agriculture, 2015, 112(C): 92－101.

[19] Shrestha D S, Steward B L. Automatic corn plant population measurement using machine vision[J]. Transactions of the Asae American Society of Agricultural Engineers, 2003, 46(2): 559－565.

[20] Shrestha D S, Steward B L. Shape and size analysis of corn plant canopies for plant population and spacing sensing[J]. Applied Engineering in Agriculture, 2005, 21(2): 295－306.

[21] Gn?dinger F, Schmidhalter U. Digital counts of maize plants by unmanned aerial vehicles (UAVs)[J]. Remote Sensing, 2017, 9(6): 544.

[22] Jin X, Liu S, Baret F, et al. Estimates of plant density of wheat crops at emergence from very low altitude UAV imagery[J]. Remote Sensing of Environment, 2017, 198(9):105－114.

[23] Gitelson A A, Vi?a A, Arkebauer T J, et al. Remote estimation of leaf area index and green leaf biomass in maize canopies[J]. Geophysical Research Letters, 2003, 30(30): 335－343.

[24] Nieuwenhuizen A T, Tang L, Hofstee J W, et al. Colour based detection of volunteer potatoes as weeds in sugar beet fields using machine vision[J]. Precision Agriculture, 2007, 8(6): 267－278.

[25] Meyer G E, Neto J C. Verification of color vegetation indices for automated crop imaging applications[J]. Computers & Electronics in Agriculture, 2008, 63(2): 282－293.

[26] Khojastehnazhand M, Omid M, Tabatabaeefar A. Determination of orange volume and surface area using image processing technique[J]. International Agrophysics, 2009, 23(3): 237－242.

[27] Montes J M, Technow F, Dhillon B S, et al. High-throughput non-destructive biomass determination during early plant development in maize under field conditions[J]. Field Crops Research, 2011, 121(2): 268－273.

[28] Araus J L, Cairns J E. Field high-throughput phenotyping: The new crop breeding frontier[J]. Trends in Plant Science, 2014, 19(1): 52－61.

[29] Kazmi W, Garcia-Ruiz F J, Nielsen J, et al. Detecting creeping thistle in sugar beet fields using vegetation indices[J]. Computers & Electronics in Agriculture, 2015, 112: 10－19.

[30] 趙春江. 農(nóng)業(yè)遙感研究與應用進展[J]. 農(nóng)業(yè)機械學報，2014，45(12)：277－293.

Zhao Chunjiang. The development of agricultural remote sensing research and application[J]. Journal of Agricultural Machinery, 2014, 45(12): 277－293. (in Chinese with English abstract)

[31] Brichet N, Fournier C, Turc O, et al. A robot-assisted imaging pipeline for tracking the growths of maize ear and silks in a high-throughput phenotyping platform[J]. Plant Methods, 2017, 13(1): 96－108.

[32] Shaik K B, Ganesan P, Kalist V, et al. Comparative study of skin color detection and segmentation in hsv and YCbCr color space[J]. Procedia Computer Science, 2015, 57: 41－48.

[33] Lien J J, Kanade T, Cohn J F, et al. Detection, tracking, and classification of action units in facial expression[J]. Robotics & Autonomous Systems, 2000, 31(3):131－146.

[34] Huang W, Kim K Y, Yang Y, et al. Automatic shadow removal by illuminance in HSV color space[J]. Comput. Sci. Inf. Technol, 2015, 3(3): 70－75.

[35] 張遠，蔣浩，朱登明，等. 基于骨架匹配的人體輪廓線提取[J]. 系統(tǒng)仿真學報，2017(11)：2774－2781.

Zhang Yuan, Jiang Hao, Zhu Dengming, et al. Human contour extraction based on skeleton matching[J]. Journal of System Simulation, 2017(11): 2774－2781. (in Chinese with English abstract)

[36] 宋靚. 淺述骨架提取算法及舉例[J]. 中國高新技術(shù)企業(yè)，2011(13)：29－31.

Song Liang. Brief introduction of Skeleton extraction algorithm and example[J]. China High Technology Enterprises, 2011(13): 29－31. (in Chinese with English abstract)

[37] Moravec H P. Towards automatic visual obstacle avoidance[C]// International Joint Conference on Artificial Intelligence. Morgan Kaufmann Publishers Inc. 1977:584.

[38] Moravec H P. Visual mapping by a robot rover[C]// International Joint Conference on Artificial Intelligence. Morgan Kaufmann Publishers Inc. 1979:598－600.

[39] 牛磊磊. 小麥條銹菌孢子的在線圖像獲取與計數(shù)方法研究[D]. 楊凌：西北農(nóng)林科技大學，2017.

Niu Leilei. Online Image Acquisition and Counting of Wheat Stripe Rust Spores[D].Yangling: Northwest A&F University, 2017. (in Chinese with English abstract)

[40] Smith S M, Brady J M. SUSAN—A new approach to low level image processing[J]. International Journal of Computer Vision, 1997, 23(1):45－78.

[41] 梁艷. 角點檢測理論及算法研究[D]. 武漢：華中科技大學，2010.

Liang Yan. Research on Primary Corner Detection Algorithm[D]. Wuhan: Huazhong University of Science and Technology, 2010. (in Chinese with English abstract)

[42] 劉濤，孫成明，王力堅，等. 基于圖像處理技術(shù)的大田麥穗計數(shù)[J]. 農(nóng)業(yè)機械學報，2014，45(2)：282－290.

Liu Tao, Sun Chengming, Wang Lijian, et al. In-field wheatear counting based on image processing technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(2): 282－290. (in Chinese with English abstract)

Extraction of maize seedling number information based on UAV imagery

Liu Shuaibing1,2, Yang Guijun2,3※, Zhou Chengquan2,3,4, Jing Haitao1, Feng Haikuan2,3,4, Xu Bo2,3, Yang Hao3,4

(1.454000,; 2.,100097,; 3.100097,; 4.100097,)

Accurate and rapid acquisition of maize seedling number plays an important role in early decision-making of breeding. The aim of this work was to use the UAV images collected in Xiaotang mountain, Beijing in June 2017, to recognize and extract the number of maize at seedling stage by establishing a set of digital morphological process. The UAV was flying at a height of about 40 m, and the image data were collected under clear and wind-free conditions. Four color space transformation models (RGB, HSV, YCbCr and L*A*B) were compared and analyzed. The model which showed minimum noise and maintains more pixels was selected to divide image. The foreground (crop) and background (soil) were separated to obtain binary graph. Based on the image scale transformation principle, the images were divided into two types according to the number of leaves. According to the experimental design requirements, different maize breeding materials were growing naturally under the same water and fertilizer conditions. However, it was difficult to control the growth situation of the material area accurately, so there was obvious growth difference between different varieties. When the UAV digital image data were processed, the number of plants was extracted at the same scale, but the result was not ideal, and the recognition rate was only 90.6%. In order to improve the recognition rate, maize breeding materials were classified into two leaf type and multi leaf type according to different growth potential. The skeleton extraction algorithm and multiple deburring processes were utilized to extract crop shape skeleton with high accuracy. Finally, the corner detection results of Harris, Moravec and Fast were compared regarding recognition rate, the leakage recognition rate, the error recognition rate and the operation efficiency. Finally, the Harris corner detection algorithm was used to better extract the number of the maize seedling. Considering that there would be some overlapping leaves in the images, this study showed a comparison between computer identification and actual plant growth. The results showed that this method was still reliable under leaf overlapping conditions. At the same time, the possible errors were analyzed: 1) the influence of the wind during UAV flight; 2) the impact of weeds in the field; 3) the wrongful identification of a single plant as two, but the overall accuracy was still reliable. Through accuracy verification, the leaf recognition rate reached 96.3%, the multi-leaf recognition rate reached 99%, and the overall recognition rate was 97.8%, which proved that it was feasible and reliable to extract corn seedlings from UAV images. This research adopted the principle of mathematical morphology, obtained the binary image by HSV color space transform, recognized and extracted the maize seedling morphological information of UAV images, removed most of the material in the cell skeleton recognition accuracy optimization noise by using image zoom scale transform. By using image zoom scale transform, the recognition accuracy was greatly improved, directly distinguished the specific number of maize materials within the UAV image. This method saved the manpower and material resources and provided strong support for the field of large area determination of germination rate and final yield.

unmanned aerial vehicle; crops; remote sensing; maize; plant number; color space; skeleton extraction; corner detection

劉帥兵，楊貴軍，周成全，景海濤，馮海寬，徐 波，楊 浩. 基于無人機遙感影像的玉米苗期株數(shù)信息提取[J]. 農(nóng)業(yè)工程學報，2018，34(22)：69－77. doi：10.11975/j.issn.1002-6819.2018.22.009 http://www.tcsae.org

Liu Shuaibing, Yang Guijun, Zhou Chengquan, Jing Haitao, Feng Haikuan, Xu Bo, Yang Hao. Extraction of maize seedling number information based on UAV imagery[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(22): 69－77. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.22.009 http://www.tcsae.org

2018-05-07

2018-09-05

國家重點研發(fā)計劃(2016YFD0300602)；國家自然科學基金(61661136003，41471351)；中國測繪科學研究院基本科研業(yè)務費（7771814）

劉帥兵，助理研究員，主要從事數(shù)字圖像處理。 Email：463543329@qq.com

楊貴軍，研究員，主要從事定量遙感機理及應用研究。Email：yanggj@nercita.org.cn

10.11975/j.issn.1002-6819.2018.22.009

TP75

A

1002-6819(2018)-22-0069-09