楊 威，黃 亮*,2，陳裕漢，夏 炎，常 軍

1.昆明理工大學(xué)國(guó)土資源工程學(xué)院，昆明市一二一大街文昌路68號(hào) 650093 2.云南省高校高原山區(qū)空間信息測(cè)繪技術(shù)應(yīng)用工程研究中心，昆明市一二一大街文昌路68號(hào) 650093 3.滇西應(yīng)用技術(shù)大學(xué)，云南省大理市海東山地新城海月街1號(hào) 671006 4.自然資源部第一大地測(cè)量隊(duì)，西安市碑林區(qū)測(cè)繪路4號(hào) 710054

煙株的準(zhǔn)確識(shí)別和數(shù)量統(tǒng)計(jì)在煙草種植管理中具有重要意義。準(zhǔn)確掌握煙株的數(shù)量以及空間分布信息能夠?yàn)闊熑~生產(chǎn)后期的施肥、灌溉和蟲(chóng)害防治提供依據(jù)，同時(shí)還能對(duì)煙葉產(chǎn)量進(jìn)行精確預(yù)估。但傳統(tǒng)人工實(shí)地調(diào)查方法效率低且易受到人為主觀性的影響［1］。目前，國(guó)內(nèi)外學(xué)者圍繞煙草種植面積和煙草植株精細(xì)提取已開(kāi)展了較多研究。對(duì)于種植面積的提取方面，李天坤［2］和董梅等［3］采用面向?qū)ο蟮姆椒ㄌ崛熖锩娣e，但該方法需選取合適的分割尺度和特征；Zhu等［4］通過(guò)監(jiān)督分類與圖像形態(tài)學(xué)操作相結(jié)合，從而實(shí)現(xiàn)煙田面積提取。在煙草植株精細(xì)提取的研究中，夏炎等［5］結(jié)合多特征和簡(jiǎn)單線性迭代聚類（Simple linear iterative clustering，SLIC）超像素進(jìn)行煙株提??；謝紅輝［6］和Xie等［7］基于支持向量機(jī)進(jìn)行煙株提??；Fan等［8］則通過(guò)結(jié)合分水嶺分割和深度神經(jīng)網(wǎng)絡(luò)提取煙株。但這些研究大多是基于傳統(tǒng)圖像處理方法，提取精度不高，自動(dòng)化程度較低。近年來(lái)，隨著無(wú)人機(jī)技術(shù)的發(fā)展，消費(fèi)級(jí)無(wú)人機(jī)的使用有了較大增長(zhǎng)，無(wú)人機(jī)遙感技術(shù)也被廣泛應(yīng)用于各個(gè)領(lǐng)域。由于無(wú)人機(jī)遙感能以靈活、經(jīng)濟(jì)、高效的方式獲取超高空間分辨率影像［9］，為精準(zhǔn)農(nóng)業(yè)提供作物空間分布信息，因而被廣泛用于精準(zhǔn)農(nóng)業(yè)生產(chǎn)中［10］。另一方面，隨著計(jì)算機(jī)軟硬件和計(jì)算能力的提升，深度學(xué)習(xí)在科學(xué)研究和實(shí)際應(yīng)用中受到了極大的關(guān)注，越來(lái)越多的學(xué)者將其運(yùn)用到農(nóng)業(yè)領(lǐng)域?；跓o(wú)人機(jī)遙感技術(shù)和深度學(xué)習(xí)，精準(zhǔn)農(nóng)業(yè)得到了快速發(fā)展，但前人的研究對(duì)象主要針對(duì)糧食作物，而對(duì)煙草的研究還鮮見(jiàn)報(bào)道。因此，基于無(wú)人機(jī)的遙感平臺(tái)，運(yùn)用U-Net［11］和SLIC［12］超像素分割技術(shù)來(lái)實(shí)現(xiàn)煙株的自動(dòng)精細(xì)提取，旨在降低人工成本，提高煙株計(jì)數(shù)效率，為煙草的科學(xué)種植提供依據(jù)。

1 材料與方法

結(jié)合U-Net和SLIC超像素分割方法，實(shí)現(xiàn)煙草植株自動(dòng)提取和計(jì)數(shù)。該算法分為5個(gè)步驟：①制作語(yǔ)義分割數(shù)據(jù)集；②訓(xùn)練U-Net網(wǎng)絡(luò)提取煙田種植地塊；③構(gòu)建過(guò)綠差值指數(shù)去除雜草并對(duì)煙草覆蓋面精確提??；④使用SLIC超像素分割方法對(duì)煙草區(qū)域進(jìn)行分割；⑤提取煙株，標(biāo)記煙株位置并統(tǒng)計(jì)煙株數(shù)量，最后進(jìn)行精度評(píng)價(jià)。流程見(jiàn)圖1。

圖1 煙株提取技術(shù)流程圖Fig.1 Flow chart of tobacco plant extraction and segmentation technology

1.1研究區(qū)基本情況

試驗(yàn)設(shè)置在貴州省黔西南布依族苗族自治州興仁市（25°18′N～25°47′N，104°54′E～105°34′E），地勢(shì)南高北低，年平均氣溫15.2℃，降雨多集中在6～8月，年降水量1 300～1 450 mm，無(wú)霜期280 d左右，年均日照時(shí)數(shù)1 564.7 h，主要種植烤煙等經(jīng)濟(jì)作物。

1.2 數(shù)據(jù)來(lái)源及處理

數(shù)據(jù)來(lái)源于天池2019年縣域農(nóng)業(yè)大腦AI挑戰(zhàn)賽［13］，拍攝時(shí)間為2019年6月19日，影像大小為44 343×33 603像素，影像數(shù)據(jù)包括薏仁米、玉米、烤煙和人造建筑等多種地物，見(jiàn)圖2。其中煙草品種為云煙87，煙株處于大田旺長(zhǎng)期，長(zhǎng)勢(shì)均勻一致，部分煙葉間出現(xiàn)相互遮擋的情況。

圖2 天池2019年縣域農(nóng)業(yè)大腦AI挑戰(zhàn)賽影像縮略圖Fig.2 Thumbnail image of the 2019 Agricultural Brain AI Challenge in Tianchi County

將煙草覆蓋的區(qū)域影像數(shù)據(jù)批量裁剪成大小1 024像素×1 024像素，共得到煙草影像數(shù)據(jù)271張，從中選出190張影像制作數(shù)據(jù)集，用于U-Net的訓(xùn)練和測(cè)試，見(jiàn)圖3a。數(shù)據(jù)集采用圖像標(biāo)記工具Labelme進(jìn)行人工煙株單類標(biāo)記，見(jiàn)圖3b，其中酒紅色為煙田，黑色為背景。

圖3 語(yǔ)義分割數(shù)據(jù)集Fig.3 Semantic segmentation dataset

選取三景煙田面積不同、煙株長(zhǎng)勢(shì)不一、背景差異較大的影像作為示例數(shù)據(jù)，見(jiàn)圖4。由圖4可見(jiàn)，對(duì)于數(shù)據(jù)1，煙田面積約占影像的1/4，煙株大小勻稱，煙田周圍干擾地物較少；數(shù)據(jù)2中整個(gè)區(qū)域均是煙田，煙株長(zhǎng)勢(shì)均一，生長(zhǎng)密集；數(shù)據(jù)3中煙田有兩個(gè)部分，面積約占影像的1/2，周圍環(huán)境比較復(fù)雜，而且煙田中有雜草。

圖4 示例數(shù)據(jù)Fig.4 Sample dataset

1.3 研究方法

1.3.1 U-Net語(yǔ)義分割

U-Net最早應(yīng)用于醫(yī)學(xué)圖像領(lǐng)域［11］，是對(duì)FCN的優(yōu)化和改進(jìn)［14］。其結(jié)構(gòu)簡(jiǎn)單、參數(shù)量少，分為下采樣特征提取和上采樣預(yù)測(cè)兩部分，這兩部分組合形成一個(gè)U形的網(wǎng)絡(luò)結(jié)構(gòu)，因此被稱為U-Net，如圖5所示。與FCN相比，其改進(jìn)之處在于多尺度網(wǎng)絡(luò)結(jié)構(gòu)，利用卷積操作將圖像的淺層特征與深層特征進(jìn)行融合，保留了細(xì)節(jié)信息，從而能夠正確地對(duì)像素進(jìn)行分類，對(duì)于小數(shù)據(jù)集和二分類具有優(yōu)異的性能［15］。此外，該網(wǎng)絡(luò)沒(méi)有全連接層，可以處理不同尺度的輸入圖像，并返回與輸入圖像大小相同的分割結(jié)果。

圖5 U-Net結(jié)構(gòu)Fig.5 Structure of U-Net

本試驗(yàn)中手工標(biāo)注數(shù)據(jù)集190張，其中90%（171張）的圖像用于訓(xùn)練模型，其余10%（19張）的圖像用于模型測(cè)試。試驗(yàn)環(huán)境配置為：Intel Core i7-7700HQ四核處理器；NVIDIA GTX1060顯卡，8G DDR4內(nèi)存；深度學(xué)習(xí)框架為TensorFlow，編程語(yǔ)言為Python3.6。在訓(xùn)練模型之前，為減少發(fā)生過(guò)擬合現(xiàn)象和提升模型的泛化能力，使用水平翻轉(zhuǎn)、縮放、裁剪和平移對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行圖像增強(qiáng)。訓(xùn)練U-Net的學(xué)習(xí)率為1×10-5，訓(xùn)練批次大小為2，訓(xùn)練周期為100。

1.3.2 過(guò)綠差值指數(shù)構(gòu)建

提取煙田面積之后，大部分煙田中有雜草及其他地物，很大程度上會(huì)影響后續(xù)的分割結(jié)果，使用其他常用的植被指數(shù)很難將煙草覆蓋面單獨(dú)提取出來(lái)，所以構(gòu)建一種新的植被指數(shù)-過(guò)綠差值指數(shù)（EGDI）來(lái)區(qū)分煙株和雜草，提取煙草覆蓋區(qū)域的計(jì)算公式：

式中：G為綠波段值，R為紅波段值，B為藍(lán)波段值。

1.3.3 SLIC超像素分割

超像素是將空間上相連的相似像素進(jìn)行聚類形成的區(qū)域，在高空間分辨率圖像處理和分割中通常以這些區(qū)域作為基本單元來(lái)代替原始像素［16］。在眾多的超像素分割方法中，SLIC因其簡(jiǎn)單、高效和對(duì)圖像邊界具有較強(qiáng)的依附性而得到了廣泛應(yīng)用。

SLIC由4個(gè)算法步驟組成。首先初始化種子點(diǎn)，假設(shè)圖像有N個(gè)像素點(diǎn)，預(yù)分割為K個(gè)相同尺寸的超像素，則每個(gè)超像素的大小為N/K，相鄰種子點(diǎn)的距離近似為，為了避免種子點(diǎn)處在圖像的邊緣位置，以及對(duì)后續(xù)的聚類過(guò)程造成干擾，需要將種子點(diǎn)在以其為中心的3×3的窗口內(nèi)移動(dòng)到梯度值最小的位置；然后為每個(gè)種子分配一個(gè)單獨(dú)的標(biāo)簽，定義一個(gè)聚類中心，并在2S×2S范圍內(nèi)檢索；接著對(duì)每個(gè)像素點(diǎn)分別計(jì)算與之距離最近的種子點(diǎn)之間的相似程度，將最相似種子點(diǎn)的標(biāo)簽賦給該像素；最后不斷迭代該過(guò)程，直到收斂［17］。

利用OpenCv-Python實(shí)現(xiàn)SLIC算法對(duì)影像的分割，為達(dá)到最佳試驗(yàn)效果，經(jīng)過(guò)多次分割試驗(yàn)，分割尺度設(shè)為20，迭代次數(shù)設(shè)為20次，分割完成后使用OpenCV輪廓檢測(cè)函數(shù)找出含有煙株的每一個(gè)超像素內(nèi)接矩形，并在矩形中心位置用紅色圓點(diǎn)進(jìn)行標(biāo)記，紅點(diǎn)數(shù)量則為煙株數(shù)量。

2 結(jié)果與分析

2.1 U-Net模型的煙田面積提取結(jié)果

使用訓(xùn)練完成的U-Net模型分別對(duì)3景示例數(shù)據(jù)進(jìn)行預(yù)測(cè)，得到煙田面積的提取結(jié)果分別見(jiàn)圖6d、6e和6f。人工標(biāo)記的標(biāo)簽結(jié)果分別見(jiàn)圖6a、6b和6c?？梢钥闯鲇?xùn)練的網(wǎng)絡(luò)模型均能夠有效地提取煙田面積。將傳統(tǒng)的面向?qū)ο蠓诸惙椒ㄗ鳛閷?duì)照，利用eCognition8.0軟件中多尺度分割的方法對(duì)影像進(jìn)行分割，然后根據(jù)光譜和紋理特征對(duì)影像進(jìn)行分類，得到煙田面積提取結(jié)果，見(jiàn)圖6g、6h和6i。

圖6 煙田面積提取結(jié)果Fig.6 Extraction results and corresponding tobacco field areas

使用語(yǔ)義分割常用評(píng)價(jià)指標(biāo)平均交并比（MIou）、召回率（Recall）、精度（Precision）和F1值（F1-Score）分別對(duì)U-Net分割方法和面向?qū)ο蠓椒ㄌ崛〉臒熖锩娣e進(jìn)行精度評(píng)價(jià)，結(jié)果見(jiàn)表1。由表1中可以看出，使用U-Net分割各類指標(biāo)數(shù)值最高，提取煙田面積效果最佳。

表1 煙田面積提取精度評(píng)價(jià)Tab.1 Precision of tobacco field area extraction （%）

2.2 過(guò)綠差值指數(shù)煙株覆蓋面提取結(jié)果

過(guò)綠差值指數(shù)能夠有效地將每一壟煙株邊界識(shí)別出來(lái)，同時(shí)又可以將煙田中的雜草去除，見(jiàn)圖7a、7b和7c，并且還能夠?qū)熤旮采w區(qū)域精準(zhǔn)地提取出來(lái)，見(jiàn)圖7g、7h和7i。而過(guò)綠指數(shù)（Exg）使得邊界模糊，煙株與雜草混淆，見(jiàn)圖7d、7e和7f。

圖7 煙草覆蓋面提取結(jié)果Fig.7 Extraction results of tobacco coverage

2.3 SLIC超像素分割與煙株提取結(jié)果

分割結(jié)果見(jiàn)圖8a、8b和8c，所圍成的封閉不規(guī)則形狀為一個(gè)超像素。提取結(jié)果見(jiàn)圖8d、8e和8f。最終數(shù)據(jù)1、數(shù)據(jù)2和數(shù)據(jù)3自動(dòng)提取出來(lái)的煙株分別為257株、1 264株和513株。

圖8 SLIC分割及煙株識(shí)別結(jié)果Fig.8 Results of SLIC segmentation and tobacco plant recognition

2.4 煙株提取精度分析

采用總體精度（Overall Accuracy，OA）、錯(cuò)檢誤差（Commission Error，CE）、漏檢誤差（Omissions Error，OE）和準(zhǔn)確度（Accuracy Rate，AR）作為精度評(píng)價(jià)指標(biāo)［18］。各個(gè)精度評(píng)價(jià)指標(biāo)計(jì)算公式：

式中：Nd表示計(jì)算出的煙株數(shù)，Nv表示實(shí)際樣本株數(shù)，Nc表示錯(cuò)誤標(biāo)注的株數(shù)，No表示遺漏標(biāo)注的株數(shù)。

煙株中心點(diǎn)檢測(cè)過(guò)程中出現(xiàn)的5種結(jié)果如圖9所示。其中圖9a探測(cè)到煙株中心點(diǎn)位置位于煙草位置的緩沖區(qū)內(nèi)，且僅探測(cè)到一個(gè)中心點(diǎn)，為正確標(biāo)注；圖9b和圖9c為兩種錯(cuò)檢情況；圖9d、圖9e為兩種漏檢情況。其中圖9b和9e分別作為一個(gè)正確標(biāo)注和一個(gè)錯(cuò)誤標(biāo)注處理。

圖9 煙株識(shí)別中出現(xiàn)的情況分析Fig.9 Situations occurred during tobacco plant recognition

數(shù)據(jù)1的實(shí)際煙株數(shù)為259株，本試驗(yàn)中提取的煙株數(shù)為257株，總體精度為99.23%，錯(cuò)檢率為3.86%，漏檢率為2.32%，準(zhǔn)確度為93.82%；數(shù)據(jù)2實(shí)際煙株數(shù)為1 272株，提取的煙株數(shù)為1 264株，總體精度為99.37%，錯(cuò)檢率為3.62%，漏檢率為2.67%，準(zhǔn)確度為93.71%；數(shù)據(jù)3的實(shí)際煙株數(shù)為508株，提取的煙株數(shù)為513株，總體精度為99.02%，錯(cuò)檢率為4.13%，漏檢率為3.15%，準(zhǔn)確度為92.72%。精度分析結(jié)果見(jiàn)表2。

表2 煙株提取精度分析Tab.2 Evaluation of extraction precision of tobacco plants

從試驗(yàn)結(jié)果來(lái)看，示例數(shù)據(jù)1和2煙草長(zhǎng)勢(shì)一致，煙株均勻，且煙田中無(wú)雜草，試驗(yàn)總體精度和準(zhǔn)確度較高;數(shù)據(jù)3中煙株大小不一致，很多小煙株被漏檢，而較大的煙株被拆分開(kāi)，導(dǎo)致錯(cuò)檢。總體而言，煙株提取的平均總體精度和平均準(zhǔn)確度均較高，分別為99.21%和93.42%。

不同提取方法對(duì)煙株的提取效果見(jiàn)表3。從表3中可以看出，本試驗(yàn)中采用的方法平均總體精度和平均準(zhǔn)確度均達(dá)到最高。

表3 不同提取方法的比較Tab.3 Comparison among different extraction methods （%）

3 結(jié)論

基于無(wú)人機(jī)影像，結(jié)合U-Net和SLIC超像素分割，建立了煙株自動(dòng)提取和計(jì)數(shù)方法。結(jié)果表明，該方法在煙株提取和計(jì)數(shù)中應(yīng)用效果良好，煙株提取的平均總體精度為99.21%，平均準(zhǔn)確度為93.42%。該方法自動(dòng)化程度高，提取精度可滿足實(shí)際生產(chǎn)管理需求，為煙草種植管理提供了技術(shù)支持。