陳鋒軍 王成翰 顧夢(mèng)夢(mèng) 趙燕東

(1.北京林業(yè)大學(xué)工學(xué)院， 北京 100083； 2.城鄉(xiāng)生態(tài)環(huán)境北京實(shí)驗(yàn)室， 北京 100083；3.德州農(nóng)工大學(xué)園藝系， 大學(xué)城 77843； 4.林業(yè)裝備與自動(dòng)化國(guó)家林業(yè)局重點(diǎn)實(shí)驗(yàn)室， 北京 100083)

0 引言

隨著城市建設(shè)和環(huán)境改善等方面需求的增加，花卉苗木行業(yè)近年來(lái)取得了飛速發(fā)展。根據(jù)中國(guó)經(jīng)濟(jì)網(wǎng)數(shù)據(jù)，2016年全國(guó)苗木花卉生產(chǎn)面積200多萬(wàn)公頃，年產(chǎn)值達(dá)3 600多億元[1]。苗木生產(chǎn)中勞動(dòng)力成本最高，約占總成本的50%，降低勞動(dòng)力成本是苗木企業(yè)盈利的關(guān)鍵因素之一。傳統(tǒng)的苗圃庫(kù)存統(tǒng)計(jì)均是人工計(jì)數(shù)，存在勞動(dòng)成本高、效率低、人力資源浪費(fèi)嚴(yán)重等問(wèn)題，且不能保證準(zhǔn)確率。無(wú)人機(jī)航拍自動(dòng)統(tǒng)計(jì)苗木數(shù)量是替代人工統(tǒng)計(jì)的理想方法。

圖1 分割算法框圖Fig.1 Block diagram of segmentation algorithm

利用航拍進(jìn)行苗木庫(kù)存統(tǒng)計(jì)和計(jì)數(shù)受到很多客觀條件的影響，例如成像光照變化、苗木個(gè)體之間差別、地面雜草背景干擾以及苗木之間的粘連等因素，國(guó)內(nèi)尚未查到相關(guān)已解決該問(wèn)題的研究文獻(xiàn)，國(guó)外研究也處于探索階段[2-8]。參考國(guó)內(nèi)外其他領(lǐng)域相關(guān)文獻(xiàn)[9]，涉及的方法主要包括基于形狀[10]和顏色特征[11]的方法、基于閾值分割的方法[12]和基于學(xué)習(xí)的方法[13-15]。其中基于形狀、顏色和閾值的算法受人為主觀因素影響大，不具有魯棒性。深度學(xué)習(xí)算法在農(nóng)業(yè)[16]和無(wú)人機(jī)[17]領(lǐng)域得到快速的研究和應(yīng)用。美國(guó)賓夕法尼亞大學(xué)的Vijay Kumar實(shí)驗(yàn)室利用深度學(xué)習(xí)算法，通過(guò)無(wú)人機(jī)拍攝圖像預(yù)測(cè)蘋(píng)果和柑橘的產(chǎn)量[15]。德國(guó)波恩大學(xué)CYRILL團(tuán)隊(duì)，通過(guò)RGB+NIR圖像和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network, CNN)實(shí)時(shí)區(qū)分甜菜和田間雜草[18-19]。2015年CVPR會(huì)議首次提出全卷積神經(jīng)網(wǎng)絡(luò)(Fully convolutional networks，F(xiàn)CN)結(jié)構(gòu)用于語(yǔ)義分割[20]。FCN的優(yōu)點(diǎn)是可以接受任意大小的輸入圖像，不要求所有訓(xùn)練樣本和測(cè)試樣本尺寸相同，避免因使用像素塊引起的卷積計(jì)算問(wèn)題，使運(yùn)行更加高效。馬樹(shù)志[21]利用AlexNet框架搭建全卷積網(wǎng)絡(luò)結(jié)構(gòu)，研究分割CT影像中的肝臟。毋立芳等[22]利用FCN和深度卷積神經(jīng)網(wǎng)絡(luò)(Deep convolutional neural network, DCNN)，實(shí)現(xiàn)毫米波雷達(dá)云圖快速精確分割。王鵬等[23]利用Caffe框架、在CNN的基礎(chǔ)上結(jié)合反卷積神經(jīng)網(wǎng)絡(luò)提出一種有效的人體圖像分割方案。相比傳統(tǒng)圖像分割方法，深度學(xué)習(xí)FCN的性能更優(yōu)。

本文以無(wú)人機(jī)拍攝的種植云杉為研究對(duì)象，提出一種應(yīng)用FCN模型的分割算法，有效去除背景干擾，提取圖像中的云杉部分，實(shí)現(xiàn)云杉數(shù)量自動(dòng)統(tǒng)計(jì)。

1 算法設(shè)計(jì)

本文提出的FCN模型對(duì)無(wú)人機(jī)航拍云杉圖像進(jìn)行分割的算法框圖如圖1所示。首先利用無(wú)人機(jī)獲取云杉圖像，然后將圖像進(jìn)行壓縮預(yù)處理，構(gòu)建FCN模型并對(duì)其進(jìn)行訓(xùn)練，最終實(shí)現(xiàn)對(duì)圖像中云杉的有效分割。

1.1 圖像壓縮預(yù)處理

本文預(yù)處理的主要目的是減少FCN模型的計(jì)算量以及算法運(yùn)行時(shí)間。無(wú)人機(jī)拍攝的云杉圖像為4 000像素×3 000像素的RGB圖像，如果不做壓縮直接輸入FCN模型，訓(xùn)練過(guò)程計(jì)算量大，運(yùn)行時(shí)間長(zhǎng)。參考文獻(xiàn)[24]，設(shè)定FCN模型輸入圖像為224像素×224像素，在保證云杉分割效果的前提下，將云杉圖像從原圖的4 000像素×3 000像素壓縮至1 200像素×900像素，標(biāo)注好云杉信息之后再壓縮到224像素×224像素，作為FCN模型的輸入。

1.2 構(gòu)建FCN模型

CNN的主要功能是實(shí)現(xiàn)圖像分類(lèi)，由卷積層、池化層、全連接層和softmax分類(lèi)器層組成[20]。FCN與CNN相比，將卷積層后的全連接層換成了卷積層，添加反卷積層連接至softmax分類(lèi)器；FCN首先提取圖像中的特征生成特征圖，再將特征圖進(jìn)行反卷積操作，輸出與輸入圖像同樣大小的灰度圖像；FCN通過(guò)判斷圖像中每一個(gè)像素的類(lèi)別完成圖像的語(yǔ)義分割。VGG16采用較小的卷積核提取圖像邊緣細(xì)節(jié)特征，可以通過(guò)增加卷積層的層數(shù)提高分類(lèi)精度，本文以VGG16為基礎(chǔ)構(gòu)建云杉圖像分割的FCN模型，如圖2所示。

圖2 FCN模型結(jié)構(gòu)Fig.2 Fully convolutional networks architecture

其中conv、relu、pool和deconv分別表示卷積層、ReLu激活函數(shù)、池化層和反卷積層，F(xiàn)CN模型共有6組卷積層，每個(gè)卷積層后添加ReLu激活函數(shù)，各組卷積層之間由池化層相隔。輸入為224×224×3的RGB圖像，輸出為224×224×1的灰度圖像。

卷積層的參數(shù)以卷積核參數(shù)的形式存在，通過(guò)更新卷積核參數(shù)學(xué)習(xí)云杉圖像特征，特征復(fù)雜程度隨著卷積層數(shù)的增加而增加。本文FCN模型各卷積層中卷積核細(xì)節(jié)如表1所示。

表1 FCN模型各卷積層中卷積核具體情況Tab.1 Details about convolution kernel

為減少卷積層conv6_1和conv6_2過(guò)擬合現(xiàn)象，采用丟棄法，保持率設(shè)置為0.5，即每一次訓(xùn)練過(guò)程中只隨機(jī)選擇50%的卷積核參與訓(xùn)練。

為了提高訓(xùn)練速率和增加網(wǎng)絡(luò)非線(xiàn)性能力，選擇ReLu函數(shù)作為激活函數(shù)，其表達(dá)式為

a=max(0,b)

(1)

式中a——激活函數(shù)的輸入

b——激活函數(shù)的輸出

為了保留主要特征并減少參數(shù)數(shù)量和計(jì)算量，選用2×2的平均池化作為池化層，經(jīng)池化層處理后的特征圖尺寸縮小至輸入圖像的一半。

(2)

式中yij——池化層在(i,j)處的輸出

xij——池化層在(i,j)處的輸入

r——池化層輸入行數(shù)

c——池化層輸入列數(shù)

反卷積層操作目的是使卷積層輸出圖像恢復(fù)到輸入圖像的尺寸并增強(qiáng)細(xì)節(jié)信息。設(shè)置一個(gè)比反卷積層輸入圖像尺寸更大的矩陣，使輸入圖像能夠均勻散布在所設(shè)置矩陣中做卷積操作。以3×3的輸入矩陣為例，先將其擴(kuò)充至7×7的矩陣中，再與3×3的卷積核做步長(zhǎng)為1的卷積操作，其結(jié)果輸出為5×5的矩陣，具體過(guò)程如圖3所示。本文反卷積層使用特征融合技術(shù)，通過(guò)將池化層的輸出和反卷積層輸出求和，融合卷積層得到的精細(xì)輸出和反卷積層得到的粗糙輸出，以提高云杉圖像分割精度。

圖3 反卷積過(guò)程示例Fig.3 Deconvolutional demonstration

1.3 分割結(jié)果評(píng)價(jià)指標(biāo)

評(píng)價(jià)語(yǔ)意分割的效果有特定的標(biāo)準(zhǔn)[25]，具體為像素精度(Pixel accuracy, PA)、均像素精度(Mean pixel accuracy, MPA)、均交并比(Mean intersection over union, MIoU)和頻權(quán)交并比(Frequency weighted intersection over union, FWIoU)這4個(gè)評(píng)價(jià)指標(biāo)。

1.3.1像素精度

像素精度為判別正確的像素?cái)?shù)量在所有像素中所占的比值，即

(3)

式中RPA——像素精度

k——語(yǔ)義分割的類(lèi)別，本文中k為1

pij——屬于類(lèi)別i被識(shí)別為類(lèi)別j的像素?cái)?shù)量

pii——判別正確的像素?cái)?shù)量

1.3.2均像素精度

先計(jì)算每一類(lèi)內(nèi)像素的精度，再求得所有類(lèi)別像素精度的平均值，即

(4)

式中RMPA——均像素精度

1.3.3均交并比

均交并比是語(yǔ)義分割的標(biāo)準(zhǔn)度量參數(shù)。計(jì)算兩個(gè)集合的交集和并集的比率，語(yǔ)義分割中交集可以看作判別正確的像素集合，并集為判別正確的(pii)和被誤判的(pij+pji)像素集合，即為真實(shí)值與預(yù)測(cè)值的比值。先計(jì)算出每一類(lèi)內(nèi)交并比，再求得所有類(lèi)別交并比的平均值，即

(5)

式中RMIoU——均交并比

pji——屬于類(lèi)別j被識(shí)別為類(lèi)別i的像素?cái)?shù)量

1.3.4頻權(quán)交并比

頻權(quán)交并比是均交并比的一種升級(jí)形式，根據(jù)每一類(lèi)出現(xiàn)的頻率設(shè)置其權(quán)重。

(6)

式中RFWIoU——頻權(quán)交并比

2 實(shí)驗(yàn)與結(jié)果分析

2.1 圖像采集

2017年7月18—19日在內(nèi)蒙古苗圃基地(東經(jīng)111°49′47″，北緯40°31′47″，海拔1 134 m)選用大疆精靈4無(wú)人機(jī)采集圖像。無(wú)人機(jī)云臺(tái)可控轉(zhuǎn)動(dòng)范圍俯仰-90°～30°，角度抖動(dòng)量±0.02°；鏡頭為FOV 94°，20 mm(35 mm格式等效)；利用定點(diǎn)懸停的方式采集云杉圖像，圖像尺寸為4 000像素×3 000像素。采集時(shí)間為05:30—07:30、09:00—10:00和17:00—18:00。拍攝前確認(rèn)無(wú)人機(jī)電池充電完成、無(wú)人機(jī)對(duì)應(yīng)APP更新和無(wú)人機(jī)內(nèi)存清空；拍攝時(shí)首先調(diào)整無(wú)人機(jī)相機(jī)鏡頭與地面平行，采集云杉正投影圖像，采用蛇形飛行軌跡，飛行高度分別選取8、10、12、15 m和其他高度。以05:30—07:30為例，18日測(cè)量環(huán)境參數(shù)如下：光照強(qiáng)度42 800 lx，風(fēng)速1.7 m/h，濕度68.0%，溫度為27.2℃，云杉地塊1面積為1 700 m2，云杉地塊2面積為825 m2?？紤]到圖像后期拼接等操作，拍攝前在云杉種植地塊鋪設(shè)大小為1 m×1 m邊界二維碼4幅和中央?yún)^(qū)域二維碼2幅。

2.2 建立數(shù)據(jù)集

充分考慮樣本量充足和樣本具有代表性?xún)煞矫嬉蛩?，?gòu)建的數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集?？紤]云杉圖像在不同采集時(shí)間、不同采集地塊和不同飛行高度下采集的情況，選擇清晨、上午和中午不同拍攝時(shí)間，無(wú)人機(jī)飛行高度8 m和10 m兩個(gè)地塊的云杉圖像300幅共計(jì)13 028株云杉組成訓(xùn)練集。云杉圖像壓縮預(yù)處理后，用Photoshop軟件進(jìn)行人工標(biāo)注，具體步驟為：①輸入壓縮后大小為1 200像素×900像素的彩色圖像。②灰度化輸入圖像。③設(shè)置云杉目標(biāo)區(qū)域灰度為255，非云杉區(qū)域灰度為0。④壓縮標(biāo)注后圖像至224像素×224像素，作為FCN模型的輸入。壓縮為1 200像素×900像素的彩色原圖和標(biāo)注后的灰度圖像如圖4所示。

圖4 標(biāo)注前后云杉圖像Fig.4 Examples of unlabeled and labeled images

測(cè)試集分為3組，共選取170幅云杉圖像共計(jì)7 312株云杉和90幅樟子松圖像共計(jì)3 218株樟子松。隨機(jī)抽取50幅云杉圖像共計(jì)2 154株云杉作為測(cè)試集A組； 05:30—07:30、09:00—10:00和17:00—18:00不同時(shí)間段選取的共120幅云杉圖像共計(jì)5 158株云杉組成測(cè)試集B組；同時(shí)所拍攝的樟子松圖像90幅，共計(jì)3 218株樟子松組成測(cè)試集C組。測(cè)試集示例如圖5所示，圖像尺寸為4 000像素×3 000像素。

2.3 實(shí)驗(yàn)流程和工作環(huán)境

實(shí)驗(yàn)硬件配置基于Intel Xeon E2-2620 v4@2.10 GHz CPU、NVIDIAGTX 1080Ti 11 GB GPU和32 GB內(nèi)存，Ubuntu 16.04操作系統(tǒng)下，利用Python語(yǔ)言編程，在Tensorflow框架下搭建基于VGG16結(jié)構(gòu)的FCN模型，完成云杉圖像分割的訓(xùn)練和測(cè)試。具體流程如圖6所示。

圖5 測(cè)試集示例Fig.5 Examples of test set images

圖6 基于VGG16結(jié)構(gòu)的FCN云杉圖像分割算法流程圖Fig.6 Flow chart of spruce image segmentation based on FCN with VGG16

2.4 FCN模型訓(xùn)練

輸入訓(xùn)練集圖像，F(xiàn)CN模型將分割結(jié)果與標(biāo)注文件進(jìn)行對(duì)比計(jì)算損失函數(shù)值，經(jīng)過(guò)60 000次迭代，損失函數(shù)收斂于5.727 2×10-3，訓(xùn)練過(guò)程持續(xù)5.78 h。其中批大小設(shè)置為2，訓(xùn)練速率初值設(shè)置為1×10-4，選取Adam優(yōu)化算法，利用訓(xùn)練好的VGG16網(wǎng)絡(luò)模型初始化前5組卷積層。訓(xùn)練過(guò)程中損失函數(shù)的變化如圖7所示。

圖7 訓(xùn)練過(guò)程中損失函數(shù)變化情況Fig.7 Loss function in training process

如圖7所示，前10 000次迭代過(guò)程中損失函數(shù)值迅速減小，20 000次迭代后損失函數(shù)基本收斂，損失函數(shù)值穩(wěn)定在5.727 2×10-3，雖然有擾動(dòng)出現(xiàn)，但隨著迭代次數(shù)的增加，擾動(dòng)的幅值逐漸減小。

2.5 算法測(cè)試結(jié)果與分析

2.5.1算法的效果驗(yàn)證

測(cè)試集中的A、B、C 3組圖像分別為隨機(jī)挑選的云杉圖像、不同光照條件的云杉圖像和同時(shí)同地采集的樟子松圖像，將測(cè)試集圖像輸入到訓(xùn)練好的FCN模型中進(jìn)行分割測(cè)試。PA、MPA、MIoU和FWIoU的結(jié)果如表2所示，其中MIoU作為主要評(píng)價(jià)指標(biāo)。

表2 FCN模型測(cè)試結(jié)果Tab.2 Test results of FCN model

FCN模型在PA和FWIoU這 2個(gè)評(píng)價(jià)指標(biāo)上對(duì)于3組測(cè)試集沒(méi)有明顯的差異；對(duì)于MPA和MIoU這2個(gè)評(píng)價(jià)指標(biāo)，F(xiàn)CN模型對(duì)于云杉圖像和非云杉圖像測(cè)試集上表現(xiàn)出明顯的差異，對(duì)于云杉圖像MPA達(dá)到0.86，MIoU達(dá)到0.75，對(duì)于非云杉圖像的樟子松測(cè)試集MPA為0.56，MIoU為0.47。測(cè)試整體的結(jié)果顯示FCN模型對(duì)云杉具有較強(qiáng)的分割能力，對(duì)于非云杉的樟子松分割能力較差，分析原因發(fā)現(xiàn)測(cè)試集中雖然云杉和樟子松采集正投影圖像，樹(shù)冠的投影都是形狀和大小近似的圓形，但是訓(xùn)練集中沒(méi)有樟子松的訓(xùn)練樣本，本文FCN模型不能有效分割沒(méi)有經(jīng)過(guò)訓(xùn)練的其他苗木。

圖8 3種算法的分割結(jié)果Fig.8 Comparison of segmentation results by three kinds of algorithms

在晴朗天氣中的清晨、上午和下午不同時(shí)段采集云杉圖像的測(cè)試集B組，對(duì)于PA、MPA、MIoU和FWIoU 這4個(gè)評(píng)價(jià)指標(biāo)的數(shù)值上沒(méi)有明顯差異，表明晴朗天氣下成像光照條件對(duì)FCN模型基本沒(méi)有影響。

另外，F(xiàn)CN模型加載過(guò)程耗時(shí)23.8 s，100幅224像素×224像素的云杉圖像批量測(cè)試耗時(shí)8.5 s。平均一幅云杉圖像的測(cè)試時(shí)間為0.085 s，F(xiàn)CN模型分割速率符合云杉計(jì)數(shù)的應(yīng)用需求。

總之通過(guò)測(cè)試可知FCN模型對(duì)于云杉圖像具有較好的語(yǔ)義分割效果，對(duì)晴朗天氣成像的光照條件并不敏感，運(yùn)行速率符合應(yīng)用要求；但是對(duì)沒(méi)有經(jīng)過(guò)訓(xùn)練的非云杉苗木語(yǔ)義分割效果較差。

2.5.2與其他分割算法的比較

圖像分割是由圖像處理到圖像分析的關(guān)鍵步驟，雖然已有上千種算法，但迄今為止沒(méi)有任何一種通用算法能夠有效地解決問(wèn)題，圖像分割算法都是面向特定應(yīng)用具體分析的結(jié)果。為驗(yàn)證本文FCN模型的分割性能，選取農(nóng)林業(yè)常用的基于顏色特征的閾值分割算法和K均值聚類(lèi)算法進(jìn)行比較。隨機(jī)選取云杉圖像50幅，比較本文FCN模型分割、HSV顏色空間閾值分割和K均值聚類(lèi)分割3種算法，部分分割結(jié)果如圖8所示。

從定性的角度比較3種分割算法，由圖8可知FCN模型分割效果最好，分割后的云杉輪廓清晰，細(xì)節(jié)完整，較好地解決了粘連問(wèn)題；其次為HSV顏色空間閾值分割算法，分割后的云杉輪廓比較清晰，細(xì)節(jié)有些模糊，產(chǎn)生了粘連問(wèn)題；K均值聚類(lèi)分割算法效果最差，分割后云杉粘連嚴(yán)重。利用PA、MPA、MIoU和FWIoU這4個(gè)評(píng)價(jià)指標(biāo)定量對(duì)比3種分割算法，結(jié)果如表3所示。

表3 3種算法測(cè)試結(jié)果Tab.3 Test results of three kinds of algorithms

對(duì)3種分割算法的測(cè)試結(jié)果進(jìn)行定量比較，根據(jù)PA、MPA、MIoU和FWIoU這4個(gè)語(yǔ)義分割結(jié)果評(píng)價(jià)指標(biāo)可以得到與定性比較3種算法一樣的結(jié)論：FCN模型分割效果最好，MIoU達(dá)到0.75；K均值聚類(lèi)算法分割效果最差，MIoU僅為0.37，比FCN模型低了0.38。分析3種算法的分割結(jié)果，K均值聚類(lèi)分割算法能夠有效分割地面鋪設(shè)二維碼等與云杉顏色相差較大的背景，對(duì)于與云杉顏色相近的雜草和云杉成像的陰影分割效果較差，導(dǎo)致分割結(jié)果云杉粘連不能有效去除背景。HSV顏色空間閾值分割算法通過(guò)調(diào)整閾值范圍一定程度上減輕了分割后云杉粘連問(wèn)題，但是不能有效去除雜草背景。FCN模型因?yàn)榫矸e層云杉特征學(xué)習(xí)的強(qiáng)大能力和反卷積層云杉特征的融合輸出能夠很大程度上保證分割算法的魯棒性，分割后的云杉輪廓清晰，細(xì)節(jié)完整，有效地去除了雜草和陰影等背景干擾。

3 結(jié)論

(1)提出一種基于FCN模型的云杉圖像分割算法。訓(xùn)練后測(cè)試FCN模型，PA和MPA的值達(dá)到0.86、MIoU的值為0.75、FWIoU的值為0.76，云杉分割后輪廓清晰、細(xì)節(jié)完整，實(shí)現(xiàn)了像素級(jí)精確的語(yǔ)義分割。通過(guò)挑選不同時(shí)段拍攝的云杉圖像進(jìn)行測(cè)試，結(jié)果表明，F(xiàn)CN模型的分割算法對(duì)晴朗天氣下成像的光照條件具有良好的魯棒性能。分割云杉圖像每幅平均耗時(shí)0.085 s，完全滿(mǎn)足云杉數(shù)量統(tǒng)計(jì)的應(yīng)用目的，具有良好的實(shí)時(shí)性。

(2)為進(jìn)一步驗(yàn)證FCN模型的效果，與HSV顏色空間閾值分割算法和K均值聚類(lèi)分割算法進(jìn)行比較。HSV顏色空間閾值分割算法分割后，云杉輪廓比較清晰，細(xì)節(jié)有些模糊，出現(xiàn)粘連問(wèn)題，K均值聚類(lèi)分割算法分割后云杉粘連問(wèn)題嚴(yán)重；比較PA、MPA、MIoU和FWIoU這4個(gè)評(píng)價(jià)指標(biāo)值，HSV顏色空間閾值分割算法比FCN模型分割算法低0.07、0.04、0.10和0.10，K均值聚類(lèi)分割算法比FCN模型分割算法低0.31、0.31、0.38和0.38。對(duì)比結(jié)果表明，F(xiàn)CN模型效果優(yōu)于HSV顏色空間閾值分割算法和K均值聚類(lèi)分割算法。