梁胤豪，陳 全，董彩霞，楊長(zhǎng)才,4

（1. 西北大學(xué)數(shù)學(xué)學(xué)院，陜西 西安 710127；2. 福建農(nóng)林大學(xué)農(nóng)林大數(shù)據(jù)研究院，福建 福州 350002；3. 福建農(nóng)林大學(xué)計(jì)算機(jī)與信息學(xué)院/數(shù)字福建農(nóng)林大數(shù)據(jù)研究所，福建 福州 350002；4. 智慧農(nóng)林福建省高校重點(diǎn)實(shí)驗(yàn)室，福建 福州 350002）

0 引言

【研究意義】玉米是世界上最重要的谷類作物之一。玉米抽雄期是決定玉米產(chǎn)量最關(guān)鍵的時(shí)期，雄穗是判斷玉米是否進(jìn)入抽雄期的主要依據(jù)。持續(xù)監(jiān)測(cè)玉米雄穗的生長(zhǎng)可以確保玉米的安全性、質(zhì)量和單產(chǎn)[1]。傳統(tǒng)育種中，雄穗主要依靠人為識(shí)別，效率低下，主觀成分高，識(shí)別的樣本量有限。因此，快速準(zhǔn)確的鑒定對(duì)于更好地了解玉米的表型特征非常重要?！厩叭搜芯窟M(jìn)展】隨著計(jì)算機(jī)視覺和基于圖像的植物表型平臺(tái)的發(fā)展，研究人員輕松獲得了高分辨率的植物生長(zhǎng)圖像。搭載高清攝像機(jī)的無人機(jī)的最新應(yīng)用發(fā)展極大地增加了樣本量[2-4]。深度學(xué)習(xí)算法已被廣泛用于計(jì)數(shù)莖[2]、幼苗數(shù)[3]和小麥穗數(shù)[4]。玉米雄穗的早期檢測(cè)算法是利用支持向量機(jī)方法[5]對(duì)圖像進(jìn)行分割，但是，圖像捕獲過程的吞吐量較低，勞動(dòng)強(qiáng)度大，無法應(yīng)用于更大的領(lǐng)域。Lu等[6-7]開發(fā)了mTASSLE軟件，以自動(dòng)細(xì)粒度機(jī)器視覺系統(tǒng)監(jiān)視玉米雄穗性狀的不同階段，并提出了TasselNet對(duì)玉米雄穗進(jìn)行計(jì)數(shù)，但樣本數(shù)量仍然有限。Liu[8]通過基于無人機(jī)航拍圖像，采用Faster R-CNN目標(biāo)檢測(cè)算法高通量的自動(dòng)檢測(cè)雄穗數(shù)量，在15 m高度的無人機(jī)圖像中，檢測(cè)精度能達(dá)到90%，然而Faster R-CNN的模型參數(shù)較大，檢測(cè)速度相對(duì)較慢?！颈狙芯壳腥朦c(diǎn)】衡量不同模型的性能，除了要采用相同的數(shù)據(jù)集，還要使用相同的評(píng)價(jià)準(zhǔn)則。除了mAP指標(biāo)外，預(yù)測(cè)的雄穗個(gè)數(shù)和真實(shí)的雄穗個(gè)數(shù)的差異也是衡量的重要指標(biāo)?！緮M解決的關(guān)鍵問題】本研究利用無人機(jī)采集圖像數(shù)據(jù)，通過提高表現(xiàn)測(cè)量的通量，考量不同模型的檢測(cè)精度、檢測(cè)效率和參數(shù)大小，最終獲得一個(gè)檢測(cè)精度高、速度快、輕量且適合部署在無人機(jī)機(jī)載平臺(tái)上的模型。

1 材料與方法

1.1 試驗(yàn)田、圖像采集和標(biāo)簽

圖像數(shù)據(jù)集來自福建省南平市福建農(nóng)林大學(xué)試驗(yàn)田。試驗(yàn)田一共種植了128行不同品種的玉米，每行30個(gè)重復(fù)。無人機(jī)采用大疆公司生產(chǎn)的Phantom4 Pro，通過無人機(jī)對(duì)試驗(yàn)田進(jìn)行航線規(guī)劃，選擇天氣晴朗、光照適度的天氣進(jìn)行拍照?？紤]到無人機(jī)的續(xù)航能力及地面的分辨率，將無人機(jī)飛行高度設(shè)置為離地面25 m，攝像機(jī)分辨率為5 280×3 648像素，地面分辨率為1.0 cm·像素-1。航線規(guī)劃使用大疆的DJI Terra軟件（版本 2.2.0.15）（圖1），根據(jù)實(shí)際農(nóng)田場(chǎng)景，設(shè)置航向重疊率和旁向重疊率為90%，無人機(jī)飛行速度由軟件自動(dòng)設(shè)定，為1.2 m·s-1。共采集了236張?zhí)镩g玉米的圖像，為了減少數(shù)據(jù)處理時(shí)間，將原始圖像裁剪并過濾成分辨率為1 024×1 024的100張圖像。

圖1 無人機(jī)航線規(guī)劃Fig.1 Planning of UAV flight routes

使用圖像注釋工具LabelImg[9]對(duì)裁剪過的圖像進(jìn)行雄穗邊界框標(biāo)注（圖2）。圖2所示玉米雄穗的所有像素都在邊界框的范圍內(nèi)。帶注釋的圖像根據(jù)3∶1比例隨機(jī)分為訓(xùn)練驗(yàn)證集和測(cè)試集。

1.2 目標(biāo)檢測(cè)框架

圖2 試驗(yàn)田、航線設(shè)置、DJI無人機(jī)與LabelImg數(shù)據(jù)標(biāo)注Fig.2 Experimentation field, flight routes, DJI drone, and LabelImg data annotation

在圖像處理中，圖像里有多個(gè)感興趣的目標(biāo)，不僅需要知道它們的類別，還需要得到它們?cè)趫D像中的具體位置。在計(jì)算機(jī)視覺里，這類任務(wù)稱為目標(biāo)檢測(cè)（object detection）或物體檢測(cè)[10]。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)框架，目前主要分為兩類：一是基于one-stage的框架，如SSD[11]（Single Shot MultiBox Detector）、YOLO[12]（You Only Look Once）等，能夠同時(shí)完成檢測(cè)和回歸任務(wù)；另一類方法則是基于twostage的學(xué)習(xí)框架，將檢測(cè)任務(wù)分為回歸（location）和分類任務(wù)，如R-CNN、Fast R-CNN、Faster R-CNN[13]等?？傮w而言，two-stage框架任務(wù)準(zhǔn)確率相對(duì)較高，但是運(yùn)行速度比較慢；one-stage則能夠達(dá)到實(shí)時(shí)性，但犧牲了部分精度。

Faster R-CNN[13]采用池化的方法將訓(xùn)練數(shù)據(jù)調(diào)整到統(tǒng)一尺寸，將分類與回歸任務(wù)合并到一起進(jìn)行訓(xùn)練，構(gòu)建區(qū)域預(yù)測(cè)網(wǎng)絡(luò)（RPN）直接產(chǎn)生Region proposal來得到感興趣區(qū)域，利用這種方式實(shí)現(xiàn)端對(duì)端的訓(xùn)練。YOLO v3[12]的基本思想主要是通過輸入圖像提取特征獲得特定大小特征圖，然后利用網(wǎng)格單元來進(jìn)行預(yù)測(cè)并通過RPN預(yù)測(cè)一定的邊界框。SSD[11]使用了多尺度特征進(jìn)行檢測(cè)，SSD不僅在最后的特征層上產(chǎn)生錨框，在幾個(gè)高層特征層處也都有產(chǎn)生錨框。同時(shí)SSD中所有特征層產(chǎn)生的錨框都經(jīng)過正負(fù)樣本的篩選，然后進(jìn)行分類分?jǐn)?shù)以及邊框的學(xué)習(xí)。

1.3 目標(biāo)檢測(cè)模型在玉米雄穗數(shù)據(jù)集上的訓(xùn)練

試驗(yàn)使用的框架基于 MXnet[14]和 GLounCV。MXNet是由DMLC（分布式機(jī)器學(xué)習(xí)社區(qū)）打造的深度學(xué)習(xí)框架，同時(shí)也是亞馬遜云官方深度學(xué)習(xí)框架，它集合了符號(hào)式編程以及命令式編程，能夠提供多樣化的環(huán)境，同時(shí)還有多種預(yù)訓(xùn)練模型可供使用。GluonCV是MXNet的深度學(xué)習(xí)工具箱，提供了計(jì)算機(jī)視覺領(lǐng)域最先進(jìn)的（SOTA）深度學(xué)習(xí)算法。模型訓(xùn)練的試驗(yàn)平臺(tái)參數(shù)如表1所示。

深度學(xué)習(xí)模型訓(xùn)練中，batch-size的大小決定了深度學(xué)習(xí)訓(xùn)練過程中完成每個(gè)單次訓(xùn)練迭代（epochs）所需的時(shí)間和每次迭代（iteration）之間梯度的平滑程度[14]。學(xué)習(xí)率（learning rate）也是深度學(xué)習(xí)訓(xùn)練中重要的超參數(shù)之一，當(dāng)學(xué)習(xí)率設(shè)置過小時(shí)，收斂過程將變得十分緩慢。而當(dāng)學(xué)習(xí)率設(shè)置的過大時(shí)，梯度可能會(huì)在最小值附近來回震蕩，甚至無法收斂。

對(duì)于目標(biāo)檢測(cè)模型而言，不同的特征提取網(wǎng)絡(luò)對(duì)模型最終的效果也有極大影響。考慮到基于無人機(jī)檢測(cè)玉米雄穗的實(shí)時(shí)性和機(jī)載平臺(tái)有限的計(jì)算資源，SSD的前置網(wǎng)絡(luò)除了采用網(wǎng)絡(luò)層數(shù)較多的ResNet50，還嘗試了更輕量型的mobilenet。結(jié)合試驗(yàn)環(huán)境與數(shù)據(jù)類型，最終在Faster R-CNN，YOLO v3和SSD框架下設(shè)定訓(xùn)練參數(shù)，如表2所示。

1.4 損失函數(shù)

Faster R-CNN的損失函數(shù)（Loss Function）如公式（1）：

表1 試驗(yàn)硬件與軟件信息Table1 Information on hardware and software for testing

表2 模型訓(xùn)練的超參數(shù)Table2 Hyperparameters for model training

Lcls是兩個(gè)類別的對(duì)數(shù)損失，函數(shù)為：

SSD的損失函數(shù)為：

YOLO v3的損失函數(shù)為：

1.5 模型評(píng)價(jià)

平均精確度（Mean of average precision，mAP）是目標(biāo)檢測(cè)模型性能的衡量標(biāo)準(zhǔn)。mAP的計(jì)算涉及查準(zhǔn)率和查全率，查準(zhǔn)率（Precision）是指在所有預(yù)測(cè)為正例中真正例的比率，也即預(yù)測(cè)的準(zhǔn)確性。查全率（Recall）是指在所有正例中被正確預(yù)測(cè)的比率，也即預(yù)測(cè)正確的覆蓋率。在目標(biāo)檢測(cè)中，交并比IoU衡量的是兩個(gè)區(qū)域的重疊程度，是兩個(gè)區(qū)域重疊部分面積占二者總面積（重疊部分只計(jì)算一次）的比例。物體檢測(cè)中的每一個(gè)預(yù)測(cè)結(jié)果包含兩部分，預(yù)測(cè)框（bounding box）和置信概率（Pc）。當(dāng)預(yù)測(cè)的類別正確且置信度大于一定閥值（P_threshold），并且預(yù)測(cè)框與真實(shí)框（ground truth）的IoU大于一定閥值（IoU_threshold）時(shí)，認(rèn)為預(yù)測(cè)時(shí)正確的。在衡量模型性能時(shí)，IoU_threshold先取一個(gè)定值，然后綜合考慮各種P_threshold取值時(shí)的性能。設(shè)定不同的閾值，計(jì)算相應(yīng)的Recall和Precision。在同一個(gè)坐標(biāo)軸上，繪制Precision-Recall曲線，將曲線平滑化，并計(jì)算曲線的AUC（Area under curve），即為AP值。當(dāng)檢測(cè)任務(wù)有多個(gè)類別時(shí)，mAP是各個(gè)類別AP的均值。

目標(biāo)檢測(cè)技術(shù)在實(shí)際應(yīng)用中除了對(duì)準(zhǔn)確度有很高的要求，在速度上也要求模型能盡量快地進(jìn)行感興趣物體的檢測(cè)。一般來說目標(biāo)檢測(cè)中的速度評(píng)價(jià)指標(biāo)有：（1）FPS，檢測(cè)器每秒能處理圖片的張數(shù)；（2）檢測(cè)器處理每張圖片所需要的時(shí)間。此外，在無人機(jī)上部署目標(biāo)檢測(cè)模型也需要考慮機(jī)載平臺(tái)的內(nèi)存資源有限，模型的大小決定所需占用的內(nèi)存需求?；诖耍恼聦?duì)模型的FPS和內(nèi)存也進(jìn)行對(duì)比。

2 結(jié)果與分析

2.1 Faster R-CNN、YOLO v3和SSD框架在數(shù)據(jù)集上的訓(xùn)練與評(píng)估

Faster R-CNN模型的損失函數(shù)為RPN_conf、RPN_SmoothL1，Cross entropy和RCNN_SmoothL1，訓(xùn)練過程的損失函數(shù)曲線如圖3-（1）所示；SSD模型的損失函數(shù)為Cross entropy和Smooth L1，基于ResNet50和mobilenet的SSD訓(xùn)練過程的損失曲線分別如圖3-（2）和圖3-（3）所示；YOLOv3的如圖3-（4）所示。

從4個(gè)模型運(yùn)行過程的損失函數(shù)中能夠清晰地看到，在經(jīng)過300次迭代后，各框架的損失函數(shù)均已經(jīng)趨于平穩(wěn)，驗(yàn)證了試驗(yàn)前期數(shù)據(jù)設(shè)置的合理性，具體數(shù)據(jù)如表3所示。從mAP的數(shù)值上來看，F(xiàn)aster R-CNN的數(shù)值最高，表示其檢測(cè)精度最高。YOLO v3和Faster R-CNN相當(dāng)，而SSD_ResNet50和SSD_mobilenet的mAP值都相對(duì)較低，分別為0.490 5和0.578 0。

2.2 模型在測(cè)試數(shù)據(jù)上的測(cè)試結(jié)果

在同一硬件資源和數(shù)據(jù)集下，分別使用Faster RCNN、YOLO v3和SSD等3種主流目標(biāo)檢測(cè)框架進(jìn)行對(duì)比，其中考慮到實(shí)際使用中需要在無人機(jī)機(jī)載平臺(tái)上輕量級(jí)的部署訓(xùn)練好的模型，SSD的特征提取網(wǎng)絡(luò)除了使用ResNet50，還使用了mobilenet。對(duì)已經(jīng)標(biāo)記好的25張玉米雄穗訓(xùn)練集進(jìn)行測(cè)試，并對(duì)最終的訓(xùn)練結(jié)果進(jìn)行了分析對(duì)比。

特征提取網(wǎng)絡(luò)使用mobilenet的SSD網(wǎng)絡(luò)對(duì)圖像中雄穗的訓(xùn)練識(shí)別結(jié)果如圖4所示；特征提取網(wǎng)絡(luò)使用ResNet50的SSD網(wǎng)絡(luò)對(duì)圖像中雄穗的訓(xùn)練識(shí)別結(jié)果如圖5所示；在Faster R-CNN框架下，對(duì)圖像中玉米雄穗的訓(xùn)練識(shí)別結(jié)果如圖6所示；在YOLOv3框架下，對(duì)圖像中玉米雄穗的訓(xùn)練識(shí)別結(jié)果如圖7所示。從3種前沿框架的處理結(jié)果能夠看到：在相同數(shù)據(jù)集和與硬件平臺(tái)基礎(chǔ)上，one-stage架構(gòu)的YOLO v3的測(cè)試效果相比于Faster R-CNN與SSD要差，圖像中許多十分明顯玉米雄穗都并未被識(shí)別出來，整體情況如圖8所示。YOLO v3在對(duì)玉米雄穗的判別上，誤差也較為明顯，整體誤差相對(duì)較大，并未實(shí)現(xiàn)精準(zhǔn)高效的判別效果。

圖3 模型在訓(xùn)練過程中的損失函數(shù)曲線Fig.3 Loss function of model during training

表3 模型的mAP Table3 mAPs of models

圖4 SSD_mobilenet的預(yù)測(cè)結(jié)果Fig.4 Prediction by SSD-mobilenet

圖5 SSD_ResNet50的預(yù)測(cè)結(jié)果Fig.5 Prediction by SSD_ResNet50

圖6 Faster R-CNN的預(yù)測(cè)結(jié)果Fig.6 Prediction by Faster R-CNN

圖7 YOLO v3的預(yù)測(cè)結(jié)果Fig.7 Prediction by YOLOv3

使用基于ResNet50的SSD模型和基于mobilenet的SSD模型則基本上實(shí)現(xiàn)了對(duì)玉米雄穗的識(shí)別，但在光線不足或者過度曝光的圖像中，依然存在漏檢的情況，如圖4、圖5和圖8所示。相比之下，F(xiàn)aster R-CNN模型實(shí)現(xiàn)了對(duì)玉米雄穗的準(zhǔn)確判別。在部分樣本中，在出現(xiàn)光線過度曝光以及顏色干擾等極端的情況，基于Faster R-CNN框架的依然能夠做到相對(duì)精準(zhǔn)的判別，部分案例如圖6和圖8所示。

總體而言，在模型的預(yù)測(cè)上，F(xiàn)aster R-CNN識(shí)別精度最高，漏檢和誤檢率最低；YOLO v3識(shí)別精度最低，漏檢和誤檢率最高（表4）。SSD_ResNet50和SSD_mobilenet的識(shí)別精度略低于Faster R-CNN。

圖8 模型的預(yù)測(cè)結(jié)果對(duì)比Fig.8 Comparison of predictions by various models

表4 模型的測(cè)試誤差和計(jì)數(shù)準(zhǔn)確率比較Table4 Comparison of test errors and detection accuracies by models

在模型對(duì)玉米雄穗的計(jì)數(shù)上，根據(jù)計(jì)算預(yù)測(cè)的框數(shù)和實(shí)際的雄穗數(shù)據(jù)做誤差分析，結(jié)果顯示（表4），F(xiàn)aster R-CNN準(zhǔn)確率最高，達(dá)到93.79%，SSD_ResNet50和SSD_mobilenet的準(zhǔn)確率分別為87.6%和89.9%；YOLO v3的mAP值較高（表3），但是實(shí)際測(cè)試的計(jì)數(shù)準(zhǔn)確率卻非常低，僅有20.04%。在模型的訓(xùn)練過程中，繪制出4種算法的mAP變化曲線，如圖9所示。

2.3 模型的性能比較

實(shí)際應(yīng)用中，除了要考慮模型的精度和誤差，還要綜合考慮模型的性能，主要包括模型的處理速度和參數(shù)大小。

在數(shù)據(jù)的處理速度上，3種模型的處理性能也是差異明顯（表5）。從表5可以看出，F(xiàn)aster R-CNN處理性能最差，為2.6 samples·s-1（每秒處理的樣本數(shù)）；SSD_ResNet50 的檢測(cè)效率為 7.4 samples·s-1；YOLO v3 為3.47 samples·s-1，最快的是 SSD_mobilenet，處理速度為8.9 samples·s-1，領(lǐng)先優(yōu)勢(shì)十分明顯。SSD的效率較高，但是精度不高；Faster-RCNN的效率較低，但是精度比較高。

圖9 模型訓(xùn)練過程的mAP曲線Fig.9 mAP curves of models in testing

無人機(jī)對(duì)田間玉米進(jìn)行大規(guī)模掃描成像后，需要及時(shí)、快速地計(jì)算出檢測(cè)結(jié)果，并且無人機(jī)的機(jī)載資源有限，續(xù)航能力也限制了無人機(jī)的應(yīng)用。因此，在模型的選擇上，除了要考慮精度、速度，也要考慮模型的大小。模型越小，占用的計(jì)算資源越小，從而更容易部署在無人機(jī)系統(tǒng)上。各個(gè)模型在訓(xùn)練之后，保存到內(nèi)存中，通過計(jì)算文件的大小來衡量模型的尺寸。如表表5所示，SSD_mobilenet模型的參數(shù)最小，僅有55.519 M；YOLO v3占用資源最大，占用了241.343 M的存儲(chǔ)；Faster R-CNN和SSD_ResNet50大小相當(dāng)，分別為133.873 M和 144.277 M。僅從模型大小上來說，SSD_mobilenet更適用于無人機(jī)的機(jī)載系統(tǒng)部署，因?yàn)槠渌加玫馁Y源較小。

表5 模型的處理速度和參數(shù)大小比較Table5 Comparison of processing speeds and parameters of models

3 討論與結(jié)論

通過使用深度學(xué)習(xí)目標(biāo)檢測(cè)中的Faster R-CNN、SSD以及YOLO v3等3種主流的框架，對(duì)標(biāo)注好的玉米雄穗數(shù)據(jù)集進(jìn)行訓(xùn)練和識(shí)別。在選定硬件與軟件平臺(tái)的基礎(chǔ)上，通過設(shè)置損失函數(shù)、迭代次數(shù)、學(xué)習(xí)率等參數(shù)，對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練與測(cè)試。以識(shí)別精度、計(jì)數(shù)精度、處理速度和模型大小等重要指標(biāo)作為評(píng)價(jià)標(biāo)準(zhǔn)，并結(jié)合最終處理效果作為對(duì)比，F(xiàn)aster R-CNN框架識(shí)別精度和計(jì)數(shù)準(zhǔn)確上最高。而對(duì)于模型的處理速度和模型的大小，SSD_mobilenet處理效率最高，模型占用計(jì)算資源最小。

Faster R-CNN的計(jì)數(shù)準(zhǔn)確率為93.79%，SSD_mobilenet的計(jì)數(shù)準(zhǔn)確率為89.9%；處理速度上，SSD_mobilenet為 8.9 samples·s-1， Faster R-CNN 僅 為 2.6 samples·s-1，SSD_mobilenet的速度比 Faster R-CNN 低了近3倍；模型大小上，F(xiàn)aster R-CNN高出SSD_mobilenet近2倍。相對(duì)于Faster R-CNN，SSD_mobilenet犧牲部分精度，獲取更快的處理速度和占用更小的計(jì)算資源，是比較理想的機(jī)載模型選擇。

從試驗(yàn)整個(gè)過程的識(shí)別精度中也能看出，三大主流框架中Faster R-CNN的整體表現(xiàn)最好，整體曲線趨于平穩(wěn)；而YOLO v3識(shí)別精度曲線則是波動(dòng)劇烈，同時(shí)在整個(gè)處理期間都存在明顯波動(dòng)。

雖然經(jīng)過試驗(yàn)，F(xiàn)aster R-CNN、YOLO v3和SSD的對(duì)比分析中，F(xiàn)aster R-CNN和SSD已經(jīng)實(shí)現(xiàn)了精準(zhǔn)高效的自動(dòng)判別，但是本研究工作依然存在一定的缺陷與不足。尤其是前期遙感數(shù)據(jù)采集過程中因?yàn)樘鞖獾仍?，出現(xiàn)了圖像質(zhì)量不夠完美，部分樣張因?yàn)榕臄z角度和光線的問題被剔除，對(duì)樣本數(shù)據(jù)量造成了一定的影響，也對(duì)后期識(shí)別造成了一定的干擾。

雖然Faster R-CNN模型最終達(dá)到了預(yù)期效果，但在處理過程中依然存在數(shù)據(jù)設(shè)定不夠完善的情況，影響了最終數(shù)據(jù)的識(shí)別效果。在硬件方面，更好的硬件平臺(tái)可以實(shí)現(xiàn)對(duì)數(shù)據(jù)更加充分高效的處理，本次試驗(yàn)設(shè)備處理性能相對(duì)一般，并未徹底的展現(xiàn)出各模型的優(yōu)劣，最終也影響了處理性能與數(shù)據(jù)的處理效果。