呂純陽, 劉升平, 郭秀明, 肖順夫, 劉大眾, 楊菲菲, 李路華

(中國農(nóng)業(yè)科學院農(nóng)業(yè)信息研究所， 北京 100081)

蜂業(yè)在現(xiàn)代農(nóng)業(yè)中發(fā)揮著重要作用，是人類生活環(huán)境和經(jīng)濟的重要組成部分，全球有三分之一以上的糧食生產(chǎn)依賴蜜蜂傳粉[1]，同時通過蜂產(chǎn)品獲取直接經(jīng)濟效益。蜜蜂養(yǎng)殖是蜂業(yè)的基礎(chǔ)和關(guān)鍵環(huán)節(jié)，維護蜂群的健康穩(wěn)定是蜂業(yè)生產(chǎn)正常運轉(zhuǎn)的基本條件。傳統(tǒng)蜜蜂養(yǎng)殖方法多依賴人力和經(jīng)驗，如手動打開蜂箱檢查巢脾、了解蜂群狀況及憑經(jīng)驗判斷蜂群的狀態(tài)等，耗時耗力。隨著計算機和傳感器等技術(shù)發(fā)展，基于無線網(wǎng)絡(luò)的監(jiān)測技術(shù)廣泛應用于各個行業(yè)和領(lǐng)域，其中包括對蜂群自動化監(jiān)測和控制[2]，能幫助養(yǎng)殖人員實現(xiàn)對蜂群高效遠程監(jiān)控、降低開箱頻次、減少對蜂群的影響，開創(chuàng)科技養(yǎng)蜂、智能養(yǎng)蜂的新局面[3]。

在低成本、高便捷度、易維護性等需求下，巢外蜂群監(jiān)測逐漸受到關(guān)注。已有一些研究采用傳統(tǒng)圖像處理方法實現(xiàn)對蜂巢口蜜蜂監(jiān)測，處理流程包括蜜蜂檢測與蜜蜂數(shù)量統(tǒng)計兩步。 蜜蜂檢測方法有輪廓檢測法[4]、像素分離法[4-6]、背景減除法[7-9]；蜜蜂數(shù)量統(tǒng)計使用方法有平均像素法[4-6]、HARR波峰法[10]、信噪比估計法[7-8]、模板匹配法[9]等。

傳統(tǒng)方法依賴一定先驗知識提取圖片中目標，主要缺陷有：①滑動窗口策略在進行區(qū)域選擇時針對性不強，增加了時間復雜度和窗口冗余；②人工選取的特征對目標多樣性缺乏很好的魯棒性[11]。蜂巢口環(huán)境復雜、光線變化快，蜜蜂本身也存在陰影、遮擋等復雜狀況，傳統(tǒng)算法普適性差，不能應對復雜場景變化，且當蜜蜂密度較大時，準確率不高。

近年來,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)和深度學習對目標檢測模型進行了革新，檢測精度和魯棒性都得到提升，在人臉識別、無人駕駛等許多領(lǐng)域取得了突出成果?；谏疃葘W習的目標檢測主要分為兩類：一類是基于區(qū)域候選方法，首先對檢測區(qū)域提取候選區(qū)域，然后對候選區(qū)域進行特征提取和分類，典型的模型有R-CNN[12]、SPP-net[13]、Fast R-CNN[14]、Faster R-CNN[15]、R-FCN[16]。另一類是基于回歸思想，按照一定方式劃定默認框，建立預測框、默認框和真值(ground truth)框的關(guān)系進行訓練，代表模型有YOLO[17]和SSD[18]。前者具有較高準確率，但其目標定位與分類分兩步進行導致速度較慢，基于回歸方法直接在圖片中回歸出目標位置及種類，實現(xiàn)了端到端處理，速度大大加快。SSD結(jié)合faster R-CNN的anchor機制，獲得優(yōu)于YOLO方法的較高精度。綜合巢門區(qū)域蜜蜂的監(jiān)測需求，兼顧蜜蜂檢測準確率和效率，在上述兩類目標檢測方法中選擇SSD作為本文使用方法。

1 材料與方法

1.1 數(shù)據(jù)

1.1.1數(shù)據(jù)來源數(shù)據(jù)采集地點在中國農(nóng)業(yè)科學院蜜蜂研究所中關(guān)村蜜蜂養(yǎng)殖基地。采集時間從蜜蜂春繁開始的3月底持續(xù)到留蜜期7月，間隔為一周，共16個采集時間節(jié)點,并根據(jù)當天具體狀況進行小幅度調(diào)整。采集設(shè)備為單反相機(Cannon Eos 5DsR)，像素分辨率為1 920×1 080、幀率為30 fps的mp4視頻。

相機架分別置于蜂箱巢門上方20、35、50 cm高度。將光照、時間段、蜂群數(shù)量、天氣等變量進行多組合視頻信息采集。采集控制條件如表2所示，其中光照條件(針對晴天)有正常光照、陰暗；采集時間為07：00—19：00，間隔4 h，動態(tài)選擇3個時間點；針對群勢不同，各挑選3個具代表性的蜂箱；天氣區(qū)分為晴天和陰天(雨天蜜蜂一般不外出)。不同組合中，每一種錄制3 min。根據(jù)采集方案，每天獲取視頻約2 h，全時期約30 h數(shù)據(jù)量。

表1 數(shù)據(jù)采集控制條件

1.1.2數(shù)據(jù)篩選和標記根據(jù)深度學習目標檢測與采用方法的數(shù)據(jù)需求，將原始視頻數(shù)據(jù)制作為PASCAL VOC格式數(shù)據(jù)集。首先進行視頻分幀和圖片篩選剪切，然后用labelImg工具進行目標標記，篩選圖庫和標記如圖1。綜合考慮光照、數(shù)量等因素，從原始圖片中共選擇剪切1 000張。

圖1 蜜蜂樣本篩選和標記

1.1.3構(gòu)建數(shù)據(jù)集采用隨機選取的方式，按照trainval集：test集=4∶1進行分配，其中trainval按照4∶1比例分為train和val，便于在訓練中考察模型的擬合狀況。

為豐富數(shù)據(jù)集中訓練數(shù)據(jù)，減少過擬合，對訓練數(shù)據(jù)進行增強處理?？紤]光照對圖片的重要性，策略是對圖片顏色隨機調(diào)整飽和度、對比度、亮度。增強處理后，剔除一些質(zhì)量太差圖片，訓練集擴增600張。

1.2 模型和方法

1.2.1SSD模型SSD模型框架分成兩部分: 第一部分為調(diào)整后VGG網(wǎng)絡(luò)，去除VGG-16網(wǎng)絡(luò)的dropout、FC8 和softmax層，將FC6 和FC7 替換為卷積層 Conv6和 Conv7；第二部分是位于后端的特征檢測網(wǎng)絡(luò)，添加了 Conv8、Conv9、Conv10、Conv11四組卷積層，與Conv4、Conv7共同組成多尺度的特征金字塔結(jié)構(gòu)卷積網(wǎng)絡(luò)(圖2)。

圖2 SSD模型

SSD 模型輸入圖像的尺寸固定，圖像大小分為 300×300 和 512×512 兩種，基于檢測實時性考慮，本文采用300×300的模式進行試驗。SSD算法檢測的核心是在多尺度特征圖上采用卷積核來預測一系列默認框類別和坐標偏移(圖3)，在不同特征圖的每個特征點位置劃分K(4或6)個默認檢測框檢測目標，在SSD300中共產(chǎn)生8 732個檢測框。針對每個檢測框，根據(jù)預測得分結(jié)合非極大值抑制(non-maximum suppression, NMS)方法對檢測結(jié)果進行過濾，保留最佳的一個。

注：Conv—卷積層；AP—平均池化；DB—每格默認框數(shù)；DC—檢測和分類

1.2.2SSD訓練策略SSD網(wǎng)絡(luò)訓練從網(wǎng)絡(luò)構(gòu)建、權(quán)重和參數(shù)設(shè)置及讀入數(shù)據(jù)開始，中間需要一系列處理策略，以實現(xiàn)端對端的損失函數(shù)計算和反向傳播計算,具體流程如圖4所示。

注:i表示當前訓練次數(shù)，imax表示最大訓練次數(shù)。

默認框設(shè)置：SSD 采用多尺度方法得到多個不同尺寸的特征圖，假設(shè)模型檢測時采用m層特征圖，則第k個特征圖的默認框比例計算公式如下。

(1)

(2)

(3)

配對策略：首先，尋找與每一個真值框(ground truth box)有最大的交并比(intersection-over-union, IoU)(公式4)的默認框(default box)，保證每一個真值框與唯一的一個默認框?qū)饋?。然后，將剩余還沒有配對的默認框與任意一個真實框嘗試配對，若兩者之間的IoU>閾值(SSD 300 閾值為0.5)則認為match，配對到真值框的默認框就是候選正樣本集，沒有配對到真值框的就是候選負樣本集。

(4)

難例樣本挖掘：生成prior boxes后，不符合真實框的預測框(negative boxes)很多，而且遠多于符合真實框的預測框(positive boxes)，這樣會造成正負樣本之間不均衡，導致loss不穩(wěn)定。因此，將特征圖上每一個位置對應是負樣本的預測框(預測框與真實框之間的IoU<0.5為負，反之為正)按照置信度大小排序，選擇最高的幾個，保證最后正負樣本的比例在1∶3。

目標函數(shù)： SSD 訓練同時對位置和目標種類進行回歸，其目標損失函數(shù)是置信損失和位置損失之和，其表達式如下。

(5)

式中，N為與ground truth物體框匹配的默認框個數(shù)；Lconf(z，c)為置信損失；Lloc(z，l，g)為位置損失，這里采用的是Smooth L1 Loss；z為默認框與不同類別的ground truth 物體框的匹配結(jié)果；c為預測物體框的置信度；l為預測物體框的位置信息；g為ground truth物體框的位置信息；α為權(quán)衡置信損失和位置損失的參數(shù)，一般設(shè)置為1。

1.2.3模型驗證模型效果的驗證一方面對蜜蜂數(shù)據(jù)集中測試集進行測試,另一方面由于SSD的 resize設(shè)置使輸入圖片形變，考慮實際應用場景，為驗證模型的泛化性能，在數(shù)據(jù)集合外選擇部分1 920×1 080圖片對模型測試。模型外測試圖片基于蜜蜂數(shù)量分為少(n≤15)、中(1530)三個層級，每種情況覆蓋不同采集條件選取100張。

1.2.4試驗環(huán)境和參數(shù)硬件配置為Intel(R) Xeon(R) Gold6132 CPU@2.60 GHz處理器、NVIDIA-Tesla P100(16GB)顯卡；軟件環(huán)境為Linux系統(tǒng)、CUDA、OpenCV、Pytorch深度學習框架。

訓練參數(shù)設(shè)置為使用隨機梯度下降法(stochastic gradient descent, SGD)，設(shè)定初始學習率為0.001，動量為0.9，權(quán)重衰減值為0.005，批大小為64。為了提高算法的準確性，對不同大小的數(shù)據(jù)集分別進行了訓練，分別采用200、500、850、1 600張樣本，包含的目標數(shù)量為5 000、12 000、21 000、38 000，每次實驗訓練5 000次。試驗重復三次。

迭代次數(shù)對于模型訓練非常重要，本研究用0.001的學習率迭代訓練數(shù)據(jù)2 000次，然后用0.000 1的學習率迭代2 000次，最后用0.000 01的學習率迭代1 000次。

1.2.5評價指標根據(jù)側(cè)重點不同，目標檢測中有許多評價指標，如檢測精確度、檢測速度、定位準確度等?？紤]在實際場景中的應用，本文側(cè)重于目標檢測的精度和速度。

平均精度(average precision, AP)是同時衡量召回率、精確率的指標，為P-R曲線下面積，用來分析單個類別的檢測效果，計算如公式(6)。

(6)

式中，T為數(shù)據(jù)集中含有所需檢測類別的所有圖像數(shù)目，k表示數(shù)據(jù)集中目標對象的總數(shù)量。若第n個目標是所檢測目標對象，則Mn為1，反之則Mn為0。Tn表示為前n張圖像中所含檢測目標對象的個數(shù)，分類器越好，AP值越高[19]。

此外，衡量檢驗模型的泛化能力、以后在實際應用場景下蜜蜂檢測的準確性，采用準確率(Pr)、誤檢率(Pw)、漏檢率(Pm)三項指標對不同數(shù)量層次的檢測效果進行評價,計算公式如下。

(7)

(8)

(9)

式中，Nt為分類器檢測結(jié)果中正確目標的數(shù)量，Nw為結(jié)果中非目標的數(shù)量，Lm為未被檢測出來的目標數(shù)量，n是真實目標的總數(shù)量。

檢測速度的衡量指標為FPS(frame per second)，為每秒處理圖片幀的數(shù)量。

2 結(jié)果與分析

2.1 樣本庫大小影響

測試數(shù)據(jù)集驗證結(jié)果表明，第一次試驗AP為0.467 9，基本能對較顯著蜜蜂進行檢測。第二次將數(shù)據(jù)擴大為500張，AP為0.782 1，對不完整的目標能進行檢測。第三次AP為0.880 2，對中等數(shù)量及以下情況能實現(xiàn)準確檢測，對數(shù)量較多情況漏檢較多。第四次AP為0.921 0，改善了較多數(shù)量條件的漏檢問題。如表2所示，隨著數(shù)量的增加，準確率會快速提高。且每一次訓練中，隨著迭代次數(shù)增加，準確率會與顯著上升，說明充分的迭代對模型準確率比較關(guān)鍵，但是需要避免過分的迭代造成過擬合，降低了模型的泛化性能。

表2 不同樣本數(shù)量訓練結(jié)果

2.2 不同數(shù)量層級準確率

考察模型泛化性能，采用上述數(shù)據(jù)集合外的300張圖片統(tǒng)計不同數(shù)量層級的正確率、誤檢率和漏檢率，檢測結(jié)果如圖5所示。從左至右為數(shù)量少、中等和較多三種情況，每種的正確率、誤檢率和漏檢率評價指標如表3所示。數(shù)量較少時，能高準確率的對蜜蜂實現(xiàn)檢測工作，達到96.34%；中等數(shù)量時，出現(xiàn)遮擋情況增多，導致漏檢率和誤檢率提升，準確率為92.52%；當蜂群進入流蜜期，活動量與蜂群規(guī)模會大量增加，巢門區(qū)域蜜蜂數(shù)量隨之增加，遮擋情況高頻出現(xiàn)使蜜蜂堆疊不可避免，該情況下準確率為88.06%，依舊保持較好檢測效果。

表3 不同數(shù)量層次檢測效果

圖5 不同數(shù)量級

2.3 檢測效果比較分析

以前對巢門區(qū)域蜜蜂檢測多是采用傳統(tǒng)圖像處理，圖6比較了前人和本文方法的檢測結(jié)果。前人研究采用了不同顏色的巢門，并使用輪廓檢測、像素分離等方法對蜜蜂進行檢測和數(shù)量統(tǒng)計。其中白色背景的檢測效果較好，在使用白色背景的多個研究中，準確率結(jié)果如表4所示，從小到大依次為85.5%、73.0%、63.0%。本文亦采用了像素分離法結(jié)合平均像素法對蜜蜂數(shù)量進行統(tǒng)計，部分實驗圖片如圖6。不同顏色下每個數(shù)量級分別采用50張照片進行了檢測，其中白色背景結(jié)果最好，數(shù)量級從小到大準確率依次為78.2%、69.5%、56.0%，準確率高于傳統(tǒng)方法。

表4 傳統(tǒng)方法準確率

圖6 傳統(tǒng)方法和本文方法檢測比較

2.4 多條件適應性

針對不同應用條件，如不同光照、天氣陰晴、拍攝的距離等，本文采用方法均具有較強適應性,結(jié)果如圖7所示。在不同條件中的適用，給該方法進行巢門區(qū)域蜜蜂數(shù)量監(jiān)測的實際應用提供了依據(jù)。

注： La、Lb、Lc、Ld分別為強光、弱光、強光遮擋、弱光遮擋；Oa、Ob、Oc分別為晴天、多云、陰天；Da、Db、Dc分別為不同拍攝距離。

2.5 復雜目標檢測效果分析

傳統(tǒng)圖像處理方法的檢測中，蜜蜂投影去除是研究的重點和難點，SSD模型能對圖片中蜜蜂投影實現(xiàn)濾除；數(shù)據(jù)采集過程中，設(shè)備晃動或蜜蜂快速移動，都難以避免使圖片中蜜蜂不清晰，該情況下蜜蜂的準確檢測能提高整體檢測準確率，SSD能實現(xiàn)對虛化狀態(tài)蜜蜂的檢測；進入花期后，蜂群的規(guī)模和活動量增加，巢門附近區(qū)域蜜蜂逐漸增多，蜜蜂間遮擋成為常態(tài)，這個問題在以往的研究中多是采用昂貴的蜂箱改造技術(shù)，限制遮擋來進行處理，本研究對大部分遮擋情況實現(xiàn)了檢測，結(jié)果如圖8所示。

圖8 蜜蜂復雜狀況

2.6 不同設(shè)備檢測速度

為進一步驗證該方法在實際應用中的可能性，分別在NVIDIA-Tesla-P100、NVIDIA-GeForce MX150和CPU-intel i78565U三種不同硬件上對算法檢測速度進行測試，結(jié)果分別為68、14和8 FPS。隨著硬件設(shè)備的快速發(fā)展，處理能力越來越強、價格越來越便宜，對巢門區(qū)域蜜蜂數(shù)量的檢測會達到實時處理，在實際生產(chǎn)養(yǎng)殖中得到應用。

3 討論

目前，蜂箱巢門區(qū)域蜜蜂檢測計數(shù)多采用傳統(tǒng)的圖像處理方法，此類方法依賴經(jīng)驗，在精度不高且復雜場景下適應性低。單向多框檢測器(SSD)[18]是目標檢測主要框架之一，速度方面借鑒了YOLO方法中回歸的思想，可直接在圖像中回歸目標位置及其類別，大大加快了檢測速度；另一方面，結(jié)合Faster R-CNN的區(qū)域推薦網(wǎng)絡(luò)(region proposal network, RPN)，提高了檢測的準確率，因此相比較Faster-RCNN來說，該算法具有顯著的速度優(yōu)勢，對比YOLO方法又具有明顯的平均準確率(mean average precision, mAP)優(yōu)勢。本文采用深度學習的目標檢測SSD模型使用便捷，適應多種應用場景并且有效的提高了檢測統(tǒng)計的準確率。

當前，傳統(tǒng)方法對蜂箱巢門區(qū)域蜜蜂的統(tǒng)計分為兩步進行。首先提取圖片中蜜蜂區(qū)域，然后采用平均像素等方法處理蜜蜂區(qū)域?qū)崿F(xiàn)計數(shù)，兩步產(chǎn)生的誤差疊加使得準確率低下。從表4可以看出，前人研究和本文方法中，均在蜜蜂數(shù)量較少的情況下準確率最高，分別為85.5%、78.2%。本文采用SSD方法同時完成檢測與計數(shù)，依賴卷積神經(jīng)網(wǎng)絡(luò)強大的特征提取能力，檢測計數(shù)準確率在蜜蜂少量、一般數(shù)量、較多數(shù)量情況中分別提升到了96.34%、92.52%、88.06%。

在訓練過程中，通過減小損失函數(shù)值可以確保在提升預測框類別置信度的同時，也提高預測框的位置可信度，通過多次結(jié)果優(yōu)化，不斷提高模型的目標檢測性能，從而訓練出性能較好的預測模型。SSD模型對不同場景表現(xiàn)出良好的適應性。從檢測效果上說，深度學習SSD模型對復雜目標情況的識別能力比傳統(tǒng)方法蜜蜂檢測更具有優(yōu)勢性。蜜蜂的陰影、虛化和互相遮擋問題是上述蜜蜂區(qū)域提取環(huán)節(jié)準確率不高的結(jié)癥，本文方法對其達到很好的抑制效果，如圖8，同時傳統(tǒng)方法對圖片獲取場景具有特殊要求性，光照、拍攝距離等變化使檢測效果大幅度下降。

傳統(tǒng)方法一方面在蜜蜂檢測階段對漏檢、陰影去除方面都有所欠缺，另一方面數(shù)量統(tǒng)計階段進一步產(chǎn)生誤差，與本文采用SSD方法相比，準確率低，且算法應用場景單一、魯棒性差，不能夠滿足多環(huán)境、多條件應用。本文為深度學習在蜂群自動化監(jiān)測中的應用提供了可行性和驗證，一方面提高了巢門蜜蜂檢測的效果，也為后期蜂箱蜜蜂進出量統(tǒng)計研究中的蜜蜂跟蹤奠定了基礎(chǔ)。本文仍需要進一步擴增數(shù)據(jù)集合數(shù)量、從SSD特征圖特征融合角度改進算法，進一步提高模型的魯棒性和準確率。同時基于檢測計數(shù)結(jié)果對蜜蜂進行識別跟蹤是下一步研究內(nèi)容。