劉生智 李春蓉 劉同金 熱娜古麗·熱西提 陳立平,2*
(1塔里木大學信息工程學院,新疆阿拉爾843300)(2塔里木大學現(xiàn)代農(nóng)業(yè)工程重點實驗室,新疆阿拉爾843300)
當前,世界各國奶牛養(yǎng)殖業(yè)的信息化、自動化和智能化應用不斷深化,業(yè)已在動物行為學分析、自動飼喂與排污、精細作業(yè)管理等方面發(fā)揮了巨大作用。以信息與智能技術為支撐的綠色、高效、精準養(yǎng)殖,成為現(xiàn)代奶業(yè)發(fā)展的必然趨勢[1]。
新疆,是我國畜牧業(yè)大區(qū)。然而,受自然氣候、管理水平、飼養(yǎng)條件等因素影響,2015年新疆成奶牛平均單產(chǎn)僅為1.2噸/頭,與全國成奶牛平均單產(chǎn)6噸/頭[2]仍存在巨大差距。鑒于新疆奶牛養(yǎng)殖業(yè)管理粗放、信息技術支撐不足問題,有針對性地加強其信息與智能化建設,是實現(xiàn)精細管理和提質(zhì)增效的重要途徑。
由于具有信息采集速度快、信息采集量大且無需接觸的技術優(yōu)勢,計算機視覺技術作為重要的技術手段,被廣泛地應用于諸如人群行為分析、車輛檢測,甚至動物行為分析應用領域[3-5]。在計算機視覺應用中,實時檢測奶牛目標,是進一步分析奶牛體格數(shù)據(jù)、行為特征及疾病發(fā)生情況的基礎。
鑒于新疆奶牛養(yǎng)殖業(yè)信息化應用現(xiàn)狀,以新疆生產(chǎn)建設兵團第一師10團良種奶牛養(yǎng)殖場為圖像采樣點,重點研究了YOLO V3模型在奶牛目標檢測中的應用,為養(yǎng)殖業(yè)提供快速、有效的智能化視覺分析工具與方法。
深度學習(Deep Learning,DL)是一種表示學習方法[6],具有強大的數(shù)據(jù)表征能力,通過監(jiān)督或非監(jiān)督學習方式,能夠學到數(shù)據(jù)更高層次的抽象表示[7]。DL在經(jīng)歷兩次發(fā)展低谷(1969~1986,1998~2006)后,Hinton等[8]于2006年提出以深度信念網(wǎng)絡為代表的DL方法,從此DL進入高速發(fā)展時期。隨后,其在語音識別、圖像分類等問題上先后取得重大突破[9-10],自此,DL迎來了發(fā)展的爆發(fā)期。
近十年來,DL方法發(fā)展迅速、應用廣泛,Hinton團隊于2012年提出的AlexNet在ImageNet取得重大突破,自此卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)成為了物體檢測的主流方法;當前,應用較為廣泛的卷積神經(jīng)網(wǎng)絡目標智能檢測模型可以分為兩類,第一種是以R-CNN系列[11-13]為代表的區(qū)域建議模型,第二種是以YOLO[14-16]系列為代表的無區(qū)域建議模型。尤其,F(xiàn)aster R-CNN、YOLO V3、R-FCNs[17]、FCN[18]等新算法的提出,不斷刷新目標智能檢測的精確率與檢測效率,大大改善了傳統(tǒng)深度學習算法在目標識別與分類應用上的性能與效果。
DL方法與計算機視覺(Computer Vision,CV)等前沿智能感知與機器學習方法被廣泛應用于養(yǎng)殖業(yè)中。為提高奶牛目標檢測的智能化程度,趙凱旋、何東健等[19]采用了基于圖像的卷積神經(jīng)網(wǎng)絡方法來自動提取奶牛體廓生物特征并用于識別奶牛身份。劉杰鑫[20]等人采用基于混合高斯模型與卷積神經(jīng)網(wǎng)絡相結合的方法識別奶牛個體,實驗表明,該方法用于真實場景下奶牛個體的識別是可行的。由此可見,DL在養(yǎng)殖業(yè)中的應用,為真實、自然、經(jīng)濟、智能地感知和識別奶牛身份提供了新方法。
使用NIKON D3100照相機,隨機采集第一師10團良種奶牛養(yǎng)殖場的荷斯坦奶牛圖像,所采集圖像以JPG制式儲存,分辨率為4 608×3 072。圖像采集分為A、B兩個實驗圖像組,樣本組類別示例如圖1所示。A組圖像針對單頭奶牛場景采像、B組圖像為針對群體奶牛采像。A、B兩組各采集圖像50幅,作為驗證集,共計100幅。
圖1 樣本組類別示例
惠普臺式機(型號為HP Pavilion 500 Desktop PC),其配置如下:操作系統(tǒng)為Windows 1064 Bits Enterprise版、CPU為Intel i7-4790,主頻為3.60 GHz、內(nèi)存12 GB、顯卡為NVIDIA GeForce GTX 745,深度學習框架為darknet-53。
YOLO是華盛頓大學的Joseph Redmon和Ali Farhadi等人于2015年提出的一種無區(qū)域建議的目標檢測模型。目前,已發(fā)展至第三代YOLO V3,作為一類全新的深度神經(jīng)網(wǎng)絡結構,直接將圖像作為輸入,在輸出層回歸目標的位置,真正實現(xiàn)了End-to-end檢測,檢測結果的準確率和速度達到了新的高度,整個檢測流程如圖2所示。
圖2 YOLO V3檢測流程圖
為較為正確地驗證YOLO V3模型的有效性,本文選取漏檢率(Undetected rate)、平均耗時(Time)對算法性能進行定量評價。通過在該奶牛數(shù)據(jù)集上測試官方已訓練好的權重文件yolov3.weights,保存每張圖像預測結果,記錄每張圖像預測所損耗時間。漏檢率統(tǒng)計用到的標準如表1所示。
表1 奶牛統(tǒng)計量標準
以人工統(tǒng)計各圖像中牛只的數(shù)量,作為YOLO V3目標檢測結果的對照,按照公式1計算漏檢率。式中:FN、TP分別表示將奶牛樣本分類為非奶牛樣本數(shù)(漏檢)、將奶牛樣本分類為奶牛樣本數(shù)。
3.1.1 不同圖像尺寸檢測效果對比
本文增加了不同圖像尺寸的對比試驗?;贛ATLAB中imresize函數(shù),采用默認函數(shù)參數(shù)“nearest”,將B實驗組圖像縮放0.5倍、0.25倍、0.1倍得到不同尺寸下的圖像集,基于YOLO V3模型,進行對比實驗,結果如下表。對比分析得,縮小圖像尺寸會使漏檢率增加,影響檢測效果,且檢測損耗時間對圖像尺寸的變化不敏感。
表2 不同圖像尺寸的檢測效果對比表
3.1.2 YOLO V3與YOLO tiny-V2模型性能對比
用驗證集中的100幅圖像進行驗證,并與YOLO tiny-V2目標檢測模型進行對比。從表3可以得出,YOLO V3相比于YOLO tiny-V2,漏檢率降低了9.85%。在檢測速度上:YOLO tiny-V2具有明顯的優(yōu)勢。在實際應用中,盡管該算法時間復雜度較高,但實時性可以滿足實際需求。因此相比于YOLO ti-ny-V2,YOLO V3具有更低的漏檢率,具有較好的應用前景。
表3 YOLO V3與YOLO tiny-V2模型性能比較
3.1.3 不同閾值檢測效果對比
在檢測過程中,通過設置閾值可以過濾置信度評分較低的預測框。由此,作者基于YOLO V3模型,以B實驗組為檢測對象,將初始閾值0.25增大及縮小,設置5個不同閾值進行實驗,對比五種不同閾值下的檢測效果,從而得到最佳閾值。如表4所示,其中目標框個數(shù)表示平均每幅圖像中預測框個數(shù)。閾值偏高或者偏低時,漏檢率均較高,當閾值為默認值0.25時,可以得到漏檢率較低的檢測效果。因此,在下一步應用YOLO V3模型進行目標檢測實驗時,采用默認閾值0.25,可得最佳檢測效果。
表4 不同閾值的檢測效果對比表
基于YOLO V3模型,將閾值設置為0.25,作者對兩實驗組原始圖像進行了奶牛目標檢測實驗,檢測效果示例如下圖所示。
圖3 目標檢測結果示例
由公式1可計算出2實驗組漏檢率,平均耗時可 通過加和求平均的方式得出。檢測的統(tǒng)計結果如下表所示??梢钥闯觯珹、B兩組漏檢率指標并不理想。這是由于所采用官方權重文件是通過在COCO數(shù)據(jù)集上訓練獲得,YOLO V3可檢測80個目標類別,奶牛目標為其中一類,在生產(chǎn)條件下,由于背景復雜、光照姿態(tài)變化、奶牛相互遮擋、小目標奶牛等因素,部分奶牛目標易被分類為馬、狗、羊等目標,影響漏檢率指標。
表5 檢測結果
在100幅測試圖像中,18幅圖像發(fā)生漏檢錯誤,圖4為3類典型漏檢錯誤。通過對漏檢錯誤分析,可總結出漏檢主要發(fā)生在以下3類奶牛圖像中:(1)A類為奶牛相互遮擋較為嚴重的圖像;(2)B類是陰影下奶牛主體顏色接近于地面顏色的圖像;(3)C類是奶牛通過擠奶通道時相互遮擋的圖像。
針對A類圖像,在數(shù)據(jù)采集時,可適度提升圖像采集設備高度,避免奶牛相互遮擋的情況?;蛟黾訄D像采集設備,獲取多角度同時拍攝同一場景的多幅圖像,從中挑選實驗可用圖像。針對B類圖像,可通過提高奶牛圖像對比度(如實驗數(shù)據(jù)集預處理過程中加入直方圖均衡操作)來解決。針對C類圖像,可以融合各類奶牛檢測數(shù)據(jù)集進行網(wǎng)絡訓練,改善深度神經(jīng)網(wǎng)絡對不同場景、不同尺寸奶牛的檢測效果,使訓練完成的模型在復雜場景下的適應性更強。
在奶牛檢測應用中,由于背景復雜多樣性、光照變化、姿態(tài)變化、奶牛相互遮擋、小目標奶牛等因素的存在,漏檢率仍然達不到理想的水平。因此,需要提取光流信息、語義信息等更多有用信息,提高特征表達能力,進而提升檢測效果。
圖4 典型漏檢錯誤
通過將YOLO V3模型應用于生產(chǎn)條件下的奶牛目標檢測,達到了高效和準確的視覺目標檢測效果,為奶牛養(yǎng)殖業(yè)的信息化應用提供了快捷、有效的工具與方法,但是文中并未涉及目標檢測模型的訓練,在今后的研究中,須結合YOLO V3模型訓練僅包含奶牛目標的模型,降低目標檢測漏檢率;同時進一步研究奶牛圖像精細分割方法,為后續(xù)行為分析、身份識別提供方法支撐。