摘要: 【目的】動物采食行為是一個重要的動物福利評價指標,本研究旨在解決復雜飼養(yǎng)環(huán)境下奶牛采食行為識別精度差、特征提取不充分的問題,實現(xiàn)對奶牛采食行為的自動監(jiān)控?!痉椒ā勘疚奶岢隽艘环N基于改進BCEYOLO模型的識別方法,該方法通過添加BiFormer、CoT、EMA 3 個增強模塊,提高YOLOv8 模型特征提取的能力,進一步與優(yōu)于Staple、SiameseRPN 算法的Deep SORT 算法結合,實現(xiàn)對奶牛采食時頭部軌跡的跟蹤。在奶牛采食過程的俯視和正視視頻中提取11 288 張圖像,按照6∶1 比例分為訓練集和測試集,構建采食數(shù)據(jù)集?!窘Y果】改進的BCE-YOLO 模型在前方和上方拍攝的數(shù)據(jù)集上精確度分別為77.73%、76.32%,召回率分別為82.57%、86.33%,平均精確度均值分別為83.70%、76.81%;相較于YOLOv8 模型,整體性能提升6~8 個百分點。Deep SORT 算法相比于Staple、SiameseRPN 算法,綜合性能提高1~4 個百分點;并且改進的BCE-YOLO 模型與Deep SORT 目標跟蹤算法結合良好,能對奶牛采食行為進行準確跟蹤且有效地抑制了奶牛ID(Identitydocument) 的變更?!窘Y論】本文提出的方法能有效解決復雜飼養(yǎng)環(huán)境下奶牛采食行為識別精度差、特征提取不充分的問題,為智能畜牧與精確養(yǎng)殖提供重要參考。
關鍵詞: 奶牛;采食行為識別;優(yōu)化YOLOv8 模型;Deep SORT
中圖分類號: TP391.4;S823 文獻標志碼: A 文章編號: 1001-411X(2024)05-0782-11
奶牛的采食行為是經(jīng)常被用于預測奶牛疾病的行為之一[1-2],奶牛在采食過程中的頭部運動變化可以用于評價奶牛的采食狀況,進而評價飼草料的優(yōu)劣。因此在現(xiàn)代化智能養(yǎng)殖場中,監(jiān)測奶牛采食行為并對奶牛頭部的活動進行跟蹤記錄是非常重要的。研究發(fā)現(xiàn),采食量和產奶量的下降與疾病有關[3],患有乳腺炎的奶牛的飼料和干物質采食量會下降。跛足牛和非跛足牛在采食時間、采食頻率和采食量方面存在顯著差異,根據(jù)這個差異可以判斷奶牛的腿部健康狀況[4]。這些研究已經(jīng)清楚地表明疾病會對采食行為有重大影響。因此,對奶牛采食行為進行監(jiān)測是保障智能畜牧和提高動物福利的重要手段。
在監(jiān)測奶牛采食行為的技術中,最基本的問題是準確識別奶牛的采食行為。有研究表明,實時定位系統(tǒng)和超寬帶系統(tǒng)能夠通過估計奶牛在采食區(qū)花費的時間來判斷奶牛的采食行為[5];但不能確定奶牛是否進行有效進食。還有研究將壓力傳感器安裝在奶牛身上監(jiān)測咀嚼運動,雖然傳感器具有良好的監(jiān)測性能,但使用相對繁瑣,且給奶牛佩戴時不方便[6]。利用基于慣性測量單元和射頻識別系統(tǒng)的耳掛式傳感器可以對奶牛進行定位以及采食行為監(jiān)測[7-8],但只能判斷奶牛的動作幅度,不能判斷奶牛是否有效進食。從以上研究可以看出,在奶牛采食行為監(jiān)測方面已經(jīng)取得一些研究成果。但是,上述研究通常成本高或者對采食行為判斷不準確,無法應用到實際養(yǎng)殖場飼養(yǎng)環(huán)境中。因此,需要進一步尋找有效的解決方法。
近些年來,深度學習在畜牧業(yè)中得到了廣泛應用[9]。白強等[10] 使用改進YOLOv5s 網(wǎng)絡實現(xiàn)奶牛的站立、喝水、行走、躺臥等行為識別。楊阿慶[11] 利用全卷積網(wǎng)絡對母豬頭部特征進行提取,并將頭部與采食區(qū)重疊區(qū)域作為空間特征來識別母豬采食行為。王政等[12] 提出了融合YOLOv5n 與通道剪枝算法的輕量化識別方法,實現(xiàn)了奶牛發(fā)情行為識別。Bezen 等[13] 基于CNN 模型和RGB-D 攝像機設計出一種用于奶牛個體采食量測量的系統(tǒng)。Lao等[14] 開發(fā)了一種基于預處理深度圖像數(shù)據(jù)的算法,用于研究母豬的攝食行為。Shelley 等[15] 設計了一種3D 圖像分析方法,用于測量奶牛飼喂期前后飼喂器中可用食物量的變化。以上研究表明,深度學習算法用于奶牛的采食行為研究是可行的,但是目前尚未有研究對奶牛采食動作進行區(qū)分以及對奶牛采食過程進行跟蹤,因此對奶牛采食行為識別以及跟蹤的研究是必要的。
由于奶牛在采食過程中動作快、采食動作特征復雜,很容易對目標產生錯檢或者漏檢,所以本文從以上問題出發(fā),以YOLOv8 模型為基礎,通過使用BiFormer 模塊的多頭自適應注意力機制加強對奶牛采食行為特征的學習、提取,使用CoT、EMA模塊對奶牛特征進行強化并加強分類,以此來增強對采食行為識別檢測的準確性,提出一種TCEYOLO深度學習算法模型,并與Deep SORT 算法結合以實現(xiàn)對奶牛采食時頭部的跟蹤與軌跡繪制。
1 材料與方法
1.1 數(shù)據(jù)采集與預處理
本研究的奶牛采食行為數(shù)據(jù)集來自山東省泰安市泰安金蘭奶牛養(yǎng)殖公司。試驗數(shù)據(jù)利用ZED2 雙目深度相機(生產商為STEREOLABS 公司) 進行拍攝,本文使用單目分辨率為1 280 像素×720 像素,傳輸幀率能達到穩(wěn)定30 幀/s。由于牛欄頂端距地面高度為1.35 m、飼料帶寬度0.8 m,為了避免干涉奶牛的正常采食行為,本文選擇相機拍攝位置為奶牛采食區(qū)上方1.75 m 處以及奶牛采食區(qū)前方1.2 m、高0.8 m 處,采集不同拍攝方向下奶牛的采食行為。
在圖像采集過程中,一共采集視頻數(shù)據(jù)20 組,每組包含4 個視頻,每個視頻長度為10~14 min。為了保證動作的連貫性,本文利用ZED API 對視頻以一秒一幀的方式提取圖像,去除重復、模糊、重影以及不包含奶牛采食行為的無效圖像,選取有效數(shù)據(jù)集11 288 張圖像,17 頭奶牛的采食動作均包含在數(shù)據(jù)集中,其中前方拍攝圖像數(shù)量為5 742 張,上方拍攝圖像數(shù)量為5 546 張。
本文使用開源標注工具LabelImg 人工對11 288張奶牛采食行為原始圖像進行標注,標簽TTJJ 為咀嚼行為,DTCS 為采食行為,GS 為拱草行為。根據(jù)動作時間提取連續(xù)幀,將這一段連續(xù)幀定義一個動作,通過觀察和統(tǒng)計得出各行為時長:采食行為持續(xù)時長為15~35 s,咀嚼行為持續(xù)時長為5~10 s,拱草行為持續(xù)時長為1~15 s。將原始數(shù)據(jù)集分為上方拍攝數(shù)據(jù)集和前方拍攝數(shù)據(jù)集,每組數(shù)據(jù)集選取500 張作為驗證集,在剩余圖像中,將上方拍攝數(shù)據(jù)集按照6∶1 的比例分為4 320 張訓練數(shù)據(jù)集圖像和726 張測試數(shù)據(jù)集圖像,將前方拍攝的數(shù)據(jù)集按照6∶1 的比例分為4 484 張訓練數(shù)據(jù)集圖像和758 張測試數(shù)據(jù)集圖像。
在養(yǎng)殖場飼養(yǎng)環(huán)境下,奶牛只有在采食區(qū)且奶牛頭部與飼料接觸時才可能進行采食行為,而在采食區(qū)抬頭時基本處于咀嚼飼料以及準備繼續(xù)采食的過程,當奶牛攝取足夠的飼料后便會離開采食區(qū)。因此,在分析奶牛采食行為過程中,將奶牛采食行為分為采食和咀嚼兩大部分,其中采食還可分為采食和拱草2 種行為。其中,各個行為在數(shù)據(jù)集中占比如表1 所示。
1.2 改進BCE-YOLO 模型
1.2.1 BCE-YOLO 模型建立
YOLOv8 是目前廣泛應用的模型,使用了更為豐富的數(shù)據(jù)增強技術,更好地增加了訓練數(shù)據(jù)的多樣性,有效提高了模型的泛化能力,還具有更好的自適應圖像縮放功能,可以確保目標跟蹤時不會因為圖像長寬比改變而影響檢測位置像素判斷。YOLOv8 模型的檢測速度雖然很快,但是存在檢測精度不高、對模型的特征提取不全面的問題,因此本文以YOLOv8 為基礎,使用模型增強模塊來提升模型的檢測性能。
由于目標跟蹤的前提是需要對模型特征進行準確的提取,因此在高效率YOLOv8 的基礎上增加BiFormer 模塊,利用BiFormer 模塊的自適應注意力機制實現(xiàn)對奶牛采食行為特征的準確掌握與判斷;在Focus 層后增加CoT 模塊,使得模型的注意力集中于奶牛采食行為的特征,在骨干網(wǎng)絡末端融合EMA 模塊,提升特征圖的全局感受野以及模型的分類能力。在模型預測模塊方面,引用了CIoU[16] 代替GIoU,考慮到尺度、距離、懲罰項和錨框之間的重疊率對損失函數(shù)的影響,目標幀回歸變得更加穩(wěn)定,公式如下:
式中,c 表示同時包含預測邊界框和對應地面真實邊界框的最小封閉區(qū)域的對角線距離,ρ2(b,bgt)示預測中心點與真實幀之間的歐式距離,b、bgt分別表示預測框和真實的中心點,W、H 分別表示邊界框的寬和長,gt 表示真實值,α 表示權重參數(shù),v 表示度量長寬比的相似性,LOSSCIoU表示考慮重疊面積、中心點距離、縱橫比的損失,最后用1?IoU 得到相應的損失。
BCE-YOLO 模型工作流程如圖1 所示,輸入圖像進入模型時,首先通過CBS 模塊進行切片操作,將W、H 信息集中到通道空間,之后通過CoT 模塊,進入C2f 網(wǎng)絡進行一系列卷積操作,得到高維度特征圖后通過第8 層CBS 結構進入BiFormer 模塊,利用多頭自適應注意力結構對特征進行并行學習,將結果輸入至EMA 模塊來增強模型的全局感受野,然后進入FPN 特征金字塔網(wǎng)絡[17] 和PAN 路徑[18] 增強網(wǎng)絡,通過上采樣以及張量拼接等方式與骨干網(wǎng)絡建立聯(lián)系,豐富特征圖的特征信息,最終將特征圖送至YOLO 檢測模塊,得到檢測結果。
1.2.2 BiFormer 模塊
BiFiormer 模塊[19] 是一種新型的視覺網(wǎng)絡結構,結構如圖2 所示,在第1 階段使用重疊塊嵌入,在第2~4 階段使用合并模塊來降低輸入空間分辨率,同時增加通道數(shù)(C),然后采用連續(xù)的BiFormer 模塊做特征變換。該模塊通過多頭自適應注意力層,擴展了模型專注于不同位置的能力,形成多個子空間,讓模型去關注不同方面的信息,可以有效結合奶牛身份特征和奶牛采食時的不同行為,實現(xiàn)對高維全局特征的整合。
1.2.3 CoT 模塊
CoT 模塊[20] 包括了局部注意力原則,并且增強了信息提取。結構如圖3 所示,通過將靜態(tài)特征和動態(tài)特征結合、局部與全局結合,節(jié)約了參數(shù)和計算力,保證了模塊的輕量化,可以直接集成到現(xiàn)有的網(wǎng)絡模型構架中。引入CoT 模塊后,對于奶牛采食時的頭部行為,網(wǎng)絡識別特征覆蓋到的奶牛采食時頭部特征更多,代表奶牛采食時頭部運動的特征已經(jīng)成為模型關注的重點信息。
1.2.4 EMA 模塊
EMA 模塊[21] 是一種高效多尺度注意力模塊,結構如圖4 所示,EMA 模塊通過1×1 分支進行圖像聚合,實現(xiàn)不同跨通道交互特征??缇暥葘W習模塊進行激勵操作,通過全連接層和激活函數(shù),減少通道從而降低計算量,得到第1 張空間注意力圖。通過3×3 分支,經(jīng)過激活函數(shù)與1×1 分支的輸出結果點積,獲得第2 張保留精準信息的空間注意力圖,最后再與第1 張注意力圖聚合。
通過EMA 模塊后,可以增強通道注意力,使特征圖具有全局感受野,增強網(wǎng)絡的特征圖提取且提升網(wǎng)絡對目標的分類情況。
1.2.5 Deep SORT 算法
多目標跟蹤對采食行為識別能夠連續(xù)、動態(tài)地追蹤場景中多只奶牛的行為,從而更準確地捕捉和分析它們的采食模式和頻率,這有助于深入研究多頭奶牛的采食行為特征,提升對采食行為的識別精度。
Deep SORT 算法[22] 常用于多目標跟蹤,工作流程如圖5 所示,通過BCE-YOLO 將奶牛采食時的個體身份以及對應的采食動作計算出來,然后通過卡爾曼濾波器預測物體下一幀的位置,將預測位置和實際檢測位置作特征對比并計算IoU,得到相鄰2 個目標的相似度,最終通過匈牙利匹配算法得到相鄰幀的對應ID (Identity document),實現(xiàn)對奶牛身份以及采食動作的跟蹤。
由于Deep SORT 算法使用的是奶牛前后特征對比確認,并且增加了級聯(lián)匹配和新軌跡確認。如圖6 所示,目標檢測網(wǎng)絡得到奶牛的唯一特征后,通過預測、觀測、更新等方式對奶牛特征信息進行加強,因此使得Deep SORT 算法所檢測的奶牛ID 不容易改變,從而更加精確地跟蹤、檢測奶牛的采食行為。
2 結果與分析
2.1 評價指標
為了準確評價模型的性能,本文采用了目標檢測算法常用的4 個性能評價指標:精確度(Precision)、召回率( R e c a l l ) 、平均精確度均值m A P ( m e a nAverage precision) 和F1 分數(shù)(F1-score) 來檢驗本文提出的模型的性能。損失曲線擬合速度越快,擬合程度越好,最終損失值越低,代表模型的性能越強。
2.2 試驗配置和超參數(shù)設置
訓練以及測試的硬件平臺配置為I n t e l ( R )Xeon(R) W-2135 CPU@3.70GHz 處理器,32 GB 內存,11 GB GeForce RTX2080 Ti 顯卡,500 G 固態(tài)硬盤。平臺操作系統(tǒng)為64 位Ubuntu18.04 操作系統(tǒng),利用Ubuntu18.04 終端實現(xiàn),程序運行中調用加速環(huán)境CUDA、Cudnn 和第三方庫OpenCV、Pytorch,CUDA 版本為10.2.89,Cudnn 版本基于CUDA10.2下cuDNN 7.6.5,OpenCV 版本為4.4.0,Pytorch 版本為1.7.1。在不影響識別精度下,為了增加訓練效率,選擇輸入圖像為416 像素×416 像素。設置初始學習率為0.001,權重衰減率為0.000 5,迭代次數(shù)為100 次。
2.3 目標跟蹤算法檢測效果
為了驗證奶牛采食行為目標跟蹤算法的可靠性,本文分別使用上方和前方拍攝的奶牛采食行為數(shù)據(jù)集來對算法進行測試。
如圖7 所示為奶牛采食行為前方數(shù)據(jù)集的目標跟蹤效果,由圖7A、7B 可以看出,當1 號奶牛的采食行為從采食變?yōu)榫捉罆r,奶牛的ID 并不會發(fā)生改變,仍然對奶牛的頭部運動軌跡進行跟蹤繪制;由圖7C、7D 可以看出,當1 號奶牛遮擋住2 號奶牛時,2 號奶牛的標簽消失,但當2 號奶牛恢復到檢測狀態(tài)時,2 號奶牛的ID 沒有發(fā)生改變,說明目標檢測網(wǎng)絡對奶牛特征的提取充足,使得在目標跟蹤時根據(jù)目標的特征進行跟蹤不會使ID 發(fā)生跳動。
圖8 為奶牛采食行為上方數(shù)據(jù)集的目標跟蹤效果,與前方相同,奶牛采食過程中行為變化以及遮擋并不會使得奶牛的ID 發(fā)生變化。
為了驗證所提出的Deep SORT 算法與BCEYOLO模型結合的有效性,基于本文自建數(shù)據(jù)集與其他主流算法進行對比試驗, 包括S t a p l e 和SiameseRPN,結果如表2 所示。Deep SORT 的跟蹤精度和魯棒性都占有優(yōu)勢,說明D e e p S O R T算法與BCE-YOLO 模型結合具有更好的跟蹤性能。通過以上分析可以看出,BCE-YOLO 和DeepSORT 結合的目標跟蹤算法能精確追蹤奶牛采食時的頭部運動并繪制軌跡,通過運動總量可以進一步判斷采食行為,也為后續(xù)對奶牛采食行為其他研究做準備。將奶牛運動軌跡點的數(shù)據(jù)導出,可以計算奶牛整個采食過程所持續(xù)的時間以及奶牛采食過程運動的總量。如圖9 所示,圖9A 以奶牛采食行為跟蹤視頻的左上頂點為原點,通過BBOX 計算頭部中心點并繪制軌跡。由于逐幀跟蹤且視頻幀率為30 幀/s,可計算采食總時間。計算出當前幀與下一幀中心點位置的距離后,通過視頻中像素點之間的距離與實際物體距離的比例換算得到奶牛的最終運動總量,如圖9B 所示。
2.4 對比試驗結果分析
本文對模型進行了消融試驗,為了驗證本文提出的BCE-YOLO 改進方法提升模型性能的有效性,以YOLOv8 模型為基礎,通過使用不同的模塊來驗證模型性能。試驗表明,改進后的方法對YOLOv8 模型的檢測效果有一定程度的影響。接下來,本文分別對前方和上方拍攝奶牛采食行為數(shù)據(jù)集進行測試,如表3、4 所示,對試驗數(shù)據(jù)進行分析,以反映BCE-YOLO 模型中不同改進方法對模型檢測性能的影響。
從表3、4 數(shù)據(jù)可以看出,單模塊改進YOLOv8網(wǎng)絡時,BiFormer 模塊對YOLOv8 的性能提升最大,無論是前方還是上方數(shù)據(jù)集,精確度、召回率、平均精確度均值均有所提升。其中前方數(shù)據(jù)集中,精確度提升0.80 個百分點,召回率提升1.84 個百分點,平均精確度均值提升1.63 個百分點;上方數(shù)據(jù)集中,精確度提升2.64 個百分點,召回率提升5.19 個百分點,平均精確度均值提升5.13 個百分點。單獨使用CoT 模塊時,模型的召回率和平均精確度均值提升較大,前方數(shù)據(jù)集的召回率提升6.04 個百分點,平均精確度均值提升1.92 個百分點;上方數(shù)據(jù)集的召回率提升3.36 個百分點,平均精確度均值提升5.77 個百分點。在精確度方面,前方數(shù)據(jù)集在使用CoT 模塊后下降了2.62 個百分點,上方數(shù)據(jù)集提升4.76 個百分點。本文認為是前方拍攝的奶牛采食行為數(shù)據(jù)集中奶牛面部特征較為豐富,單一的注意力層對特征的提取并不充分,使得提升效果較差;而上方拍攝的奶牛采食行為數(shù)據(jù)集中奶牛頭部特征相對較少,模型提取特征相對容易。同樣的情況也發(fā)生在EMA 模塊中。在前方拍攝數(shù)據(jù)集中,增加E MA 模塊后召回率下降3.49 個百分點,平均精確度均值下降1.97 個百分點;而在上方拍攝數(shù)據(jù)集中精確度、召回率均有所提升,其中精確度提升1.21 個百分點,召回率提升2.84 個百分點,平均精確度均值基本保持不變。
在雙模塊改進的Y O L O v 8 中發(fā)現(xiàn), 包含BiFormer 模塊的雙模塊改進網(wǎng)絡相較于原單模塊改進網(wǎng)絡均有提升。增加CoT 和EMA 雙模塊,前方拍攝數(shù)據(jù)集的精確度相較于YOLOv8 模型降低5.44 個百分點,上方拍攝數(shù)據(jù)集精確度的提升幅度也相對較小。可以看出,增加BiFormer 模塊可以對模型有較大的提升。
當使用3 個模塊對YOLOv8 進行改進時,精確度、召回率、平均精確度均值均提升明顯。前方拍攝數(shù)據(jù)集中,精確度、召回率和平均精確度均值分別提升7.97、6.85 和7.80 個百分點;上方拍攝數(shù)據(jù)集中,精確度、召回率和平均精確度均值分別提升8.03、9.17 和9.58 個百分點。
從以上分析可以看出,改進模塊中,BiFormer模塊對模型的貢獻度最大,增加3 個模塊后的BCE-YOLO 模型性能相較于YOLOv8 模型有較大提升,對奶牛采食行為特征的提取也更加充分。
2.5 圖像檢測對比分析
為了直觀分析B C E - Y O L O 模型相較于YOLOv8 的提升情況,本文使用前方和上方拍攝的奶牛采食行為測試數(shù)據(jù)集對B C E - Y O L O 和YOLOv8 分別進行測試(圖10)。前方數(shù)據(jù)集中,咀嚼和采食動作的置信度提升6%~10%,提升效果明顯;上方數(shù)據(jù)集中,咀嚼動作置信度提升9%,采食動作提升1%;YOLOv8 存在漏檢現(xiàn)象??梢钥闯觯胺綑z測效果優(yōu)于上方。YOLOv8 與BCE-YOLO模型在500 張驗證集圖像上的結果如表5 所示,在前方和上方拍攝的數(shù)據(jù)集中,BCE-YOLO 模型精確度、召回率和平均精確度均值都占有優(yōu)勢,并且前方檢測效果優(yōu)于上方。分析原因是因為前方數(shù)據(jù)集的奶牛頭部特征豐富,而且BCE-YOLO 提取特征能力有較大提升,使得前方檢測效果更強;相對來說,上方數(shù)據(jù)集奶牛頭部特征較少,模型的特征提取作用未發(fā)揮完全,使得檢測效果較前方差一些。動作類別中,咀嚼類別的置信度要高于采食類別,與圖11 得到的精確度曲線結果一致。本文分析認為,奶牛進行咀嚼動作時需要抬頭,使得奶牛頭部的特征更加突出,而采食動作時奶牛與飼料直接接觸,使得部分飼料的特征也被提取從而使得置信度降低。
2.6 采食行為分類檢測分析
本研究將奶牛采食行為分為采食和咀嚼兩部分,而采食可以分為采食和拱草兩部分。本文從精確度角度分析奶牛采食行為分類對檢測結果的影響。由于前方與上方拍攝數(shù)據(jù)集訓練時數(shù)據(jù)增長趨勢基本一致,因此只選擇上方拍攝數(shù)據(jù)集訓練數(shù)據(jù)進行分析。
精確度曲線如圖11 所示,圖11A 為將奶牛采食行為分為采食和咀嚼,圖11B 為將奶牛采食行為分為采食、拱草和咀嚼。可以看出,當分類中增加了拱草類別后,咀嚼類別的精確度沒有受到影響,在置信度50%~70% 時基本穩(wěn)定在85%~90%,但采食類別精確度出現(xiàn)了下降,平均下降5 個百分點,并且拱草類別的精確度只有20%,相對偏低,使得平均精確度下降了6 個百分點。本文分析認為,由于拱草行為與采食行為的特征相似度高,且拱草行為一般在極短時間內完成,模型容易將拱草行為與采食行為判定為同一種行為,因此導致模型檢測拱草行為的精確度不高,且使采食行為精確度下降。因此本文決定將不使用拱草類別進行測試。
3 結論
本試驗以養(yǎng)殖場飼養(yǎng)環(huán)境下采食區(qū)的奶牛為研究對象,對奶牛的采食行為進行研究。為解決復雜飼養(yǎng)環(huán)境下奶牛采食行為識別精度差、特征提取不充分的問題,實現(xiàn)對奶牛采食行為的自動監(jiān)控,提出一種改進BCE-YOLO 模型、并結合DeepSORT 算法的識別方法。自建奶牛采食行為數(shù)據(jù)集進行對比試驗,得出如下結論。
1) 使用BiFormer、CoT、EMA 3 個模型增強模塊對YOLOv8 模型進行增強,提出改進的BCEYOLO模型,在前方和上方拍攝的數(shù)據(jù)集中,精確度分別為77.73%、76.32%,召回率分別為82.57%、86.33%,平均精確度均值分別為83.70%、76.81%,相較于YOLOv8 模型,模型整體性能提升6~8 個百分點。
2) 通過將BCE-YOLO 模型與Deep SORT 結合,對奶牛采食行為進行了準確跟蹤且有效抑制了奶牛ID 的變更,可以同步實現(xiàn)多奶牛采食行為的自動監(jiān)督與記錄,為奶牛的福利化養(yǎng)殖發(fā)展具有積極的影響。
參考文獻:
[1]何東健, 劉冬, 趙凱旋. 精準畜牧業(yè)中動物信息智能感知與行為檢測研究進展[J]. 農業(yè)機械學報, 2016, 47(5):231-244.
[2]胡國政. 基于計算機視覺的奶牛身份及采食行為識別研究[D]. 泰安: 山東農業(yè)大學, 2023.
[3]黃吉峰. 高產奶牛飼養(yǎng)管理技術措施探討[J]. 中國乳業(yè), 2024(1): 37-40.
[4]徐國忠. 奶牛跛足原因與預防管理[J]. 中國乳業(yè),2017(4): 63-64.
[5]劉娜, 安曉萍, 王園, 等. 機器視覺技術在奶牛精準化管理中的應用研究進展[J/OL]. 中國畜牧雜志, (2024-03-29) [2024-04-01]. https://doi.org/10.19556/j.0258-7033.20230803-07.
[6]梁家璇. 基于慣導的奶牛行為識別及其傳感器電路中低功耗運放設計與實現(xiàn)[D]. 泰安: 山東農業(yè)大學, 2022.
[7]安健, 程宇森, 桂小林, 等. 多場景下基于傳感器的行為識別[J]. 計算機工程與設計, 2024, 45(1): 244-251.
[8]AOUGHLIS S, SADDAOUI R, ACHOUR B, et al. Dairycows’ localisation and feeding behaviour monitoring usinga combination of IMU and RFID network[J]. InternationalJournal of Sensor Networks, 2021, 37(1): 23-35.
[9]衛(wèi)陽森. 基于深度學習的牲畜行為識別研究與應用[D].秦皇島: 河北科技師范學院, 2023.
[10]白強, 高榮華, 趙春江, 等. 基于改進YOLOV5s 網(wǎng)絡的奶牛多尺度行為識別方法[J]. 農業(yè)工程學報, 2022,38(12): 163-172.。
[11]楊阿慶. 基于計算機視覺的哺乳母豬行為識別研究[D].廣州: 華南農業(yè)大學, 2019.
[12]王政, 許興時, 華志新, 等. 融合YOLO v5n 與通道剪枝算法的輕量化奶牛發(fā)情行為識別[J]. 農業(yè)工程學報,2022, 38(23): 130-140.
[13]BEZEN R, EDAN Y, HALACHMI I. Computer visionsystem for measuring individual cow feed intake usingRGB-D camera and deep learning algorithms[J]. Computersand Electronics in Agriculture, 2020, 172: 105345.
[14]LAO F, BROWN-BRANDL T, STINN J P, et al. Automaticrecognition of lactating sow behaviors throughdepth image processing[J]. Computers and Electronics inAgriculture, 2016, 125: 56-62.
[15]SHELLEY A N, LAU D L, STONE A E, et al. Shortcommunication: Measuring feed volume and weight bymachine vision[J]. Journal of Dairy Science, 2016, 99(1):386-391.
[16]ZHENG Z, WANG P, LIU W, et al. Distance-IoU loss:Faster and better learning for bounding box regression[J].Proceedings of the AAAI Conference on Artificial Intelligence,2020, 34(7): 12993-13000.
[17]LIN T Y, DOLLáR P, GIRSHICK R B, et al. Featurepyramid networks for object detection[C]//2017 IEEEConference on Computer Vision and Pattern Recognition(CVPR). Honolulu: IEEE, 2017.
[18]曹小喜. 基于深度學習的口罩佩戴實時檢測算法研究與系統(tǒng)實現(xiàn)[D]. 蕪湖: 安徽工程大學, 2022.
[19]ZHU L, WANG X, KE Z, et al. BiFormer: Vision transformerwith Bi-Level routing attention[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). Vancouver: IEEE, 2023: 10323-10333.
[20]RAMACHANDRAN P, PARMAR N, VASWANI A, etal. Stand-alone self-attention in vision models[EB/OL].arXiv: 1906.05909 (2019-06-13) [2024-04-01]. https://doi.org/10.48550/arXiv.1906.05909.
[21]OUYANG D L, HE S, ZHANG G Z, et al. Efficientmulti-scale attention module with cross-spatial learning[C]//ICASSP 2023. 2023 IEEE International Conferenceon Acoustics, Speech and Signal Processing (ICASSP).Rhodes: IEEE, 2023: 1-5.
[22]WOJKE N, BEWLEY A, PAULUS D. Simple online andrealtime tracking with a deep association metric[C]//2017IEEE International Conference on Image Processing(ICIP). Beijing: IEEE, 2017: 3645-3649.
【責任編輯 李慶玲】
基金項目:國家重點研發(fā)計劃(2023YFD2000704)