曾繁國(guó)，朱 君，王海峰，賈 楠，趙宇亮，趙文文，李 斌

改進(jìn)幀間差分-深度學(xué)習(xí)識(shí)別群養(yǎng)豬只典型行為

曾繁國(guó)，朱 君，王海峰，賈 楠，趙宇亮，趙文文，李 斌※

（1. 北京市農(nóng)林科學(xué)院智能裝備技術(shù)研究中心，北京 100097； 2. 國(guó)家農(nóng)業(yè)智能裝備工程技術(shù)研究中心，北京 100097）

群養(yǎng)豬行為是評(píng)估豬群對(duì)環(huán)境適應(yīng)性的重要指標(biāo)。豬場(chǎng)環(huán)境中，豬只行為識(shí)別易受不同光線和豬只粘連等因素影響，為提高群養(yǎng)豬只行為識(shí)別精度與效率，該研究提出一種基于改進(jìn)幀間差分-深度學(xué)習(xí)的群養(yǎng)豬只飲食、躺臥、站立和打斗等典型行為識(shí)別方法。該研究以18只50～115日齡長(zhǎng)白豬為研究對(duì)象，采集視頻幀1 117張，經(jīng)圖像增強(qiáng)共得到4 468張圖像作為數(shù)據(jù)集。首先，選取Faster R-CNN、SSD、Retinanet、Detection Transformer和YOLOv5五種典型深度學(xué)習(xí)模型進(jìn)行姿態(tài)檢測(cè)研究，通過(guò)對(duì)比分析，確定了最優(yōu)姿態(tài)檢測(cè)模型；然后，對(duì)傳統(tǒng)幀間差分法進(jìn)行了改進(jìn)，改進(jìn)后幀間差分法能有效提取豬只完整的活動(dòng)像素特征，使檢測(cè)結(jié)果接近實(shí)際運(yùn)動(dòng)豬只目標(biāo)；最后，引入打斗活動(dòng)比例（Proportion of Fighting Activities, PFA）和打斗行為比例（Proportion of Fighting Behavior, PFB）2個(gè)指標(biāo)優(yōu)化豬只打斗行為識(shí)別模型，并對(duì)模型進(jìn)行評(píng)價(jià)，確定最優(yōu)行為模型。經(jīng)測(cè)試，YOLOv5對(duì)群養(yǎng)豬只典型姿態(tài)檢測(cè)平均精度均值達(dá)93.80%，模型大小為14.40 MB，檢測(cè)速度為32.00幀/s，檢測(cè)速度滿足姿態(tài)實(shí)時(shí)檢測(cè)需求，與Faster R-CNN、SSD、Retinanet和Detection Transformer模型相比，YOLOv5平均精度均值分別提高了1.10、3.23、4.15和21.20個(gè)百分點(diǎn)，模型大小分別減小了87.31%、85.09%、90.15%和97.10%。同時(shí)，當(dāng)兩個(gè)優(yōu)化指標(biāo)PFA和PFB分別設(shè)置為10%和40%時(shí)，豬只典型行為識(shí)別結(jié)果最佳，識(shí)別準(zhǔn)確率均值為94.45%。結(jié)果表明，該方法具有準(zhǔn)確率高、模型小和識(shí)別速度快等優(yōu)點(diǎn)。該研究為群養(yǎng)豬只典型行為精準(zhǔn)高效識(shí)別提供方法參考。

深度學(xué)習(xí)；識(shí)別；群養(yǎng)豬只；姿態(tài)檢測(cè)

0 引 言

近年來(lái)，中國(guó)生豬養(yǎng)殖規(guī)?；?、集約化趨勢(shì)加速，加強(qiáng)信息、智能裝備技術(shù)與生豬產(chǎn)業(yè)深度融合，推動(dòng)養(yǎng)豬智能化發(fā)展是實(shí)現(xiàn)綠色、健康、高效養(yǎng)殖的重要支撐[1-2]。豬只個(gè)體行為感知與分析是智能養(yǎng)豬的關(guān)鍵，行為變化是豬對(duì)其生長(zhǎng)環(huán)境變化做出的最直接反應(yīng)。因此，借助群養(yǎng)豬只個(gè)體/群體行為實(shí)時(shí)感知數(shù)據(jù)[3-4]，開(kāi)展動(dòng)物健康狀況等信息分析、挖掘，對(duì)實(shí)現(xiàn)疾病預(yù)警具有重要意義[5]。

目前豬只行為識(shí)別主要依靠飼養(yǎng)員的直覺(jué)和經(jīng)驗(yàn)。這種方法耗費(fèi)大量人力與時(shí)間，無(wú)法在現(xiàn)代規(guī)模化豬場(chǎng)中實(shí)際應(yīng)用。隨著傳感器技術(shù)的迅速發(fā)展，專家學(xué)者利用加速度傳感器開(kāi)展了豬只行為識(shí)別研究。劉龍申等[6]利用加速度傳感器檢測(cè)母豬躺臥、站立、采食等行為，正確率為87.93%；閆麗等[7]利用MPU6050傳感器檢測(cè)哺乳期母豬姿態(tài)，左側(cè)姿、右側(cè)姿和立姿正確識(shí)別率分別為65.8%、90.1%和75.4%；郝福明[8]基于微慣性傳感器監(jiān)測(cè)了豬只站立、坐立、趴臥和側(cè)臥姿態(tài)，并結(jié)合四類姿態(tài)的持續(xù)時(shí)間，判斷豬只是否存在異常行為。然而，這類穿戴式傳感器存在易脫落、導(dǎo)致豬只受傷和應(yīng)激反應(yīng)等問(wèn)題[9]。同時(shí)，專家學(xué)者也開(kāi)展了基于圖像識(shí)別技術(shù)的豬只行為識(shí)別方法研究[10]。傳統(tǒng)的圖像識(shí)別技術(shù)主要基于機(jī)器視覺(jué)的方式，如謝徵[11]提取豬只二值姿態(tài)圖像圓形度、高寬比和伸長(zhǎng)度等11種有效幾何參數(shù)特征后輸入多分類支持向量機(jī)，以識(shí)別豬只躺臥、側(cè)面抬頭站立、側(cè)面低頭站立、側(cè)面平視站立以及正面站立5種姿態(tài)，平均分類準(zhǔn)確度在90%以上；劉冬等[12]提出一種自適應(yīng)學(xué)習(xí)率-高斯混合模型方法提取動(dòng)物活動(dòng)指數(shù)，構(gòu)建活動(dòng)指數(shù)最大值、平均值、方差和標(biāo)準(zhǔn)差特征向量后，采用支持向量機(jī)分類器判斷群養(yǎng)豬攻擊行為，正確率為97.6%。然而傳統(tǒng)的機(jī)器視覺(jué)方式檢測(cè)速度較慢，且檢測(cè)結(jié)果易受環(huán)境影響。

近年來(lái)，深度學(xué)習(xí)快速發(fā)展，因具有從海量信息中自動(dòng)提取高維特征的優(yōu)勢(shì)，達(dá)到了遠(yuǎn)超傳統(tǒng)機(jī)器學(xué)習(xí)的精確度[13]，被廣泛應(yīng)用于聲音分類[14]、行為分類[15]和姿態(tài)分類[16]等研究。薛月菊等[17]通過(guò)改進(jìn)Faster R-CNN，以深度視頻圖像為數(shù)據(jù)源對(duì)哺乳母豬的站立、坐立、俯臥、腹臥和側(cè)臥5類姿態(tài)進(jìn)行識(shí)別，平均準(zhǔn)確率分別為96.73%、94.62%、86.28%、89.57%和99.04%，識(shí)別速度為17幀/s；高云等[18]提出基于深度學(xué)習(xí)的3DConvNet網(wǎng)絡(luò)識(shí)別群養(yǎng)豬侵略性行為，識(shí)別準(zhǔn)確度為95.70%，識(shí)別速度為20幀/s；Zhang等[19]基于SSD和MobileNet構(gòu)建SBDA-DL網(wǎng)絡(luò)模型，識(shí)別豬只飲水、排尿和攀爬行為，識(shí)別準(zhǔn)確度分別為96.5%、91.4%和92.3%，識(shí)別速度為7幀/s。YOLO系列算法是2016年興起的智能目標(biāo)檢測(cè)算法，具有檢測(cè)精度較高，檢測(cè)速度較快等優(yōu)點(diǎn)[20]，在豬只姿態(tài)和行為檢測(cè)中取得了良好效果。Sivamani等[21]基于YOLOv3對(duì)豬只坐姿、站姿和臥姿進(jìn)行檢測(cè)，識(shí)別準(zhǔn)確度分別為99%、98%和92%。Kim等[22]基于YOLOv3、YOLOv4和改進(jìn)YOLOv4對(duì)豬只飲食飲水行為進(jìn)行檢測(cè)，識(shí)別準(zhǔn)確度分別為91.26%、91.69%和91.49%。上述主要是分別針對(duì)豬只正常行為（飲食、飲水等）和異常行為（打斗等）的研究，識(shí)別結(jié)果易受不同光線和豬只粘連等因素的干擾，且未結(jié)合兩類行為特征開(kāi)展同時(shí)識(shí)別研究。

針對(duì)上述問(wèn)題，本研究構(gòu)建一種基于改進(jìn)幀間差分-深度學(xué)習(xí)的算法模型，選取典型深度學(xué)習(xí)模型進(jìn)行姿態(tài)檢測(cè)研究，確定最優(yōu)姿態(tài)檢測(cè)模型；針對(duì)傳統(tǒng)幀間差分法局限，進(jìn)行4方面改進(jìn)，并用于豬只活動(dòng)像素特征提??；引入打斗活動(dòng)比例（Proportion of Fighting Activities, PFA）和打斗行為比例（Proportion of Fighting Behavior, PFB）2個(gè)指標(biāo)優(yōu)化豬只打斗行為識(shí)別模型，并對(duì)模型進(jìn)行評(píng)價(jià)，確立最優(yōu)行為模型。

1 材料與方法

1.1 豬只典型行為定義

群養(yǎng)豬行為是評(píng)估豬群對(duì)環(huán)境適應(yīng)性的重要指標(biāo)，群養(yǎng)豬只在正常的環(huán)境和生理狀態(tài)下，通常表現(xiàn)為飲食、躺臥和站立等正常行為，當(dāng)豬只的生存環(huán)境或生理狀態(tài)發(fā)生變化時(shí)，豬只通常會(huì)通過(guò)調(diào)節(jié)行為來(lái)緩解外界環(huán)境對(duì)心理和生理上的壓力，從而表現(xiàn)出打斗等異常行為[18,23]。故本文選取群養(yǎng)豬只飲食、打斗、躺臥和站立4類典型行為進(jìn)行研究，各行為定義見(jiàn)表1，豬只典型行為圖像如圖1所示。

表1 豬只4類典型行為定義

圖1 豬只典型行為圖像

1.2 數(shù)據(jù)采集

本研究數(shù)據(jù)采集于河北省秦皇島明霞養(yǎng)殖場(chǎng)，時(shí)間為2021年9月1日到12月1日?；趦蓚€(gè)海康威視（型號(hào)：3Q140MY-T）夜視室外攝像頭分別采集兩欄群養(yǎng)長(zhǎng)白豬只活動(dòng)視頻圖像，每欄9只共計(jì)18只豬。豬只日齡范圍50～115 d，質(zhì)量范圍20～110 kg。為抓取豐富的姿態(tài)特征，試驗(yàn)將攝像頭安裝在豬舍側(cè)壁上方，可有效捕捉豬只全身各部位信息。視頻采集圖像分辨率設(shè)置為1 280×720像素，幀率設(shè)置為30幀/s。

1.3 數(shù)據(jù)預(yù)處理

1.3.1 視頻幀圖像獲取

本研究自編寫(xiě)python腳本對(duì)采集視頻進(jìn)行視頻幀抽取，每隔30幀抽取一張視頻幀圖像，刪除視頻幀圖像中相似度過(guò)高、模糊和重影的視頻幀圖像，再對(duì)所有圖像進(jìn)行隨機(jī)排序，得到1 117張視頻幀圖像數(shù)據(jù)集。

1.3.2 數(shù)據(jù)增強(qiáng)

本研究分別通過(guò)椒鹽噪聲添加、隨機(jī)旋轉(zhuǎn)和隨機(jī)亮度調(diào)節(jié)三類圖像數(shù)據(jù)增強(qiáng)操作提高復(fù)雜環(huán)境泛化性、降低不同視角影響和適應(yīng)不同光線干擾，最終獲得4 468幅群養(yǎng)豬只圖像，示例如圖2。

圖2 圖像增強(qiáng)示例

1.3.3 圖像標(biāo)注和數(shù)據(jù)集劃分

本研究采用LabelImg圖像標(biāo)注工具對(duì)數(shù)據(jù)集豬只姿態(tài)進(jìn)行標(biāo)注，共獲得4 468張圖像和對(duì)應(yīng)標(biāo)注文件。將圖像數(shù)據(jù)集以7∶2∶1的比例隨機(jī)分成訓(xùn)練集、驗(yàn)證集和測(cè)試集。其中，訓(xùn)練集大小為3 127張，驗(yàn)證集大小為894張，測(cè)試集大小為447張。訓(xùn)練集和驗(yàn)證集用于模型訓(xùn)練，測(cè)試集用于模型驗(yàn)證。

1.4 豬只典型行為識(shí)別算法

觀察發(fā)現(xiàn)，飲食、躺臥和站立行為可通過(guò)豬只單幀姿態(tài)圖像直接判別，而打斗行為是一個(gè)連續(xù)過(guò)程（常伴隨豬只較快、較激烈運(yùn)動(dòng)，持續(xù)時(shí)間從數(shù)秒到2 min不等）[24]。針對(duì)豬只典型行為特點(diǎn)，本研究設(shè)計(jì)豬只典型行為識(shí)別算法，以識(shí)別豬只飲食、躺臥、站立和打斗行為，算法識(shí)別流程圖如圖3所示，具體步驟如下：

1）典型姿態(tài)檢測(cè)。使用深度學(xué)習(xí)算法檢測(cè)豬只飲食、打斗、躺臥和站立四類典型姿態(tài)。其中，飲食、躺臥和站立行為可通過(guò)豬只單幀姿態(tài)圖像直接判別。為有效識(shí)別打斗行為，需繼續(xù)執(zhí)行如下2）、3）過(guò)程。

2）活動(dòng)像素特征提取。針對(duì)傳統(tǒng)幀間差分法局限性，本研究改進(jìn)幀間差分法對(duì)視頻幀序列中鄰近幀作差分運(yùn)算，有效提取豬只活動(dòng)像素特征。

3）打斗行為識(shí)別。引入2個(gè)指標(biāo)優(yōu)化豬只打斗行為PFA和PFB，設(shè)計(jì)豬只打斗行為識(shí)別算法，判別豬只是否發(fā)生打斗行為。

4）典型行為輸出。通過(guò)步驟1）～3），識(shí)別豬只的飲食、打斗、躺臥和站立行為。

1.4.1 基于深度學(xué)習(xí)的豬只典型姿態(tài)檢測(cè)

基于深度學(xué)習(xí)的豬只典型姿態(tài)檢測(cè)如圖4所示，本研究選取4類典型主流卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）模型Faster R-CNN、SSD、Retinanet和YOLOv5，和基于Transformer神經(jīng)網(wǎng)絡(luò)模型Detection Transformer用于檢測(cè)豬只飲食、躺臥、站立和打斗4類典型姿態(tài)。豬只姿態(tài)檢測(cè)流程主要分為訓(xùn)練和檢測(cè)過(guò)程兩部分：訓(xùn)練過(guò)程是將預(yù)處理數(shù)據(jù)集輸入YOLOv5、Faster R-CNN等深度學(xué)習(xí)模型中，訓(xùn)練過(guò)程中模型不斷調(diào)整每層網(wǎng)絡(luò)的權(quán)重參數(shù)，訓(xùn)練完成后獲得最佳權(quán)重參數(shù)文件，用于評(píng)價(jià)訓(xùn)練模型性能或檢測(cè)實(shí)際輸入的圖像/視頻姿態(tài)；檢測(cè)過(guò)程是將待檢測(cè)圖像/視頻作為輸入，深度學(xué)習(xí)模型利用上述訓(xùn)練后保存的權(quán)重文件，沿著網(wǎng)絡(luò)輸入層到輸出層的順序依次與模型中的參數(shù)進(jìn)行運(yùn)算，從而確定預(yù)測(cè)豬只姿態(tài)位置和置信度等信息。

圖3 豬只典型行為算法識(shí)別流程

圖4 豬只典型姿態(tài)檢測(cè)和活動(dòng)像素特征提取流程

上述深度學(xué)習(xí)模型采用了遷移學(xué)習(xí)的思想，將模型在ImageNet等大型數(shù)據(jù)集上充分訓(xùn)練，學(xué)習(xí)目標(biāo)檢測(cè)所需大量特征后生成的預(yù)訓(xùn)練模型，用于群養(yǎng)豬只姿態(tài)數(shù)據(jù)集的檢測(cè)。相比于全新學(xué)習(xí)（即隨機(jī)初始化網(wǎng)絡(luò)所有層的權(quán)重參數(shù)，利用訓(xùn)練數(shù)據(jù)集對(duì)網(wǎng)絡(luò)從頭開(kāi)始全新訓(xùn)練），遷移學(xué)習(xí)能加快網(wǎng)絡(luò)收斂，提高訓(xùn)練速度[25-26]。其中，F(xiàn)aster R-CNN、SSD、Retinanet和Detection Transformer各有一個(gè)預(yù)訓(xùn)練模型版本，YOLOv5有YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x四個(gè)版本，對(duì)應(yīng)參數(shù)量分別為7.30×106、2.14×107、4.71×107和8.78×107。為取得豬只姿態(tài)良好檢測(cè)速度，本研究選擇參數(shù)量較少、權(quán)重文件較小、實(shí)時(shí)性較好的YOLOv5s模型開(kāi)展以下試驗(yàn)。

1.4.2 基于改進(jìn)幀間差分法的豬只活動(dòng)像素特征提取

幀間差分法是連續(xù)兩幀圖像進(jìn)行差分運(yùn)算，兩幀對(duì)應(yīng)像素點(diǎn)相減，判斷灰度差絕對(duì)值，得到差分圖像[27]。傳統(tǒng)幀間差分法示意如圖5 a，如式（1）所示。

式中D()為差分圖像；為圖像像素點(diǎn)橫坐標(biāo)值；為圖像像素點(diǎn)縱坐標(biāo)值；f(,)為第幀圖像；f-1(,)為第-1幀圖像。

幀間差分法運(yùn)行速度較快，能適應(yīng)不同豬場(chǎng)復(fù)雜環(huán)境，有效提取運(yùn)動(dòng)豬只活動(dòng)像素特征。然而，傳統(tǒng)幀間差分法存在一定局限性：1）運(yùn)動(dòng)較慢豬只易出現(xiàn)漏檢現(xiàn)象；2）運(yùn)動(dòng)豬只的重疊導(dǎo)致檢測(cè)到的活動(dòng)像素有較多細(xì)小孔洞；3）豬只運(yùn)動(dòng)過(guò)程中，同一豬只活動(dòng)像素不連續(xù)；4）豬場(chǎng)光線變化對(duì)豬只活動(dòng)像素的提取造成一定影響，導(dǎo)致試驗(yàn)誤差。

為改善傳統(tǒng)幀間差分法出現(xiàn)的問(wèn)題，本研究做了如下改進(jìn)：1）針對(duì)豬只運(yùn)動(dòng)較慢造成漏檢問(wèn)題，擴(kuò)大幀差；2）針對(duì)運(yùn)動(dòng)豬只重疊導(dǎo)致的孔洞問(wèn)題，引入形態(tài)學(xué)中的開(kāi)操作，對(duì)差分后的圖像進(jìn)行腐蝕處理后再進(jìn)行膨脹操作，消除細(xì)小孔洞，保留豬只劇烈運(yùn)動(dòng)活動(dòng)像素區(qū)域；3）針對(duì)同一豬只運(yùn)動(dòng)過(guò)程導(dǎo)致的像素不連續(xù)問(wèn)題，引入Sobel邊緣檢測(cè)方法處理，能夠較清晰完整的檢測(cè)出豬體邊緣；4）針對(duì)豬場(chǎng)光線變化影響活動(dòng)像素提取問(wèn)題，引入光線變化系數(shù)降低影響，光線變化系數(shù)受圖像明暗程度影響。改進(jìn)幀間差法如式（2）所示。

圖5 傳統(tǒng)和改進(jìn)幀間差分法示意

Fig.5 Schematic diagram of traditional and improved frame difference method

1.4.3 豬只打斗行為識(shí)別算法

本文提取豬只活動(dòng)像素特征后，提出如下算法以優(yōu)化打斗行為識(shí)別效果，具體步驟如下：

1）打斗姿態(tài)錨框坐標(biāo)提取。當(dāng)幀鄰域連續(xù)幀{f|f=f()∈[1，],∈[2，8]}檢測(cè)出打斗姿態(tài)時(shí)，提取打斗姿態(tài)錨框坐標(biāo)。

2）PFA計(jì)算。PFA計(jì)算。將1）中打斗姿態(tài)錨框坐標(biāo)映射到對(duì)應(yīng)活動(dòng)像素特征提取幀，遍歷錨框內(nèi)圖像像素值，計(jì)算打斗錨框內(nèi)的打斗活動(dòng)指數(shù)比例，計(jì)算如式（3）所示。PFA達(dá)到所設(shè)閾值時(shí)，判定該幀為疑似打斗行為幀，本文通過(guò)設(shè)置不同PFA閾值，逐漸以5%遞增后測(cè)試打斗行為識(shí)別結(jié)果，以確定最佳PFA閾值。

式中PFA為打斗活動(dòng)比例，%；N為打斗錨框內(nèi)活動(dòng)像素總數(shù)；N為打斗錨框內(nèi)總像素?cái)?shù)。

3）PFB計(jì)算。首先，設(shè)置初始疑似打斗行為幀數(shù)fight_num=0，某一幀打斗姿態(tài)錨框內(nèi)活動(dòng)指數(shù)比例大于所設(shè)PFA閾值時(shí)，判定該幀發(fā)生了疑似打斗行為，同時(shí)fight_num=fight_num+1，直至識(shí)別到最后一幀，然后計(jì)算其打斗行為比例，如式（4）所示，PFA設(shè)置閾值后，通過(guò)調(diào)整不同PFB閾值，逐漸以10%遞增后測(cè)試打斗行為識(shí)別結(jié)果，以確定最佳PFB閾值。

式中PFB為打斗行為比例，%；fight_num為連續(xù)幀下疑似打斗行為幀數(shù)；sum_num為連續(xù)幀下總幀數(shù)。

4）打斗行為識(shí)別。連續(xù)幀內(nèi)PFB達(dá)到所設(shè)閾值時(shí)，判定該連續(xù)幀存在打斗行為。

1.5 試驗(yàn)平臺(tái)與訓(xùn)練參數(shù)

本研究計(jì)算平臺(tái)環(huán)境為CPU型號(hào)Intel Core i9-10900X，GPU型號(hào)TITAN RTX，操作系統(tǒng)Ubuntu18.04，RAM大小16 GB。采用Python3.7編程語(yǔ)言，torch1.4.0進(jìn)行網(wǎng)絡(luò)搭建、訓(xùn)練和測(cè)試，設(shè)置批量大小為8，學(xué)習(xí)率為0.001，訓(xùn)練步數(shù)為1000。采用Adam優(yōu)化，動(dòng)量設(shè)為0.9，權(quán)重衰減為0.000 5。

1.6 評(píng)價(jià)指標(biāo)

為驗(yàn)證姿態(tài)檢測(cè)模型的有效性，本研究主要采用以下6個(gè)評(píng)價(jià)指標(biāo)：精確率（Precision）、召回率（Recall）、檢測(cè)精度（Average Precision，AP）、平均精度均值（mean Average Precision，mAP）、檢測(cè)速度和模型大小[28]。

精確率是衡量預(yù)測(cè)的準(zhǔn)確度，召回率是衡量所有正樣本的檢測(cè)情況，計(jì)算如下式所示。

式中TP（True Positive）表示被正確劃分到正樣本的數(shù)量，F(xiàn)P（False Positive）表示被錯(cuò)誤劃分到正樣本的數(shù)量，F(xiàn)N（False Negative）表示被錯(cuò)誤劃分到負(fù)樣本的數(shù)量。檢測(cè)精度AP表示精確率-召回率（Precision-Recall）曲線下方面積，平均檢測(cè)精度mAP是多姿態(tài)類別AP平均值。交并比（Intersection over Union，IoU）閾值的選取會(huì)直接影響TP與FP的值，AP0.5表示IoU閾值為0.50時(shí)檢測(cè)精度，mAP0.5表示IoU閾值為0.50時(shí)平均檢測(cè)精度，mAP0.55表示IoU閾值為0.55時(shí)平均檢測(cè)精度，mAP0.5～0.95表示IoU閾值0.05為步長(zhǎng)在0.50與0.95間選取10個(gè)平均檢測(cè)精度的平均值，計(jì)算如下式所示。

式中表示積分變量，是精確率與召回率乘積的積分，為多姿態(tài)類別總數(shù)。檢測(cè)速度是每秒內(nèi)檢測(cè)模型可以處理的圖片數(shù)量；模型大小是模型訓(xùn)練完后保留的權(quán)重文件大小。

為評(píng)估行為識(shí)別算法，本研究主要用以下3個(gè)指標(biāo)：準(zhǔn)確率（Accuracy）、精確率和召回率[29]。其中準(zhǔn)確率用于反映算法識(shí)別正確行為的程度，計(jì)算如下式所示。

式中TN（True Negative）代表被正確劃分到負(fù)樣本的數(shù)量。

2 結(jié)果與分析

2.1 豬只典型姿態(tài)檢測(cè)最優(yōu)模型選擇

本研究對(duì)Faster R-CNN、SSD、Retinanet、Detection Transformer和YOLOv5進(jìn)行訓(xùn)練，模型收斂后對(duì)上述五類模型進(jìn)行測(cè)試評(píng)估，表2為5種姿態(tài)檢測(cè)模型測(cè)試結(jié)果。由表2可知，CNN系列模型和Transformer系列模型均能識(shí)別豬只姿態(tài)。分析測(cè)試結(jié)果可得到如下結(jié)論：YOLOv5模型mAP0.5達(dá)到93.80%，mAP0.5～0.95為74.40%，模型大小為14.40 MB，檢測(cè)速度為32.00幀/s，與Faster R-CNN、SSD、Retinanet和Detection Transformer檢測(cè)算法相比，YOLOv5檢測(cè)算法的mAP0.5分別提高了1.10、3.23、4.15和21.20個(gè)百分點(diǎn)，mAP0.5～0.95分別提高了12.00、29.50、14.50和15.90個(gè)百分點(diǎn)，模型分別小87.31%、85.09%、90.15%和97.10%，檢測(cè)速度雖較SSD低，但已滿足豬只典型姿態(tài)實(shí)時(shí)檢測(cè)需求，故本研究選取YOLOv5作為豬只姿態(tài)最佳檢測(cè)模型用于接下來(lái)的典型行為識(shí)別研究。

表2 5種姿態(tài)檢測(cè)模型測(cè)試結(jié)果

注：“mAP0.5”表示交并比（Intersection over Union，IoU）閾值為0.5時(shí)的平均精度均值（mean Average Precision，mAP）；“mAP0.5～0.95”表示IoU閾值以0.05為步長(zhǎng)在0.5與0.95間選取10個(gè)mAP的平均值。

Note: “mAP0.5” indicates the Mean Average Precision (mAP) size when the Intersection over Union (IoU) threshold is 0.5; "mAP0.5～0.95" indicates that the average value of 10 mAP is selected between 0.5 and 0.95 for IoU threshold in steps of 0.05.

本研究基于YOLOv5模型，對(duì)飲食、打斗、躺臥、站立等典型姿態(tài)進(jìn)行模型訓(xùn)練，結(jié)果如表3，可以發(fā)現(xiàn)，飲食和躺臥姿態(tài)檢測(cè)效果較好，AP0.5分別為95.10%和97.00%，原因可能是這兩類姿態(tài)特征較為明顯。打斗和站立姿態(tài)AP0.5較低，原因可能如下：1）訓(xùn)練集中打斗和站立姿態(tài)數(shù)較少；2）打斗姿態(tài)是兩只具有站立姿態(tài)豬只構(gòu)成的，兩者具有部分相同的特征。

表3 YOLOv5各姿態(tài)檢測(cè)結(jié)果

結(jié)果表明，基于YOLOv5的群養(yǎng)豬只姿態(tài)檢測(cè)算法效果較好，具有準(zhǔn)確率高、模型小和識(shí)別速度快等優(yōu)點(diǎn)，滿足豬場(chǎng)邊緣計(jì)算部署要求，能有效應(yīng)用于豬場(chǎng)群養(yǎng)豬只飲食、打斗、躺臥和站立姿態(tài)檢測(cè)。

2.2 豬只活動(dòng)像素特征提取結(jié)果對(duì)比

本研究通過(guò)試驗(yàn)分析最終將傳統(tǒng)幀間差分法（幀差為2）擴(kuò)大幀差至4，最終改進(jìn)結(jié)果如圖6c所示。由圖6可知，改進(jìn)后幀間差分法有效消除了運(yùn)動(dòng)較慢豬只和光照等干擾產(chǎn)生的細(xì)小孔洞（圖6圓圈所示），明顯保留了豬只打斗時(shí)的劇烈運(yùn)動(dòng)活動(dòng)像素特征（圖6矩形框所示），且檢測(cè)結(jié)果完整，接近實(shí)際運(yùn)動(dòng)目標(biāo)。

注：“○”表示幀間差分法改進(jìn)前后消除細(xì)小孔洞對(duì)比，“￡”表示幀間差分法改進(jìn)前后活動(dòng)像素特征提取量對(duì)比。

2.3 豬只典型行為識(shí)別結(jié)果與分析

為驗(yàn)證本研究提出的豬只打斗行為識(shí)別方法的準(zhǔn)確性，分別選取100段含/不含打斗行為視頻幀（幀速為30幀/s，持續(xù)時(shí)間5～60 s）進(jìn)行測(cè)試和評(píng)價(jià)研究。一般來(lái)講，PFA和PFB閾值的選取對(duì)豬只打斗行為識(shí)別有較大影響：如果PFA和PFB閾值設(shè)置過(guò)小，易將不包含打斗行為的連續(xù)幀視頻識(shí)別為包含打斗行為的連續(xù)幀視頻；如果設(shè)置過(guò)大，易將包含打斗行為的連續(xù)幀視頻識(shí)別為不包含打斗行為的連續(xù)幀視頻。本研究設(shè)置不同的PFA和PFB對(duì)識(shí)別結(jié)果進(jìn)行判斷，識(shí)別結(jié)果如表4所示。通過(guò)對(duì)上述200段視頻幀測(cè)試發(fā)現(xiàn)：1）豬只打斗時(shí)，打斗劇烈程度影響打斗活動(dòng)比例PFA大小，PFA設(shè)置過(guò)大（≥20%）則易漏檢打斗行為，因此本研究選取PFA閾值介于0～20%；2）從表4可知，當(dāng)PFA=10%時(shí)，準(zhǔn)確率、精確率和召回率的取值較高，識(shí)別效果較好，隨著PFA閾值的增大，精確率有所提高，但是召回率較低，當(dāng)PFB閾值設(shè)置過(guò)大（≥60%），識(shí)別準(zhǔn)確率下降明顯，因此，本研究選取PFB閾值介于20%～60%。經(jīng)過(guò)對(duì)上述批量視頻幀識(shí)別建模統(tǒng)計(jì)分析發(fā)現(xiàn)，PFA閾值為10%、PFB閾值為40%時(shí)，識(shí)別豬只打斗行為的效果最佳，準(zhǔn)確率、精確率和召回率分別達(dá)到94.50%、96.84%和92.00%。

本研究基于改進(jìn)幀間差分法-深度學(xué)習(xí)的算法對(duì)群養(yǎng)豬只進(jìn)行試驗(yàn)，結(jié)果示例如圖7所示?？梢园l(fā)現(xiàn)，圖7a所示8幀姿態(tài)檢測(cè)結(jié)果圖，通過(guò)檢測(cè)豬只飲食、躺臥和站立姿態(tài)可以有效識(shí)別相應(yīng)的行為。針對(duì)打斗行為，第7、10、13和22幀檢測(cè)到豬只打斗姿態(tài)后（圖中箭頭所示），使用幀間差分法得到豬只活動(dòng)像素特征（圖7b），然后利用本文豬只打斗行為識(shí)別算法計(jì)算PFA，結(jié)果分別為20.72%、28.65%、21.84%和22.95%，均大于本研究設(shè)置PFA閾值（10%）；計(jì)算PFB為50%，大于本研究設(shè)置PFB閾值（40%），可見(jiàn)本文算法可以有效識(shí)別圖像幀存在打斗行為。測(cè)試過(guò)程中還發(fā)現(xiàn)，兩頭不存在打斗行為豬只相互靠近時(shí)，由于兩頭豬只姿態(tài)與打斗姿態(tài)相似，導(dǎo)致易檢測(cè)為打斗姿態(tài)，從而錯(cuò)誤識(shí)別存在打斗行為，引入PFA閾值后，由于豬只運(yùn)動(dòng)較慢，PFA一般較?。?10%）小于本文所設(shè)閾值，降低了誤判率，可見(jiàn)PFA的引入增加了本研究打斗行為識(shí)別準(zhǔn)確率。

表4 不同F(xiàn)PA和FPB閾值組合下的豬只打斗行為結(jié)果

注：檢測(cè)框上的信息分為姿態(tài)類別和置信度2部分。其中“feed”表示飲食姿態(tài)（檢測(cè)框?yàn)闇\綠色），“fight”表示打斗姿態(tài)（檢測(cè)框?yàn)闇\藍(lán)色），“l(fā)ie”表示躺臥姿態(tài)（檢測(cè)框?yàn)樯罹G色），“stand”表示站立姿態(tài)（檢測(cè)框?yàn)樯钏{(lán)色），姿態(tài)類別后面的數(shù)字表示檢測(cè)置信度值。

表5給出了本文所提算法模型的豬只行為識(shí)別結(jié)果及現(xiàn)有識(shí)別方法識(shí)別結(jié)果對(duì)比。文獻(xiàn)[30-31]使用基于深度學(xué)習(xí)的方法，實(shí)現(xiàn)對(duì)豬只的多姿態(tài)檢測(cè)。文獻(xiàn)[32]使用幀間差分法提取豬只移動(dòng)像素，然后使用SSD模型檢測(cè)移動(dòng)像素，根據(jù)像素位置的特點(diǎn)實(shí)現(xiàn)豬只打斗行為的識(shí)別。

從表5中可以看出，本研究的豬只單欄頭數(shù)相比較多，提高了本研究的識(shí)別難度。對(duì)比文獻(xiàn)[30]和[31]，本研究姿態(tài)準(zhǔn)確率更高，姿態(tài)檢測(cè)速度更快，在識(shí)別豬只多種姿態(tài)基礎(chǔ)上，針對(duì)豬只運(yùn)動(dòng)特點(diǎn)的不同，設(shè)計(jì)豬只典型行為識(shí)別算法；與文獻(xiàn)[32]相比，本研究打斗行為準(zhǔn)確率提高了0.7個(gè)百分點(diǎn)，且較比多識(shí)別了豬只飲食、站立和躺臥行為。綜上所述，本研究算法能實(shí)現(xiàn)豬只多行為識(shí)別，且具有準(zhǔn)確率高、模型小和識(shí)別速度快的優(yōu)勢(shì)。

表5 本文方法與現(xiàn)有識(shí)別方法結(jié)果對(duì)比

3 結(jié) 論

為有效識(shí)別群養(yǎng)豬只的飲食、打斗、躺臥和站立等典型行為，本研究提出了一種基于改進(jìn)幀間差分-深度學(xué)習(xí)的群養(yǎng)豬只典型行為識(shí)別方法。主要結(jié)論如下：

1）豬只典型姿態(tài)檢測(cè)方面，基于YOLOv5深度學(xué)習(xí)檢測(cè)算法平均精度均值為93.80%，模型大小為14.40MB，檢測(cè)速度為32.00幀/s。與Faster R-CNN、SSD、Retinanet和Detection Transformer檢測(cè)算法相比，YOLOv5檢測(cè)算法的平均精度均值分別提高了1.10、3.23、4.15和21.20個(gè)百分點(diǎn)，且模型大小和檢測(cè)速度具有一定優(yōu)勢(shì)，有利于豬場(chǎng)邊緣計(jì)算部署，可應(yīng)用于實(shí)際群養(yǎng)豬只典型姿態(tài)在線檢測(cè)。

2）豬只典型行為識(shí)別方面，飲食、躺臥和站立3種行為通過(guò)單幀圖像識(shí)別，準(zhǔn)確率分別達(dá)到95.10%、97.00%和91.20%；打斗行為通過(guò)豬只典型姿態(tài)檢測(cè)、豬只活動(dòng)像素特征提取和豬只打斗行為識(shí)別共同識(shí)別，當(dāng)PFA和PFB閾值分別設(shè)置為10%和40%時(shí)，群養(yǎng)豬只打斗行為識(shí)別效果最佳，準(zhǔn)確率為94.50%；此時(shí)，四種典型行為識(shí)別準(zhǔn)確率均值為94.45%，滿足實(shí)際群養(yǎng)豬只典型行為識(shí)別精度要求，可為群養(yǎng)豬只行為識(shí)別提供一定的技術(shù)支持。

[1] 何東健，劉冬，趙凱旋. 精準(zhǔn)畜牧業(yè)中動(dòng)物信息智能感知與行為檢測(cè)研究進(jìn)展[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(5)：231-244.

He Dongjian, Liu Dong, Zhao Kaixuan. Review of perceiving animal information and behavior in precision livestock farming[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5): 231-244. (in Chinese with English abstract)

[2] 李丹，陳一飛，李行健，等. 計(jì)算機(jī)視覺(jué)技術(shù)在豬行為識(shí)別中應(yīng)用的研究進(jìn)展[J]. 中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào)，2019，21(7)：59-69.

Li Dan, Chen Yifei, Li Xingjian, et al. Research advance on computer vision in behavioral analysis of pigs[J]. Journal of Agricultural Science and Technology, 2019, 21(7): 59-69. (in Chinese with English abstract)

[3] Chen C, Zhu W, Norton T. Behaviour recognition of pigs and cattle: Journey from computer vision to deep learning[J]. Computers and Electronics in Agriculture, 2021, 187: 106255.

[4] Nilsson M, Herlin A H, Ard? H, et al. Development of automatic surveillance of animal behaviour and welfare using image analysis and machine learned segmentation technique[J]. Animal, 2015, 9(11): 1859-1865.

[5] 汪開(kāi)英，趙曉洋，何勇.畜禽行為及生理信息的無(wú)損監(jiān)測(cè)技術(shù)研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(20)：197-209.

Wang Kaiying, Zhao Xiaoyang, He Yong. Review on noninvasive monitoring technology of poultry behavior and physiological information[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(20): 197-209. (in Chinese with English abstract)

[6] 劉龍申，沈明霞，姚文，等. 基于加速度傳感器的母豬產(chǎn)前行為特征采集與分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44(3)：192-196.

Liu Longshen, Shen Mingxia, Yao Wen, et al. Acquisition and analysis of sows’ behavior before farrowing based on acceleration sensor[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(3): 192-196. (in Chinese with English abstract)

[7] 閆麗，沈明霞，姚文，等. 基于MPU6050傳感器的哺乳期母豬姿態(tài)識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46(5)：279-285.

Yan Li, Shen Mingxia, Yao Wen, et al. Recognition method of lactating sows’ posture based on sensor MPU6050[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(5): 279-285. (in Chinese with English abstract)

[8] 郝福明. 基于微慣性傳感器的生豬異常行為監(jiān)測(cè)[D]. 太原：太原理工大學(xué)，2018.

Hao Fuming. Abnormal Behavior Monitoring of Pigs Based on Micro Inertial Sensor[D]. Taiyuan: Taiyuan University of Technology, 2018. (in Chinese with English abstract)

[9] 張飛宇，王美麗，王正超. 引入Transformer和尺度融合的動(dòng)物骨骼關(guān)鍵點(diǎn)檢測(cè)模型構(gòu)建[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(23)：179-185.

Zhang Feiyu, Wang Meili, Wang Zhengchao. Construction of the animal skeletons keypoint detection model based on transformer and scale fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(23): 179-185. (in Chinese with English abstract)

[10] 施宏，沈明霞，劉龍申，等. 基于Kinect的哺乳期母豬姿態(tài)識(shí)別算法的研究[J]. 南京農(nóng)業(yè)大學(xué)學(xué)報(bào)，2019，42(1)：177-183.

Shi Hong, Shen Mingxia, Liu Longshen, et al. Study on recognition method of lactating sows’ posture based on Kinect[J]. Journal of Nanjing Agricultural University, 2019, 42(1): 177-183. (in Chinese with English abstract)

[11] 謝徵. 基于決策樹(shù)支持向量機(jī)的豬只姿態(tài)分類與異常行為分析[D]. 太原：太原理工大學(xué)，2015.

Xie Wei. Pig Posture Classification and Abnormal Behavior Analysis Based on Decision Tree Support Vector Machine[D]. Taiyuan: Taiyuan University of Technology, 2015. (in Chinese with English abstract)

[12] 劉冬，何東健，陳晨，等. 基于ALR-GMM的群養(yǎng)豬攻擊行為識(shí)別算法研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52(1)：201-208.

Liu Dong, He Dongjian, Chen Chen, et al. Recognition of aggressive behaviour in group-housed pigs based on ALR-GMM[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(1): 201-208. (in Chinese with English abstract)

[13] Le Cun, Y, Bengio, Y, Hinton, G, et al. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[14] 蒼巖，羅順元，喬玉龍. 基于深層神經(jīng)網(wǎng)絡(luò)的豬聲音分類[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(9)：195-204.

Cang Yan, Luo Shunyuan, Qiao Yulong. Classification of pig sounds based on deep neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 195-204. (in Chinese with English abstract)

[15] 康飛龍. 基于機(jī)器學(xué)習(xí)的多目標(biāo)豬只狀態(tài)與個(gè)體行為識(shí)別研究[D]. 呼和浩特：內(nèi)蒙古農(nóng)業(yè)大學(xué)，2018.

Kang Feilong. Study on the Machine Learning Based Swine Herd State Monitoring and Individual Behaviour Recognition[D]. Huhhot: Inner Mongolia Agricultural University, 2018. (in Chinese with English abstract)

[16] 朱勛沐. 基于計(jì)算機(jī)視覺(jué)的哺乳母豬姿態(tài)識(shí)別研究[D]. 廣州：華南農(nóng)業(yè)大學(xué)，2019.

Zhu Xunmu. Research on Automatic Recognition of Lactating Sow Postures Based on Computer Vision[D]. Guangzhou: South China Agricultural University, 2019. (in Chinese with English abstract)

[17] 薛月菊，朱勛沐，鄭嬋，等. 基于改進(jìn)Faster R-CNN識(shí)別深度視頻圖像哺乳母豬姿態(tài)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(9)：189-196.

Xue Yueju, Zhu Xunmu, Zheng Chan, et al. Lactating sow postures recognition from depth image of videos based on improved Faster R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(9): 189-196. (in Chinese with English abstract)

[18] 高云，陳斌，廖慧敏，等. 群養(yǎng)豬侵略性行為的深度學(xué)習(xí)識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(23)：192-200.

Gao Yun, Chen Bin, Liao Huimin, et al. Recognition method for aggressive behavior of group pigs based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 192-200. (in Chinese with English abstract)

[19] Zhang Y, Cai J, Xiao D, et al. Real-time sow behavior detection based on deep learning[J]. Computers and Electronics in Agriculture, 2019, 163: 104884.

[20] Hu X, Liu Y, Zhao Z, et al. Real-time detection of uneaten feed pellets in underwater images for aquaculture using an improved YOLO-v4 network[J]. Computers and Electronics in Agriculture, 2021, 185: 106135.

[21] Sivamani S, Choi S H, Lee D H, et al. Automatic posture detection of pigs on real-time using Yolo framework[J]. Int J Res Trends Innov, 2020, 5: 81-88.

[22] Kim M J, Choi Y H, Lee J, et al. A deep learning-based approach for feeding behavior recognition of weanling pigs[J]. Journal of Animal Science and Technology, 2021, 63(6): 1453.

[23] Yang Q, Xiao D, Lin S. Feeding behavior recognition for group-housed pigs with the Faster R-CNN[J]. Computers and Electronics in Agriculture, 2018, 155: 453-460.

[24] McGlone J J. A quantitative ethogram of aggressive and submissive behaviors in recently regrouped pigs[J]. Journal of Animal Science, 1985, 61(3): 556-566.

[25] 樊湘鵬，許燕，周建平，等. 基于遷移學(xué)習(xí)和改進(jìn) CNN 的葡萄葉部病害檢測(cè)系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(6)：151-159.

Fan Xiangpeng, Xu Yan, Zhou Jianping, et al. Detection system for grape leaf diseases based on transfer learning and updated CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(6): 151-159. (in Chinese with English abstract)

[26] 龍滿生，歐陽(yáng)春娟，劉歡，等. 基于卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)的油茶病害識(shí)圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(18)：194-201.

Long Mansheng, Ouyang Chunjuan, Liu Huan, et al. Image recognition of Camellia oleifera diseases based on convolutional neural network & transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(18): 194-201. (in Chinese with English abstract)

[27] 高海壯，段先華. 基于幀差法和混合高斯的海上運(yùn)動(dòng)目標(biāo)檢測(cè)[J]. 計(jì)算機(jī)與數(shù)字工程，2019，47(5)：1140-1144.

Gao Haizhuang, Duan Xianhua. A method for detecting maritime moving targets based on three-frame difference method and improved hybrid Gaussian background model[J]. Computer & Digital Engineering, 2019, 47(5): 1140-1144. (in Chinese with English abstract)

[28] 房俊龍，胡宇航，戴百生，等. 采用改進(jìn)CenterNet模型檢測(cè)群養(yǎng)生豬目標(biāo)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(16)：136-144.

Fang Junlong, Hu Yuhang, Dai Baisheng, et al. Detection of group-housed pigs based on improved CenterNet model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(16): 136-144. (in Chinese with English abstract)

[29] Chen C, Zhu W, Liu D, et al. Detection of aggressive behaviours in pigs using a RealSence depth sensor[J]. Computers and Electronics in Agriculture, 2019, 166: 105003.

[30] Zhang Y, Cai J, Xiao D, et al. Real-time sow behavior detection based on deep learning[J]. Computers and Electronics in Agriculture, 2019, 163: 104884.

[31] 季照潼，李東明，王娟，等. 基于深度學(xué)習(xí)YOLO v4的舍養(yǎng)育肥豬行為識(shí)別[J]. 黑龍江畜牧獸醫(yī)，2021(14)：39-42.

Ji Zhaotong, Li Dongming, Wang Juan, et al. Behavior recognitionof fattening pigs based on deep learning YOLO v4[J]. Heilongjiang Animal Science and veterinary Medicine, 2021(14): 39-42. (in Chinese with English abstract)

[32] 張?zhí)K楠，田建艷，菅壟，等. 基于幀間差分法-單點(diǎn)多框檢測(cè)器的圈養(yǎng)生豬打斗行為識(shí)別方法[J]. 江蘇農(nóng)業(yè)學(xué)報(bào)，2021，37(2)：397-404.

Zhang Sunan, Tian Jianyan, Jian Long, et al. Recognition method of aggressive behaviors among pigs in pigpens based on frame difference (FD)-single shot MultiBox detector (SSD)[J]. Jiangsu Journal of Agricultural Sciences, 2021, 37(2): 397-404. (in Chinese with English abstract)

Typical behavior recognition of herd pigs based on improved frame difference and deep learning

Zeng Fanguo, Zhu Jun, Wang Haifeng, Jia Nan, Zhao Yuliang, Zhao Wenwen, Li Bin※

(1.,,100097,;2.,100097,)

Typical behavior of herd pigs is one of the most important indicators to evaluate the adaptability of pigs to the environment. This study aims to improve the accuracy and efficiency of herd behavior recognition. A novel recognition system was proposed for the typical behavior of herd pigs (such as eating, lying, standing, and fighting) using an improved frame differential-deep learning. The video image data was collected from two pens of group-fed Landrace pigs. A total of 18 Landrace pigs aged 50～115 days were selected with nine pigs per pen. 1117 video frames were collected. Then, a total of 4468 images were obtained after image enhancement as the dataset. Firstly, five models of typical deep learning (including Faster-RNN, SSD, Retinanet, Detection Transformer, and YOLOv5) were selected for posture detection. An optimal model of posture was determined after the comparative analysis. Secondly, a pixel feature extraction was implemented on the pig activity to promote the traditional frame differential approach, such as, the slow motion pigs were easy to miss the detection, and more holes were detected in the pigs. Finally, the Proportion of Fighting Activities (PFA) and Proportion of Fighting Behavior (PFB) were used to optimize the pig fighting behavior in the recognition model. An optimal behavior model was determined during this time. The result showed that the average accuracy of YOLOv5 reached 93.80% for the typical posture detection of group-reared pigs. Among them, the model size was 14.40 MB, and the detection speed was 32.00 f/s, indicating that the detection speed fully met the demand for real-time posture detection. Once the Intersection over Union (IoU) threshold was set as 0.50, the mean average accuracy of YOLOv5 increased by 1.10, 3.23, 4.15, and 21.20 percentage points, respectively, and the model size was reduced by 87.31%, 85.09%, 90.15%, and 97.10%, respectively, compared with the Faster-RNN, SSD, Retinanet, and Detection Transformer models. Meanwhile, the original frame difference was expanded from the frame difference of 2, to 4 after experimental analysis. The improved frame difference was utilized to effectively eliminate the fine holes that were produced by the slow-moving pigs and background interference, such as lighting, as well as the outstandingly retained pixel characteristics of vigorous movement activities, when the pigs were fighting. The better performance of detection was achieved close to the actual movement targets. The pig eating, lying, and standing behaviors were directly discriminated by the single-frame posture images of pigs. Furthermore, 100 video frames containing fighting behavior (frame speed of 30 f/s, duration of 5～60s) and video frames without fighting behavior were selected to verify the accuracy of the pig fighting behavior recognition. The reason was that the pig fighting behavior was a continuous process. The test results showed that the best average value of typical behavior recognition accuracy was 94.45%, when the two optimized indexes of PFA and PFB were set as 10% and 40%, respectively. Therefore, the high accuracy, small model size, and fast recognition can provide technical support and strong reference for the accurate and efficient identification of typical behaviors of herd pigs in group breeding.

deep learning; recognition; herd pigs; posture detection

10.11975/j.issn.1002-6819.2022.15.018

TP391.41

A

1002-6819(2022)-15-0170-09

曾繁國(guó)，朱君，王海峰，等. 改進(jìn)幀間差分-深度學(xué)習(xí)識(shí)別群養(yǎng)豬只典型行為 [J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(15)：170-178.doi：10.11975/j.issn.1002-6819.2022.15.018 http://www.tcsae.org

Zeng Fanguo, Zhu Jun, Wang Haifeng, et al. Typical behavior recognition of herd pigs based on improved frame difference and deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(15): 170-178. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.15.018 http://www.tcsae.org

2022-04-17

2022-07-22

國(guó)家科技創(chuàng)新2030-“新一代人工智能”重大項(xiàng)目課題（2021ZD0113804）；北京農(nóng)業(yè)智能裝備技術(shù)研究中心開(kāi)放課題（KFZN2020W011）；北京市農(nóng)林科學(xué)院改革與發(fā)展項(xiàng)目

曾繁國(guó)，研究方向?yàn)榛谟?jì)算機(jī)視覺(jué)畜禽表型。Email：zengfg9896@163.com

李斌，博士，研究員，研究方向?yàn)樾竽林悄芑b備應(yīng)用技術(shù)。Email：lib@nercita.org.cn