摘要： 【目的】豬肢蹄病是種豬淘汰的重要原因之一，給養(yǎng)殖場帶來巨大的經(jīng)濟(jì)損失。豬蹄疾病判斷通常依賴人工肉眼觀察豬只步態(tài)進(jìn)行排查，存在效率低、人力成本高等問題。本文旨在實現(xiàn)自動化豬步態(tài)評分，高效判斷豬只肢蹄健康狀況?！痉椒ā勘疚奶岢鲆环N“端到端”的豬步態(tài)評分方法，在單頭種豬經(jīng)過測定通道時采集視頻，并制作四分制步態(tài)數(shù)據(jù)集。采用深度學(xué)習(xí)技術(shù)分析視頻，設(shè)計了一種基于3D 卷積網(wǎng)絡(luò)的時間注意力模塊（Timeattention module，TAM），有效提取視頻幀圖像之間的特征信息。將TAM 與殘差結(jié)構(gòu)結(jié)合，構(gòu)建豬步態(tài)評分模型TA3D，對步態(tài)視頻進(jìn)行特征提取與步態(tài)分類評分。為進(jìn)一步提升模型性能并實現(xiàn)自動化處理，本文設(shè)計了步態(tài)關(guān)注模塊（Gait focus module，GFM），能夠自動從實時視頻流中提取有效信息并合成高質(zhì)量步態(tài)視頻，在提高模型性能的同時降低計算成本。【結(jié)果】試驗結(jié)果表明，GFM 可以實時運行，步態(tài)視頻大小可以減少90% 以上，顯著降低存儲成本，TA3D 模型步態(tài)評分準(zhǔn)確率達(dá)到96.43%。與其他經(jīng)典的視頻分析模型的對比測試結(jié)果表明，TA3D 的準(zhǔn)確率和推理速度均達(dá)到最佳水平?！窘Y(jié)論】本文提出的方案可應(yīng)用于豬只步態(tài)自動評分，為豬肢蹄病的自動檢測提供參考。

關(guān)鍵詞： 圖像處理；深度學(xué)習(xí)；豬；步態(tài)評分；注意力機(jī)制；視頻分析；肢蹄病

中圖分類號： TP391.4；S828 文獻(xiàn)標(biāo)志碼： A 文章編號： 1001-411X（2024）05-0743-11

豬肢蹄病是由于疾病、營養(yǎng)、管理等因素導(dǎo)致的豬腿部疾病，不同因素導(dǎo)致的發(fā)病可能存在遺傳和傳染的風(fēng)險[1-4]。根據(jù)調(diào)查[5]，一般患有肢蹄病的公豬種用年限僅為28.9 個月，遠(yuǎn)低于因年齡淘汰的公豬種用時間（50.7 個月），且因肢蹄病被淘汰的公豬比例達(dá)到了32.15%，是造成公豬淘汰的主要原因。豬肢蹄病會嚴(yán)重影響豬的健康和養(yǎng)殖效益，造成經(jīng)濟(jì)損失，故及時發(fā)現(xiàn)存在發(fā)病風(fēng)險的豬并且進(jìn)行干預(yù)十分必要。步態(tài)是能夠直觀反映豬肢蹄健康情況的關(guān)鍵因素，工作人員主要通過觀察豬的步態(tài)來判斷是否存在肢蹄疾病，這樣評判存在較高的主觀性且工作量較大。因此，開展豬步態(tài)分析研究對豬肢蹄病的早期檢測具有重要意義。

四足牲畜的肢蹄疾病自動檢測是牲畜飼養(yǎng)過程中的一項難題。近年來傳感器技術(shù)及人工智能技術(shù)的快速發(fā)展給牲畜飼養(yǎng)智能化發(fā)展帶來新的解決方案，其中深度學(xué)習(xí)技術(shù)已經(jīng)在豬只健康監(jiān)測中得到了廣泛應(yīng)用[6]。劉波等[7] 使用Kinect 攝像機(jī)采集生豬運動深度圖像序列，構(gòu)建生豬前后肢端點運動模型并且提取步頻特征，對異常步態(tài)檢測具有重要意義。朱家驥等[8] 提出基于星狀骨架模型的豬步態(tài)分析方法，從圖像中提取豬輪廓，由輪廓及質(zhì)心確定關(guān)鍵輪廓點，以此獲得運動規(guī)律，并使用頻譜分析法計算豬前肢步態(tài)頻率。李前等[9] 總結(jié)了當(dāng)前奶牛跛行自動識別的主要研究方法并進(jìn)行分析比對。Zhao 等[10] 提出了一種分析奶牛行走過程中腿部運動的方法，通過分析奶牛腿的擺動來提取步態(tài)特征，證明對奶牛跛行退化進(jìn)行量化是可行的?？滴醯萚11] 提出基于熱紅外視頻的奶牛跛行運動特征獲取與檢測的方法，利用弓背曲率對奶牛進(jìn)行跛行檢測，達(dá)到90% 的平均精度。Jiang 等[ 1 2 ] 利用FLYOLOv3 算法構(gòu)建奶牛背部位置提取模型，提取奶牛背部曲率數(shù)據(jù)。最后，使用噪聲+雙側(cè)長短期記憶模型來預(yù)測曲率數(shù)據(jù)，并匹配奶牛跛行的彎曲特征，從而對奶牛跛行進(jìn)行分類和檢測。Poursaberi 等[13]提出了一種基于背部姿態(tài)分析的奶牛跛行實時檢測方法，他們使用圖像處理方法獲取奶牛背部輪廓并且自動提取出3 個關(guān)鍵點，根據(jù)關(guān)鍵點計算奶牛背部曲率特征，由此評估奶牛跛行程度。

目前對牲畜異常步態(tài)的自動檢測大部分采用圖像處理技術(shù)進(jìn)行圖像特征提取和分類。這類方法需提前設(shè)定特征，采用圖像處理或深度學(xué)習(xí)方法從圖像中找出對應(yīng)的特征部位，如背、蹄等，再分析統(tǒng)計特定部位的變化構(gòu)成行為特征，如弓背、步態(tài)對稱性等，最后使用分類算法如SVM、KNN 等獲得分類結(jié)果。而這類方法可能存在2 個方面問題，一是將視頻轉(zhuǎn)化成多張連續(xù)圖像的集合，專注于單張圖像的特定部位特征提取，可能會忽略非特定部位以及視頻幀圖像之間的特征關(guān)系的影響；另一方面這類方法預(yù)處理繁瑣，手工標(biāo)注特征消耗時間，人力成本高。針對以上問題，本文提出一種“端到端”的解決方案，即采用基于深度學(xué)習(xí)的視頻分析算法，使用3D 卷積神經(jīng)網(wǎng)絡(luò)（3D convolutionalneural network，3D CNN）[14] 直接對步態(tài)視頻自動進(jìn)行特征提取以及自動分類評分。本文提出一種專注于提取步態(tài)視頻時空特征的注意力模塊，將其與3D CNN 結(jié)合，構(gòu)成基于3D CNN 的豬步態(tài)評分模型T A 3 D （ T i m e - a t t e n t i o n 3 D c o n v o l u t i o n a lnetwork）。為了提高模型準(zhǔn)確率與實現(xiàn)方案自動化，本文設(shè)計了一個步態(tài)關(guān)注模塊（Gait focusmodule，GFM） 用于從視頻流中自動提取有效信息并合成高質(zhì)量的步態(tài)視頻。

1 試驗方法

在當(dāng)前規(guī)?；B(yǎng)豬的背景下，養(yǎng)殖場為了及時調(diào)整飼養(yǎng)策略，必須定期對每頭生豬進(jìn)行表型測定以獲取其各項身體數(shù)據(jù)，這為本試驗創(chuàng)造了良好的前置條件。本文在豬進(jìn)入測定欄前布置一條測定通道和相關(guān)的拍攝設(shè)備，視頻采集時盡量在無外力驅(qū)趕的前提下讓豬只依次通過通道，采集系統(tǒng)自動捕獲豬只行進(jìn)視頻并完成步態(tài)評分，若發(fā)現(xiàn)異常，則會及時發(fā)出警告。本文將方案主要分為2 個部分——合成高質(zhì)量步態(tài)視頻和豬步態(tài)評分，技術(shù)路線如圖1 所示。在合成高質(zhì)量步態(tài)視頻部分中，本文設(shè)計GFM 模塊，其作用是將目標(biāo)的步態(tài)變化從視頻流中自動提取出來合成個體步態(tài)視頻用于評分；在豬步態(tài)評分部分中，本文提出一種基于3D卷積的豬步態(tài)評分模型，用于對步態(tài)視頻進(jìn)行評分。

1.1 高質(zhì)量豬步態(tài)視頻合成

從實時視頻流中采集個體步態(tài)視頻，獲取其步態(tài)信息，存在兩大問題：一是由于豬的習(xí)性或肢蹄病等原因，它們的行走規(guī)律存在較大的不確定性，經(jīng)常出現(xiàn)在通道內(nèi)移動緩慢甚至停止不前的情況，這將導(dǎo)致源步態(tài)視頻存在大量的冗余內(nèi)容；二是采集到的源步態(tài)視頻中包含大量無效的背景信息。這2 個問題不僅對預(yù)測結(jié)果的準(zhǔn)確性有影響，還會顯著地增加計算成本。為了解決以上問題，本文設(shè)計了GFM 模塊，該模塊通過以下3 步來實現(xiàn)高質(zhì)量步態(tài)視頻自動提取與合成：檢測目標(biāo)主體、去除冗余目標(biāo)和保留有效目標(biāo)。通過這種方法，能夠有效提高步態(tài)視頻的質(zhì)量和系統(tǒng)實用性。

1.1.1 檢測目標(biāo)主體

為保證試驗方法客觀性與便捷性，首先要自動識別出待檢測目標(biāo)主體，確定幀圖像中目標(biāo)的位置、大小信息。本方案選擇的目標(biāo)檢測器為YOLOv8，其改進(jìn)于YOLOv5，是目前YOLO 算法系列最新成果，具備高實時性與高準(zhǔn)確率等特點。為了滿足不同場景的需求，YOLOv8提供了多種體量的模型，考慮到本文的試驗對象特征明顯、易于檢測，因此選擇體量最小的模型YOLOv8n作為目標(biāo)檢測器。

YOLOv8 由骨干網(wǎng)絡(luò)（Backbone）、頸部網(wǎng)絡(luò)（Neck） 和頭部網(wǎng)絡(luò)（Head）3 個部分組成。其中Head 作用是根據(jù)Neck 提供的特征信息來預(yù)測目標(biāo)邊界框和類別概率。為了檢測出不同大小的目標(biāo)，Head 被設(shè)計成擁有3 種尺度的檢測頭，用于檢測大、中、小3 種尺度的目標(biāo)。由于本文試驗對象都屬于大目標(biāo)且不存遮擋現(xiàn)象，因此對YOLOv8n 網(wǎng)絡(luò)的Head 進(jìn)行改進(jìn)，使其僅保留大目標(biāo)檢測頭，在保證檢測精度的前提下，盡可能減少計算量，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

1.1.2 去除冗余目標(biāo)

無外力驅(qū)趕時，豬經(jīng)過通道的速度與其肢蹄狀態(tài)并不存在強(qiáng)關(guān)聯(lián)關(guān)系。例如跛腳豬雖行動緩慢，但健康豬因低頭覓食的習(xí)性導(dǎo)致行動緩慢的情況也很常見，這使得視頻中存在高度重復(fù)的冗余幀圖像。由于輸入網(wǎng)絡(luò)幀數(shù)是固定的，冗余的幀圖像不僅會降低視頻有效信息密度，還會增加存儲和計算成本。因此，本文采用相鄰幀目標(biāo)檢測框的交并比（Intersection over union，IoU） 計算前后兩幀內(nèi)目標(biāo)的重合度，以此判斷幀圖像是否冗余。經(jīng)過反復(fù)試驗對比，閾值為0.96 時的效果最好。當(dāng)前后兩幀目標(biāo)檢測框的IoU 大于0.96 時，后幀被判定為冗余幀圖像，作丟棄處理，隨后順位計算下一幀，重新計算兩幀的目標(biāo)檢測框的IoU，以此類推，直至完成整個視頻的檢測。

1.1.3 保留有效目標(biāo)

對視頻進(jìn)行逐幀檢測時，包含目標(biāo)的每一幀都會得到目標(biāo)位置和大小信息。顯然，每一幀獲得的結(jié)果無論位置和大小都會不斷變化，并且目標(biāo)在進(jìn)入畫面和退出畫面時只出現(xiàn)頭部或臀部，這些都屬于不包含步態(tài)信息的無效幀。若簡單地將檢測框統(tǒng)一大小后進(jìn)行拼接將不僅會導(dǎo)致視頻幀的劇烈抖動，而且還會因包含大量無效信息而影響結(jié)果和增加計算成本。因此需要給視頻輸入端添加一個有效區(qū)域，盡量降低由于目標(biāo)大小變化造成的影響。本文將有效區(qū)域設(shè)為畫面中間的三分之一，當(dāng)目標(biāo)與有效區(qū)域接觸時才算是有效目標(biāo)。判定有效目標(biāo)的示意圖如圖3 所示。當(dāng)某幀圖像被認(rèn)定為非冗余且有效時，對其目標(biāo)檢測框進(jìn)行裁切，以長邊為長度裁切正方形范圍，若超出圖像范圍則使用邊緣像素補(bǔ)齊。然后將獲得的圖像調(diào)整為224 像素×224 像素保存。最終，將所有圖像順序合并成高質(zhì)量豬步態(tài)視頻。GFM 合成高質(zhì)量步態(tài)視頻的示例圖如圖4 所示。根據(jù)圖4可見，經(jīng)過GFM 處理后，目標(biāo)主體信息被完整保留，而大部分背景信息被去除。在示例圖中，源視頻序列共有7 幀，首尾兩幀由于被判定為無效目標(biāo)而被刪除，第4 幀因為與第3 幀重合度過高而被認(rèn)為是冗余目標(biāo)被刪除。

1.2 豬步態(tài)評分網(wǎng)絡(luò)模型設(shè)計

1.2.1 時間注意力模塊設(shè)計

眾多基于3D 卷積網(wǎng)絡(luò)的研究[15-16] 表明，3D 卷積不僅能夠有效提取到圖像空間維度上的特征，也能提取到圖像序列之間時間維度上的特征，是一種十分適合處理視頻的方法。受卷積塊注意力模塊（Convolutional block attentionmodule，CBAM）[ 1 7 ] 的啟發(fā)，本文提出一種基于3D 卷積網(wǎng)絡(luò)的時間注意力模塊（Time attentionmodule， TAM）。CBAM 專注于提取圖像的通道特征和空間特征，而視頻是由多幀圖像組成，因此本文設(shè)計了一種TAM，使網(wǎng)絡(luò)關(guān)注到視頻幀之間的特征關(guān)系，更有利于網(wǎng)絡(luò)理解視頻。TAM 采取“壓縮?激勵”的模式[18]，“壓縮”即通過全局平均池化層或全局最大池化層將輸入特征圖的空間維度壓縮，得到一個全局描述；“激勵”即將全局描述映射到一個較小的維度，然后再通過一個激勵函數(shù)產(chǎn)生注意力權(quán)重。TAM 結(jié)構(gòu)如圖5 所示，3D 卷積中特征圖的數(shù)據(jù)格式通常為C×T×H×W，其中C 表示通道數(shù)，T 表示時間維度，H 和W 分別表示高度和寬度。為了加強(qiáng)模塊在時間維度上進(jìn)行特征提取能力，TAM 首先對輸入特征圖進(jìn)行臨時的維度變換，將C 與T 進(jìn)行交換，獲得T×C×H×W 的數(shù)據(jù)格式，以便于3D 卷積在時間維度T 間融合特征信息。TAM 通過多個1×1×1 卷積操作[19]，在降低模型復(fù)雜度的同時，融合時間維度上的特征，提高模型的泛化能力。隨后通過3D 全局平均池化和3D 全局最大池化操作分別獲得特征圖在時間維度上的特征分布和最顯著特征。將兩者結(jié)合后使用Relu 函數(shù)進(jìn)行激活，得到輸入特征在時間維度上的權(quán)重向量，最后將該權(quán)重向量與輸入特征圖進(jìn)行逐元相乘并還原為C×T×H×W 的格式。TAM 結(jié)構(gòu)能夠精準(zhǔn)地提取和加權(quán)視頻序列中的關(guān)鍵特征，為模型提供了對動態(tài)時序信息的強(qiáng)化處理能力，從而對應(yīng)用場景中的復(fù)雜時空動態(tài)變化具有更強(qiáng)的建模能力。

1.2.2 TA3D 網(wǎng)絡(luò)結(jié)構(gòu)整體設(shè)計

TA3D 是本文提出的一個基于3D 卷積的端到端的視頻分析網(wǎng)絡(luò)模型，用于直接對豬步態(tài)視頻進(jìn)行特征提取并自動評分。其中，TAM 作為TA3D 的關(guān)鍵組件，能夠關(guān)注視頻中的時間維度，幫助網(wǎng)絡(luò)更好地捕捉和理解動態(tài)時空變化，從而提高網(wǎng)絡(luò)對復(fù)雜場景下步態(tài)變化的建模能力。為了提高網(wǎng)絡(luò)的泛化能力，輸入網(wǎng)絡(luò)的幀圖像有50% 的概率被鏡像翻轉(zhuǎn)，TA3D 網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖6 所示。

網(wǎng)絡(luò)引入了殘差結(jié)構(gòu)[20]，殘差結(jié)構(gòu)將有效解決梯度消失問題，達(dá)到加深網(wǎng)絡(luò)和避免網(wǎng)絡(luò)丟失特征信息的目的，有效提高網(wǎng)絡(luò)的特征表達(dá)能力。本文殘差結(jié)構(gòu)TABlock 由TAM 與3D 卷積層組成，將輸入特征與輸出特征進(jìn)行逐元相加保證特征信息不丟失，最后使用Relu 函數(shù)進(jìn)行激活。網(wǎng)絡(luò)最后使用3 個全連接層將提取到的高級特征映射到具體的類別上，并且在3 個全連接層中使用Dropout 操作[21]。Dropout 采用正則化技術(shù)用于減少深度神經(jīng)網(wǎng)絡(luò)的過擬合現(xiàn)象，它在訓(xùn)練過程中將隨機(jī)丟棄一部分神經(jīng)元輸出，來降低神經(jīng)網(wǎng)絡(luò)的復(fù)雜性和容量，從而提高模型的泛化能力。

網(wǎng)絡(luò)使用交叉熵?fù)p失函數(shù)（Cross entropy lossfunction， LossCE） 計算訓(xùn)練時預(yù)測結(jié)果與真實值之間的差異，其計算公式如下：

式中， N表示該批次的樣本量，M表示類別數(shù)量，如果樣本i的真實類別等于c則yiic為 1 ，否則yic為0。pic表示樣本i屬于類別c的預(yù)測概率。

2 數(shù)據(jù)與試驗

2.1 數(shù)據(jù)采集

視頻數(shù)據(jù)于2022 年12 月至2023 年2 月采集自廣東省清遠(yuǎn)溫氏種豬科技有限公司養(yǎng)殖場，試驗視頻數(shù)據(jù)于2022 年12 月至2023 年2 月采集自廣東省清遠(yuǎn)溫氏種豬科技有限公司養(yǎng)殖場，試驗對象為日齡在180 d 左右的杜洛克豬和長白豬。測定通道長約2.0 m，寬約0.6 m，高約0.6 m，攝像機(jī)布設(shè)于通道側(cè)方，高度約0.4 m。采集數(shù)據(jù)時，讓豬在自然狀態(tài)下通過通道并對其進(jìn)行錄像，通過時間約為2～9 s。采用的攝像機(jī)為通用的光學(xué)攝像機(jī)，采集幀率為25 幀/s，分辨率為1 920 像素×1 080 像素。本文共采集162 頭豬，每頭豬采集2～3 次，共采集406 段源步態(tài)視頻。

2.2 數(shù)據(jù)集構(gòu)建

本文視頻數(shù)據(jù)由3 位畜牧專家共同評定并給出評分。畜牧專家根據(jù)豬行走的整體情況進(jìn)行評分，評分標(biāo)準(zhǔn)如表1 所示。專家們按照四分制進(jìn)行評分，對應(yīng)4 個步態(tài)級別，評分越低表示肢蹄問題越嚴(yán)重，數(shù)據(jù)集的最終構(gòu)成如表2 所示。將這些視頻按照8∶2 的比例進(jìn)行切分構(gòu)建步態(tài)數(shù)據(jù)集。此外，從這些視頻中隨機(jī)抽取了3 082 張圖像，使用Labelimg 工具進(jìn)行標(biāo)注，按照8∶2 的比例構(gòu)建目標(biāo)檢測數(shù)據(jù)集。

2.3 試驗平臺及訓(xùn)練參數(shù)

本文試驗均在Ubuntu22.04 系統(tǒng)上完成，處理器為AMD Ryzen Threadripper PRO 3945WX，內(nèi)存32 G，顯卡型號為NVIDIA GeForce RTX 3090。使用Pytorch 深度學(xué)習(xí)框架構(gòu)建所有模型并進(jìn)行訓(xùn)練和驗證，所有參與訓(xùn)練的模型均達(dá)到最佳效果，訓(xùn)練過程完全收斂。

YOLOv8n 網(wǎng)絡(luò)模型訓(xùn)練使用AdamW 優(yōu)化器，Batch-size 為533，共迭代150 回合。TA3D 網(wǎng)絡(luò)模型使用SGD 優(yōu)化器，Batch-size 為12，共迭代80 回合。

2.4 評價指標(biāo)

YOLOv8n 模型需從視頻中檢測出豬只主體，使用精確率（Precision） 和召回率（Recall） 作為評價指標(biāo)。計算公式如下：

式中，TP表示將正類預(yù)測為正類的樣本數(shù)目，F(xiàn)P示將負(fù)類預(yù)測為正類的樣本數(shù)目，F(xiàn)N表示將正類預(yù)測為負(fù)類的樣本數(shù)目，本文將預(yù)測框與真實框的IoU 大于0.5 的情況認(rèn)定為正類，其余為負(fù)類。

TA3D 網(wǎng)絡(luò)模型需對步態(tài)視頻進(jìn)行分類評分，使用精確率、召回率和準(zhǔn)確率（Accuracy） 等作為評價指標(biāo)，精確率和召回率的計算公式與式（2） 和式（3） 相同，準(zhǔn)確率計算公式如下：

式中，TP表示正確預(yù)測為該步態(tài)評分的樣本數(shù)目，TN表示正確預(yù)測為其他步態(tài)評分的樣本數(shù)目，F(xiàn)P表示其他步態(tài)評分被錯誤預(yù)測為該步態(tài)評分的樣本數(shù)目，F(xiàn)N表示該步態(tài)評分被錯誤預(yù)測為其他步態(tài)評分的樣本數(shù)量?？傊?，TP和TN表示預(yù)測正確的樣本數(shù)目，F(xiàn)N和FP表示預(yù)測錯誤的樣本數(shù)目。

2.5 試驗結(jié)果與分析

2.5.1 豬只檢測試驗結(jié)果

為了驗證本文使用改進(jìn)YOLOv8n 模型的方法，對包含不同檢測頭的YOLOv8n 模型進(jìn)行測試，在本文數(shù)據(jù)集上的測試結(jié)果如表3 所示。分析表3 可知，3 種模型均在本文的數(shù)據(jù)集上有著優(yōu)越的性能，精確率和召回率基本一致且都在99% 以上。在保持高精度的情況下，YOLOv8-1h 的浮點運算量分別比YOLOv8n 和YOLOv8n-2h 減少了24.39% 和10.14%，幀率提高了17.3% 和8.5%，檢測幀率遠(yuǎn)遠(yuǎn)超過視頻幀率（25 幀/s）。由此驗證了本文中僅使用單個大尺度檢測頭的YOLOv8n 模型在有同樣檢測精度的同時有效降低了浮點運算量。

2.5.2 GFM 試驗結(jié)果

本文設(shè)計GFM 模塊用于從視頻流中自動提取有效信息合成高質(zhì)量步態(tài)視頻，實現(xiàn)方案的自動化。GFM 通過計算前后幀目標(biāo)交并比，有效去除冗余目標(biāo)，并且在保留目標(biāo)主體等有效信息的同時消除無效背景信息。視頻分辨率從1920 像素×1 080 像素降低為224 像素×224 像素，幀圖像像素數(shù)量直接減少97%，最終獲得包含高密度信息的高質(zhì)量步態(tài)視頻。本文統(tǒng)計了使用GFM 前后視頻時長對比和視頻大小對比，結(jié)果如圖7 所示。根據(jù)圖中數(shù)據(jù)可知，在使用GFM 合成高質(zhì)量步態(tài)視頻后，各級別步態(tài)視頻時長分別縮短了70.40%、52.48%、47.96% 和27.38%，各級別步態(tài)視頻大小分別減少了97.53%、95.01%、91.04% 和94.04%。由此可知，GFM 有效縮短了視頻長度，使視頻時長相對統(tǒng)一并且大幅提高了視頻中有效信息的密度。另外，GFM 使得視頻大小減少90% 以上，極大地減小了內(nèi)存占用，有效降低了存儲成本。

2.5.3 步態(tài)評分試驗結(jié)果

本文隨機(jī)選擇了4 個級別共84 段步態(tài)視頻對步態(tài)評分模型TA3D 進(jìn)行測試，并將預(yù)測結(jié)果與真實級別進(jìn)行對比，獲得評分測試結(jié)果混淆矩陣如表4 所示。根據(jù)表內(nèi)數(shù)據(jù)可知，本文方案在84 段測試視頻上的預(yù)測正確樣本的數(shù)目為81，準(zhǔn)確率達(dá)到96.43%。進(jìn)一步分析發(fā)現(xiàn)，預(yù)測錯誤的樣本全部為“及格”級別。“及格”級別共計12 個樣本，其中9 個樣本正確預(yù)測為2 分步態(tài)，2 個樣本錯誤預(yù)測為3 分步態(tài)，1 個樣本錯誤預(yù)測為4 分步態(tài)?！凹案瘛奔墑e召回率為75%，其余召回率均達(dá)到100%。

為了進(jìn)一步驗證TA3D 的性能以及GFM 的作用，在相同條件下將其與近年來4 種優(yōu)秀的視頻分析模型[22-25] 進(jìn)行對比。試驗結(jié)果如表5 所示。根據(jù)表格數(shù)據(jù)可知，TA3D 與GFM 結(jié)合后在測試集上的準(zhǔn)確率達(dá)到96.43%，與不使用GFM 的情況相比提高2.38 個百分點。對于基礎(chǔ)模型，TA3D 的準(zhǔn)確率與I3D、Slowfast 和TANet 相比分別提高了11.91、 2.29 和1.19 個百分點，與VideoSwin 持平。在加入G F M 后， T A 3 D 的準(zhǔn)確率與I 3 D 、Slowfast 和TANet 相比分別提高了4.76、9.53 和3.57 個百分點。這4 種視頻分析模型的實現(xiàn)原理各有不同 ：VideoSwin 基于Swin Transform[26] 架構(gòu)，I 3 D 、S l o w f a s t 和T A 3 D 基于3 D 卷積網(wǎng)絡(luò)，TANet 基于2D 卷積網(wǎng)絡(luò)。其中，TANet 與本文的TA3D 在特征提取模塊的設(shè)計上呈現(xiàn)相似之處：兩者均采用了“壓縮?激勵”的特征提取方式。同時，兩者在設(shè)計思路和對輸入特征圖的處理維度上存在差異。對于兩者的特征提取模塊，TANet 設(shè)計的時序自適應(yīng)模塊（Temporal adaptive module） 憑借其雙分支設(shè)計，動態(tài)生成視頻相關(guān)的自適應(yīng)卷積核，同時兼顧時間和空間維度的特征提取能力，能夠有效捕獲視頻中的時空信息。相較之下，本文設(shè)計的TAM 對特征圖的時間維度處理更為激進(jìn)，更適用于處理時長較短、動作較為激烈的時間敏感型視頻，例如本文中的步態(tài)視頻。從結(jié)果上看，TA3D與VideoSwin 均為效果最佳的模型，但是在使用GFM 后，TA3D 的推理時間僅為VideoSwin 的60.47%，因此可以認(rèn)為與GFM 結(jié)合后的TA3D 為最佳模型。從表格中可以發(fā)現(xiàn)，GFM 在識別效果上并非對所有不同原理的視頻分析算法有積極作用：對于I3D，GFM 使其準(zhǔn)確率提升9.62 個百分點；對于Slowfast，GFM 則起著相反的作用，使其準(zhǔn)確率降低了4.77 個百分點。

為了進(jìn)一步分析模型對不同級別步態(tài)的識別情況，本文繼續(xù)統(tǒng)計了各模型在使用GFM 前后對各級別步態(tài)識別的精確率與召回率，結(jié)果分別如表6 和表7 所示。精確率表示測試集中預(yù)測各類別正確的比率，分析各模型的精確率對比可知，各模型對于“良好”和“優(yōu)秀”步態(tài)有著較好的識別效果，并且GFM 對于“不及格”步態(tài)有較明顯的積極作用。使用GFM 后，TA3D 對于“不及格”步態(tài)的精確率分別提高了16.67 個百分點，達(dá)到了100.00%，說明GFM 有效地提取到了這個級別步態(tài)的特征。召回率表示測試集中各類別被正確檢出的比率，根據(jù)各模型的召回率對比可知，“及格”步態(tài)召回率明顯低于其他級別的步態(tài)，這意味著識別錯誤的樣本主要為“及格”級別，這與表4 得到的結(jié)論相同。

本文繼續(xù)探究了各個模型運行效率以及GFM對它們運行效率的影響，圖8 展示了各個模型單回合平均訓(xùn)練時間和單視頻平均推理時間，以及GFM 對他們的影響。根據(jù)圖8 可知，使用GFM 后I3D、Slowfast、VideoSwin、TANet 和TA3D 的單回合平均訓(xùn)練時間分別降低了87.9%、76.8%、69.0%、69.2% 和56.0%，單視頻平均推理時間分別降低了80.2%、79.2%、66.4%、79.0% 和78.0%。由此證明，GFM 在消耗少量算力的情況下，有效地從源步態(tài)視頻中提取到了重要信息，大幅降低了輸入幀圖像的分辨率，以此顯著降低了計算成本。

試驗結(jié)果表明，各模型識別錯誤的樣本主要為“及格”步態(tài)，分析出現(xiàn)這種情況的可能原因如下：

1） “及格”步態(tài)與相鄰2 類步態(tài)的區(qū)別特征不明顯?！凹案瘛辈綉B(tài)同時包含了“不及格”步態(tài)和“良好”步態(tài)的部分特征，這對模型的特征提取過程造成了阻礙。處于這個步態(tài)級別的豬是判定的主要矛盾點，在進(jìn)行人工判定時也常常出現(xiàn)不一致的情況。

2） “及格”步態(tài)數(shù)據(jù)較少，與其他級別步態(tài)樣本數(shù)量比例不均衡。試驗數(shù)據(jù)采集過程中，我們盡量保證各個級別的樣本均衡采集，而實際中處于“及格”步態(tài)級別的豬只明顯少于其他級別?！凹案瘛辈綉B(tài)級別處于“健康”與“非健康”的中間界限，是一種不穩(wěn)定的級別。處于這個級別的豬只已經(jīng)存在一定的肢蹄損傷，可能隨時向相鄰的步態(tài)級別轉(zhuǎn)化，因此處于這個級別的豬只數(shù)量明顯少于其他級別。

3 結(jié)論

能夠有效地避免經(jīng)濟(jì)損失，而步態(tài)是能夠直觀反映豬只肢蹄情況的關(guān)鍵因素。為了解決該問題，本文引入基于深度學(xué)習(xí)的視頻分析技術(shù)對豬只進(jìn)行步態(tài)評分，所取得的結(jié)論如下：

1） 本文設(shè)計了一種步態(tài)關(guān)注模塊（GFM），該模塊可以自動從視頻流中剝離目標(biāo)，并且通過刪除無效信息和冗余目標(biāo)來合成高質(zhì)量的步態(tài)視頻。在保證識別效果的情況下，有效地降低存儲和計算成本。試驗證明，GFM 在不降低識別效果前提下，將數(shù)據(jù)存儲成本大幅減少90% 以上，并顯著減少了各模型的訓(xùn)練時間和推理時間，具有重要的實際應(yīng)用意義。

2） 本文采用了“壓縮?激勵”的設(shè)計思路，構(gòu)建了一種時間注意力模塊（TAM），并將其與3D 卷積和殘差結(jié)構(gòu)相結(jié)合，形成了一種“端到端”的視頻分析模型TA3D 用于豬步態(tài)評分。TA3D 采用線性結(jié)構(gòu)的簡約設(shè)計，使其具有較快的推理速度；TAM 在時間維度上提取更深層次的特征，而殘差結(jié)構(gòu)的設(shè)計保證了在加深網(wǎng)絡(luò)的情況下不丟失特征信息。試驗結(jié)果表明，與其他優(yōu)秀的視頻分析模型相比，TA3D 在推理速度和準(zhǔn)確率方面均達(dá)到了最佳效果。

參考文獻(xiàn)：

[1]黃建平. 種豬肢蹄病的常見原因分析[J]. 豬業(yè)科學(xué)， 2020，37（5）： 106-107.

[2]J?RGENSEN B. Influence of floor type and stockingdensity on leg weakness， osteochondrosis and claw disordersin slaughter pigs[J]. Animal Science， 2003， 77（3）：439-449.

[3]劉瑞玲. 豬群肢蹄病發(fā)病癥狀、病因及防治措施[J]. 國外畜牧學(xué)（豬與禽）， 2011， 31（1）： 88-90.

[4]王懷中， 張印， 孫海濤. 豬肢蹄病的預(yù)防[J]. 養(yǎng)豬， 2010（2）： 39-40.

[5]王超， 魏宏逵， 彭健. 廣西公豬站公豬淘汰原因及在群豬肢蹄病發(fā)病規(guī)律調(diào)查研究[C]//中國畜牧獸醫(yī)學(xué)會動物營養(yǎng)學(xué)分會. 第七屆中國飼料營養(yǎng)學(xué)術(shù)研討會論文集. 鄭州： 中國農(nóng)業(yè)大學(xué)出版社， 2014： 1.

[6]楊亮， 王輝， 陳睿鵬， 等. 智能養(yǎng)豬工廠的研究進(jìn)展與展望[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報， 2023， 44（1）： 13-23.

[7]劉波， 朱偉興， 楊建軍， 等. 基于深度圖像和生豬骨架端點分析的生豬步頻特征提取[J]. 農(nóng)業(yè)工程學(xué)報， 2014，30（10）： 131-137.

[8]朱家驥， 朱偉興. 基于星狀骨架模型的豬步態(tài)分析[J].江蘇農(nóng)業(yè)科學(xué)， 2015（12）： 453-457.

[9]李前， 初夢苑， 康熙， 等. 基于計算機(jī)視覺的奶牛跛行識別技術(shù)研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報， 2022， 38（15）： 159-169.

[10]ZHAO K， BEWLEY J M， HE D， et al. Automatic lamenessdetection in dairy cattle based on leg swing analysiswith an image processing technique[J]. Computers andElectronics in Agriculture， 2018， 148： 226-236.

[11]康熙， 李樹東， 張旭東， 等. 基于熱紅外視頻的奶牛跛行運動特征提取與檢測[J]. 農(nóng)業(yè)工程學(xué)報， 2021， 37（23）：169-178.

[12]JIANG B， SONG H， WANG H， et al. Dairy cow lamenessdetection using a back curvature feature[J]. Computersand Electronics in Agriculture， 2022， 194： 106729.

[13]POURSABERI A， BAHR C， PLUK A， et al. Onlinelameness detection in dairy cattle using Body MovementPattern （BMP）[C]//IEEE. 2011 11th International Conferenceon Intelligent Systems Design and Applications.Cordoba， Spain： IEEE， 2011： 732-736.

[14]TRAN D， BOURDEV L， FERGUS R， et al. Learningspatiotemporal features with 3d convolutional networks[C]//IEEE. Proceedings of the IEEE International Conferenceon Computer Vision （ICCV）. Santiago， Chile： IEEE，2015： 4489-4497.

[15]YANG K， QIAO P， LI D， et al. Exploring temporal preservationnetworks for precise temporal action localization[C]//AAAI. Proceedings of the AAAI Conference onArtificial Intelligence. Palo Alto， California， USA：AAAI， 2018： 7477-7484.

[16]WANG X， GIRSHICK R， GUPTA A， et al. Non-localneural networks[C]//IEEE. Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition（CVPR）. Salt Lake City， UT， USA： IEEE， 2018： 7794-7803.

[17]WOO S， PARK J， LEE J Y， et al. CBAM： Convolutionalblock attention module[C]//Springer. Proceedings of theEuropean Conference on Computer Vision （ECCV）. Munich，Germany： Springer， 2018： 3-19.

[18]HU J， SHEN L， SUN G. Squeeze-and-excitation networks[C]//IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. SaltLake City， UT， USA： IEEE， 2018： 7132-7141.

[19]ZHANG X， ZHOU X， LIN M， et al. Shufflenet： An extremelyefficient convolutional neural network for mobiledevices[C]//IEEE. Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition （CVPR）.Salt Lake City， UT， USA： IEEE， 2018： 6848-6856.

[20]HE K， ZHANG X， REN S， et al. Deep residual learningfor image recognition[C]//IEEE. Proceedings of the IEEEConference on Computer Vision and Pattern Recognition（CVPR）. Las Vegas， NV， USA： IEEE， 2016： 770-778.

[21]SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al.Dropout： A simple way to prevent neural networks fromoverfitting[J]. Journal of Machine Learning Research，2014， 15（1）： 1929-1958.

[22]CARREIRA J， ZISSERMAN A. Quo vadis， action recognition？a new model and the kinetics dataset[C]//IEEE.Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition （CVPR）. Honolulu， HI，USA： IEEE， 2017： 6299-6308.

[23]LIU Z， NING J， CAO Y， et al. Video swin transformer[C]//IEEE/CVF. Proceedings of the IEEE/CVF Conferenceon Computer Vision and Pattern Recognition （CVPR）.New Orleans， LA， USA： IEEE， 2022： 3202-3211.

[24]FEICHTENHOFER C， FAN H， MALIK J， et al. Slowfastnetworks for video recognition[C]//IEEE/CVF. Proceedingsof the IEEE/CVF International Conference onComputer Vision （ICCV）. Seoul， Korea （South）： IEEE，2019： 6202-6211.

[25]LIU Z， WANG L， WU W， et al. TAM： Temporal adaptivemodule for video recognition[C]//IEEE/CVF. Proceedingsof the IEEE/CVF International Conference onComputer Vision （ICCV）. Montreal， QC， Canada： IEEE，2021： 13688-13698.

[26]LIU Z， LIN Y， CAO Y， et al. Swin transformer： Hierarchicalvision transformer using shifted windows[C]//IEEE/CVF. Proceedings of the IEEE/CVF InternationalConference on Computer Vision （ICCV）. Montreal，QC， Canada： IEEE， 2021： 10012-10022.

【責(zé)任編輯 莊 延】

基金項目：國家自然科學(xué)基金（32172780）