王克儉 孫奕飛 司永勝 韓憲忠 何振學

(1.河北農(nóng)業(yè)大學信息科學與技術學院, 保定 071001;2.河北農(nóng)業(yè)大學河北省農(nóng)業(yè)大數(shù)據(jù)重點實驗室, 保定 071001)

0 引言

隨著奶牛養(yǎng)殖業(yè)的高速發(fā)展以及集約化程度的迅速擴大,奶牛的健康管理問題面臨著巨大的挑戰(zhàn)。將計算機視覺應用到奶牛行為識別領域,是當前研究的熱點問題[1]。奶牛在其生活中有特定的行為方式和生理習慣,在奶牛養(yǎng)殖過程中,對奶牛日常行為進行高精度檢測,是實現(xiàn)奶牛健康管理的關鍵前提[2]。奶牛行為識別一方面有助于監(jiān)測奶牛的健康,發(fā)現(xiàn)異常行為并及時做出處理,另一方面也給養(yǎng)殖人員的飼養(yǎng)和管理工作帶來了便捷。隨著養(yǎng)殖規(guī)模的不斷擴大,傳統(tǒng)的人工方法難以適應更密集的奶牛群體。而計算機視覺具有實時、成本低、無接觸等優(yōu)點。因此,用計算機視覺技術來識別奶牛行為在奶牛繁殖、疾病診斷等方面有更大發(fā)展?jié)摿3]。

目前的識別方式主要為物聯(lián)網(wǎng)監(jiān)測[4-7]和計算機視覺識別[8-10]。物聯(lián)網(wǎng)監(jiān)測通過佩戴在動物身上的傳感器收集不同行為產(chǎn)生的運動數(shù)值,并根據(jù)數(shù)值的差異進行識別[11]。王俊等[12]和PENG等[13]通過固定傳感器接收運動數(shù)值,完成了對奶牛行為的分類識別。隨著技術不斷提高,計算機視覺逐漸進入人們的視線。卷積網(wǎng)絡[14]作為奶牛行為識別的高效計算方法被廣泛應用。王少華等[15]使用高斯模型實現(xiàn)了奶牛爬跨行為的自動檢測。YIN等[16]和CHEN等[17-18]使用卷積神經(jīng)網(wǎng)絡(CNN)提取奶牛視頻特征并結(jié)合LSTM獲取時間特征,已達到對奶牛行為識別的目的。GUO等[19]通過去除不相關背景,結(jié)合幾何和光流,對奶牛區(qū)域進行檢測,訓練SVM并分類。ZHANG等[20]和FUENTES等[21]將雙流網(wǎng)絡引入行為識別,該網(wǎng)絡分別提取視頻的時間和空間特征,以此達到識別奶牛行為的目的。

雖然穿戴式傳感器具有較高識別精度,但隨著使用次數(shù)增加,傳感器會產(chǎn)生老化或水分滲透等問題,影響數(shù)值的記錄,從而對行為產(chǎn)生誤判。而在計算機視覺方法中,雖然避免了物聯(lián)網(wǎng)監(jiān)測的弊端,但基于圖像的奶牛識別方法沒有考慮運動的連續(xù)性,實驗條件受限,環(huán)境單一,行為識別準確性較低。

針對上述問題,本文提出TFL-TSN識別模型。以奶牛各時段行為作為監(jiān)控對象,使用高清攝像頭實時捕捉奶牛在牛棚中的運動行為。通過構(gòu)建一個包含時間和空間的雙流結(jié)構(gòu),分別提取奶牛運動特征以及奶牛主體、背景信息,從而提高較依賴時序的行為識別準確率。

1 數(shù)據(jù)集構(gòu)建

原始數(shù)據(jù)集由河北省保定市滿城縣宏達牧場提供,使用安裝在牛棚棚頂并通過互聯(lián)網(wǎng)控制的攝像頭進行視頻采集,所有視頻均從視頻收集平臺獲取,在實驗過程中未對視頻本身做任何修改。采集的視頻包括白天和夜間,旨在研究不同時間的行為變化。圖1為實驗所用數(shù)據(jù)集中不同行為圖像,其中從左到右依次為進食、躺臥、站立、行走。奶牛行為具有多樣性,本文選取躺臥、站立、行走、進食4種行為進行研究,表1為基本行為定義。對采集的視頻進行篩選,消除因拍攝角度或其他因素引起的視頻模糊和無奶牛主體片段,針對每個視頻,截取包含同一行為的視頻。為了證明該方法具有普遍性,從不同視頻中截取具有不同體態(tài)的相同行為,以避免不同行為包含相同姿勢。考慮到光照會對識別結(jié)果產(chǎn)生影響,因此每個行為的視頻均包括白天和夜間采集的視頻,共截取996個視頻,每個視頻時長3～7 s,每秒保存50幀。

表1 奶?；拘袨槎x

圖1 奶牛不同行為示例

此外,每個視頻均只有一個行為標簽,視頻由“行為名稱_編號”命名,將白天和夜間時間比為7∶3的650個視頻按8∶2的比例分為訓練集和測試集?？紤]到不同光照對結(jié)果的影響,在保證訓練集一致的情況下,添加一些新的視頻數(shù)據(jù)作為補充測試集,將其余346個視頻作為不同光照下的數(shù)據(jù)集,以研究該方法在不同條件下的魯棒性,該補充測試集白天和夜間視頻各占50%。為解決類間不平衡的問題,通過增加視頻片段擴充數(shù)據(jù)集,使每個行為的樣本數(shù)據(jù)集相對平衡。

2 研究方法

奶牛行為識別可定義為測試視頻與預先校準的行為參考特征間的匹配度,通過跟蹤觀察奶牛行為,挖掘各行為規(guī)范[22-23]。由于奶牛的行為具有連續(xù)的動態(tài)特征,本文提出了融合時空特征的TFL-TSN識別模型,該模型在時域段網(wǎng)絡(TSN)的基礎上融合了時態(tài)移位模塊(TSM)、特征注意單元(FAU)和長短期記憶(LSTM)網(wǎng)絡。識別流程如圖2所示,分為時態(tài)移位、視頻特征提取及融合與行為識別3部分。

圖2 奶牛行為識別流程

首先視頻經(jīng)過TSM的移位操作,將原相鄰幀的特征進行混合處理,同時融合部分信道的時間信息,此時當前幀既有本幀信息又有未來幀的部分信息,以此完成對時序的建模;然后利用稀疏采樣[24]的思想,將輸入視頻分為若干個子視頻,依次從每個子視頻中隨機抽取一幀作為訓練樣本輸入主干網(wǎng)絡ResNet50,上述稀疏采樣模塊和ResNet50構(gòu)成了TSN,并通過FAU提取時間和空間的關鍵特征;最后將融合后的特征輸入LSTM,捕捉當前和過去的隱含信息得到最終識別結(jié)果。

2.1 時態(tài)移位模塊

由于進食、行走等行為較依賴時序,但是二維卷積在時間通道上獨立工作,并不具備建模時序的能力,而且視頻的時間維度描述了運動的變化,提供了大量的信息,因此在二維卷積的基礎上引入TSM[25]。該模塊可以提高模型的時序建模能力,但隨之產(chǎn)生了學習空間特征能力下降的問題。TSM將卷積過程分為兩步,第1步是數(shù)據(jù)融合,如圖3,在時間維度上通過+1、-1、0移動部分通道,使來自相鄰幀的信息與當前幀融合,提高時序建模能力,其數(shù)學表達式為

(1)

(2)

(3)

Xi-1——時刻i-1時信息

Xi——時刻i時信息

Xi+1——時刻i+1時信息

第2步是乘法累加,對融合后的信息分配相應權重再相加。

Y=ω1X(-1)+ω2X(0)+ω3X(+1)

(4)

式中Y——卷積運算結(jié)果

ω1、ω2、ω3——權重系數(shù)

X(-1)——后向移動后通道

X(0)——未移動通道

X(+1)——正向移動后通道

移位比過大時,空間特征建模能力會被削弱;移位比太小時,時序建模能力會降低,有研究表明較為合理的移位比為1/8[25],本文將前1/8的通道進行正移(+1),隨后1/8通道進行后移(-1),其余通道不移動(0)。沿著時間維度移動特征圖的部分通道,交換相鄰幀信息,使此幀圖像融合部分未來和過去的信息,此時可以更好地提取有關時序信息的外觀和運動特征,提高行為識別準確率。

2.2 視頻特征提取及融合

2.2.1奶牛視頻特征提取

與圖像識別不同,行為識別是通過一系列連續(xù)變化的圖像來識別不同的行為。一方面,視頻中的行為包含運動軌跡和視角的變化;另一方面,目前卷積網(wǎng)絡以空間為主導,無法利用視頻本身的時間信息。針對卷積網(wǎng)絡無法較好地識別長時間行為的問題,本文利用固定分段和稀疏采樣的思想達到學習長時間視頻的目的[26-28]。

本文提出的改進時域段網(wǎng)絡結(jié)構(gòu)如圖4所示。首先將視頻進行拆分,將抽幀后得到的視頻幀和一組低灰度圖像(差分RGB)輸入TFL-TSN模型得到空間和時間信息。具體地,將視頻分為k段{S1,S2,…,Sk},然后對每個視頻片段進行建模

圖4 改進時域段網(wǎng)絡

Pα=G(F(T1;W),F(T2;W),…,F(Tk;W))

(5)

Pβ=G(F(T1;W),F(T2;W),…,F(Tk;W))

(6)

TSN(T1,T2,…,Tk)=MAX(σ(λPα+μPβ))

(7)

式中Pα——RGB模態(tài)

Pβ——差分RGB模態(tài)

TSN(T1,T2,…,Tk)——預測結(jié)果

T1、T2、…、Tk——抽取的視頻幀

G——聚合函數(shù)

W——網(wǎng)絡參數(shù)

F(Tk;W)——視頻識別結(jié)果

λ、μ——比例系數(shù)

σ——Softmax函數(shù)

MAX——最大值函數(shù)

2.2.2奶牛視頻特征融合

為保證發(fā)送到LSTM的特征豐富性,同時彌補因加入TSM而損失的空間特征學習能力,并針對拍攝角度引起的部分奶牛主體較小,存在誤將奶牛推理為背景的問題,對視頻特征進行融合處理,特征金字塔可以自上而下聚合多個維度,在較低分辨率特征圖上具有較強語義信息提取能力,能夠提高小目標物體檢測能力。但其存在較明顯的缺陷:單向信息流無法充分聚焦重要信息。因此,在網(wǎng)絡提取特征時,本文采用如圖5所示的特征注意單元。該單元通過增加特征映射的分辨率提取小目標物體的特征,獲取更多有關小目標物體的有效信息。實驗使用卷積注意力(CBAM),通過在通道和空間維度應用注意力,使網(wǎng)絡更好地抑制無效特征,并根據(jù)當前行為提取更為突出的主要特征,從而增強網(wǎng)絡的學習和表達能力[29]。

圖5 特征注意單元

針對每層提取的特征,使用通道注意力提取視頻幀中主體及背景信息,使用空間注意力提取目標的位置信息,再經(jīng)過下采樣壓縮無用信息并與上層特征圖融合,逐步生成頂層特征圖;隨后將頂層特征圖經(jīng)過上采樣融合每層特征圖,著重利用低分辨率語義信息加強局部的學習能力,同時融合高分辨率空間信息豐富的特征圖,最終合并3個結(jié)果作為下一階段輸入。

FAU的計算公式為

(8)

(9)

Q5=P2+P3+P4

(10)

式中Ci——第i層提取的特征圖

Pi——Ci提取的特征并融合經(jīng)注意力機制提取的第i+1層特征圖

Q5——最終融合特征圖

Conv——卷積操作

Resizedown——下采樣

2.3 奶牛行為識別

奶牛的行為與時間序列密切相關,使用一般的卷積網(wǎng)絡很難處理帶有時間序列的數(shù)據(jù),因此需要一種循環(huán)記憶式網(wǎng)絡來幫助卷積記憶前后幀信息。如圖6所示,LSTM作為循環(huán)神經(jīng)網(wǎng)絡的一種,其內(nèi)部通過門控機制解決了因?qū)W習長序列數(shù)據(jù)導致的梯度消失和爆炸問題[30-31]。LSTM通過遺忘門、記憶門和輸出門控制信息狀態(tài)。首先通過遺忘門判斷需要丟棄的信息,然后通過記憶門融合對當前任務有用的信息,最后通過輸出門輸出信息,以此解決信息的長期依賴問題。

圖6 長短期記憶網(wǎng)絡結(jié)構(gòu)

對于視頻中的行為,不能僅根據(jù)空間信息或時間信息來完成判斷,針對提取的奶牛運動趨勢、背景等信息相互不具有通用性的問題,只有將其組合才能構(gòu)建出魯棒性更好和更有效的特征。在提取視頻的時間和空間特征后,構(gòu)建一個LSTM分類器來識別奶牛行為。首先利用LSTM從向量序列中提取特征,把過去的信息與當前任務相連接,利用之前視頻幀的狀態(tài)判斷當前幀的行為,能夠?qū)﹂L時視頻的時間維度建立依賴關系。其次將學習到的特征作為全連接層的輸入,最后通過SoftMax層分類并輸出4類行為的預測結(jié)果。

3 實驗與結(jié)果分析

3.1 實驗設置

實驗在Ubuntu 18.04系統(tǒng)下,基于PyTorch 1.7.1 + CUDA 11.0 + CuDNN 8.0實現(xiàn)。計算機配置為CPU 6×XeonE5-2678 v3,NVIDA GeForce2080Ti顯卡。采用隨機梯度下降(SGD),動量為0.9,批量大小為4,使用交叉熵損失,激活函數(shù)為ReLU函數(shù),初始學習率設為0.005,當測試精度在5個迭代周期內(nèi)無增加時,學習率進行衰減,衰減率為0.2?？紤]到視頻中的連續(xù)視頻幀是高度冗余的,存在較為相似的空間以及時間信息特征,在訓練和測試時通過利用稀疏采樣消除相鄰幀的冗余信息來加快推理速度。

3.2 消融實驗

利用該方法對建立的奶牛行為數(shù)據(jù)集進行識別,在控制變量法的思想下,保證學習率、優(yōu)化器等參數(shù)一致,結(jié)果如表2所示。

表2 消融實驗結(jié)果

對比加入TSM前后可知,依靠時序建模的行為識別準確率上升,但站立行為下降。原因在于TSN網(wǎng)絡雖能更好地利用時間信息,但損失了一些空間特征學習能力。由于融合時間信息所附帶的空間信息,在空間建模時摻雜一些本不屬于此幀的信息,從而導致識別錯誤,但對于進食或行走識別準確率的提升證明引入TSM是可行的。對比加入FAU前后,進食、躺臥、站立行為識別準確率均有提升,這是由于FAU下采樣時可以注意到一些微小的變化,FAU增加了TSN網(wǎng)絡學習細化特征的能力。分析部分躺臥分類錯誤的視頻數(shù)據(jù),都是將躺臥狀態(tài)反芻的奶牛錯誤分類為進食。進食和躺臥時反芻行為類似,都有嘴部動作,在FAU下采樣時,過于關注嘴部變化,而忽略了時間信息的重要性。TSN網(wǎng)絡通過逐層添加注意機制并融合下層特征,逐漸聚焦當前行為的重要特征,如圖7所示。

圖7 添加注意機制效果可視化

進食行為逐漸集中到學習頭部信息,站立及行走行為逐步關注腿部特征,而躺臥聚焦到腹部貼近地面部分。對比加入LSTM前后,依賴時間關系建模的行為如進食,行為識別準確率有所增加。對于其他以空間結(jié)構(gòu)建模就可識別的行為,準確率增加不明顯,對于進食這種復合行為,需要依靠時間來判斷是躺臥或站立中的進食還是僅是躺臥或站立行為。由融合各模塊結(jié)果可知,行走行為與原模型相同,躺臥和站立行為均增加4個百分點,進食行為識別準確率增加最為明顯,提升26.7個百分點?？傮w結(jié)果表明,本文方法可以實現(xiàn)高精度奶?；拘袨樽R別。此外,通過消融實驗發(fā)現(xiàn),ResNet50+FAU也有較高的平均行為識別準確率。

3.3 模型對比

將本文提出的TFL-TSN模型與C3D、I3D、CNN-LSTM模型進行對比實驗,以驗證本文模型的有效性。

由表3可知,本文模型與C3D、I3D、CNN-LSTM模型相比,平均行為識別準確率分別提升7.9、9.2、9.6個百分點,較現(xiàn)有行為識別模型具有一定優(yōu)勢,其原因在于文中提出的TFL-TSN能有效利用TSM融合的時間關系并進行建模,以及增強了學習局部特征的能力,通過結(jié)合高、低分辨率下的不同信息,提高相似動作的辨識度,從而提升識別準確率。

表3 不同模型結(jié)果對比 Tab.3 Comparison of different model results %

3.4 復雜場景下模型魯棒性

考慮到奶牛養(yǎng)殖場環(huán)境復雜,存在諸多干擾因素,為驗證該方法在不同條件下的魯棒性,本文分析了在不同光照下該方法的實用性。

選取10:00—03:00拍攝的視頻,時間跨度從日出到深夜,以確保選取的視頻照明條件存在較大差異。為進一步探討不同光照對該模型識別結(jié)果的影響,在保證訓練集一致的前提下,添加了一些新視頻數(shù)據(jù),將夜間視頻數(shù)據(jù)的比例由30%提高到50%,以驗證模型的魯棒性。為對比分析,將消融實驗中平均行為識別準確率較高的ResNet50+FAU也進行驗證。因在夜間奶牛進食行為發(fā)生較少,夜間僅對其余3種行為進行識別。

驗證結(jié)果如表4所示,其中兩種模型白天的平均行為識別準確率相差較小,本文模型比ResNet50+FAU高0.8個百分點;本文模型夜間的平均行為識別準確率比ResNet50+FAU高2.3個百分點。為評估模型在不同光照下的表現(xiàn)差異,分別計算兩種模型白天和夜間各種行為識別準確率的歐氏距離,本文模型的歐氏距離較小,說明本文模型受光照影響較小,原因在于LSTM具有貫穿整個網(wǎng)絡的長期記憶單元,可以融合之前所有時刻的模塊的光照信息并傳遞給下一時刻的模塊,因此更能適應不同光照條件。兩種模型夜間的平均行為識別準確率均高于白天,可能原因是白天不同時段光照強度變化較為明顯,而夜間采用日光燈照明,光照強度較為恒定。實驗結(jié)果表明光照變化會對奶牛行為識別準確率產(chǎn)生一定影響,但本文模型受光照影響相對較小。

表4 不同光照結(jié)果對比

4 結(jié)論

(1)為實現(xiàn)牛棚內(nèi)奶牛的行為識別,在TSN模型的基礎上,通過引入時態(tài)移位模塊(TSM)、特征注意單元(FAU)、長短期記憶(LSTM),提出了一種雙流網(wǎng)絡結(jié)構(gòu)且融合時間和空間信息的奶牛行為識別模型。

(2)實驗結(jié)果表明,TFL-TSN模型對進食、行走、躺臥、站立行為識別準確率分別為76.7%、90.0%、68.0%、96.0%。該模型相較C3D、I3D、CNN-LSTM平均行為識別準確率分別提高7.9、9.2、9.6個百分點。

(3)不同光照條件下的實驗結(jié)果表明,光照變化會對奶牛行為識別準確率產(chǎn)生一定影響,但本文模型受光照影響相對較小。所構(gòu)建的奶牛行為識別模型可以滿足養(yǎng)殖環(huán)境中奶牛行為識別的需要,可為感知奶牛健康和疾病預防提供技術支持。