嵇楊培，楊 穎*，劉 剛，2，3

1. 中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，北京 100083 2. 現(xiàn)代精細農(nóng)業(yè)系統(tǒng)集成研究教育部重點實驗室，北京 100083 3. 農(nóng)業(yè)部農(nóng)業(yè)信息獲取技術(shù)重點實驗室，北京 100083

引 言

作為人類生活必不可少的營養(yǎng)品和消費品，豬肉產(chǎn)品的品質(zhì)和環(huán)境污染、食品安全、人類健康息息相關(guān)。進食、飲水量不充足，飼養(yǎng)管理缺乏科學(xué)依據(jù)，生理疾病等都會導(dǎo)致豬只營養(yǎng)缺失，影響商業(yè)價值。目前，生豬養(yǎng)殖過程自動化水平較低，過于依賴人工飼養(yǎng)，不能提供連續(xù)、準(zhǔn)確、實時的監(jiān)控和觀察。因此，采用智能化的方法檢測豬的進食、飲水行為，分析其進食、飲水的規(guī)律，對預(yù)警生豬疾病、維護豬的福利有很重要的作用。

目前已有的判斷動物進食、飲水行為的方法，主要分成兩大類： 基于無線射頻技術(shù)(RFID)和機器視覺技術(shù)。Maselyne[1]、Brownbrandl[2]等通過RFID計量飲水量、投喂量，從而達到低成本、高收益的效果。Roland[3]等利用三軸加速度傳感器監(jiān)測小牛的飲水量，以此研究飲水量與小牛健康的關(guān)系。此類傳感器能實際記錄各項參數(shù)，但容易因為動物的咬食而損壞。機器視覺技術(shù)因為其無接觸、成本低等優(yōu)點在生豬養(yǎng)殖過程中得到大量應(yīng)用。利用機器視覺技術(shù)對生豬的進食、飲水行為進行識別主要通過識別豬體姿態(tài)和生豬活動區(qū)域兩種方式。Jinseong[4]等使用空插值技術(shù)消除深度噪聲，實現(xiàn)夜間跟蹤，為夜間監(jiān)測生豬異常提供依據(jù)。通過活動區(qū)域判斷方面，楊秋妹等[5]利用傳統(tǒng)方法提取豬只目標(biāo)和行為預(yù)判斷，再利用深度學(xué)習(xí)方法構(gòu)造頭部檢測器，精準(zhǔn)判斷生豬的飲水行為，識別率達92.11%。有研究[6]通過使用CCD相機監(jiān)測生豬，利用圖像識別飲水器、水表監(jiān)測用水量，建立飲水器與飲水量之間的動態(tài)模型，準(zhǔn)確率達92%。

以上實驗多是設(shè)置特定的實驗環(huán)境以及針對特定的姿勢實現(xiàn)行為識別，為了解決真實養(yǎng)殖場景中快速、準(zhǔn)確地識別生豬的進食、飲水行為的問題，利用YOLOv2神經(jīng)網(wǎng)絡(luò)結(jié)合頭頸模型解決生豬目標(biāo)檢測問題，并利用頭頸位置信息粗略判斷生豬的行為。在檢測基礎(chǔ)上使用圖像占領(lǐng)指數(shù)、背景差分等方法精準(zhǔn)判斷生豬進食、飲水行為。實驗表明頭頸模型檢測方法能夠有效解決部分遮擋問題，準(zhǔn)確獲取生豬位置信息，精確判斷生豬發(fā)生的進食、飲水行為，為進一步研究生豬其他行為提供支持。

1 實驗部分

1.1 數(shù)據(jù)采集

實驗數(shù)據(jù)采集于中國農(nóng)業(yè)大學(xué)西校區(qū)的養(yǎng)殖園，欄內(nèi)共有兩頭重約30 kg的大長約克豬。2018年11月20日至2018年12月8日，在可見光條件下拍攝。將高清攝像頭(海康威視，型號： DS-2CDTFD-3W/R/32G-T，分辨率為1 080 pix×720 pix)固定于正對豬欄的墻上，距離地面2.8 m處。豬欄的面積大小為2 m×1.5 m，底部高于地面0.5 m，攝像頭所拍攝的面積比豬欄面積略小。

1.2 生豬進食、飲水行為識別方法設(shè)計

為實現(xiàn)快速、準(zhǔn)確地識別真實場景中生豬進食、飲水行為，設(shè)計了以下實驗方法。通過在圖像序列上構(gòu)建頭頸模型，改善生豬目標(biāo)檢測過程中的遮擋問題。選用國際主流目標(biāo)檢測模型YOLOv2，實現(xiàn)真實場景中目標(biāo)生豬的檢測，為進一步識別日常行為提供輔助。使用K-means算法進行聚類候選邊框，以縮短訓(xùn)練時間以及提高預(yù)測精度。通過替換激活函數(shù)，以期加快網(wǎng)絡(luò)收斂速度、增強網(wǎng)絡(luò)對噪聲的魯棒性。在利用目標(biāo)檢測的位置信息實現(xiàn)粗略地日常行為識別的情況下，使用背景差分法、圖像占領(lǐng)指數(shù)等方法分割圖像，進一步實現(xiàn)生豬精準(zhǔn)行為識別。

1.3 YOLOv2網(wǎng)絡(luò)簡介

YOLOv2是一個基于深度學(xué)習(xí)方法的端到端的物體檢測深度網(wǎng)絡(luò)，實時和有效是YOLOv2最大的特點與優(yōu)勢，能夠在快速檢測的同時，保證物體的定位精度[7]。YOLOv2是YOLO(You Only Look Once)的改進版，在YOLO的基礎(chǔ)上，YOLOv2主要做了以下改進： 在卷積層后添加batch normalization，修改預(yù)訓(xùn)練分類網(wǎng)絡(luò)的分辨率，移除全連接層，維度聚類等，能夠在保持分類準(zhǔn)確率的基礎(chǔ)上，提高對物體定位的準(zhǔn)確度。

2 結(jié)果與討論

生豬目標(biāo)檢測和進食、飲水行為識別的框架圖如圖1所示。內(nèi)容包括頭頸模型獲取、目標(biāo)生豬檢測和進食、飲水行為識別三個部分。

所設(shè)計的生豬目標(biāo)檢測模型，使用Tensorflow深度學(xué)習(xí)平臺，GPU模式(NVIDIA Tesla K40m，內(nèi)存12G)。

根據(jù)真實豬舍場景下的生豬目標(biāo)檢測問題的特點，選擇使用召回率recall和平均準(zhǔn)確率均值mAP作為生豬目標(biāo)檢測模型的評價指標(biāo)。

圖1 生豬行為識別框架圖Fig.1 Framework of Pig behavior recognition

2.1 頭頸模型獲取

從采集到的生豬視頻中篩選出有效視頻數(shù)據(jù)，人工記錄15天中生豬發(fā)生的進食、飲水次數(shù)，以便與本算法計算結(jié)果做比較。利用PotPlayer視頻編輯器，將視頻截取成圖像序列。原豬舍中有兩個豬欄，本文只針對其中一個豬欄內(nèi)的生豬展開研究，因此將原圖由1 920×1 080大小截取成1 396×1 080大小的圖像。

對于實際養(yǎng)殖場中的生豬目標(biāo)檢測問題，最重要的是解決生豬之間的遮擋、重疊問題。當(dāng)豬圈中出現(xiàn)遮擋、重疊時，被遮擋部分的屬性信息甚至關(guān)鍵屬性信息丟失會影響檢測生豬整體的特征。不能較好地解決遮擋、重疊問題，實際養(yǎng)殖場中的檢測準(zhǔn)確率就得不到保證。通過分析大量密集型養(yǎng)殖場的監(jiān)控數(shù)據(jù)，可以發(fā)現(xiàn)生豬的頭頸部位在數(shù)據(jù)中的可見性較高，無論是身體部分如何遮擋、重疊，生豬的頭頸部位依舊具有較高的穩(wěn)定性[11]。在獲取的數(shù)據(jù)中選擇2 300張圖片作為訓(xùn)練集，600張圖片作為測試集。利用LabelIMG工具標(biāo)定訓(xùn)練集中生豬頭頸(包含嘴巴到整個耳朵)部位，該數(shù)據(jù)集包含4 600個頭頸部位。將所使用的頭頸模型與原來使用的全身模型檢測結(jié)果作對比，實驗結(jié)果如表1所示，檢測效果對比展示如圖2所示。本模型在生豬出現(xiàn)遮擋、重疊等現(xiàn)象時，效果優(yōu)于全身模型。

表1 頭頸模型和全身模型實驗結(jié)果Table 1 Results of head-neck model and whole-body model

2.2 目標(biāo)生豬檢測

以三組對比實驗來證明生豬目標(biāo)檢測模型的可用性。首先對比使用原始邊框和聚類得到的邊框效果； 然后對比使用不同激活函數(shù)的性能； 最后將本文優(yōu)化得到的檢測模型與主流目標(biāo)檢測模型進行對比。

圖2 頭頸模型與全身模型效果對比圖Fig.2 Contrast diagram of head-neck model and body model

2.2.1 候選邊框聚類

假如我是水，我想要把人類丟進大海里的塑料垃圾，用海浪卷回岸邊，還給他們。如果人類無視我的警告，我會一遍又一遍地重復(fù)，直到他們不再向大海丟棄討厭的塑料制品。

為了縮短模型的訓(xùn)練時間以及提高最終的預(yù)測精度，初始邊框選擇的好壞顯得尤為重要。不同數(shù)據(jù)集中目標(biāo)大小及位置也不盡相同。在模型的學(xué)習(xí)過程中，根據(jù)事先選取的候選框預(yù)測，并不斷對邊框的位置和尺寸進行回歸。因此采用K-means算法對生豬數(shù)據(jù)集中打好標(biāo)簽的生豬頭頸邊框進行聚類，得到適合本數(shù)據(jù)集的初始候選框的數(shù)量和參數(shù)。標(biāo)準(zhǔn)的K-means聚類計算距離的方法使用的是歐氏距離，而YOLOv2作者使用的距離的公式如式(1)所示

Dis(box, centroid)=1-IOU(box, centroid)

(1)

式(1)中： centroid是聚類時被選作中心的邊框，box是除此外的其他邊框，Dis則表示這兩者之間的距離，IOU(Intersection-Over-Union)表示預(yù)測邊框與真實區(qū)域面積的交并比，當(dāng)IOU值越大時，兩者之間的距離越小，由此得到的候選框大小越適合本數(shù)據(jù)集。

分別采用原YOLOv2的邊框和用K-means聚類得到的邊框進行訓(xùn)練，同時保持模型的其他參數(shù)和激活函數(shù)不變，最終實驗結(jié)果如表2所示。

表2 不同數(shù)量、大小候選框?qū)Ρ冉Y(jié)果Table 2 Results of clustering frames withdifferent Numbers and sizes

如表2所示，隨著聚類框個數(shù)的增加，模型的性能呈現(xiàn)上升的趨勢。但增加候選邊框會增加模型的訓(xùn)練時間、消耗更奪硬件資源，因此不考慮通過增加候選框的個數(shù)來達到較優(yōu)的檢測效果。使用四個、五個聚類框的性能沒有太大的變化，因此選取四個聚類候選邊框。優(yōu)選的聚類框在測試集中的直接表現(xiàn)是能將距離攝像頭較遠的生豬檢測出來，如圖3所示。

2.2.2 YOLOv2網(wǎng)絡(luò)模型優(yōu)化

YOLOv2網(wǎng)絡(luò)是使用一個單獨的卷積模型實現(xiàn)端到端的目標(biāo)檢測。在生豬目標(biāo)檢測模型訓(xùn)練的過程中，不僅需要對生豬預(yù)測框的尺寸位置進行學(xué)習(xí)，還需要對生豬的特征進行學(xué)習(xí)，且學(xué)習(xí)過程中噪聲較多，要解決的問題復(fù)雜，因此選取合適的激活函數(shù)對卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)至關(guān)重要。

目前神經(jīng)網(wǎng)絡(luò)中使用較多的激活函數(shù)是ReLU(rectified linear unit)[8]，其公式定義如式(2)

(2)

相對于sigmod函數(shù)和tanh函數(shù)，其在輸入正數(shù)時，不存在梯度飽和問題，且計算速度快了很多。但是當(dāng)輸入為負數(shù)時，會出現(xiàn)神經(jīng)元死亡的情況。

Leaky ReLU(leaky rectified linear unit)是對ReLU的一個改進版，和ReLU相比，在負數(shù)區(qū)域內(nèi)，PReLU有一個很小的斜率，可以避免神經(jīng)元的死亡問題[9]，其定義公式如式(3)

(3)

Leaky ReLU也是目前YOLO所采用的激活函數(shù)，雖然保留了x取負值時候的輸出，但這部分輸出不具備一定的抗干擾能力。

針對以上的分析，在網(wǎng)絡(luò)的每一個卷積層后使用ELU激活函數(shù)，其定義公式如式(4)

圖3 使用優(yōu)選聚類候選框的生豬檢測結(jié)果Fig.3 The pig detection results of optimized clustering candidate box

(4)

與ReLU和Leaky ReLU相比，當(dāng)輸入為正值時相同，而輸入為負數(shù)時則采用的是指數(shù)函數(shù)。從ELU的函數(shù)圖像看，坐標(biāo)軸左側(cè)部分軟飽和能夠增加ELU對輸入變化或噪聲的魯棒性； 而坐標(biāo)軸右側(cè)部分采用線性函數(shù)，能夠緩解梯度消失問題[10]。其輸出的值均接近于零，能夠增加其收斂速度。

選取ReLU，Leaky-ReLU以及ELU三個激活函數(shù)驗證不同激活函數(shù)對生豬目標(biāo)檢測模型的影響。同時不改變模型其他參數(shù)的條件，只改變卷積層中的激活函數(shù)。最終得到的檢測模型性能如表3所示。

表3 不同激活函數(shù)的性能比較Table 3 Performance comparison of differentactivation functions

如表3所示，不同的激活函數(shù)對生豬目標(biāo)檢測的性能影響有所不同。當(dāng)模型使用ELU激活函數(shù)時，測試集上的mAP對比前兩者分別高出了0.68%和2.77%，召回率分別高出了1.22%和4.37%。

如圖4所示，當(dāng)豬舍中生豬出現(xiàn)不同程度的遮擋、豬舍中光照變化等引起的圖像中噪聲信息，ELU激活函數(shù)比其他兩者對噪聲信息具有較強的魯棒性。因此無論是檢測能力還是收斂速度，都強于前兩者。

最后將生豬目標(biāo)檢測模型與其他不同的模型進行對比，最終在測試集上性能如表4所示。實驗表明，使用本文改進后的YOLOv2算法對生豬進行目標(biāo)檢測，無論是在檢測效率還是檢測精度上均優(yōu)于其他3種算法，可作為生豬目標(biāo)檢測的模型使用。

圖4 不同激活函數(shù)Loss曲線圖Fig.4 Loss curve of different activation functions

表4 不同模型性能比較Table 4 Performance comparison of different models

2.3 進食、飲水行為識別

進食、飲水部分的技術(shù)路線圖如圖5所示，通過上述目標(biāo)檢測階段得到的檢測框左下角坐標(biāo)，判斷生豬是否處于進食或飲水區(qū)域，從而達到一個粗略的行為識別結(jié)果。當(dāng)生豬處于進食、飲水區(qū)域時，讀取該圖像并分割，得到前景目標(biāo)。利用進食、飲水區(qū)域的圖像占領(lǐng)指數(shù)以及生豬在該區(qū)域停留的時間精細判斷生豬是否真正發(fā)生了進食、飲水行為，并進行記錄。

圖5 進食、飲水技術(shù)路線圖Fig.5 The flow chart of eating and drinkingbehavior recognition

背景差分法可用于對靜止場景中的目標(biāo)進行分割，該方法的原理是將當(dāng)前的圖像與背景圖像做差分運算，對得到的前景目標(biāo)區(qū)域再進行閾值化，獲取目標(biāo)。如圖6(b)所示為生豬背景圖，圖6(a)所示為圖像序列中的某一幀，通過背景差分法得到前景區(qū)域如圖6(c)所示。對背景差分得到的圖像進行膨脹、腐蝕等形態(tài)學(xué)操作并刪除小聯(lián)通區(qū)域，得到的分割圖像如圖6(d)示。

如圖6所示，處理得到的二值圖像中，以飲水行為為例，將飲水區(qū)域記為S，Area(S)表示飲水區(qū)像素點的值總和，飲水區(qū)占領(lǐng)指數(shù)記為ROccupied。S區(qū)域的像素點坐標(biāo)記為(x,y)，豬只頭部區(qū)域像素點的值記為F(x,y)。當(dāng)豬只的頭部進入飲水區(qū)域后，將覆蓋在該區(qū)域的像素點的值記為1，其余記作0。飲水區(qū)S的占領(lǐng)指數(shù)公式定義如式(5)

(5)

生豬進食、飲水區(qū)域像素占領(lǐng)指數(shù)以及停留時間均有一定的規(guī)律。當(dāng)ROccupied超過設(shè)置的閾值時，且在該區(qū)域停留的時間大于2 s、小于4 min時，判定該生豬發(fā)生了進食或飲水行為，計數(shù)加1。像素比值的閾值根據(jù)多組實驗求得，停留時間小于2 s時可能是豬只經(jīng)過進食、飲水區(qū)域，大于4 min可能是在進食、飲水區(qū)躺臥休息。

在抽取的15個視頻中，將本算法檢測到的生豬進食、飲水次數(shù)與人工記錄結(jié)果進行對比，結(jié)果如表5和表6所示。據(jù)統(tǒng)計，人工觀察視頻記錄的飲水、進食次數(shù)分別為80次和127次，通過本文算法共檢測出74次飲水和114次進食。與實際結(jié)果相比，正確飲水、進食的次數(shù)分別為70次和110次，將非飲水、進食行為錯誤識別次數(shù)分別為4次和4次，實際發(fā)生飲水、進食行為卻未檢測出的次數(shù)分別為10次和17次。出現(xiàn)誤判的主要原因是生豬在進食、飲水區(qū)活動，符合判斷的條件，但沒有發(fā)生進食或飲水行為； 出現(xiàn)漏判的主要原因是網(wǎng)絡(luò)自身對比較小的物體檢測效果差。

圖6 分割效果圖Fig.6 Segmentation results

表5 飲水行為實驗結(jié)果Table 5 Results of drinking behavior

表6 進食行為實驗結(jié)果Table 6 Results of eating behavior

利用本方法正確識別出的進食、飲水次數(shù)與所檢測出的次數(shù)之比定義為進食、飲水的準(zhǔn)確率，將正確識別行為的次數(shù)與實際視頻中發(fā)生的行為次數(shù)之比定義為召回率，由此計算得到的豬只飲水、進食準(zhǔn)確率分別為94.59%和96.49%，召回率為87.5%和86.61%。另外不使用頭頸模型及神經(jīng)網(wǎng)絡(luò)，僅使用背景差分、圖像占領(lǐng)指數(shù)等傳統(tǒng)圖像處理方法識別生豬進食、飲水行為，其識別結(jié)果如表7所示。從對比結(jié)果可以看出，采用本方法的行為識別準(zhǔn)確率和召回率均高于傳統(tǒng)方法。傳統(tǒng)方法無法直接判斷在飲水區(qū)域的是頭部還是尾部，視頻采集過程中光線的變化會導(dǎo)致生豬目標(biāo)獲取不完整，且需要對每一張生豬圖像進行處理判斷，耗時耗力。而本文使用神經(jīng)網(wǎng)絡(luò)結(jié)合頭頸模型可直接檢測到生豬頭部，對符合預(yù)判段的圖像再進行后續(xù)的處理，不僅用時少，還能節(jié)省能源消耗。因此，本方法可用于識別生豬的進食、飲水行為。

表7 行為識別結(jié)果對比Table 7 Comparison of behavior recognition results

3 結(jié) 論

提出了基于可見光光譜圖像和YOLOv2網(wǎng)絡(luò)的生豬進食、飲水行為智能識別算法。采用改進的YOLOv2網(wǎng)絡(luò)結(jié)合所提出的頭頸模型實現(xiàn)了豬只檢測，算法準(zhǔn)確率達90.24%。相對于全身模型，所提出的頭頸模型不僅能有效解決生豬的遮擋問題，而且能精準(zhǔn)定位生豬的頭部，為進一步判斷進食、飲水行為奠定基礎(chǔ)。在前期深度學(xué)習(xí)檢測的基礎(chǔ)上，通過計算圖像占領(lǐng)指數(shù)、停留時間等識別生豬是否真正發(fā)生進食、飲水行為，準(zhǔn)確率分別達到94.59%和96.49%，無論是識別效率還是準(zhǔn)確率均高于僅使用傳統(tǒng)圖像處理方法。本方法具有高度的通用性，針對生豬的進食、飲食行為識別提出的頭頸模型，還可用于檢測生豬的其他部位，為識別生豬的排泄等其他日常行為作輔助。當(dāng)生豬發(fā)生排泄行為時，記錄該行為發(fā)生的時刻，統(tǒng)計出一定時間內(nèi)排泄行為發(fā)生的次數(shù)，再根據(jù)次數(shù)的多少來判斷生豬是否存在異常，及時通知管理員并采取相應(yīng)措施。本研究還未達成產(chǎn)業(yè)化的目的，僅是一個有益的探究，研究過程只依賴于豬舍的監(jiān)控設(shè)備，投入成本低且對生豬無傷害，本研究結(jié)果可以為豬舍管理人員科學(xué)養(yǎng)殖、增加商業(yè)價值的提供參考。