吳世海,鮑義東,陳 果,陳秋實

(貴州航天智慧農(nóng)業(yè)有限公司,貴陽 550081)

引言

隨著人們?nèi)粘ＯM(fèi)意識和健康意識的提高,肉類的需求量在逐年增加,尤其是豬肉的需求量大幅上升.豬養(yǎng)殖產(chǎn)業(yè)規(guī)模增大,生豬出現(xiàn)病患的可能性也隨之增加,若未及時干預(yù)或排除這些隱患,可能會造成嚴(yán)重的經(jīng)濟(jì)損失和人力損失.生豬在生長過程中可能出現(xiàn)的眾多疾病在亞臨床和臨床癥狀表現(xiàn)之前,通常伴隨自身行為的改變,同時導(dǎo)致各種外在生理參數(shù)發(fā)生變化,如會出現(xiàn)日?；顒恿亢瓦M(jìn)食量大量減少,糞便干燥,尿液渾濁等現(xiàn)象.監(jiān)測生豬行為活動和生理表現(xiàn)可以及時發(fā)現(xiàn)生豬病變情況,提早發(fā)現(xiàn)威脅生豬健康的因素,有利于防止烈性傳染病在豬群內(nèi)的傳播.

人工監(jiān)測是傳統(tǒng)的豬養(yǎng)殖監(jiān)測方法,也是目前豬養(yǎng)殖產(chǎn)業(yè)的主要監(jiān)測方法.但人工監(jiān)測受主觀因素影響大,需要具備豬養(yǎng)殖經(jīng)驗的從業(yè)人員監(jiān)督分析,人力成本較高,而且人工監(jiān)測方法無法實現(xiàn)對生豬行為活動和生長狀態(tài)的實時監(jiān)測.在大型商業(yè)豬養(yǎng)殖模式中使用人工監(jiān)測方法監(jiān)測分析豬個體和群體行為活動規(guī)律是不切實際的,因此,近些年來,養(yǎng)殖信息化相關(guān)裝備和技術(shù)迅速發(fā)展,并得到了越來越多人的關(guān)注.比如應(yīng)用于豬個體識別的無線射頻標(biāo)簽[1]、應(yīng)用于檢測豬個體運(yùn)動加速度的加速度計量器[2]、應(yīng)用于檢測豬是否存在跛腳行為的壓力墊[3]和應(yīng)用于檢測豬群體飲用水量的水量傳感器[4]等,但這些信息化技術(shù)都存在一個限制條件,即需要使用附著在豬個體身上的傳感器獲取數(shù)據(jù).現(xiàn)有的豬養(yǎng)殖產(chǎn)業(yè)中,豬的生長場景決定了這些接觸式監(jiān)測方法的局限性,豬個體之間或豬與生長環(huán)境中物體的相互摩擦和以及豬的移動均易導(dǎo)致接觸式傳感器遺失.

機(jī)器視覺在20 世紀(jì)70年代末開始應(yīng)用于農(nóng)業(yè)和畜牧業(yè)領(lǐng)域[5],但由于圖片和視頻采集裝置中的軟硬件技術(shù)水平較低、計算機(jī)處理圖像速度較慢和缺乏有效的目標(biāo)行為分析算法等,機(jī)器視覺技術(shù)在農(nóng)業(yè)和畜牧業(yè)中未得到廣泛應(yīng)用.隨著相應(yīng)技術(shù)的發(fā)展,這些問題逐漸都得到了解決,如段玉瑤等人在2015年結(jié)合生豬體態(tài)特征提出了一種優(yōu)化特征提取的壓縮感知跟蹤算法[6].該方法利用改進(jìn)后的橢圓窗口來優(yōu)化跟蹤,并增大了灰度特征的權(quán)重提高特征提取的準(zhǔn)確度,實現(xiàn)有效跟蹤.孫龍清等人在2017年提出了利用人工交互分水嶺進(jìn)行區(qū)域分塊,結(jié)合改進(jìn)的GraphCut算法進(jìn)行圖像前景和背景的分割,有效分割生豬圖像[7].

目前,豬養(yǎng)殖產(chǎn)業(yè)發(fā)展趨于集約化、自動化和信息化,智能監(jiān)控是現(xiàn)代化集群式養(yǎng)殖模式不可缺少的一部分[8].

在此背景下,本文提出了一種基于機(jī)器視覺技術(shù)的豬行為活動的實時無接觸監(jiān)測系統(tǒng),利用CCD(Charge-Coupled-Device)相機(jī)實時錄取豬生長場景的視頻,系統(tǒng)分析視頻文件,識別視頻中豬目標(biāo)個體及場景相關(guān)信息,分析豬目標(biāo)個體的行為活動(如運(yùn)動行為、伏地行為、呼吸行為、飲食行為和排泄行為等),監(jiān)測豬目標(biāo)個體的運(yùn)動量、飲食量和排泄情況,從而實時監(jiān)測豬的健康情況和生長情況.

1 豬目標(biāo)行為圖像的獲取與分類

利用CCD 相機(jī)實時拍攝豬舍中豬的行為活動,相機(jī)錄制幀率為60 f/s.Lind 等人[9]在豬目標(biāo)識別算法研究中,將視頻分幀截取圖像后,每間隔10 幀更新一次,可以減弱豬運(yùn)動緩慢對精準(zhǔn)識別的影響[10],本文采用相同的更新速度.使用卷積神經(jīng)網(wǎng)絡(luò)自適應(yīng)提取圖像中豬行為相關(guān)特征,可以適配不同的光照強(qiáng)度,抑制光照變化對結(jié)果的影響.

為訓(xùn)練出具備良好適應(yīng)性和識別精度的自適應(yīng)深度學(xué)習(xí)網(wǎng)絡(luò),本文錄制并標(biāo)記了含1200 組豬行為活動的視頻序列.本文使用的數(shù)據(jù)均為白天錄制采集的視頻圖像數(shù)據(jù),包含晴天、陰天和霧雨等多種天氣和光照場景.在視頻錄制過程中,每隔5 s 生成一個幀圖像序列組,序列組中包含5 s 內(nèi)截取的30 幀圖像.

本文監(jiān)測識別豬的6 種行為活動,分別為運(yùn)動行為、跛足行為、伏地行為、呼吸行為、飲食行為和排泄行為.針對6 種行為活動,本文對每一組圖像序列都做標(biāo)記,標(biāo)記為運(yùn)動行為、跛足行為、伏地行為、呼吸行為、攀爬行為、飲食行為和排泄行為之一.有3 位專業(yè)人員參與標(biāo)記,當(dāng)且僅當(dāng)3 位專業(yè)人員對某組序列的標(biāo)記相同時,該標(biāo)記才被使用.

2 豬行為活動實時無接觸監(jiān)測系統(tǒng)

系統(tǒng)通過分析拍攝的豬視頻,識別視頻中豬目標(biāo)個體和場景中相關(guān)信息,分析豬目標(biāo)個體的行為活動(如運(yùn)動行為、跛足行為、伏地行為、呼吸行為、和飲食行為和排泄行為等),監(jiān)測豬目標(biāo)個體的運(yùn)動量、飲食量和排泄情況.

2.1 CCD 相機(jī)系統(tǒng)

自1998年光學(xué)成像系統(tǒng)首次應(yīng)用于監(jiān)測豬行為活動后,眾多研究者開始關(guān)注機(jī)器視覺技術(shù)在豬養(yǎng)殖領(lǐng)域的應(yīng)用[11-15],可見光相機(jī)和深度相機(jī)是獲取豬行為圖像的主要工具,常用拍攝角度有俯視視角和側(cè)視視角.俯視視角能獲取豬相對于豬生長場景的位置變化,能避免豬之間的遮擋和距離相機(jī)遠(yuǎn)近導(dǎo)致豬大小和位移測量不準(zhǔn)等問題.側(cè)視視角存在遮擋和距離失真問題,但能觀察到更多豬的行為細(xì)節(jié).

本文利用CCD 相機(jī)分別獲取俯視視角和側(cè)視視角的圖像,幀率為60 f/s.利用深度學(xué)習(xí)算法、信息融合技術(shù),融合俯視視角和側(cè)視視角序列圖像中深度特征,自動識別豬目標(biāo)的行為活動類型,監(jiān)測豬的生長狀況和生理信息.

2.2 豬行為識別方法

本文采用多層卷積神經(jīng)網(wǎng)絡(luò)(Conventional Neural Network,CNN)結(jié)構(gòu),可以自適應(yīng)提取圖像中豬目標(biāo)的行為相關(guān)特征.相對于傳統(tǒng)的閾值分割法、色彩分割法和角點檢測等人工設(shè)計的特征檢索方法,卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練簡單,適應(yīng)性強(qiáng),更適合處理分析自然場景下豬的行為活動.本文使用卷積神經(jīng)網(wǎng)絡(luò)提取序列圖片的行為特征,對序列中行為特征進(jìn)行特征融合,融合后的特征由全連接層部分識別分類,最終識別出序列中豬的行為活動.網(wǎng)絡(luò)結(jié)構(gòu)如圖1,主要包含3 部分:卷積部分、特征融合部分和行為分類部分.系統(tǒng)通過CCD 相機(jī)采集豬行為活動序列圖像,利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像的深度特征,再使用特征融合方法融合行為序列圖像的深度特征最后根據(jù)融合的深度特征識別圖像序列中豬的行為活動.

圖1 基于機(jī)器視覺技術(shù)的豬行為活動無接觸識別系統(tǒng)數(shù)據(jù)處理結(jié)構(gòu)圖

圖1 中卷積部分提取原始圖像的深度特征,通過反向傳播更新參數(shù),同時提取局部紋理特征和整體形態(tài)特征.在本文實驗中,為實現(xiàn)每個圖像序列的行為活動分類,需要提取俯視相機(jī)和側(cè)視相機(jī)采集到的兩個圖像序列的深度特征.俯視圖像序列和側(cè)視圖像序列,各包含30 張圖片(Xi,i=1,2,···,30),先后依次送入卷積部分提取特征(Fi,i=1,2,···,30).

其中,w,b 分別表示卷積部分的網(wǎng)絡(luò)權(quán)重參數(shù)和閾值參數(shù),f 為卷積操作,使用ReLU 激活函數(shù).為減少網(wǎng)絡(luò)參數(shù),提取同一批次的圖像序列的特征時,卷積部分的權(quán)重和閾值參數(shù)共享使用.

輸入的每張圖像大小為128×128×3,由于深度學(xué)習(xí)的卷積計算是對四維向量作卷積,把輸入圖片擴(kuò)展為N×128×128×3,其中N 表示批處理大小.輸入第一層卷積神經(jīng)網(wǎng)絡(luò),卷積核大小為11×11×3×96,步長為2,輸出向量大小為N×64×64×96,輸出向量的通道數(shù)與卷積核的個數(shù)一致,輸出特征圖長寬為原圖像的一半,不使用池化過程,可以減小網(wǎng)絡(luò)結(jié)構(gòu),減少計算量,促進(jìn)系統(tǒng)實時監(jiān)測.第二層卷積神經(jīng)網(wǎng)絡(luò)的卷積核大小為3×3×96×256,步長為2,輸出向量大小為N×32×32×256.第三層卷積神經(jīng)網(wǎng)絡(luò)的卷積核大小為3×3×256×256,步長為2,輸出向量大小為N×16×16×256.第四層卷積神經(jīng)網(wǎng)絡(luò)的卷積核大小為3×3×256×256,步長為2,輸出向量大小為N×8×8×256.第五層卷積神經(jīng)網(wǎng)絡(luò)的卷積核大小為3×3×256×128,步長為2,輸出向量大小為N×4×4×128.

第二部分為特征融合部分,融合卷積部分提取到的俯視圖像序列和側(cè)視圖像序列的深度特征.每張圖片提取到的特征大小均為N×4×4×128,包含128 個用于后續(xù)行為分類的特征.采用相同的卷積網(wǎng)絡(luò)結(jié)構(gòu)提取到的特征大小一致,可以融合擴(kuò)展為一個包含全部序列特征的特征:

將第五層卷積神經(jīng)網(wǎng)絡(luò)輸出的特征向量融合,大小為N×4×4×7680.

第三部分為行為分類部分,由全連接神經(jīng)網(wǎng)絡(luò)實現(xiàn),將融合后的特征向量(F)展開后送入全連接層提取高維深度特征信息(F'),使用Softmax 分類,識別行為活動:

其中,g 為全連接部分的激活函數(shù)ReLU,w'和b'為全連接部分的權(quán)重參數(shù)和閾值參數(shù).

使用交叉熵?fù)p失函數(shù)約束反向傳播過程:

2.3 實驗數(shù)據(jù)處理平臺

使用Tensorflow 平臺編寫識別豬行為活動的卷積神經(jīng)網(wǎng)絡(luò)算法,硬件環(huán)境為內(nèi)存16 GB,Intel(R)I5-1607,RTX2080 Ti GPU.

3 結(jié)果與分析

為評估本文提出的基于機(jī)器視覺的豬行為活動的實時無接觸監(jiān)測系統(tǒng)的性能核準(zhǔn)確率,本文使用標(biāo)定的數(shù)據(jù)集,采用五折法訓(xùn)練測試結(jié)果,給出識別各類行為的準(zhǔn)確率.五折法是深度學(xué)習(xí)方法中常用的訓(xùn)練方法,將原始數(shù)據(jù)集均等分為5 份,每份所含行為活動種類核數(shù)量應(yīng)大致相當(dāng).每次選擇其中4 份用于訓(xùn)練,剩余一份用于測試,下一次選擇不完全同的4 份訓(xùn)練,剩余一份測試,5 次訓(xùn)練核測試后求測試準(zhǔn)確率的平均值.首先本文分別使用俯視圖像序列、側(cè)視圖像序列以及俯視圖像序列結(jié)合側(cè)視圖像序列識別豬的行為活動,結(jié)果如表1.

表1 豬行為活動識別結(jié)果(單位:%)

由表1 結(jié)果可以得到3 個結(jié)論:在識別運(yùn)動和呼吸行為時,俯視圖像序列能比側(cè)視圖像序列提供更多信息,分類準(zhǔn)確率更高;識別跛足、伏地和排泄行為時,由于俯視角度無法獲得豬上下空間中的行為信息,分類準(zhǔn)確率比使用側(cè)視圖像低;同時使用俯視和側(cè)視圖像序列識別豬的行為得到的準(zhǔn)確率高于單獨使用單一視角的圖像序列,說明利用俯視和側(cè)視視角圖像比單一視角能得到更多的行為識別信息,而且本文提出的識別方法能充分利用融合后的信息,從而更準(zhǔn)確地識別豬的行為.

此外,本文還復(fù)現(xiàn)了其他基于機(jī)器視覺的方法,并使用本文標(biāo)定的數(shù)據(jù)集根據(jù)五折法測試這些方法的準(zhǔn)確率,和本文提出方法作比較.

由表2 可知,本文在檢測識別各行為活動時,準(zhǔn)確率均高于或大致等于現(xiàn)有的檢測方法.說明基于卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)算法,在檢測識別圖像序列中豬的行為活動方面具有顯著優(yōu)勢,可適用性更廣,更適合應(yīng)用于在自然場景下實時監(jiān)測識別豬的行為活動.

表2 豬行為活動識別結(jié)果(單位:%)

4 結(jié)論和展望

本文提出了一種基于機(jī)器視覺技術(shù)的無接觸識別豬行為活動的系統(tǒng),利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像的深度特征,再使用特征融合方法融合行為序列圖像的深度特征,最后根據(jù)融合的深度特征識別圖像序列中豬的行為活動.相對于現(xiàn)有基于人工設(shè)定特征的行為識別方法,本文提出的方法能自適應(yīng)地提取行為特征,適用范圍更廣,對自然場景中豬的行為識別準(zhǔn)確率更高.但是本文只使用了CCD 相機(jī)采集視頻圖像信息,采集信息的方式較為單一,為了更準(zhǔn)確地識別豬行為活動,可以優(yōu)化為使用多傳感器系統(tǒng)采集不同種類的信息,比如紅外相機(jī)、壓力傳感裝置和虹膜采集裝置等,這些問題仍待進(jìn)一步研究.