何東健　孟凡昌　趙凱旋　張　昭

(西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院， 陜西楊凌 712100)

?

基于視頻分析的犢?；拘袨樽R(shí)別

何東健孟凡昌趙凱旋張昭

(西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院， 陜西楊凌 712100)

針對(duì)接觸式獲取動(dòng)物行為信息的局限性，研究并提出基于視頻分析的犢?；拘袨樽R(shí)別方法。首先對(duì)目標(biāo)檢測(cè)方法進(jìn)行改進(jìn)，提出基于最大連通區(qū)域的目標(biāo)循環(huán)搜索環(huán)境建模、目標(biāo)檢測(cè)算法，以高效提取復(fù)雜自然環(huán)境下的犢牛目標(biāo)；在提取犢牛的質(zhì)心、輪廓等時(shí)序特征的基礎(chǔ)上，采用基于結(jié)構(gòu)相似的犢牛行為序列快速聚類算法，對(duì)犢?；拘袨檫M(jìn)行識(shí)別。試驗(yàn)結(jié)果表明，環(huán)境建模、目標(biāo)檢測(cè)算法目標(biāo)正負(fù)樣本檢測(cè)正確率分別達(dá)90.94%和98.98%，比背景相減法分別提高4.59和8.32個(gè)百分點(diǎn)；犢牛躺、站、走和跑跳的正確識(shí)別率分別為100%、96.17%、95.85%和97.26%，能快速對(duì)犢?；拘袨檫M(jìn)行準(zhǔn)確分類,為大型動(dòng)物高級(jí)行為識(shí)別及理解奠定了基礎(chǔ)。

犢牛； 行為識(shí)別； 視頻分析； 結(jié)構(gòu)相似； 行為序列

引言

隨著人們生活水平的提高，不僅乳制品的需求日益增長(zhǎng)，對(duì)品質(zhì)的要求也越來(lái)越高，奶牛的飼養(yǎng)模式及健康狀況也變得至關(guān)重要[1]。然而,養(yǎng)殖實(shí)踐證明，死亡奶牛的50%～60%發(fā)生于犢牛階段，特別是新生犢牛[2]。犢牛作為牛場(chǎng)的后備力量，其飼養(yǎng)管理的優(yōu)劣，不但直接影響奶牛養(yǎng)殖場(chǎng)的整體經(jīng)濟(jì)效益，而且關(guān)系到奶牛場(chǎng)未來(lái)的發(fā)展。

奶牛的行為是體內(nèi)生理活動(dòng)的綜合反映，因此若能檢測(cè)出動(dòng)物的行為，便可據(jù)此對(duì)奶牛生長(zhǎng)狀況進(jìn)行診斷，行為檢測(cè)是奶牛精準(zhǔn)養(yǎng)殖的重要工作之一。然而傳統(tǒng)的人工肉眼觀測(cè)方法存在人工成本高、工作強(qiáng)度大、易疲勞、實(shí)時(shí)性差等問(wèn)題。國(guó)內(nèi)外學(xué)者致力于研究自動(dòng)化檢測(cè)動(dòng)物行為的方法[3-7]。

但這些方法會(huì)損害動(dòng)物福利，且佩戴在動(dòng)物身上的傳感器易受晃動(dòng)、碰撞等因素產(chǎn)生噪聲數(shù)據(jù)，影響動(dòng)物行為檢測(cè)的準(zhǔn)確性。為解決上述問(wèn)題，研究者開(kāi)展了計(jì)算機(jī)視覺(jué)技術(shù)檢測(cè)動(dòng)物行為的研究[8-15]，以及對(duì)動(dòng)物進(jìn)行個(gè)體識(shí)別和追蹤的研究[16-17]。

雖然在奶牛發(fā)情或躺臥行為檢測(cè)上取得了一定成果，但這些研究主要針對(duì)某類行為的檢測(cè)。此外，犢牛行為比母牛更加靈活，其行為檢測(cè)相對(duì)困難。本文針對(duì)養(yǎng)殖環(huán)境，建立背景更新模型，并提出基于最大連通區(qū)域搜索的快速目標(biāo)檢測(cè)算法，最后采用基于結(jié)構(gòu)相似度的行為序列快速聚類算法，以實(shí)現(xiàn)對(duì)犢牛躺臥、站立、行走和跑跳等基本行為的識(shí)別。

1　試驗(yàn)材料

1.1供試視頻

試驗(yàn)視頻在陜西楊凌科元克隆股份有限公司的規(guī)模奶牛養(yǎng)殖場(chǎng)采集，拍攝對(duì)象為2個(gè)月內(nèi)的新生美國(guó)荷斯坦?fàn)倥?，犢牛單?dú)飼養(yǎng)于2 m×4 m矩形柵狀圍欄內(nèi)。DS-2CD4012型攝像機(jī)(?？低暪旧a(chǎn))的傳感器正對(duì)于矩形柵欄的長(zhǎng)邊，水平高度保持在柵欄高度的一半位置，確保視野可以采集到犢牛的大范圍側(cè)視活動(dòng)區(qū)域。

供試視頻于2013年7月每天07：00至18：00在自然光照條件采集，共采集柵欄側(cè)面犢牛躺臥、站立、行走、跑跳等視頻片段520段，每段視頻長(zhǎng)約16 min，剔除犢牛臥于牛棚內(nèi)、下雨天、跑出柵欄等無(wú)效片段，篩選出有效視頻片段162段。采集視頻以PAL制式保存在攝像機(jī)內(nèi)，幀率、碼率為25幀/s、2 000 kb/s，分辨率為704像素(水平)×576像素(垂直)。在有效視頻片段中，通過(guò)人工觀察方式截取各行為類別片段15個(gè)作為后續(xù)特征篩選的測(cè)試視頻(圖1)。

圖1　犢牛牛欄及其基本行為分類圖Fig.1　Pictures of calf stall and basic behaviors

1.2試驗(yàn)環(huán)境

后續(xù)視頻處理平臺(tái)處理器為Intel(R) Core(TM) i5-2400，主頻3.1 GHz，內(nèi)存4 GB，硬盤500 GB，Windows7-64位操作系統(tǒng)，算法開(kāi)發(fā)平臺(tái)為Matlab 2011b。

2　犢牛目標(biāo)檢測(cè)與特征提取

2.1犢牛目標(biāo)檢測(cè)與背景建模

背景建模與目標(biāo)檢測(cè)是犢牛行為識(shí)別的基礎(chǔ)。常用幀差法[18-19]、背景相減法[20-21]、光流法[22-23]及一些改進(jìn)算法[24-26]。ZHAO等[18]提出一種基于幀差法并調(diào)整RGB通道系數(shù)的奶牛移動(dòng)目標(biāo)檢測(cè)算法，檢測(cè)正確率比背景相減法提高了25.49個(gè)百分點(diǎn)，但該算法受限于全身移動(dòng)目標(biāo)，由于犢?；顒?dòng)區(qū)域和運(yùn)動(dòng)幅度小，因此該算法不適于犢牛目標(biāo)檢測(cè)，針對(duì)這一問(wèn)題，本文首先提取最大連通區(qū)域，再逐步循環(huán)搜索出整體目標(biāo)，進(jìn)而更新背景模型，實(shí)現(xiàn)犢牛目標(biāo)的快速準(zhǔn)確檢測(cè)，具體流程如圖2所示，算法步驟如下：

(1)背景初始化，讀入視頻幀、中值濾波預(yù)處理，背景差分運(yùn)算。

(2)對(duì)差分圖像進(jìn)行Gamma變換，其計(jì)算式為

y=(x+eesp)γ

(1)

式中x、y——輸入、輸出視頻幀，x、y取值范圍分別設(shè)為[0.1,1.0]和[0,1.0]

eesp——補(bǔ)償系數(shù)γ——伽馬系數(shù)

經(jīng)預(yù)備試驗(yàn)，參數(shù)γ取值為0.3，eesp取值為0。

圖像分割算法采用OTSU最大類間方差法[27]，鑒于牛欄遮擋及牛體輪廓，選取半徑為4像素的“disk”結(jié)構(gòu)元素進(jìn)行開(kāi)閉運(yùn)算，并對(duì)連通區(qū)域內(nèi)部小于3 500像素的孔洞進(jìn)行填充。

圖2　犢牛目標(biāo)檢測(cè)流程圖Fig.2　Flow chart of calf detection

(3)對(duì)圖像統(tǒng)計(jì)分析，提取連通分量，并尋找最大連通區(qū)域，當(dāng)最大連通區(qū)域的面積和質(zhì)心特征滿足式(2)則進(jìn)入步驟(4)，否則直接進(jìn)入步驟(5)。

(2)

式中Ω——最大連通區(qū)域面積

Θ——目標(biāo)面積閾值

α、β——最大連通區(qū)質(zhì)心坐標(biāo)

HVer、LVer——質(zhì)心豎直方向上、下限

LHor、RHor——質(zhì)心水平方向左、右限

根據(jù)實(shí)際試驗(yàn)環(huán)境設(shè)定參數(shù)值為：Θ=2 000，LVer=50，HVer=250，LHor=30，RHor=600。

(4)根據(jù)提取的最大連通區(qū)域，邊界重疊區(qū)搜索條件為

(3)

邊界外部區(qū)搜索條件為

(4)

式中T——搜索連通區(qū)面積閾值

Aj——搜索的第j個(gè)連通區(qū)的邊界

LBoundary——當(dāng)前目標(biāo)區(qū)域左邊界

RBoundary——當(dāng)前目標(biāo)區(qū)域右邊界

TBoundary——當(dāng)前目標(biāo)區(qū)域上邊界

DBoundary——當(dāng)前目標(biāo)區(qū)域下邊界

LAj、RAj、TAj、DAj——左、右、上、下邊界

DDist——Aj與當(dāng)前目標(biāo)邊界有效距離

從而搜索出犢牛整體目標(biāo)。

圖3為循環(huán)搜索示意圖，帶白色圓點(diǎn)的連通區(qū)為最大連通區(qū)域，藍(lán)色實(shí)線為連通域外接矩形，粉色虛線為邊界重疊區(qū)循環(huán)搜索后的新邊界；綠色點(diǎn)劃線為邊界外部循環(huán)搜索后得到的最終整體目標(biāo)外接矩。

圖3　邊界循環(huán)搜索示意圖Fig.3　Diagram of searching boundary regions

(5)用圖4更新模型對(duì)背景進(jìn)行實(shí)時(shí)更新。根據(jù)前述步驟檢測(cè)出如圖4b的目標(biāo)區(qū)域，提取出犢牛的目標(biāo)區(qū)域以外的部分(如圖4c)作為新的背景幀的一部分，從圖4d所示的背景集中計(jì)算出當(dāng)前背景均值如圖4e,將其中目標(biāo)對(duì)應(yīng)部分背景數(shù)據(jù)進(jìn)行剪裁得圖4f，圖4c與圖4f進(jìn)行組合得到圖4g所示的最新背景模型，最后將該模型加入到圖4d所示的背景集中，并更新背景集。該算法不僅計(jì)算量小，且抗干擾性強(qiáng)，適于實(shí)時(shí)視頻檢測(cè)。

圖4　背景更新模型示意圖Fig.4　Model of background updating

2.2犢牛目標(biāo)的特征提取

特征提取對(duì)犢牛后續(xù)基本行為的識(shí)別起著至關(guān)重要的作用。在站立、行走、跑、跳躍等基本行為中，質(zhì)心可有效反映犢牛的大體位置及運(yùn)動(dòng)軌跡，質(zhì)心方差表征了犢牛的運(yùn)動(dòng)強(qiáng)度，輪廓特征反映了犢牛身體姿態(tài)變化，故提取質(zhì)心(XCen，YCen)、寬(W)、高(H)3個(gè)基本特征，在此基礎(chǔ)上計(jì)算出質(zhì)心軌跡方差特征(XVar，YVar)、輪廓寬高比(RWH)。

為比較特征在不同類別的行為序列中的分布情況，從各類行為視頻片段中選擇序列各15段。計(jì)算各視頻片段中每幀圖像的特征值。為使特征曲線具有可比性，以最短視頻的幀數(shù)為閾值，對(duì)特征曲線進(jìn)行截取，使其長(zhǎng)度相等。對(duì)同一行為的15段特征曲線進(jìn)行均值化，然后取每3幀的中值繪制特征值變化曲線。RWH為輪廓寬高比，為了突出輪廓寬高比例關(guān)系，當(dāng)寬大于高時(shí)，RWH為正，當(dāng)寬小于高時(shí)，RWH取為負(fù)值，且數(shù)值為高除以寬。如圖5所示，XCen、YCen、RWH、XVar和YVar在不同的行為間具有不同的分布特性，因此這些特征具有識(shí)別犢牛行為的潛力。

圖5　特征試驗(yàn)結(jié)果Fig.5　Experiment results of characteristics

3　基本行為的快速識(shí)別方法

借鑒袁冠等[28]基于結(jié)構(gòu)相似度(Structural similarity, SSIM)進(jìn)行軌跡聚類的思想，本文計(jì)算犢牛行為序列的結(jié)構(gòu)相似度以快速識(shí)別犢牛基本行為。

3.1行為序列結(jié)構(gòu)及相似度計(jì)算公式

序列劃分決定了行為子序列結(jié)構(gòu)相似度匹配的準(zhǔn)確程度，由圖5知，特征YCen、XCen的變化最大程度地反映了行為狀態(tài)的變化，故以向量YVar、XVar作為動(dòng)態(tài)劃分犢牛行為序列的臨界向量。

行為序列結(jié)構(gòu)是行為特征內(nèi)部屬性的集合，在進(jìn)行行為序列分析時(shí)，充分考慮這些特征可增強(qiáng)準(zhǔn)確度和分類效果，本文以上述5個(gè)特征作為犢牛行為序列結(jié)構(gòu)。

SSIM體現(xiàn)了序列在結(jié)構(gòu)上的相似度，因此SSIM越大，即距離越小表示序列越相似，反之則不相似。其計(jì)算式為

SDIST(SJ,SK)=WCCenterDist+

WRRatioDist+WVVarDist

(5)

SSIM(SJ，SK)=1-Normalized(SDIST(SJ，SK))

(6)

CenterDist(SJ,SK)=

(7)

RatioDist(SJ,SK)=

(Rmax(SJ,SK)+Ravg(SJ,SK)+Rmin(SJ,SK))/3

(8)

VarDist(SJ,SK)=|Ravg(SJ)-Ravg(SK)|

(9)

其中

Rmax(SJ,SK)=|Rmax(SJ)-Rmax(SK)|

式中SDIST(SJ,SK)——序列間的結(jié)構(gòu)距離，為各特征比較結(jié)果的加權(quán)值

CenterDist(SJ，SK)——位置比較函數(shù)

RatioDist(SJ，SK)——寬高比比較函數(shù)

VarDist(SJ，SK)——質(zhì)心軌跡方差比較函數(shù)

SSIM(SJ,SK)——結(jié)構(gòu)相似度

SJ、SK——行為特征子序列

WC、WR、WV——3個(gè)特征的權(quán)重因子，其和為1，通過(guò)權(quán)重可調(diào)整犢牛行為序列結(jié)構(gòu)特征的敏感程度

Cxavg(SJ,SK)——序列SJ、SK質(zhì)心水平方向坐標(biāo)均值之差

Cyavg(SJ,SK)——序列SJ、SK質(zhì)心豎直方向坐標(biāo)均值之差

ωx、ωy——水平和垂直方向的權(quán)重系數(shù)

Rmax(SJ,SK)——反映序列間最大寬高比的差異

Ravg(SJ,SK)、Rmin(SJ,SK)——反映序列間平均、最小寬高比的差異

Normalized(·)——?dú)w一化函數(shù)

3.2犢牛基本行為的快速識(shí)別

基于結(jié)構(gòu)相似度的犢牛行為序列快速聚類算法識(shí)別犢牛行為主要分為4步：①用臨界向量值對(duì)犢牛行為視頻進(jìn)行動(dòng)態(tài)劃分。②確定行為特征子序列的結(jié)構(gòu)。③根據(jù)結(jié)構(gòu)相似度比較不同的子序列，采用基于密度的動(dòng)態(tài)閾值實(shí)現(xiàn)行為序列的快速聚類[28]。④以測(cè)試視頻幀前連續(xù)20幀作為犢牛當(dāng)前行為狀態(tài)的行為序列，構(gòu)建序列結(jié)構(gòu)，計(jì)算出該序列與各聚類中心的結(jié)構(gòu)相似度，SSIM最大值所在的行為類即為犢牛的基本行為，從而實(shí)現(xiàn)對(duì)犢?；拘袨榈淖R(shí)別。

4　試驗(yàn)與結(jié)果分析

4.1目標(biāo)檢測(cè)試驗(yàn)結(jié)果與分析

截取包含躺、站、走、跑、跳行為序列的視頻片段各15段，共計(jì)75段(62 250幀)，分別采用幀差分法、混合高斯模型(GMM)、傳統(tǒng)背景相減法和本文算法進(jìn)行試驗(yàn)，每種行為類別的4種算法試驗(yàn)結(jié)果各選取一幀如圖6所示，由上至下依次為躺、站、行走、跑和跳，圖6a為視頻幀灰度圖像；圖6b為人工標(biāo)記的理想結(jié)果；由圖6c、6d可知，三幀差分法和混合高斯模型(GMM)雖然抗噪性強(qiáng)，但檢測(cè)效果依賴于目標(biāo)的運(yùn)動(dòng)狀態(tài)，當(dāng)目標(biāo)由靜止?fàn)顟B(tài)轉(zhuǎn)為運(yùn)動(dòng)時(shí)，GMM算法反而增加了噪聲；由圖6e可知，背景減除法檢測(cè)出更多目標(biāo)的同時(shí)，噪聲也隨之增多。由圖6f可知，本文算法可以檢測(cè)出各類行為狀態(tài)的大部分目標(biāo)區(qū)域。

圖6　不同方法目標(biāo)檢測(cè)結(jié)果Fig.6　Result of object detection using different methods

表1給出了像素級(jí)分析結(jié)果，TP與FP表示將正樣本判斷正確與錯(cuò)誤的比例，TN與FN表示將負(fù)樣本判斷正確與錯(cuò)誤的比例。三幀差分法雖然抗噪聲干擾強(qiáng)，但平均TP為10.77%，無(wú)法檢測(cè)靜態(tài)及動(dòng)作緩慢的目標(biāo)；混合高斯模型(GMM)雖然目標(biāo)檢測(cè)率有所提升，TP為32.92%，但仍然無(wú)法檢測(cè)動(dòng)作幅度小的目標(biāo)；傳統(tǒng)的背景減除法TP達(dá)到86.35%，能檢測(cè)出大部分目標(biāo)區(qū)域，但由于適應(yīng)性差，噪聲也隨之增多，且FP達(dá)到9.34%，導(dǎo)致分割難度加大；本文算法平均TP為90.94%，可以檢測(cè)出大部分目標(biāo)區(qū)域，適用于犢牛各類行為的目標(biāo)檢測(cè)，且FP為1.02%，具有較高的自適應(yīng)性。

表1　定量分析結(jié)果Tab.1　Results of quantitative analysis　%

4.2犢牛行為識(shí)別試驗(yàn)

對(duì)122段犢牛視頻用特征空間快速聚類進(jìn)行基本行為識(shí)別試驗(yàn)，結(jié)果如圖7所示。

圖7　犢牛行為聚類結(jié)果Fig.7　Result of clustering of calf behaviors

為檢驗(yàn)本文方法識(shí)別犢牛基本行為的正確率，選取60個(gè)視頻片段以正常速度播放，人工觀測(cè)犢牛行為，并對(duì)犢牛不同行為類別對(duì)應(yīng)的視頻幀進(jìn)行人工標(biāo)記。識(shí)別正確率如表2所示。

表2中行表示人工標(biāo)記的行為類別，列表示被識(shí)別為該類別的百分比。由表2可知，躺臥行為與其它行為差異明顯，故可以100%識(shí)別，行走識(shí)別率最低為95.85%，平均正確識(shí)別率為97.32%。導(dǎo)致站立與行走、行走與跑跳之間誤識(shí)別的原因是由于犢牛行為的連貫性，其界限并不完全明顯，如犢牛的轉(zhuǎn)身、肢體小幅度移動(dòng)等被識(shí)別為行走，犢牛慢跑與行走過(guò)渡的序列容易導(dǎo)致結(jié)果有微小偏差。

表2　犢?；拘袨樽R(shí)別結(jié)果Tab.2　Result of calf behaviors recognition　%

5　結(jié)論

(1)針對(duì)犢牛養(yǎng)殖環(huán)境，提出一種基于最大連通區(qū)域目標(biāo)循環(huán)搜索的背景建模、目標(biāo)檢測(cè)算法，該算法目標(biāo)正負(fù)樣本檢測(cè)正確率達(dá)90.94%和98.98%，比背景減除法分別提高4.59和8.32個(gè)百分點(diǎn)，且計(jì)算量小、抗干擾強(qiáng)，適于犢牛各類行為的檢測(cè)。

(2)采用基于相似結(jié)構(gòu)的犢牛行為序列快速聚類算法，可綜合內(nèi)部與整體特征對(duì)犢牛行為進(jìn)行分類、識(shí)別，識(shí)別準(zhǔn)確率平均達(dá)97.32%。

(3)本文目標(biāo)檢測(cè)以最大連通區(qū)域的外接矩形進(jìn)行循環(huán)搜索，矩形內(nèi)部未去除的噪聲會(huì)影響搜索效率。

1李曉香, 楊改青, 王林楓, 等. 不同飼養(yǎng)模式對(duì)奶牛健康狀況和牛奶品質(zhì)的影響[J]. 中國(guó)奶牛, 2013(17):34-38.

LI Xiaoxiang, YANG Gaiqing, WANG Linfeng,et al. Effect of different feeding forms on milk performance and healthy status in dairy cows[J]. Feed & Feeding, 2013(17):34-38. (in Chinese)

2趙學(xué)文. 新生犢牛常發(fā)病的防控措施[J]. 山東畜牧獸醫(yī), 2014(2):52-53.

3閆麗, 沈明霞, 謝秋菊, 等. 哺乳母豬高危動(dòng)作識(shí)別方法研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2016,47(1):266-272.

YAN Li, SHEN Mingxia, XIE Qiuju, et al.Research on recognition method of lactating sows’ dangerous body movement[J].Transactions of the Chinese Society for Agricultural Machinery, 2016,47(1):266-272. (in Chinese)

4劉龍申, 沈明霞, 姚文, 等. 基于加速度傳感器的母豬產(chǎn)前行為特征采集與分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2013,44(3):192-196.

LIU Longshen, SHEN Mingxia, YAO Wen, et al. Acquisition and analysis of sows’behavior before farrowing based on acceleration sensor[J].Transactions of the Chinese Society for Agricultural Machinery,2013,44(3):192-196,191. (in Chinese)

5CORNOU C, LUNDBYE-Christensen S, KRISTENSEN A R. Modelling and monitoring sows’ activity types in farrowing house using acceleration data[J]. Computers and Electronics in Agriculture, 2011,76(2):316-324.

6田富洋, 王冉冉, 劉莫塵, 等. 基于神經(jīng)網(wǎng)絡(luò)的奶牛發(fā)情行為辨識(shí)與預(yù)測(cè)研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2013,44(增刊):277-281.

TIAN Fuyang,WANG Ranran,LIU Mochen, et al. Oestrus detection and prediction in dairy cows based on neural networks[J].Transactions of the Chinese Society for Agricultural Machinery,2013,44(Supp.):277-281. (in Chinese)

7尹令, 洪添勝, 劉漢興, 等. 結(jié)構(gòu)相似子序列快速聚類算法及其在奶牛發(fā)情檢測(cè)中的應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2012,28(15):107-112.

YIN Ling, HONG Tiansheng, LIU Hanxing, et al. Subsequence clustering algorithm based on structural similarity and its application in cow estrus detection[J].Transactions of the CSAE,2012,28(15):107-112. (in Chinese)

8TSAI D, HUANG C. A motion and image analysis method for automatic detection of estrus and mating behavior in cattle[J]. Computers and Electronics in Agriculture, 2014,104:25-31.

9溫長(zhǎng)吉, 王生生, 趙昕, 等. 基于視覺(jué)詞典法的母牛產(chǎn)前行為識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2014,45(1):266-274.

WEN Changji,WANG Shengsheng,ZHAO Xin, et al. Visual dictionary for cows sow behavior recognition[J].Transactions of the Chinese Society for Agricultural Machinery,2014,45(1):266-274. (in Chinese)

10PORTO S M C, ARCIDIACONO C, ANGUZZA U, et al. A computer vision-based system for the automatic detection of lying behaviour of dairy cows in free-stall barns[J]. Biosystems Engineering, 2013,115(2):184-194.

11VIAZZI S, BAHR C, VAN HERTEM T, et al. Comparison of a three-dimensional and two-dimensional camera system for automated measurement of back posture in dairy cows[J]. Computers and Electronics in Agriculture, 2014,100:139-147.

12趙凱旋, 何東健, 王恩澤. 基于視頻分析的奶牛呼吸頻率與異常檢測(cè)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2014,45(10):258-263.

ZHAO Kaixuan,HE Dongjian,WANG Enze.Detection of breathing rate and abnormity of dairy cattle based on video analysis[J].Transactions of the Chinese Society for Agricultural Machinery,2014,45(10):258-263. (in Chinese)

13紀(jì)濱, 朱偉興, 劉波, 等. 基于脊腹線波動(dòng)的豬呼吸急促癥狀視頻分析[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2011,27(1):191-195.

JI Bin, ZHU Weixing, LIU Bo, et al. Video analysis for tachypnea of pigs based on fluctuating ridge-abdomen[J].Transactions of the CSAE,2011,27(1):191-195. (in Chinese)

14劉龍申, 沈明霞, 柏廣宇, 等. 基于機(jī)器視覺(jué)的母豬分娩檢測(cè)方法研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2014,45(3):237-242.

LIU Longshen, SHEN Mingxia, BO Guangyu, et al. Sows parturition detection method based on machine vision[J].Transactions of the Chinese Society for Agricultural Machinery,2014,45(3):237-242. (in Chinese)

15何東健，劉冬，趙凱旋.精準(zhǔn)畜牧業(yè)中動(dòng)物信息智能感知與行為檢測(cè)研究進(jìn)展[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016,47(5):231-244.

He Dongjian,Liu Dong,Zhao Kaixuan. Review of perceiving animal information and behavior in precision livestock farming[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016,47(5):231-244. (in Chinese)

16趙凱旋, 何東健. 基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個(gè)體身份識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2015,31(5):181-187.

ZHAO Kaixuan, HE Dongjian. Recognition of individual dairy cattle based on convolutional neural networks[J].Transactions of the CSAE,2015,31(5):181-187. (in Chinese)

17DUAN Yuyao, MA Li， LIU Gang. Remote monitoring system of pig motion behavior and piggery environment based on Internet of Things[J].Transactions of the CSAE,2015,31(Supp.2):216-221.

18ZHAO K X, HE D J. Target detection method for moving cows based on background subtraction[J]. International Journal of Agricultural and Biological Engineering, 2015,8(1):42-49.

19ZHANG L P, SHAO Z K, WU J D, et al. A moving object detection method based on improved three-frame difference algorithm and edge information[M]∥International Conference on Advances in Mechanical Engineering and Industrial Informatics, 2015:279-284.

20YIN X Q, WANG B, LI W L, et al. Background subtraction for moving cameras based on trajectory-controlled segmentation and label inference[J]. Ksii Transactions on Internet and Information Systems, 2015,9(10):4092-4107.

21CHENG F C, CHEN B H, HUANG S C. A hybrid background subtraction method with background and foreground candidates detection[J]. Acm Transactions on Intelligent Systems and Technology, 2015,7(1):doi>10.1145/2746409.

22TSAI D M, CHIU W Y, LEE M H. Optical flow-motion history image (OF-MHI) for action recognition[J]. Signal Image and Video Processing, 2015,9(8):1897-1906.

23CHOI I H, PAK J M, AHN C K, et al. Arbitration algorithm of FIR filter and optical flow based on ANFIS for visual object tracking[J]. Measurement, 2015,75:338-353.

24孫天宇, 孫煒, 薛敏. OPTICS聚類與目標(biāo)區(qū)域概率模型的多運(yùn)動(dòng)目標(biāo)跟蹤[J]. 中國(guó)圖象圖形學(xué)報(bào), 2015, 20(11):1492-1499.

SUN Tianyu,SUN Wei,XUE Min. Tracking multiple moving objects based on OPTICS and object probability model[J]. Journal of Image and Graphics, 2015, 20(11):1492-1499. (in Chinese)

25CONTILLO A, DI DOMENICO G, CARDARELLI P, et al. A novel approach to background subtraction in contrast-enhanced dual-energy digital mammography with commercially available mammography devices: polychromaticity correction[J]. Medical Physics, 2015,42(11):6641-6650.

26黃應(yīng)清, 趙哲, 閆興鵬, 等. 改進(jìn)幀差與分水嶺算法融合的運(yùn)動(dòng)目標(biāo)檢測(cè)法[J]. 激光與紅外, 2014, 44(12):1369-1373.

HUANG Yingqing, ZHAO Zhe,YAN Xingpeng, et al. Moving target detection based on improved frame difference and watershed algorithm[J]. Laser & Infrared, 2014, 44(12):1369-1373. (in Chinese)

27何東健. 數(shù)字圖像處理(第三版)[M]. 西安: 西安電子科技大學(xué)出版社, 2015.

28袁冠, 夏士雄, 張磊, 等. 基于結(jié)構(gòu)相似度的軌跡聚類算法[J]. 通信學(xué)報(bào), 2011, 32(9):103-110.

YUAN Guan, XIA Shixiong, ZHANG Lei, et al. Trajectory clustering algorithm based on structural similarity[J].Journal on Communications, 2011, 32(9):103-110. (in Chinese)

Recognition of Calf Basic Behaviors Based on Video Analysis

He DongjianMeng FanchangZhao KaixuanZhang Zhao

(CollegeofMechanicalandElectronicEngineering,NorthwestA&FUniversity,Yangling,Shaanxi712100,China)

Daily behaviors are the important indicators of health status for calves. The suitability of using behavioural changes to provide an early indication of calf’s disease was studied. The possibility of achieving a real-time analysis of a number of specific changes in behaviours, such as lying, standing, walking, running, and jumping, is crucial for disease prevention. Considering the limitation for sensing animal behavior by contacting device and in order to improve the welfare of calves, a method based on video analysis was studied and applied to recognize calf basic behaviors. Firstly, a looping algorithm based on maximum connected region was proposed for fast detection of calf target under complex environment. Secondly, a real-time model was built to renew the background and detect the calf’s target quickly and accurately. Thirdly, the position of the centroid, the ratio of the height and width of the target outline, and differences of the centroid moving curve were extracted as the features of behaviors. These features could be the characterizations of the internal properties of behaviors constituted the sequence structure of calf behaviors. Finally, a classifier based on structure similarity of behavior features was designed to recognize basic behaviors of the calf. By testing 162 videos, the results demonstrated that the recognition rate of lying, standing, walking and run-jump were 100%, 96.17%, 95.85% and 97.26%, respectively. On the basis of these research outcomes, the proposed method is feasible for computing calf behavioural indices and the real-time detection of behavioural changes, and also lays a foundation for recognizing and understanding senior behaviors of large animal.

calf; behavior recognition; video analysis； structure similarity; behavior sequence

10.6041/j.issn.1000-1298.2016.09.040

2016-03-18

2016-04-18

國(guó)家自然科學(xué)基金面上項(xiàng)目(61473235)

何東健(1957—)，男，教授，主要從事生物圖像分析與識(shí)別、智能化檢測(cè)與控制研究，E-mail： hdj168@nwsuaf.edu.cn

TP391.41; S823.9+1

A

1000-1298(2016)09-0294-07