劉怡然,馬亞州,張 勇,張宏嬌
(山西農(nóng)業(yè)大學(xué) 信息科學(xué)與工程學(xué)院,山西 太谷 030801)
中國(guó)是世界上第一大豬肉生產(chǎn)國(guó)和消費(fèi)國(guó),豬肉是人們?nèi)粘o嬍持惺走x肉類膳食,其市場(chǎng)供應(yīng)量和產(chǎn)品質(zhì)量與人民的健康生活密切相關(guān),生豬養(yǎng)殖在我國(guó)畜牧業(yè)中占據(jù)著舉足輕重的地位。母豬的生產(chǎn)管理是生豬養(yǎng)殖環(huán)節(jié)中重要一環(huán),其健康不僅關(guān)系到自身繁殖率和生產(chǎn)力,還關(guān)系到仔豬的出生和健康。然而,母豬能否正常繁殖的前提在于母豬發(fā)情是否正常,因此,在一定的時(shí)間范圍內(nèi)正確地鑒別與判斷母豬發(fā)情狀態(tài)是提高母豬生產(chǎn)率的技術(shù)關(guān)鍵。
在我國(guó)規(guī)?;⒓s化生豬養(yǎng)殖場(chǎng)中,一般都采用限位欄飼養(yǎng)模式,對(duì)母豬的健康及發(fā)情狀態(tài)信息的監(jiān)控與采集主要依靠飼養(yǎng)員的連續(xù)觀察,人力負(fù)擔(dān)繁重,主觀性強(qiáng)且精度較低。近年來(lái),研究人員將關(guān)注點(diǎn)放到了母豬的行為及健康狀態(tài)上,大部分是針對(duì)母豬運(yùn)動(dòng)、分娩、母性行為等角度展開,監(jiān)測(cè)方法也由人力朝電子測(cè)量、視頻監(jiān)測(cè)和聲音監(jiān)測(cè)等方向發(fā)展[1]。
本團(tuán)隊(duì)借助機(jī)器視覺的技術(shù)原理,分析養(yǎng)殖場(chǎng)的視頻監(jiān)控文件,自動(dòng)識(shí)別動(dòng)物行為,并統(tǒng)計(jì)表現(xiàn)各種行為的次數(shù),利用數(shù)字圖像處理技術(shù)對(duì)豬姿態(tài)、輪廓數(shù)據(jù)加以計(jì)算,輔以運(yùn)動(dòng)的行為參數(shù),判定豬形體姿態(tài)和行為趨勢(shì)。應(yīng)用計(jì)算機(jī)視覺技術(shù)對(duì)牲畜進(jìn)行監(jiān)測(cè),具有非接觸性的優(yōu)勢(shì),不易造成牲畜應(yīng)激反應(yīng),檢測(cè)結(jié)果更為客觀,且減少了人力勞動(dòng)成本,因此,在養(yǎng)殖場(chǎng)內(nèi)部利用計(jì)算機(jī)視覺技術(shù)代替人工來(lái)監(jiān)測(cè)牲畜行為是未來(lái)養(yǎng)殖業(yè)的發(fā)展趨勢(shì)。
本試驗(yàn)所用的視頻數(shù)據(jù)來(lái)自于2020年7月山西太原五豐養(yǎng)殖種植育種有限公司養(yǎng)殖場(chǎng)采集,分析豬場(chǎng)實(shí)際環(huán)境狀況與攝像的頭安裝位置與角度對(duì)母豬目標(biāo)檢測(cè)有較好的效果,并布置實(shí)地視頻采集系統(tǒng)[2],由于環(huán)境復(fù)雜,為了方便安裝,選用了TP-LINK1080P的云臺(tái)無(wú)線監(jiān)控?cái)z像頭,型號(hào)為TP-IPC42A,采用的物理網(wǎng)絡(luò)連接使用了路由器和無(wú)線設(shè)備,網(wǎng)絡(luò)訪問(wèn)鏈路的建立采用端口映射以及路由器轉(zhuǎn)發(fā)。
首先,將豬身從背景中分離出來(lái),選定適用于固定攝像頭的背景減去法作為試驗(yàn)的運(yùn)動(dòng)目標(biāo)檢測(cè)方法[3]。其次,建立運(yùn)動(dòng)模型,對(duì)分幀后的圖片做閾值分割和數(shù)學(xué)形態(tài)學(xué)處理。再次,將數(shù)學(xué)思想中的差分概念運(yùn)用到母豬運(yùn)動(dòng)規(guī)律變化分析中,通過(guò)判斷相鄰兩秒內(nèi)位移差的乘值是否小于零,來(lái)表示母豬在這一秒內(nèi)是否是持續(xù)加速或者是持續(xù)減速。
為給后續(xù)獲取特征做準(zhǔn)備,在運(yùn)動(dòng)目標(biāo)檢測(cè)的基礎(chǔ)上對(duì)圖像進(jìn)行一系列預(yù)處理操作,從而得到更為理想的前景。圖像預(yù)處理一般的操作通常包含像素亮度變換、圖像分割[4]、降噪以及數(shù)學(xué)形態(tài)學(xué)運(yùn)算等處理方法。本試驗(yàn)中對(duì)豬只圖像的預(yù)處理操作流程如圖1所示。
圖1 豬只圖像預(yù)處理流程
上述步驟中的關(guān)鍵是采用最大類間方差法(OTSU)對(duì)所有采集的視頻數(shù)據(jù)進(jìn)行閾值處理,核心是找最優(yōu)閾值、最大化方差結(jié)果。最佳測(cè)度基于直接由直方圖得到最優(yōu)閾值,從而區(qū)分出圖像的前景和背景。OTSU閾值操作后,對(duì)效果圖進(jìn)一步進(jìn)行去除孤立噪聲點(diǎn)和濾波操作,以得到較好的前景效果。
對(duì)30幀每秒的連續(xù)俯視視頻數(shù)據(jù)進(jìn)行一系列處理,測(cè)試視頻數(shù)據(jù)圖像預(yù)處理結(jié)果如圖2所示,可看出,圖像預(yù)處理后提取到了較理想的前景目標(biāo)[5]。
圖2 預(yù)處理效果
由于豬只具有形體特征以及非剛性特征,采用橢圓擬合[6]較合適。通過(guò)擬合得到豬只運(yùn)動(dòng)的中心點(diǎn)坐標(biāo),再經(jīng)過(guò)數(shù)學(xué)計(jì)算公式得到運(yùn)動(dòng)特征參數(shù),從而建立運(yùn)動(dòng)模型,流程如圖3所示。
圖3 俯視角度提取運(yùn)動(dòng)量
橢圓形狀對(duì)豬的非剛性特性不敏感,所以,選用橢圓對(duì)豬只進(jìn)行輪廓擬合,為進(jìn)一步提取豬只運(yùn)動(dòng)量做準(zhǔn)備。對(duì)于發(fā)情母豬的邊緣檢測(cè),采用了多級(jí)邊緣檢測(cè)canny算子,先計(jì)算出待擬合橢圓的邊界坐標(biāo),獲得輪廓點(diǎn)集向量信息,并得到最小外接矩形,最后將橢圓繪制出來(lái)。測(cè)試視頻針對(duì)發(fā)情豬橢圓擬合效果如圖4所示。
圖4 發(fā)情母豬橢圓擬合
在運(yùn)動(dòng)目標(biāo)檢測(cè)以及圖像分割的基礎(chǔ)上提取豬只的位移、速度以及加速度等運(yùn)動(dòng)參量,并在此基礎(chǔ)上分析位移等趨勢(shì)改變次數(shù)。實(shí)驗(yàn)數(shù)據(jù)選取幀速率30幀每秒的不同10段連續(xù)13 s的視頻。
因在本試驗(yàn)中每30幀也就是1s采集一次位移數(shù)據(jù),所以,位移表示豬只在1 s時(shí)間內(nèi)的位置變化,速度表示豬跑得快慢,加速度則描述了豬舍中豬只速度發(fā)生變化的量與發(fā)生這一變化所用時(shí)間的比。俯視角度豬只運(yùn)動(dòng)量位移提取如式(1),速度及加速度計(jì)算公式分別如式(2—3)所示。
(1)
(2)
(3)
為將運(yùn)動(dòng)規(guī)律進(jìn)行更加準(zhǔn)確的判斷和表述,本文根據(jù)相鄰兩秒內(nèi)位移差的乘值是否小于零[7],來(lái)判斷母豬在這一秒內(nèi)是否是持續(xù)加速或持續(xù)減速。當(dāng)差乘值持續(xù)為負(fù)值時(shí),表示母豬運(yùn)動(dòng)處于持續(xù)減速狀態(tài),否則相反。
本團(tuán)隊(duì)計(jì)算得出10段視頻曲線擬合圖,如圖5—10所示。為了圖例表示更加清晰,將視頻分為兩組,其中,1—5段視頻為第一組,6—10段視頻為第二組。
圖5 第一組豬只位移隨時(shí)間變化圖像曲線
圖6 第二組豬只位移隨時(shí)間變化圖像曲線
圖7 第一組豬只速度隨時(shí)間變化圖像曲線
圖8 第二組豬只速度隨時(shí)間變化圖像曲線
圖9 第一組豬只加速度隨時(shí)間變化圖像曲線
圖10 第二組豬只加速度隨時(shí)間變化圖像曲線
從兩組位移曲線擬合圖曲線變化直觀來(lái)看,視頻1,5,7,10的曲線波動(dòng)較大,視頻5最大值約為600,視頻7最大值約為6 800,視頻2,3,4較為平緩,最小值約為10。
從兩組加速度曲線擬合圖來(lái)看,視頻1,3,4豬只在13 s的數(shù)據(jù)采集中,豬只每秒都在發(fā)生位移及運(yùn)動(dòng)速度的變化,視頻2,5,7,8曲線平緩趨于直線,單位時(shí)間內(nèi)變化非常小,豬只速度平穩(wěn)。視頻6,9,10在1~6 s的時(shí)間段內(nèi)加速度變化較為明顯,后段時(shí)間加速度趨于平緩。速度的曲線擬合同位移相似,視頻1,5,7,10單位時(shí)間內(nèi)的速度變化最大,視頻2,3,4較為平緩。
發(fā)情母豬活躍狀態(tài)下位移會(huì)出現(xiàn)明顯的最高單峰值,除此以外的位移均保持在較低范圍內(nèi)[8]。通過(guò)將一定范圍內(nèi)的位移數(shù)據(jù)近似看作靜止?fàn)顟B(tài),以便得到近似靜止?fàn)顟B(tài)占據(jù)整個(gè)運(yùn)動(dòng)時(shí)長(zhǎng)的比例,將得到的比例作為研究發(fā)情期母豬運(yùn)動(dòng)規(guī)律的最終運(yùn)動(dòng)參量特征。統(tǒng)計(jì)10段活躍狀態(tài)視頻中的位移最大值、位移累計(jì)量、位移變化趨勢(shì)改變次數(shù)、加速度正負(fù)變化次數(shù),結(jié)果如表1所示。
10組試驗(yàn)數(shù)據(jù)近似靜止時(shí)長(zhǎng)分別為11 s,13 s,13 s,10 s,4 s,3 s,7 s,11 s,13 s,7 s,分別占總運(yùn)動(dòng)時(shí)長(zhǎng)的比例分別為84.6%,100%,100%,76.9%,30.7%,23.1%,53.8%,84.6%,100%,53.8%。當(dāng)相對(duì)靜止時(shí)長(zhǎng)占運(yùn)動(dòng)總時(shí)長(zhǎng)的80%以下時(shí),判斷發(fā)情豬只處于活躍運(yùn)動(dòng)狀態(tài)。實(shí)驗(yàn)的10段視頻中,視頻4,5,6,7,10中的發(fā)情豬只處于活躍狀態(tài),其余豬只處于老實(shí)狀態(tài)。母豬發(fā)情一般會(huì)持續(xù)3~7天[9],發(fā)情母豬一天中睡臥時(shí)間依然很長(zhǎng),且發(fā)情運(yùn)動(dòng)情況還會(huì)因?yàn)樯a(chǎn)次數(shù)、圈舍中豬只數(shù)量、周圍有無(wú)人員干擾等情況的不同而不同。
表1 發(fā)情母豬活動(dòng)狀態(tài)運(yùn)動(dòng)特征
本文研究母豬發(fā)情狀態(tài)運(yùn)動(dòng)規(guī)律,采用背景減去法進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)得到較為理想的母豬前景圖,利用所得結(jié)果進(jìn)行橢圓擬合,得到中心點(diǎn)坐標(biāo),提取運(yùn)動(dòng)參量特征,計(jì)算得出母豬的位移、速度、加速度的擬合圖。運(yùn)用差分方法進(jìn)行運(yùn)動(dòng)特征分析,將母豬運(yùn)動(dòng)情況分類。就活躍和較為老實(shí)這兩種狀態(tài)而言,活躍狀態(tài)下,發(fā)情期母豬運(yùn)動(dòng)變化無(wú)明顯規(guī)律性,在13 s的時(shí)間內(nèi),靜止不動(dòng)狀態(tài)持續(xù)的時(shí)間較短。較為老實(shí)的母豬會(huì)表現(xiàn)出具有一定規(guī)律的運(yùn)動(dòng)狀態(tài),曲線平緩且波動(dòng)有規(guī)律,會(huì)在一定范圍內(nèi)波動(dòng),不會(huì)出現(xiàn)明顯的大峰值。