謝海員,紀 濱,胡宏智,楊盼盼,申元霞
(安徽工業(yè)大學 計算機科學與技術(shù)學院,安徽 馬鞍山243032)
基于曲率特征豬腹式呼吸運動波形圖建模方法
謝海員,紀濱,胡宏智,楊盼盼,申元霞
(安徽工業(yè)大學 計算機科學與技術(shù)學院,安徽 馬鞍山243032)
為了實現(xiàn)視頻中生豬腹式呼吸運動信息的波形圖量化,研究了應(yīng)用脊部輪廓最大曲率半徑描述子(MCRD)表達豬腹式呼吸運動波形圖的計算機視覺建模方法。以預(yù)處理后的生豬輪廓圖為供試材料,為獲取有效的豬體脊部輪廓段,基于包絡(luò)分析提出了豬腿輪廓與軀干輪廓分界點的識別算法,提取有效脊部輪廓段的最大曲率半徑,由視頻段每幀MCRD構(gòu)建波形圖模型??尚诺牟ㄐ螆D取決于有效的描述子參數(shù),試驗顯示有效的MCRD,豬輪廓外接矩形高寬比 (DWR)適應(yīng)范圍在 0.4~0.9之間,而受制于身體側(cè)視圖展示角度的影響,有效的脊腹輪廓截距描述子(RACID)對應(yīng)合適的DWR范圍僅在0.6~0.9之間。對于三段完整腹式呼吸運動視頻中生豬呼吸頻率的統(tǒng)計,以人工目測結(jié)果為參考指標,機器檢測結(jié)果與參考值的相對誤差為0%、3.09%、3.76%,平均相對誤差為2.28%,且同一人目測和不同兩人之間目測結(jié)果存在差異,而機器檢測結(jié)果一致。35輯豬腹式呼吸視頻能自動檢測出33輯,識別精度為94.3%。該方法能有效構(gòu)造豬腹式呼吸運動波形圖模型,有望為智能監(jiān)控中腹式呼吸預(yù)警提供潛在技術(shù)支持。
生豬;腹式呼吸運動;最大曲率半徑描述子;波形圖模型;包絡(luò)線
目前,豬病是制約養(yǎng)豬業(yè)高效高產(chǎn)的主要問題,呼吸急促是生豬發(fā)病的常見癥狀,表現(xiàn)為呆立式腹式呼吸運動,脊腹波動明顯,可作為日常疫情監(jiān)測的預(yù)警依據(jù)[1]。傳統(tǒng)呼吸急促癥狀觀測方法是人工觀察特定時間段內(nèi)豬身脊腹部分的起伏次數(shù),此種方法工作強度大,且主觀性強、精度低,易出現(xiàn)錯誤遺漏,而利用視頻進行智能監(jiān)控,可降低工作強度,減少生豬的應(yīng)激反應(yīng),為養(yǎng)豬場自動化、智能化管理提供有利條件[2-3]。但是,呼吸急促智能監(jiān)控的關(guān)鍵技術(shù)在于生豬腹式呼吸運動信息模型構(gòu)建方法,因此,如何構(gòu)造腹式呼吸運動信息模型成為豬場智能監(jiān)控需解決的關(guān)鍵問題。
隨著對動物福利的日益關(guān)注,國內(nèi)外學者對動物行為信息特征開展了研究[4]。國外對動物個體信息監(jiān)測技術(shù)的研究起步較早,取得了較多的成果[5-6],如Cornou利用電子飼喂系統(tǒng)采集母豬飲食量和活動行為檢測母豬發(fā)情和跛腿等情況[7];Mainau E等研究了豬的位置[8]和行走軌跡[9]。國內(nèi)學者對動物智能監(jiān)控的研究處于探索階段,主要成果是對豬體信息的自動檢測方法研究[10-11],而關(guān)于豬腹式呼吸運動信息建模方法,前期本課題組以截距特征構(gòu)造了RACID作為度量脊腹輪廓波動的指標構(gòu)建量化豬腹式呼吸波形圖模型[12],但攝像頭采集豬體側(cè)面輪廓的角度存在差異,所提取的RACID很難保證在脊腹線之間,特定角度下過質(zhì)心的截距會貫穿到蹄部,無法建立正確的呼吸運動波形圖模型,因此,此方法存在應(yīng)用局限性。進一步研究發(fā)現(xiàn)腹式呼吸運動時豬腿脊腹輪廓段曲率會出現(xiàn)顯著變化,因此,筆者提出應(yīng)用脊部輪廓最大曲率半徑描述子(MCRD)作為新特征變量構(gòu)造生豬腹式呼吸運動波形圖模型。
1.1視頻采集及處理
該試驗選取的生豬月齡為4個月,品種為育肥期長白豬,視頻于2014年6月期間白天條件下,攝于安徽浩翔農(nóng)牧有限公司規(guī)模養(yǎng)豬場,視頻文件為AVI格式,視頻分辨率為640像素×320像素,幀速為20幀/s,試驗截取每輯腹式呼吸完整視頻時長約5~8 s。試驗涉及方法均在Intel Core CPU 2.5 GHz,內(nèi)存2G的計算機上的Matlab2008a平臺中編程實現(xiàn)。對視頻逐幀預(yù)處理后,利用背景差提取目標圖像[13],利用水平集方法快速提取生豬輪廓[14]作為測試素材。
1.2豬體脊部輪廓的獲取
根據(jù)前期研究,豬體有效脊部輪廓的獲取是構(gòu)造腹式呼吸運動模型的基礎(chǔ),因此,有必要識別出有效脊部輪廓段。包絡(luò)線實質(zhì)是包括圖像輪廓所有像素點的面積最小凸多邊形[15],筆者通過改進的包絡(luò)算法,尋找腿部輪廓與胸腹部輪廓的分界點,獲取分界點所在豎直線與脊部輪廓的交點,便得到了有效脊部輪廓段。為了提高算法效率,文中只對包含腿部的生豬下半部輪廓進行包絡(luò)分析,下半部輪廓為豬輪廓質(zhì)心以下的輪廓。質(zhì)心位置的計算方法見文獻[12]。在遍歷生豬下部輪廓過程中構(gòu)建包絡(luò)線頂點集合BVER={ver1,ver2,ver3,…},如圖1所示的虛線所示即為包絡(luò)線。
圖1 脊部輪廓段識別示意圖
遍歷生豬下部輪廓算法為:(1)確定起始頂點ver:搜索下半部輪廓線上位置最低且最左邊的像素點作為起始頂點;(2)判斷該點是否為下半部輪廓線最左點,是就停止計算,轉(zhuǎn)(3),否則,以起始頂點為基準點向左搜索,每個搜索點與基準點所在直線與豎直線形成夾角θ,則最大夾角θmax對應(yīng)的搜索點即為包絡(luò)線的下一頂點,并以此新頂點作為基準點返回(2);(3)以起始頂點為基準點判斷該點是否為下半部輪廓線最右點,是就停止計算,輸出所有包絡(luò)線頂點,否則,向右搜索包絡(luò)線的下一個頂點,并以此新頂點作為基準點返回(3)。
假設(shè)側(cè)視圖去除的腿部輪廓只需要尋找2個分界點,為即將刪除豬前后腿部輪廓的起始點,即下半輪廓線上到包絡(luò)線距離最大的點D和E。實現(xiàn)步驟為:
(1)計算BVER中相鄰頂點的線段長度l,求其中最長的2個線段,圖1中的AB和BC,構(gòu)建直線方程
式(1)中l(wèi)(i,j)為相鄰兩頂點線段長度,(xi,yi),(xj,yj)為相鄰兩頂點坐標,i,j為1,2,3,…。
圖像坐標平面下直線方程的一般式為
式(2)中,-a/b表示直線斜率,-c表示縱軸截距。由于線段兩端點坐標已知,可求出具體的a,b,c值。
(2)尋找腿部輪廓分割線的分界點。在兩個包絡(luò)線段對應(yīng)的下半輪廓線區(qū)間上分別尋找到包絡(luò)線直線方程的距離d最大的點,所求即為D和E點
(3)過識別點D和E作豎直線與脊部輪廓的交點分別為M、N,則MN間的脊部輪廓段為有效的脊部輪廓段。
1.3豬腹式呼吸運動波形圖模型
構(gòu)建生豬腹式呼吸運動模型的關(guān)鍵是選取合適特征參數(shù)來有效描述腹式呼吸運動狀態(tài)的變化過程。根據(jù)課題組對生豬呼吸異常視頻的研究,發(fā)現(xiàn)喘氣病豬行動呆滯遲緩,站立腹式呼吸運動時,豬體脊部輪廓彎曲縮放明顯(如圖2所示),可以將脊部輪廓最大曲率半徑MCR作為腹式呼吸運動的特征參數(shù)[16]。
提取脊部輪廓段曲率半徑的算法如下:將脊部輪廓段每個像素點及其左右相鄰h長度的像素點構(gòu)成的輪廓線近似為一段圓弧,使用最小二乘擬合圓的方法得出圓的半徑r,將此半徑值近似為曲率半徑R,遍歷脊部輪廓段并計算出每點的曲率半徑值,則所有像素點曲率半徑的最大值Rmax即為脊部輪廓最大曲率半徑MCR。
因此,對于豬體的腹式呼吸運動行為,可用腹部輪廓最大曲率來刻畫運動過程。截取生豬腹式呼吸視頻段,處理后得到每幀的豬體腹部輪廓平均曲率MCR(t),t為描述時間的幀序列號,以此構(gòu)建視頻段中豬腹式呼吸運動波形圖模型,如圖3所示。
圖2 輪廓波動變化示意圖
觀察發(fā)現(xiàn),MCR(t)在t軸方向上不斷進行著近似周期規(guī)律性的連續(xù)升降變化,與生豬腹式呼吸的呼吸急促特征相吻合,這種升降變化快慢表征著豬腹式呼吸頻率的大小。因此,可通過統(tǒng)計檢測到的圖中局部最大值點的個數(shù)n,來計算呼吸頻率f
式中T為視頻段的時長。
圖3 腹式呼吸運動Acur波形圖
2.1MCRD與RACID的比較
由于豬體脊部有效輪廓段的形狀受豬的身體展示角度影響,而展示角度可用豬體輪廓的最小外接矩形來衡量,將此矩形的寬度高度值作為橫縱坐標來刻畫一質(zhì)點,將此質(zhì)點記為中心點,由中心點的變化來描述豬身體展示角度的變化。當豬處于腹式呼吸運動狀態(tài)時,豬體輪廓質(zhì)心和中心點都在一極小鄰域圓內(nèi)發(fā)生變動,而質(zhì)心和中心點的位置變化決定了RACID和MCRD特征變量的穩(wěn)定性,試驗證實腹式呼吸視頻序列中中心點的位置相較豬體輪廓質(zhì)心位置分布更有規(guī)律,變化范圍更小 (如圖4所示),說明 MCRD相比RACID的穩(wěn)定性更好。
采用前期研究的成果,豬輪廓外接矩形高寬比選擇在 0.4~0.9之間的圖像,驗證MCRD方法有效性,該研究隨機采集了視場中不同位置和角度的12幅不同豬體的圖像,提取有效脊部輪廓段的MCRD。如圖5所示試驗中的2幅側(cè)視圖,圖5(a)的RACID已經(jīng)失效,表明RACID受制于身體側(cè)視圖展示角度的影響,但是圖5(b)表明MCRD仍然有效。試驗表明豬輪廓外接矩形高寬比在0.6~0.9范圍構(gòu)建RACID會失效,而豬輪廓外接矩形高寬比在 0.4~0.9之間均能構(gòu)建MCRD,這說明在單攝像頭應(yīng)用環(huán)境下,相比于RACID,文中構(gòu)建的MCRD更具備優(yōu)勢。
2.2腹式呼吸運動波形圖的小波降噪
由于構(gòu)造波動圖模型過程中不可避免地存在噪聲干擾,圖中往往出現(xiàn)毛刺現(xiàn)象,表現(xiàn)為微小波動干擾,影響局部最大值個數(shù)統(tǒng)計,降低豬腹式呼吸頻率計算的準確性,因此,有必要對波形圖進行降噪處理。
小波分析是近年發(fā)展興起的且被科研實踐所證實的一種有效的工具性方法,小波變換具有時頻局部化和自適應(yīng)性,能有效刻畫突變信號的非平穩(wěn)特征。由于文中波形圖存在突變的情況且要刻畫的是局部峰點值,所以采用小波分析來降噪是可行的。文中采用DB3小波對波形圖信號進行離散小波變換,做2層小波分解,降噪的效果圖如圖6所示,對比圖3,可看出降噪后的波形圖更為平滑,毛刺干擾現(xiàn)象大大減少,可提高豬腹式呼吸頻率計算的準確度。
圖4 質(zhì)心和圓心橫坐標位置變動
圖5 MCRD與RACID的比較試驗
圖6 波形圖的小波降噪效果圖
2.3腹式呼吸運動模型的驗證
截取完整腹式呼吸階段的三輯生豬視頻段,編號1、2、3,視頻時長為6 s、7 s、7 s,選取兩名經(jīng)驗豐富訓練有素的獸醫(yī)(編號1、2)通過目測視頻計算出生豬呼吸頻率,為了避免先驗知識和心里暗示對試驗結(jié)果的影響,要求隨機選取三段視頻的任意一輯,各自獨立計算3次。再由文中方法計算出所有視頻中生豬的呼吸頻率,為了排除試驗結(jié)果的偶然性,每輯視頻均需處理3次。結(jié)果見表1。
表1 生豬呼吸頻次測試結(jié)果
表1結(jié)果顯示,三段視頻經(jīng)人工計算出的生豬呼吸頻率為80、97、159.5次·min-1,而由機器檢測出的呼吸頻率為80、94、154次·min-1,以人工方法結(jié)果為參考指標,機器檢測結(jié)果與參考值的相對誤差為0%、3.09%、3.76%,平均相對誤差為2.28%,說明兩種方法結(jié)果是高度一致的,文中方法是有效準確的;進一步分析發(fā)現(xiàn)不同人對同一視頻及同一人對同一視頻的計算結(jié)果存在差異,而由機器檢測多次的結(jié)果相同,表明人工方法會出現(xiàn)失誤現(xiàn)象,而機器檢測結(jié)果較穩(wěn)定。
試驗截取含腹式呼吸的豬視頻為35輯,能自動檢測出33輯,識別精度為94.3%。因此,由機器自動檢測視頻中豬呼吸頻率的方法有潛在應(yīng)用價值。在實際監(jiān)控過程中,根據(jù)視頻檢測出的豬呼吸頻率,能反映生豬的呼吸異常程度,可作為獸醫(yī)診斷病情的參考指標。測試過程中發(fā)現(xiàn)個別腹式呼吸波形圖仍存在較強噪聲干擾,采用小波降噪不再合適,由于生豬呼吸頻次屬于低頻信號,可望通過傅里葉快速變換將信號轉(zhuǎn)到頻域中,過濾噪聲頻率,可得到平穩(wěn)的呼吸頻率信息,這將在以后進一步深入研究。
(1)利用計算機視覺對家畜行為的視頻信息進行量化,是現(xiàn)代農(nóng)業(yè)信息發(fā)展的需要。該研究針對單頭生豬的呼吸急促視頻,利用豬腹式呼吸脊腹部輪廓線變化顯著的習性特點,提出基于MCRD構(gòu)建一維波形圖模型;(2)試驗表明,豬輪廓外接矩形高寬比在 0.4~0.9之間均能構(gòu)建MCRD,而豬輪廓外接矩形高寬比在0.6~0.9范圍,RACID受制于身體側(cè)視圖展示角度的影響而失效,因此,在單攝像頭應(yīng)用環(huán)境下,相比于RACID,文中構(gòu)建的MCRD更具備優(yōu)勢;(3)為了盡可能使波形圖中局部峰值點的統(tǒng)計個數(shù)接近真實值,文中提出了腹式呼吸運動波形圖的小波降噪方法,實驗證明此方法能有效消除波形圖中的毛刺,有利于提高豬腹式呼吸頻率計算的準確性;(4)35段生豬腹式呼吸運動視頻的自動檢測識別率為94.3%,且對同一段視頻呼吸頻次計算試驗表明,機器檢測較人工目測的結(jié)果更穩(wěn)定,而個別波形圖出現(xiàn)噪聲波形值得進一步深入研究??傊?,文中所提方法能用于連續(xù)監(jiān)測、量化養(yǎng)殖場豬的呼吸急促狀態(tài),并且可以保留住腹式呼吸運動波形圖信息,對具有呼吸急促疑似病豬自動監(jiān)控預(yù)警及日后供獸醫(yī)診斷,具有技術(shù)基礎(chǔ)上的適用意義。
[1]STRAW B E,TAYLOR D J.Diseases of Swine[M].9th ed.Oxford:Blackwell Publishing Ltd,2006.
[2]閆震,錢東平,王東平,等.奶牛體型評定三維圖像同步采集系統(tǒng)[J].農(nóng)業(yè)機械學報,2009,40(2):176-179.
[3]郭浩,馬欽,張勝利,等.基于三維重建的動物體尺獲取原型系統(tǒng)[J].農(nóng)業(yè)機械學報,2014,45(5):227-232.
[4]陸明洲,沈明霞,丁永前,等.畜牧信息智能監(jiān)測研究進展[J].中國農(nóng)業(yè)科學,2012,45(14):2939-2947.
[5]CANGAR O,LEROY T,GUARINO M,et al.Automatic real-time monitoring of locomotion and posture behaviour of pregnant cows prior to calving using online image analysis[J].Computers and Electronics in Agriculture,2008,64(1):53-60.
[6]AHRENDT P,GREGERSEN T,HENRIK K.Development of a real-time computer vision system for tracking loose-housed pigs[J].Computers and Electronics in Agriculture,2011,76(2):169-174.
[7]CORNOU C,VINTHER J,KRISTENSEN R A.Automatic detection of oestrus and health disorders using data from electronic sow feeders[J].Livestock Science,2008,118:262-271.
[8]MAINAU E,DALMAU A,RUIZ-DE-LA-TORRE J L,et al.Validation of an automatic system to detect position changes in puerperal sows[J].Applied Animal Behaviour Science.2009,121(2):96-102.
[9]LIND N M,VINTHER M,HEMMINGSEN R P,et al.Validation of a digital video tracking system for recording pig locomotor behaviour[J].Journal of Neuroscience Methods.2005,143(2):123-132.
[10]劉龍申,沈明霞,柏廣宇,等.基于機器視覺的母豬分娩檢測方法研究[J].農(nóng)業(yè)機械學報,2014,45(3):237-242.
[11]劉同海,李卓,騰光輝,等.基于RBF神經(jīng)網(wǎng)絡(luò)的種豬體重預(yù)測[J].農(nóng)業(yè)機械學報,2013,44(8):245-249.
[12]紀濱,朱偉興,劉波,等.基于脊腹線波動的豬呼吸急促癥狀視頻分析[J].農(nóng)業(yè)工程學報,2011,27(1):191-195.
[13]劉鑫,劉輝,強振平,等.混合高斯模型和幀間差分相融合的自適應(yīng)背景模型[J].中國圖象圖形學報,2008,13(4):729-734.
[14]龔永義,羅笑南,黃輝,等.基于單水平集的多目標輪廓提?。跩].計算機學報,2007,30(1):120-128.
[15]江杰,周麗娜,李剛.基于機器視覺的羊體體尺測量[J].計算機應(yīng)用,2014,34(3):846-850,887.
[16]張敏,張恒義,鄭筱祥,等.基于輪廓曲率和譜系聚類的大鼠體態(tài)自動識別[J].浙江大學學報(工學版),2006,40(3):524-527.
責任編輯:艾淑艷
A waveform model based on curvature radius for swine's abdominal breathing
XIE Haiyuan,JI Bin,HU Hongzhi,YANG Panpan,SHEN Yuanxia
(School of Computer Science and Technology,Anhui University of Technology,Ma'anshan 243032,China)
This paper proposes a computer-vision model for abdominal breathing motion in swine by using the Maximum Curvature Radius Descriptor(MCRD).Primarily,the video clip of a swine was captured and pre-processed in order to obtain the contour image of the swine.Effective ridge of contour was extracted and then the maximum curvature radius was calculated.The waveform graph model was established from MCRDs obtained in every frame of the video.Effective ridge of contour was further extracted by identifying the boundaries between the pig legs and torso outlines based on envelope analysis.Experimental results show that the proposed method is valid in the range of swine-outline's external rectangle depth-width ratio(DWR)between 0.4-0.9.The reference method Ridge-Abdomen Contour Intercept Descriptor(RACID)is only valid at DMR between 0.6-0.9 due to the insufficient angle display of the side body view.Through three visual inspection tests of counting swines'breath frequency in the same video,the results of each individual and those between different persons vary.The artificial visual results are regarded as reference values.And the relative errors between machine testing results and the reference values are 0%,3.09%,3.76%,and the average relative error is 2.28%.This is identical to the results recorded by computer vision with an auto-recognition rate of 94.3%.Therefore,the swine's abdominal breathing waveform graph model is effective and capable of providing a potential technical support for intelligent monitoring of swine's breathing behaviors.
swine;abdominal breathing movement;maximum curvature radius descriptor;waveform graph model;envelope
TP391
A
1672-0687(2016)03-0066-05
2015-03-07
國家自然科學基金資助項目(61300059);安徽省高校自然科學基金資助項目(KJ2012Z032)
謝海員(1989-),男,安徽阜陽人,碩士研究生,研究方向:計算機視覺。