王 浩,曾雅瓊,裴宏亮,龍定彪,徐順來,楊飛云,劉作華,王德麾
改進(jìn)Faster R-CNN的群養(yǎng)豬只圈內(nèi)位置識別與應(yīng)用
王 浩1,曾雅瓊1,裴宏亮2,龍定彪1,徐順來1,楊飛云1,劉作華1,王德麾3※
(1. 重慶市畜牧科學(xué)院,重慶 402460;2. 四川大學(xué)機(jī)械工程學(xué)院,成都 610065;3. 四川大學(xué)空天科學(xué)與工程學(xué)院,成都 610065)
群養(yǎng)圈欄內(nèi)豬只的位置分布是反映其健康福利的重要指標(biāo)。為解決傳統(tǒng)人工觀察方式存在的人力耗費(fèi)大、觀察時間長和主觀性強(qiáng)等問題,實(shí)現(xiàn)群養(yǎng)豬只圈內(nèi)位置的高效準(zhǔn)確獲取,該研究以三原色(Red Green Blue,RGB)圖像為數(shù)據(jù)源,提出了改進(jìn)的快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster Region Convolutional Neural Networks,F(xiàn)aster R-CNN)的群養(yǎng)豬只圈內(nèi)位置識別算法,將時間序列引入候選框區(qū)域算法,設(shè)計(jì)Faster R-CNN和輕量化CNN網(wǎng)絡(luò)的混合體,將殘差網(wǎng)絡(luò)(Residual Network,ResNet)作為特征提取卷積層,引入PNPoly算法判斷豬只在圈內(nèi)的所處區(qū)域。對育成和育肥2個飼養(yǎng)階段的3個豬圈進(jìn)行24 h連續(xù)98 d的視頻錄像,從中隨機(jī)提取圖像25 000張作為訓(xùn)練集、驗(yàn)證集和測試集,經(jīng)測試該算法識別準(zhǔn)確率可達(dá)96.7%,識別速度為每幀0.064 s。通過該算法獲得了不同豬圈和日齡的豬群位置分布熱力圖、分布比例和晝夜節(jié)律,豬圈飼養(yǎng)面積的增加可使豬群在實(shí)體地面的分布比例顯著提高(<0.05)。該方法可為豬只群體行為實(shí)時監(jiān)測提供技術(shù)參考。
卷積神經(jīng)網(wǎng)絡(luò);機(jī)器視覺;圖像識別;算法;群養(yǎng)豬;位置識別
群體散養(yǎng)是生豬標(biāo)準(zhǔn)化規(guī)模養(yǎng)殖的主要飼養(yǎng)方式之一。當(dāng)前,中國規(guī)模化養(yǎng)豬場在母豬后備選育和商品豬哺乳、保育、育成、育肥等飼養(yǎng)階段均采用群體散養(yǎng)的方式,僅在母豬配種、妊娠、分娩階段豬采用個體限位飼養(yǎng),雖然個體限位飼養(yǎng)可以防止群體打斗和方便個體飼喂管理,但嚴(yán)重限制了豬只活動空間和行為表達(dá),導(dǎo)致豬只刻板行為、慢性應(yīng)激、跛行、皮膚損傷等不利影響[1-3],降低母豬福利水平和生產(chǎn)性能[4-5],近年來,隨著福利養(yǎng)殖理念的不斷深入,妊娠母豬群體散養(yǎng)工藝逐步在規(guī)?;i場中得到應(yīng)用,特別是歐盟理事會指令2001/88/EC明確提出[6],歐盟國家從2013年1月開始禁止妊娠母豬限位飼養(yǎng),母豬配種后4周至預(yù)產(chǎn)期前1周必須采用群體散養(yǎng)的方式。因此,群體散養(yǎng)將是未來養(yǎng)豬場絕大多數(shù)豬只的飼養(yǎng)方式,也將是生豬設(shè)施養(yǎng)殖工藝及配套設(shè)備領(lǐng)域的技術(shù)研究重點(diǎn)。
豬只在群養(yǎng)豬圈內(nèi)具有主動將躺臥位置和排泄位置分開的自然行為[7-9],并在固定區(qū)域形成躺臥、排泄、采食、活動等空間功能區(qū)[10-11]。豬只在群養(yǎng)圈欄內(nèi)的空間位置與豬舍溫度、風(fēng)速、光照、飼養(yǎng)密度、豬圈設(shè)計(jì)等多種因素密切相關(guān)[12],并對豬舍清潔衛(wèi)生和豬只福利產(chǎn)生影響。溫度升高會使半漏縫地板豬舍內(nèi)更多豬只選擇在漏縫地板區(qū)域躺臥[13],導(dǎo)致躺臥區(qū)糞尿污染程度增加[14-15];Randall等[16]發(fā)現(xiàn)豬圈內(nèi)風(fēng)速分布會影響豬群功能分區(qū),當(dāng)新鮮空氣先經(jīng)過躺臥區(qū)再流向排泄區(qū)時,躺臥區(qū)糞便污染風(fēng)險更高;Larsen等[17]發(fā)現(xiàn)飼養(yǎng)密度較高時,豬只在躺臥區(qū)排泄的情況增加;光照強(qiáng)度會影響豬只休息位置的選擇[18-19],且更偏向于在光照強(qiáng)度較低的區(qū)域進(jìn)行休息;圈欄形狀、面積、分隔方式、地面和設(shè)備布置等豬圈設(shè)計(jì)因素對豬只排泄位置和豬圈清潔衛(wèi)生有明顯影響[20-23]。因此,掌握豬只在群養(yǎng)圈欄內(nèi)的位置分布及其隨環(huán)境的變化情況,對豬圈優(yōu)化設(shè)計(jì)、設(shè)備研發(fā)和豬舍局部環(huán)境調(diào)控均有重要借鑒意義。
以往針對群養(yǎng)豬只圈內(nèi)位置的研究大多采用人工觀察視頻錄像的方式[24-25],但普遍存在人力耗費(fèi)大、觀察時間長、主觀性強(qiáng)等不足。近年來,機(jī)器視覺和深度學(xué)習(xí)技術(shù)在生豬養(yǎng)殖領(lǐng)域的應(yīng)用快速發(fā)展[26-30],其中卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)中以快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster Region Convolutional Neural Networks,F(xiàn)aster R-CNN)為代表的算法由于其在目標(biāo)檢測任務(wù)中性能優(yōu)越,受到廣大研究者的關(guān)注,為群養(yǎng)豬只自動識別與分析提供了新的解決思路。大量學(xué)者研究了群養(yǎng)豬的圖像分割[31-33]、生豬個體身份識別[34-36]、運(yùn)動軌跡追蹤[37-39]和侵略行為識別[32]等,為群養(yǎng)豬只的識別、定位、追蹤提供了技術(shù)借鑒,但大多以豬只數(shù)量盤點(diǎn)和特定行為判定為研究目標(biāo),從豬群位置識別及分布的角度進(jìn)行研究和分析的還比較少。Zheng等[40]利用深度圖像和Faster R-CNN實(shí)現(xiàn)了開放式分娩欄中母豬姿態(tài)及其圈內(nèi)位置的自動識別,獲得了母豬在分娩欄中24 h的位置分布情況,并發(fā)現(xiàn)母豬躺臥位置的選擇與豬圈地面設(shè)計(jì)相關(guān),該文為豬只圈內(nèi)位置識別和分布奠定了技術(shù)基礎(chǔ),但分娩欄中母豬為單體飼養(yǎng),無法直接應(yīng)用于群養(yǎng)豬只,且深度圖像的獲取成本較普通三原色(Red Green Blue, RGB)圖像更高。
本研究針對豬只群體散養(yǎng)這一福利飼養(yǎng)模式,利用普通網(wǎng)絡(luò)攝像機(jī)獲得的豬群飼養(yǎng)RGB圖像為數(shù)據(jù)源,通過改進(jìn)Faster R-CNN算法和引入PNPoly算法等途徑,實(shí)現(xiàn)群養(yǎng)豬只圈內(nèi)位置及分布情況的自動識別,提高識別準(zhǔn)確率、減少識別時間,為豬圈空間功能優(yōu)化設(shè)計(jì)和局部環(huán)境精準(zhǔn)調(diào)控提供技術(shù)支撐。
1.1.1 試驗(yàn)條件
試驗(yàn)數(shù)據(jù)于2018年8-11月采集于重慶市畜牧科學(xué)院試驗(yàn)豬場某生長育肥舍,該豬舍共有12個群養(yǎng)豬圈,分上下2排布置,豬圈地面包含漏縫地板和實(shí)體地板2個區(qū)域,綜合考慮豬圈的舍內(nèi)位置、面積大小和福利玩具配置等因素,選取豬圈3、4、12作為數(shù)據(jù)采集豬圈,其中豬圈3、4的面積均為12.59 m2,長、寬、高分別為4.01、3.14、0.9 m,豬圈12的面積為16.20 m2,長、寬、高分別為5.16、3.14、0.9 m,所有豬圈的漏縫地板寬度為1.5 m,實(shí)體地板寬度為1.64 m,豬圈4、12在漏縫地板區(qū)2個角落裝有豬用咬鏈,豬圈3沒有配置豬用咬鏈,具體布置如圖1所示。豬舍采用“濕簾+風(fēng)機(jī)”縱向通風(fēng)方式進(jìn)行環(huán)境調(diào)控,豬只飲水采用碗式飲水器自由飲水,飼料由飼養(yǎng)員每天8:00和14:00定時投放到各豬圈的圓形料槽內(nèi)供豬只自由采食。試驗(yàn)豬只共飼養(yǎng)98 d,涵蓋生長、育肥2個飼養(yǎng)階段,其中生長階段42 d,每圈飼養(yǎng)豬只18頭,育肥階段56 d,每圈飼養(yǎng)豬只12頭,豬只品種為三元雜交豬(杜洛克×長白×大白),豬只初始平均質(zhì)量為(23.5±3.5)kg,結(jié)束平均質(zhì)量為(104.2±7.5)kg,體表顏色以白色為主。
1.1.2 視頻采集
試驗(yàn)在豬圈3、4、12上方的豬舍頂棚分別安裝大華攝像頭進(jìn)行豬圈區(qū)域RGB視頻的俯視拍攝和錄制(圖1),攝像頭安裝高度距離豬圈地面2.8 m,視角范圍可覆蓋豬圈內(nèi)全部豬只的所有活動區(qū)域,試驗(yàn)對98 d飼養(yǎng)期進(jìn)行24 h連續(xù)視頻錄制,錄制視頻幀率為每秒24幀,存儲像素為1 920×1 080,存儲為.dav格式。
注:1~12表示豬圈的編號。
1.1.3 圖像獲取
試驗(yàn)采用大華.dav文件播放器從采集到的視頻中截取圖像,考慮到豬群夜間活動頻率低于白天,試驗(yàn)將視頻分為夜間(20:00-08:00)和白天(08:00-20:00)2部分進(jìn)行區(qū)別處理,視頻文件幀率為每秒24幀,理論上將視頻中所有圖像進(jìn)行標(biāo)定和訓(xùn)練所獲取的網(wǎng)絡(luò)的泛化能力及魯棒性都是最佳的,但這樣會大幅增加樣本標(biāo)定的工作量,且由于豬只在較短時間內(nèi)移動距離有限,相鄰圖像之間并無明顯差異,這樣作為樣本圖像就存在重復(fù)和無效的可能。為兼顧樣本總量和樣本間差異性這2項(xiàng)要求,確定適宜的截取樣本圖像的時間間隔(,s),隨機(jī)選取試驗(yàn)期間某豬圈某天每個小時的前5 min視頻段,分析了夜間和白天2個時段8種時間間隔分別為1/24、1/12、1/6、1/3、1、3、5和7 s下相鄰圖像間像素變化數(shù)量(),如圖2所示,夜間和白天的值分別在值為5和3 s時達(dá)到最高值,即在該條件下相鄰圖像間像素變化數(shù)量最大,因此確定夜間和白天截取樣本圖像的時間間隔分別為5和3 s。按該方法從全部視頻中截取圖像,并從中隨機(jī)抽取25 000張用于算法研究。
圖2 截取樣本圖像的不同時間間隔(T)對應(yīng)的相鄰圖像間像素變化數(shù)量(P)
1.1.4 數(shù)據(jù)集介紹
試驗(yàn)將獲取的25 000張圖像隨機(jī)分配成3組,即訓(xùn)練集S為20 000張、測試集S為3 000張、驗(yàn)證集pre為2 000張,利用Github開源軟件make_VOC2007對訓(xùn)練集S和測試集S中的每張圖像內(nèi)的所有豬只進(jìn)行矩形標(biāo)注,標(biāo)注范圍為任意姿態(tài)下各個豬只的最小包絡(luò)矩形,標(biāo)注完成后使用圖像坐標(biāo)系,以像素為單位,記錄該矩形區(qū)域的左上角坐標(biāo)(t,t),以及矩形區(qū)域的長度和寬度(t,t)。
1.2.1 改進(jìn)Faster R-CNN的群養(yǎng)豬只識別與定位算法設(shè)計(jì)
本研究針對傳統(tǒng)Faster R-CNN存在的識別速度較慢的問題,提出了改進(jìn)Faster R-CNN的群養(yǎng)豬只識別與定位算法,即輕量化CNN和基于殘差網(wǎng)絡(luò)特征提取的Faster R-CNN的混合體,其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。
注:代表融合層,用于將輸入和輸出采取相加進(jìn)行合并;二維卷積層(3,3,1,32)表示32個大小為3×3×1的卷積核;全連接層(512)表示大小為512的全連接層;全連接層(1)表示大小為1的全連接層。
通過對每頭豬只候選區(qū)域進(jìn)行滑窗法計(jì)算,將等比例豬只大小區(qū)域的圖片進(jìn)行歸一化處理得到150×100像素的圖片,并將其輸入輕量化CNN網(wǎng)絡(luò)進(jìn)行判斷,根據(jù)經(jīng)驗(yàn),若豬只判斷網(wǎng)絡(luò)輸出閾值>97%,則判定當(dāng)前位置為豬只所在位置,否則判定為非豬只區(qū)域,最終獲得豬只位置{ω0, ω1, …,ω,…,}和數(shù)量n,其中ω表示時刻圖像中第個豬只的中心位置;3)判斷通過輕量化CNN獲得的豬只數(shù)量相對于上一幀圖像的豬只數(shù)量是否有變化,如果否,則將輕量化CNN獲得的結(jié)果直接作為當(dāng)前幀圖像的豬只位置和數(shù)量,如果是,則使用基于殘差網(wǎng)絡(luò)特征提取的Faster R-CNN對當(dāng)前幀圖像進(jìn)行重新識別,并將其結(jié)果作為當(dāng)前幀圖像的豬只位置和數(shù)量。
輕量化CNN由3個卷積塊和全連接層構(gòu)成,每個卷積塊中包含1個二維卷積層,為32個3×3×1大小的卷積核,用于提取圖像中存在的特征,1個正則化層用于防止過擬合,1個激活函數(shù)層用于構(gòu)建非線性的特征,和1個提取網(wǎng)絡(luò)步長為2的最大池化層,用于降低特征數(shù)量,提取到關(guān)鍵信息。卷積層后添加了2個全連接層,大小分別為512和1,以及歸一化函數(shù)用于分類。
經(jīng)典Faster R-CNN通常采用淺層網(wǎng)絡(luò)堆疊卷積層,其提取特征能力有限,往往通過增加卷積層的層數(shù)來提高特征提取能力,但同時會產(chǎn)生網(wǎng)絡(luò)梯度消失或梯度爆炸等問題,造成網(wǎng)絡(luò)結(jié)構(gòu)不收斂,本研究為解決此問題,選用殘差網(wǎng)絡(luò)(Residual Network, ResNet)作為特征提取網(wǎng)絡(luò),殘差網(wǎng)絡(luò)采用跳躍連接,即在神經(jīng)網(wǎng)絡(luò)的輸入為,要擬合的函數(shù)映射(即輸出)為()的情況下,構(gòu)建一個殘差映射()為()?,則原始的函數(shù)映射()可以表示為()+,殘差網(wǎng)絡(luò)的引入提高了輸入和輸出的相關(guān)性,從而保證在深層網(wǎng)絡(luò)良好的收斂性。本研究設(shè)計(jì)的殘差網(wǎng)絡(luò)特征提取模塊主要由4個殘差模塊構(gòu)成,每個殘差模塊由1個二維卷積層、2個正則化層和2個激活函數(shù)構(gòu)成,其中每個卷積層由32個3×3×1卷積核構(gòu)成,用于提取圖像中的特征,正則化層用于防止網(wǎng)絡(luò)過深過擬合,激活函數(shù)用于對網(wǎng)絡(luò)模型中的特征進(jìn)行整流,每個殘差模塊的輸入和輸出均采取相加進(jìn)行合并,用于解決深層網(wǎng)絡(luò)訓(xùn)練的梯度消失和訓(xùn)練退化的問題。
1.2.2 豬圈區(qū)域劃定與豬只所在區(qū)域判定
本研究基于豬圈圖像構(gòu)建了以像素為單位、水平方向?yàn)檩S、豎直方向?yàn)檩S的圖像坐標(biāo)系im(,),通過有序的點(diǎn)集合{0,1,…,p}連接成由多段線構(gòu)成的任意形狀的區(qū)域,其中一個坐標(biāo)系中可以設(shè)定多個區(qū)域。圖4a是在某圖像中劃定的區(qū)域A,圖4b展示了基于PNPoly算法判定豬只與區(qū)域A的關(guān)系,其原理為從豬只中心點(diǎn)ω點(diǎn)向區(qū)域A邊界線上的任意一點(diǎn)引出一條射線,計(jì)算該射線與區(qū)域A邊界線交點(diǎn)的個數(shù),當(dāng)交點(diǎn)個數(shù)為奇數(shù)時,判定ω點(diǎn)所代表的的豬只在區(qū)域A內(nèi)部,當(dāng)交點(diǎn)個數(shù)為偶數(shù)時,則判定ω點(diǎn)所代表的的豬只在區(qū)域A外部。按此方法判定圖像中全部豬只與全部區(qū)域的關(guān)系,最終計(jì)算該圖像各個區(qū)域內(nèi)的豬只數(shù)量。
注:圖4b中,實(shí)線是圖像邊界,虛線是區(qū)域A邊界,圓點(diǎn)是構(gòu)成區(qū)域A的人為設(shè)定的點(diǎn),方點(diǎn)是豬只中心點(diǎn);ωtin為區(qū)域A內(nèi)部某豬只的中心點(diǎn),ωtout為區(qū)域A外部某豬只的中心點(diǎn);點(diǎn)劃線是從豬只中心點(diǎn)向區(qū)域A邊界任意一點(diǎn)引出的射線,三角點(diǎn)是射線與區(qū)域A邊界的交點(diǎn)。
1.2.3 算法訓(xùn)練
1)訓(xùn)練平臺介紹:內(nèi)存32 GB,顯卡為Nvidia GTX2080型號的GPU,I5型號CPU的硬件平臺和Win10操作系統(tǒng),在Keras深度學(xué)習(xí)框架上,采用Python 作為編程語言實(shí)現(xiàn)本研究改進(jìn)的 Faster R-CNN 算法。
2)訓(xùn)練方法及條件設(shè)置:本研究使用小批量的隨機(jī)梯度下降法,對改進(jìn)Faster R-CNN以端對端的聯(lián)合方式進(jìn)行訓(xùn)練,設(shè)置mini-batch大小為256,沖量為0.9,權(quán)值的衰減系數(shù)為0.1,每隔 100×1 000次保存一個模型,最終選取精度最高的模型。在模型的初始化中,對輕量化CNN進(jìn)行隨機(jī)初始化,而對Faster R-CNN的卷積層以及網(wǎng)絡(luò)中的全連接層則以0為均值、0.01為標(biāo)準(zhǔn)差的高斯分布隨機(jī)初始化。算法訓(xùn)練的迭代終止條件為損失值loss<0.02,損失值loss的計(jì)算方法如式(2)所示:
loss=IOU+cls(2)
其中IOU和cls的計(jì)算方法如式(3)~式(9)所示
1.2.4 算法評價指標(biāo)
該研究采用準(zhǔn)確率(F,%)和檢測時間(t,s)作為算法性能的評價標(biāo)準(zhǔn),其中準(zhǔn)確率F是類別準(zhǔn)確率(,%)和召回率(,%)的平均值,類別準(zhǔn)確率是衡量模型對豬只類別的識別能力,是算法識別出的豬只占所有類別的比例,召回率是衡量豬只模型對正確樣本的覆蓋能力,檢測時間t是衡量豬只位置檢測的速度。其計(jì)算如式(10)~(12)所示:
式中T表示正確樣本數(shù)量,F表示錯誤樣本數(shù)量,T表示預(yù)測出樣本位置,P表示真實(shí)位置。
選用128層殘差網(wǎng)絡(luò),分別以0.1、0.4、0.7為學(xué)習(xí)率,其損失值loss變化如圖5所示。其中,損失值降低速度隨著迭代批次增加而變得緩慢,當(dāng)學(xué)習(xí)率較大時,損失值降低速度下降較快,較容易收斂,但同時容易停止不前,相比之下,學(xué)習(xí)率較小的訓(xùn)練,則容易達(dá)到擬合要求,因此本研究將算法學(xué)習(xí)率設(shè)置為0.1。本研究算法對群養(yǎng)豬只的識別效果如圖6所示。
圖5 不同學(xué)習(xí)率時的損失值變化
注:矩形框?yàn)樽R別到的豬只位置。
2.2.1 基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)對模型識別豬只的性能影響
為了確定本研究提出的改進(jìn)Faster R-CNN與其他基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)模型之間識別豬只的性能差異,當(dāng)共享卷積層層數(shù)為128時,將其與VGG16和AlexNet這兩種常用基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)模型進(jìn)行對比,如表1所示,選用VGG16網(wǎng)絡(luò)作為特征提取層時模型的準(zhǔn)確率為89.01%,平均檢測時間為0.053 s,當(dāng)選用ALexNet網(wǎng)絡(luò)作為特征提取層時模型的準(zhǔn)確率為92.01%,平均檢測時間為0.058 s,而本研究提出的改進(jìn)Faster R-CNN模型的準(zhǔn)確率可達(dá)96.70%,平均檢測時間為0.064 s,在平均檢測時間相差不多的情況下,準(zhǔn)確率較前2種模型分別提高了8.64%和5.10%,具有更優(yōu)的識別性能。
表1 不同網(wǎng)絡(luò)結(jié)構(gòu)模型識別豬只的性能對比
2.2.2 網(wǎng)絡(luò)深度對模型識別豬只的性能影響
為了確定適宜的網(wǎng)絡(luò)深度,本研究對比了5種殘差網(wǎng)絡(luò)層數(shù)下模型的識別性能,如表2所示,隨著網(wǎng)絡(luò)層數(shù)的增加模型識別準(zhǔn)確率不斷提高、平均檢測時間也持續(xù)增加,但對比128、256、512三種網(wǎng)絡(luò)層數(shù)可以發(fā)現(xiàn),網(wǎng)絡(luò)層數(shù)為128時模型的準(zhǔn)確率相比網(wǎng)絡(luò)層數(shù)為256和512時僅分別提高了0.21%和0.41%,但檢測時間卻分別增加了56.25%和87.5%,為了兼顧準(zhǔn)確率和檢測時間,本研究設(shè)定殘差網(wǎng)絡(luò)層數(shù)為128。
表2 不同網(wǎng)絡(luò)深度模型識別豬只的性能對比
為測試本研究構(gòu)建的改進(jìn)Faster R-CNN算法的應(yīng)用效果,以群養(yǎng)豬只圈內(nèi)位置的時空分布和晝夜節(jié)律為研究案例進(jìn)行應(yīng)用方法及效果的展示,針對3個試驗(yàn)豬圈(豬圈3、4和12),分別選取2個飼養(yǎng)階段(生長和育肥)的第3天、第10天、第24天的視頻錄像進(jìn)行豬只圈內(nèi)位置識別及區(qū)域分布統(tǒng)計(jì),從每天的視頻錄像中以1 min為時間間隔在白天(9:00-17:59)和夜間(21:00-6:59)2個時段分別選擇400張圖片作為試驗(yàn)圖像,利用本研究提出的算法識別出每張圖像中所有豬只的中心點(diǎn)坐標(biāo)。利用豬只坐標(biāo)數(shù)據(jù)進(jìn)行2個方面的數(shù)據(jù)統(tǒng)計(jì),1)使用Python官方軟件包索引PyPI提供的熱力圖包(PyheatMap-0.1.12)生成各豬圈每天的豬群位置分布熱力圖;2)將豬圈劃分為實(shí)體地板和漏縫地板2個區(qū)域(圖7),通過PNPoly算法獲得各圖像中2個區(qū)域內(nèi)的豬只數(shù)量,并計(jì)算得到不同豬圈、飼養(yǎng)階段、飼養(yǎng)日齡時豬群在實(shí)體地板區(qū)域的分布比例。
2.3.1 不同豬圈大小、飼養(yǎng)階段和日齡下群養(yǎng)豬只圈內(nèi)位置分布與區(qū)域判斷
由圖8可知,所有豬圈和飼養(yǎng)天數(shù)內(nèi)豬群分布熱力圖在實(shí)體地面和漏縫地板之間均存在明顯的分界線,說明豬舍地面類型的差異對豬只位置分布有明顯的影響,豬圈12相比豬圈3和豬圈4,豬群分布更加集中在實(shí)體地面區(qū)域,說明在飼養(yǎng)規(guī)模一致的前提下,飼養(yǎng)空間越大豬只在位置選擇上更加傾向于實(shí)體地面,同時,通過不同飼養(yǎng)日齡的熱力圖對比可以發(fā)現(xiàn),豬圈12隨著飼養(yǎng)日齡的增加,豬只在生長、育肥2個飼養(yǎng)階段均呈現(xiàn)出在漏縫地板區(qū)域分布增加的趨勢,這可能是由于豬只體重的增長導(dǎo)致豬只實(shí)際使用空間的相對降低,進(jìn)而影響豬只空間位置的選擇。
注:綠色部分為實(shí)體地板區(qū)域,紅色部分為漏縫地板區(qū)域。
圖8 不同豬圈和飼養(yǎng)階段生長和育肥豬的位置分布熱力圖
由表3可知,3個試驗(yàn)豬圈內(nèi)豬群在實(shí)體地面上的分布比例均存在顯著差異,在生長階段后期豬圈12內(nèi)豬群在實(shí)體地面的分布比例比豬圈3和4的分別顯著提高了8.2%和41.7%(<0.05),在育肥階段后期豬圈12內(nèi)豬群在實(shí)體地面的分布比例比豬圈3和4的分別顯著提高了7.9%和30.4%(<0.05),且隨著飼養(yǎng)天數(shù)的增加,豬圈內(nèi)12豬只在實(shí)體地面的分布比例呈下降趨勢。
表3 不同豬圈和飼養(yǎng)階段生長和育肥豬在實(shí)體地面區(qū)域的分布比例
注:不同小寫字母表示同列數(shù)據(jù)差異顯著(<0.05)。
Note: Different lowercases indicate significant difference among the same columns, at 0.05 level.
2.3.2 群養(yǎng)豬只圈內(nèi)位置的晝夜節(jié)律變化
圖9為3個試驗(yàn)豬圈在生長階段末期實(shí)體地面上豬只數(shù)量占比的晝夜節(jié)律變化情況,可知在夜間(19:00-6:00)休息和午休(10:00-13:00)2個時段內(nèi),豬只在3個試驗(yàn)豬圈實(shí)體地面的分布比例呈現(xiàn)一致的梯度規(guī)律,即豬圈12最高、豬圈4次之、豬圈3最低,這與表3中的結(jié)果一致,豬圈3和4雖然空間大小一致,但豬圈4在漏縫地板區(qū)域增加了豬用咬鏈,而豬圈3沒有設(shè)置,這說明在在漏縫地板區(qū)域增加豬用咬鏈可以有助于豬群區(qū)分休息區(qū)和活動區(qū)。另外,從圖9中可以看出白天有2次明顯的采食時段(8:00-9:00,14:00-15:00),這與飼養(yǎng)員開始投料的時間相吻合(8:00和14:00),這2個時段內(nèi)豬只在3個試驗(yàn)豬圈實(shí)體地面的分布比例基本一致,這也說明料槽這種剛需性設(shè)備在豬圈的位置布局是影響豬只圈內(nèi)分布的關(guān)鍵因素,其具有被動性和特殊性,在分析豬只圈內(nèi)自由分布規(guī)律時應(yīng)將其剔除或單獨(dú)分析。
圖9 不同豬圈內(nèi)實(shí)體地面豬只比例的晝夜節(jié)律變化
1)以普通三原色(Red Green Blue,RGB)圖像為數(shù)據(jù)源,提出了改進(jìn)的快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster Region Convolutional Neural Networks,F(xiàn)aster R-CNN)的群養(yǎng)豬只圈內(nèi)位置識別算法,將時間序列引入候選框區(qū)域算法,設(shè)計(jì)了Faster R-CNN和輕量化CNN網(wǎng)絡(luò)的混合體,將殘差網(wǎng)絡(luò)(Residual Network, ResNet)作為特征提取卷積層,引入PNPoly算法判斷豬只在圈內(nèi)的所處區(qū)域,試驗(yàn)發(fā)現(xiàn)適宜的算法學(xué)習(xí)率為0.1,當(dāng)殘差網(wǎng)絡(luò)層數(shù)為128時,該算法的識別性能最佳,其識別準(zhǔn)確率可達(dá)96.7%,識別速度為每幀0.064 s。
2)由本研究算法獲取的豬群位置分布熱力圖和區(qū)域分布比例發(fā)現(xiàn),豬只在群養(yǎng)豬圈內(nèi)的位置分布受地板類型的顯著影響,在所有豬圈的豬群位置分布熱力圖中,漏縫地板和實(shí)體地板之間均存在清晰的分界線,豬圈大小對豬群位置分布影響顯著,在生長階段后期,豬圈12與豬圈3、4相比,豬只在實(shí)體地板上的分布比例分別顯著提高了8.2%和41.7%(<0.05),在育肥階段后期,豬圈12與豬圈3、4相比,豬只在實(shí)體地板上的分布比例分別顯著提高了7.9%和30.4%(<0.05),且隨著飼養(yǎng)日齡的增加,豬只在實(shí)體地板上的分布比例呈降低趨勢,對于半漏縫地板豬圈,在漏縫地板區(qū)域設(shè)置豬用咬鏈有助于豬群主動將休息區(qū)和活動區(qū)分開。
3)從豬只位置分布的晝夜節(jié)律可以快速確定豬群的休息、活動和采食時間段,夜間休息時間段為19:00-6:00,午休時間段為10:00-13:00,采食時間段為8:00-9:00和14:00-15:00,豬只圈內(nèi)位置分布受飼喂器位置的顯著影響,建議在后續(xù)的研究中將飼喂器附近的區(qū)域進(jìn)行特殊處理。
4)本研究可為豬圈優(yōu)化設(shè)計(jì)和局部環(huán)境控制等方面的研究提供數(shù)據(jù)高效獲取的技術(shù)基礎(chǔ),在豬群圈內(nèi)位置與豬圈空間參數(shù)的相關(guān)性方面提供了定性和定量結(jié)果,豐富了生豬養(yǎng)殖設(shè)施研究過程中對豬群行為方面的評價指標(biāo),有助于促進(jìn)生豬養(yǎng)殖智能化和福利化轉(zhuǎn)型升級。
[1] Chapinal N, Ruiz de la Torre J L, Cerisuelo A, et al. Evaluation of welfare and productivity in pregnant sows kept in stalls or in 2 different group housing systems[J]. Journal of Veterinary Behavior: Clinical Applications and Research, 2010, 5(2): 82-93.
[2] Von Borell E, Broom D M, Csermely D, et al. The welfare of intensively kept pigs[R]. Brussels: Directorate General XXIV of the European Commission, Scientific Veterinary Committee, Animal Welfare Section, 1997.
[3] 李偉,劉作華,王朝元,等. 豬床單元寬度及群體位次對妊娠母豬行為的影響[J]. 農(nóng)業(yè)工程學(xué)報,2017,33(22):248-254.
Li Wei, Liu Zuohua, Wang Chaoyuan, et al. Impact of unit width of swine bed and social hierarchy on behavior of pregnant sows[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(22): 248-254. (in Chinese with English abstract)
[4] Jensen K H, Pedersen B K, Pedersen L J, et al. Well-being in pregnant sows: Confinement versus group housing with electronic sow feeding[J]. Acta Agriculturae Scandinavica, 1995, 45(4): 266-275.
[5] Bates R O, Edwards D B, Korthals R L. Sow performance when housed either in groups with electronic sow feeders or stalls[J]. Livestock Production Science, 2003, 79(1): 29-35.
[6] European Commission Council. Council directive 2001/88/EC of 23 October 2001 amending directive 91/630/EEC laying down minimum standards for the protection of pigs[J]. Official Journal of the European Communities, 2001(88): 1-4.
[7] Whatson T S. Development of eliminative behaviour in piglets[J]. Applied Animal Behaviour Science, 1985, 14(4): 365-377.
[8] Simonsen H B. Behaviour and distribution of fattening pigs in the multi-activity pen[J]. Applied Animal Behaviour Science, 1990, 27(4): 311-324.
[9] Andersen H M, Kongsted A G, Jakobsen M. Pig elimination behavior: A review [J]. Applied Animal Behaviour Science, 2020, 222: 1-9.
[10] 施正香. 健康養(yǎng)豬的空間環(huán)境構(gòu)建與養(yǎng)殖技術(shù)模式研究[D]. 北京:中國農(nóng)業(yè)大學(xué), 2014.
Shi Zhengxiang. Study on Spatial Environmental Building and Healthy Raising Technologies in Pig Loose Housing System[D]. Beijing: China Agricultural University, 2014. (in Chinese with English abstract)
[11] 劉安芳,阮蓉丹,李廳廳,等. 豬舍內(nèi)糞污廢棄物和有害氣體減量化工程技術(shù)研究[J]. 農(nóng)業(yè)工程學(xué)報,2019,35(15):200-210.
Liu Anfang, Ruan Rongdan, Li Tingting, et al. Research progress of in-house reduce engineering technology for piggery manure wastes and poisonous gas[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 200-210. (in Chinese with English abstract)
[12] Jackson P, Nasirahmadi A, Guy J H, et al. Using CFD modelling to relate pig lying locations to environmental variability in finishing pens[J]. Sustainability, 2020, 12(5): 1-16.
[13] Aarnink A J A, Schrama J W, Heetkamp M J W, et al. Temperature and body weight affect fouling of pig pens[J]. Journal of Animal Science, 2006, 84(8): 2224-2231.
[14] Savary P, Gygax L, Wechsler B, et al. Effect of a synthetic plate in the lying area on lying behaviour, degree of fouling and skin lesions at the leg joints of finishing pigs[J]. Applied Animal Behaviour Science, 2009, 118(1/2): 20-27.
[15] Huynh T T T, Aarnink A J A, Gerrits W J J, et al. Thermal behaviour of growing pigs in response to high temperature and humidity[J]. Applied Animal Behaviour Science, 2005, 91(1/2): 1-16.
[16] Randall J M, Armsby A W, Sharp J R. Cooling gradients across pens in a finishing piggery: II. Effects on excretory behaviour[J]. Journal of Agricultural Engineering Research, 1983, 28(3): 247-259.
[17] Larsen M L V, Bertelsen M, Juul P L. How do stocking density and straw provision affect fouling in conventionally housed slaughter pigs?[J]. Livestock Science, 2017, 205: 1-4.
[18] Taylor N, Prescott N, Perry G, et al. Preference of growing pigs for illuminance[J]. Applied Animal Behaviour Science, 2006, 96(1/2): 19-31.
[19] Opderbeck S, Ke?ler B, Gordillo W, et al. Influence of increased light intensity on the acceptance of a solid lying area and a slatted elimination area in fattening pigs[J]. Agriculture, 2020, 10(3): 1-14.
[20] Hacker R R, Ogilvie J R, Morrison W D, et al. Factors affecting excretory behavior of pigs[J]. Journal of Animal Science, 1994, 72(6): 1455-1460.
[21] Wechsler B, Bachmann I. A sequential analysis of eliminative behaviour in domestic pigs[J]. Applied Animal Behaviour Science, 1998, 56(1): 29-36.
[22] Wang Hao, Zeng Yaqiong, Pu Shihua, et al. Impact of slatted floor configuration on manure drainage and growth performance of finishing pigs[J]. Applied Engineering in Agriculture, 2020, 36(1): 89-94.
[23] Ocepek M, Goold C M, Busan?i? M, et al. Drinker position influences the cleanness of the lying area of pigs in a welfare-friendly housing facility[J]. Applied Animal Behaviour Science, 2018, 198: 44-51.
[24] Guo Yuguang, Lian Xinming, Yan Peishi. Diurnal rhythms, locations and behavioural sequences associated with eliminative behaviours in fattening pigs[J]. Applied Animal Behaviour Science, 2015, 168: 18-23.
[25] Vermeer H M, Altena H, Vereijken P F G, et al. Rooting area and drinker affect dunging behaviour of organic pigs[J]. Applied Animal Behaviour Science, 2015, 165: 66-71.
[26] 李丹,張凱鋒,李行健,等. 基于Mask R-CNN的豬只爬跨行為識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報,2019,50(增刊1):261-266.
Li Dan, Zhang Kaifeng, Li Xingjian, et al. Mounting behavior recognition for pigs based on mask R-CNN[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(Supp.1): 261-266. (in Chinese with English abstract)
[27] 沈明霞,太猛,Cedric O,等. 基于深層卷積神經(jīng)網(wǎng)絡(luò)的初生仔豬目標(biāo)實(shí)時檢測方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報,2019,50(8):270-279.
Shen Mingxia, Tai Meng, Cedric O, et al. Real-time detection method of newborn piglets based on deep convolution neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(8): 270-279. (in Chinese with English abstract)
[28] 薛月菊,朱勛沐,鄭嬋,等. 基于改進(jìn)Faster R-CNN 識別深度視頻圖像哺乳母豬姿態(tài)[J]. 農(nóng)業(yè)工程學(xué)報,2018,34(9):189-196.
Xue Yueju, Zhu Xunmu, Zheng Chan, et al. Lactating sow postures recognition from depth image of videos based on improved Faster R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(9): 189-196. (in Chinese with English abstract)
[29] 楊秋妹,肖德琴,張根興. 豬只飲水行為機(jī)器視覺自動識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報,2018,49(6):232-238.
Yang Qiumei, Xiao Deqin, Zhang Genxing. Automatic pig drinking behavior recognition with machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(6): 232-238. (in Chinese with English abstract)
[30] 楊阿慶,薛月菊,黃華盛,等. 基于全卷積網(wǎng)絡(luò)的哺乳母豬圖像分割[J]. 農(nóng)業(yè)工程學(xué)報,2017,33(23):219-225.
Yang Aqing, Xue Yueju, Huang Huasheng, et al. Lactating sow image segmentation based on fully convolutional networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(23): 219-225. (in Chinese with English abstract)
[31] 韓書慶,張建華,孔繁濤,等. 基于邊界脊線識別的群養(yǎng)豬黏連圖像分割方法[J]. 農(nóng)業(yè)工程學(xué)報,2019,35(18):161-168.
Han Shuqing, Zhang Jianhua, Kong Fantao, et al. Group-housed pigs image segmentation method by recognizing watershed ridge lines on boundary[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 161-168. (in Chinese with English abstract)
[32] 高云,陳斌,廖慧敏,等. 群養(yǎng)豬侵略性行為的深度學(xué)習(xí)識別方法[J]. 農(nóng)業(yè)工程學(xué)報,2019,35(23):192-200.
Gao Yun, Chen Bin, Liao Huimin, et al. Recognition method for aggressive behavior of group pigs based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 192-200. (in Chinese with English abstract)
[33] 孫龍清,李玥,鄒遠(yuǎn)炳,等. 基于改進(jìn)Graph Cut 算法的生豬圖像分割方法[J]. 農(nóng)業(yè)工程學(xué)報,2017,33(16):196-202.
Sun Longqing, Li Yue, Zou Yuanbing, et al. Pig image segmentation method based on improved graph cut algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(16): 196-202. (in Chinese with English abstract)
[34] 劉巖,孫龍清,羅冰,等. 基于改進(jìn)CNN的多目標(biāo)生豬檢測算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報,2019,50(增刊1):283-289.
Liu Yan, Sun Longqing, Luo Bing, et al. Multi-target pigs detection algorithm based on improved CNN[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(Supp.1): 283-289. (in Chinese with English abstract)
[35] Kashiha M, Bahr C, Ott S, et al. Automatic identification of marked pigs in a pen using image pattern recognition[J]. Computers and Electronics in Agriculture, 2013, 93: 111-120.
[36] 燕紅文,劉振宇,崔清亮,等. 基于改進(jìn)Tiny-YOLO 模型的群養(yǎng)生豬臉部姿態(tài)檢測[J]. 農(nóng)業(yè)工程學(xué)報,2019,35(18):169-179.
Yan Hongwen, Liu Zhenyu, Cui Qingliang, et al. Detection of facial gestures of group pigs based on improved Tiny-YOLO[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 169-179. (in Chinese with English abstract)
[37] 高云,郁厚安,雷明剛,等. 基于頭尾定位的群養(yǎng)豬運(yùn)動軌跡追蹤[J]. 農(nóng)業(yè)工程學(xué)報,2017,33(2):220-226.
Gao Yun, Yu Hou'an, Lei Minggang, et al. Trajectory tracking for group housed pigs based onlocations of head/tail[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(2): 220-226. (in Chinese with English abstract)
[38] Kashiha M A, Bahr C, Ott S, et al. Automatic monitoring of pig locomotion using image analysis[J]. Livestock Science, 2014, 159: 141-148.
[39] Lind N M, Vinther M, Hemmingsen R P, et al. Validation of a digital video tracking system for recording pig locomotor behaviour[J]. Journal of Neuroscience Methods, 2005, 143(2): 123-132.
[40] Zheng Chan, Zhu Xunmu, Yang Xiaofan, et al. Automatic recognition of lactating sow postures from depth images by deep learning detector[J]. Computers and Electronics in Agriculture, 2018, 147: 51-63.
Recognition and application of pigs’ position in group pens based on improved Faster R-CNN
Wang Hao1, Zeng Yaqiong1, Pei Hongliang2, Long Dingbiao1, Xu Shunlai1, Yang Feiyun1, Liu Zuohua1, Wang Dehui3※
(1.,402460,; 2.,610065,; 3.610065,)
Pigs’ positional change in the group pens is a key indicator reflecting the behavioral expression and welfare of pigs. In this study, RGB (Red Green Blue) images were used as data sources, and an improved Faster R-CNN (Faster Region Convolutional Neural Networks) algorithm for pigs’ position recognition in group pen was proposed. The algorithm introduced the time series into the candidate box region algorithm, designed a hybrid of Faster R-CNN and lightweight CNN network, and improved the recognition accuracy and recognition speed. The Residual Network (ResNet) was used as the feature extraction convolutional layer to deepen the network depth, thereby improving the feature extraction ability to improve the algorithm robustness. The area of the pigs in the pen was judged by the PNPoly algorithm. The experiment was carried out 24 h of continuous 98 d of video recording on 3 pens (pen 3, 4, and 12) in 2 breeding stages (growing and fattening). Pen 3 and 4 had a smaller area and the size was 4.10 m×3.14 m. Pen 12 had a larger area and the size was 5.16 m×3.14 m. Bite chains had been equipped on the slatted floor area in pen 4 and 12. The experiment randomly extracted 25 000 pictures from the video for algorithm research, and 20 000 images from it as the training set, 3 000 as the verification set, and 2 000 as the test set. Through testing, when the network depth was 128 layers, both recognition accuracy and detection time could be considered. The recognition speed was 0.064 s/frame and the recognition accuracy was 96.7%. The optimal number of shared convolutional layers and neighborhood range rate were 128 and 0.3, respectively. The algorithm was used to obtain the heat map, position distribution ratio, and diurnal rhythm changes of the position distribution of pigs of different pens and feeding days. It was found that the locations of the pigs in all pens were significantly affected by the type of floor. There was a clear dividing line between the solid floor and the slatted floor in the heat map of all pens on all feeding days. The size of the pen had a significant effect on the position distribution of pigs. At the end of the growing stage, the proportion of pigs on the solid floor area in pen 12 was significantly increased by 8.2% and 41.7% compared with pen 3 and 4, respectively (<0.05). At the end of the fattening stage, the proportion of pigs on the solid floor area in pen 12 was significantly increased by 7.9% and 30.4% compared with pen 3 and 4, respectively (<0.05). And the distribution ratio of pigs on the solid floor area decreased with the increase of feeding days. From the change of diurnal rhythm, the rest period, activity period, and feeding period of the pigs were determined quickly, the night sleep time was 19:00-6:00, the lunch break time was 10:00-13:00, and the feeding time was 8:00-9:00 and 14:00-15:00 which coincided with the time of the manager added to feed. The distribution of pigs in the feeding period was affected by the installation position of the feeder, and therefore, when analyzing the free distribution pattern of pigs’ position in group pens, it was recommended to exclude them or analyze them separately. Installing pig bite chains in the slatted floor area could help pigs distinguish the activity area from the lying area. This method realized the rapid and accurate identification of the position within the pigpen in the growing and fattening group mode. The result could also help to enrich the evaluation indicators of the herd behavior in the research of pigs' breeding facilities and environment control.
convolutional neural network; computer vision; image recognition; algorithms; group pigs; position recognition
王浩,曾雅瓊,裴宏亮,等. 改進(jìn)Faster R-CNN的群養(yǎng)豬只圈內(nèi)位置識別與應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報,2020,36(21):201-209. doi:10.11975/j.issn.1002-6819.2020.21.024 http://www.tcsae.org
Wang Hao, Zeng Yaqiong, Pei Hongliang, et al. Recognition and application of pigs’ position in group pens based on improved Faster R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(21): 201-209. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2020.21.024 http://www.tcsae.org
2020-04-27
2020-07-06
國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(2017YFD0701601);重慶市技術(shù)創(chuàng)新與應(yīng)用發(fā)展專項(xiàng)重點(diǎn)項(xiàng)目(cstc2019jscx-gksbX0093);現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)技術(shù)體系建設(shè)專項(xiàng)資金(CARS-35)
王浩,助理研究員,主要從事畜禽養(yǎng)殖設(shè)施與智能化研究。Email:wanghaocau@163.com
王德麾,博士,高級工程師,主要從事機(jī)器視覺與智能算法研究。Email:35424743@qq.com
10.11975/j.issn.1002-6819.2020.21.024
TP391.41; S818.9
A
1002-6819(2020)-21-0201-09