郝玉勝,林 強(qiáng),王維蘭,郭 敏,逯玉蘭
·農(nóng)業(yè)信息與電氣技術(shù)·
基于Wi-Fi無線感知技術(shù)的奶牛爬跨行為識別
郝玉勝1,林 強(qiáng)1※,王維蘭2,郭 敏1,逯玉蘭3
(1. 西北民族大學(xué)數(shù)學(xué)與計算機(jī)科學(xué)學(xué)院,蘭州 730030;2. 西北民族大學(xué)中國民族信息技術(shù)研究院,蘭州 730030;3. 甘肅農(nóng)業(yè)大學(xué)信息科學(xué)技術(shù)學(xué)院,蘭州 730070)
奶牛發(fā)情和爬跨行為之間存在著密切的聯(lián)系,及時發(fā)現(xiàn)奶牛的爬跨行為是檢測奶牛發(fā)情、提高養(yǎng)殖收益需要考慮的重要問題。為了在自然環(huán)境下可靠地檢測奶牛的爬跨行為,同時避免引起應(yīng)激反應(yīng),研究并提出基于Wi-Fi信號的奶牛爬跨行為檢測與識別方法。首先,應(yīng)用部署在日常生活環(huán)境中通用的Wi-Fi設(shè)備捕獲奶牛的運動狀態(tài)數(shù)據(jù);其次,通過載波聚集、移動加權(quán)平均濾波對數(shù)據(jù)進(jìn)行預(yù)處理;第三,基于局部離群因子LOF算法,實現(xiàn)信號跳變檢測并以此為基礎(chǔ)獲取包含奶牛動作的信道狀態(tài)信息(Channel State Information, CSI)序列片段;第四,設(shè)計并提取CSI序列片段的特征,構(gòu)建了包含3類奶牛動作,共計8 127個樣本的數(shù)據(jù)集;最后,基于長短時記憶網(wǎng)絡(luò)(Long Short Term Memory, LSTM)構(gòu)建奶牛行為識別模型。通過使用數(shù)據(jù)集中2 497個樣本作為測試集檢驗提出的網(wǎng)絡(luò)模型,檢驗結(jié)果表明,系統(tǒng)能夠可靠地捕獲包含奶牛動作的CSI序列片段,并以較高的準(zhǔn)確率識別奶牛的爬跨行為。模型在測試集上對3類樣本的總體分類準(zhǔn)確率為96.67%,其Kappa系數(shù)為0.943 1,獲得了較高的性能。研究結(jié)果將基于Wi-Fi信號的無線感知技術(shù)引入農(nóng)業(yè)信息化領(lǐng)域,擴(kuò)展了動物行為監(jiān)控的技術(shù)手段,為無線傳感技術(shù)在農(nóng)業(yè)智能化方面的應(yīng)用提供參考。
畜牧業(yè);奶牛;算法;爬跨行為;Wi-Fi無線感知;信道狀態(tài)信息
奶牛養(yǎng)殖產(chǎn)業(yè)是中國畜牧產(chǎn)業(yè)的重要組成部分,及時檢測奶牛的發(fā)情行為是奶牛養(yǎng)殖中極為重要的工作任務(wù)。研究表明,爬跨和接受其他奶牛爬跨是奶牛發(fā)情時的重要行為特征[1]。奶牛在發(fā)情期內(nèi)活動量增加,爬跨和接收爬跨的表現(xiàn)十分明顯[2]。因此,根據(jù)奶牛的爬跨和發(fā)情行為之間的內(nèi)在聯(lián)系,準(zhǔn)確檢測奶牛的爬跨行為,可以及時獲得奶牛發(fā)情的關(guān)鍵信息。
總結(jié)分析現(xiàn)有的研究成果,可將動物行為檢測的方法大致歸為3類,人工觀察記錄法、穿戴式檢測法和非接觸式無損檢測法。其中,人工方法人力成本高,效率低,同時存在主觀性強(qiáng)、精度較低等不足;穿戴式方法利用植入或穿戴在被測動物身上的傳感器獲取監(jiān)測數(shù)據(jù)進(jìn)而用于行為識別。蔣曉新[3]基于計步器對妊娠期奶牛步履數(shù)和活動量進(jìn)行研究;Sakaguchi等[4]利用安裝在荷斯坦奶牛腿部或頸部的傳感器檢測其發(fā)情行為;劉忠超等[5]基于陰道植入式傳感器,通過感知奶牛陰道粘液的電阻變化實現(xiàn)奶牛發(fā)情行為的檢測。雖然基于穿戴設(shè)備的檢測方法具有較高的精度,但設(shè)備部署成本高,且需要在動物身上植入或佩戴相關(guān)感知設(shè)備,容易導(dǎo)致應(yīng)激反應(yīng),有損動物福利。隨著無線傳感技術(shù)的進(jìn)步,非接觸式動物行為無損檢測技術(shù)得以發(fā)展。由于無需接觸動物身體,非接觸式檢測方法能夠有效增進(jìn)動物福利,提高管理效率。Tom等[6]和趙凱旋[7]基于圖像處理技術(shù)分別對奶牛的跛足行為和呼吸率進(jìn)行監(jiān)測;何東健[8]利用視頻分析技術(shù)對犢牛行為進(jìn)行識別?;谝曨l圖像處理的檢測技術(shù)應(yīng)用非常廣泛,但需要較好的光照條件,相關(guān)設(shè)備的部署成本也不低。近年來,利用紅外、聲波、射頻識別技術(shù)(Radio Frequency Identification, RFID)、光信號等作為傳感介質(zhì)的非接觸式行為檢測技術(shù)得到學(xué)界的關(guān)注。Maher等[9]基于紅外溫度儀對牛跛足行為進(jìn)行檢測;Felix等[10]利用超高頻射頻技術(shù)對豬只行為進(jìn)行監(jiān)控;逯玉蘭等[11]基于Wi-Fi信號對豬的呼吸頻率進(jìn)行監(jiān)測等。
基于Wi-Fi信號的感知技術(shù)在人體定位[12-13]、動作識別[14-15]、身份鑒別[16-17]等方面的良好性能和低成本優(yōu)勢,本研究致力于基于Wi-Fi信號的奶牛爬跨行為檢測和識別技術(shù),以期將基于Wi-Fi信號的無線感知技術(shù)推廣到動物行為檢測和識別領(lǐng)域。利用日常生活中常見的網(wǎng)絡(luò)設(shè)備,通過一臺無線路由器和一臺裝配有Intel 5300無線網(wǎng)卡的計算機(jī)構(gòu)建了Wi-Fi信號的信道狀態(tài)信息采集系統(tǒng);通過人工標(biāo)記包含3類奶牛動作的8 127個CSI序列樣本,訓(xùn)練了一個具有8層網(wǎng)路結(jié)構(gòu)的長短時記憶網(wǎng)絡(luò)(Long Short Term Memory, LSTM)分類器。試驗結(jié)果表明分類器在測試集上的分類效果較好,能夠獲得較高的性能。
Wi-Fi信號是一種射頻信號,其信道特性主要由傳輸媒介所決定。信號從發(fā)射端傳播到接收端的過程中會受到環(huán)境變化的干擾,使得接收信號較發(fā)射信號產(chǎn)生一定的衰落。在大多數(shù)情況下,傳輸Wi-Fi信號的電磁環(huán)境是時刻變化的,當(dāng)發(fā)射端和接收端之間存在物體時,物體運動變化會顯著改變Wi-Fi信號的傳播環(huán)境,使其產(chǎn)生多徑效應(yīng)。一般而言,Wi-Fi信號發(fā)射端和接收端之間存在一條視距無線傳輸(Line of Sight, LOS),同時也存在多條因信號被物體反射而產(chǎn)生的反射路徑(圖1)。
圖1 Wi-Fi信號傳播路徑
假設(shè)發(fā)射端發(fā)送的信號為單一頻率的正弦波,如式(1)所示:
由于()和()都是相互獨立的隨機(jī)變量。根據(jù)中心極限定理,當(dāng)足夠大時,()和()都趨于正態(tài)分布,其均值為0,方差相等,因此()也可以表示為式(5)
由于包絡(luò)服從瑞利分布,故稱其為瑞利信道模型。如果能夠?qū)崟r獲取瑞利模型中載波的振幅、相位以及時延信息,就可據(jù)此分析Wi-Fi信號的信道變化情況,由于信道變化是由環(huán)境變化引起的,因此可以根據(jù)Wi-Fi信號的信道變化進(jìn)一步“推測”環(huán)境中發(fā)生的變化,實現(xiàn)對環(huán)境的“感知”。
根據(jù)IEEE 802.11 a/g/n標(biāo)準(zhǔn)[18],Wi-Fi信號從發(fā)射端傳輸?shù)浇邮斩说倪^程中,為了保障通信質(zhì)量,在規(guī)定的頻率區(qū)間內(nèi),信號被劃分為不同頻率的子載波,每個子載波可能會沿著不同的傳輸路徑到達(dá)接收端。網(wǎng)絡(luò)物理層(Physical Layer, PHY)的信道狀態(tài)信息(Channel State Information, CSI)正是衡量每個子載波傳輸狀態(tài)的指標(biāo)[19]。具體來說,CSI指標(biāo)中包含了每一個載波在傳輸過程中的時延、振幅衰減、相位變化等信息,通過分析和探究CSI序列數(shù)據(jù)中的這些信息的具體變化,可以推斷并表征信號在傳播過程中發(fā)生的真實物理環(huán)境的變化。在頻域上,多輸入多輸出(Multiple Input Multiple Output, MIMO)系統(tǒng)的窄帶平坦衰落模型[20]可表示如式(6)所示
=+(6)
式中為接收到的信號向量;為發(fā)射信號向量;為噪聲;為信道矩陣,表示發(fā)射信號通過物理空間傳播變換為接收信號的過程中,物理環(huán)境對信號所施加的影響,即信號的變換矩陣。式(6)中的可采用式(7)來估算。
事實上,CSI是對的一種估計。在正交頻分多路復(fù)用(Orthogonal Frequency Division Multiplexing, OFDM)通信系統(tǒng)中,每一對天線之間形成一個無線電波束,每個波束中包含若干個子載波,每一個子載波的CSI值可用式(8)來表示。
在Linux平臺下,通過使用Intel 5300無線網(wǎng)卡的開源驅(qū)動程序可實時捕獲CSI序列數(shù)據(jù)[21]。CSI序列數(shù)據(jù)是由一系列在時序上連續(xù)、大小為N×N×30的矩陣構(gòu)成。其中,N為發(fā)射端天線的數(shù)量;N為接收端天線數(shù)量;根據(jù)IEEE 802.11 a/g/n標(biāo)準(zhǔn)[18],數(shù)字30表示在2.4 GHz的OFDM通信系統(tǒng)中,每個發(fā)射天線和接收天線之間的無線電波束中包含30個子載波。本研究設(shè)計的系統(tǒng)中,信號發(fā)射端選用配備有1個發(fā)射天線的Tenda W3003R路由器,信號接收端選用安裝有Intel 5300無線網(wǎng)卡的ThinkPad X200便捷式計算機(jī),無線網(wǎng)卡默認(rèn)配備有3個信號接收天線,采集到的CSI數(shù)據(jù)為1×3×30的矩陣,如式(9)所示:
1.4.1 載波聚集
在不考慮頻率分布的情況下,可采用合適的聚集算法將同一波束中的30個子載波聚集為一路信號。本研究依據(jù)式(10)所示的算法實現(xiàn)載波聚集[22]。
波束聚集操作減少了載波數(shù)量,但忽略了CSI序列信號中的頻率分布信息,本研究利用聚集后的三路CSI序列信號完成信號的跳變檢測。
1.4.2 移動加權(quán)平均濾波
式中的取值決定了當(dāng)前時間槽內(nèi)的CSI信號跟過去多少個相鄰時間槽相關(guān)。試驗表明,奶牛的爬跨行為對CSI序列信號影響最為劇烈的時刻是在奶牛抬起前蹄,做出爬跨動作,身體高度迅速改變的那一瞬間,持續(xù)時間在2~5 s之間。因此,在進(jìn)行信號跳變檢測時所選窗口大小應(yīng)當(dāng)適用于“凸顯”信號片段中對應(yīng)的奶牛爬跨動作,系統(tǒng)選用大小為5 s的時間窗口對CSI載波數(shù)據(jù)進(jìn)行上述處理。
1.4.3 信號跳變檢測
CSI信號是時間連續(xù)的序列,該序列中只有部分片段包含了奶牛的行為動作。因此,確定這些“蘊含”奶牛動作的CSI序列片段的起始和結(jié)束時刻是系統(tǒng)首先要解決的問題之一。
經(jīng)過分析觀察,當(dāng)奶牛群體中的一個或若干奶牛隨機(jī)運動時,CSI序列信號的振幅會產(chǎn)生明顯變化,但幅度較??;當(dāng)奶牛群體存在爬跨行為時,奶牛身體高度的陡然增加會使CSI序列出現(xiàn)短暫的“尖峰”片段。信號跳變檢測模塊的設(shè)計目的在于準(zhǔn)確界定這些包含奶牛動作的CSI序列片段在整個序列中的起始和結(jié)束位置。
假設(shè)奶牛靜止站立時的狀態(tài)為“穩(wěn)定狀態(tài)”,以此為基礎(chǔ)構(gòu)建了穩(wěn)定的CSI序列信號配置文件。然后通過應(yīng)用局部離群因子LOF算法,捕獲CSI信號序列的跳變。
式中N()表示樣本點的鄰域集合,|N()|為集合的大小,即鄰域點的個數(shù),|N()|≥;reach?dist(,)表示點到點的可達(dá)距離,其至少是點的第距離,定義如式(15)所示:
式中?dist()稱之為第距離,即距離點第遠(yuǎn)的點與點之間的距離;(,)表示點到點的真實距離。
點的離群因子LOF()定義為點的領(lǐng)域點N()的局部可達(dá)密度與點的局部可達(dá)密度之比的平均數(shù),如式(16)所示:
上述比值越接近1,點及其鄰域點的密度差越小,點及其鄰域點越屬于同一簇;如果上述比值<1,說明點的密度高于其鄰域的點密度,點為密集點;如果上述比值>1,點的密度小于其鄰域點密度,點為異常點。
利用式(11)給出的三路聚集信號,將3個波束在不同時間槽內(nèi)的CSI樣本數(shù)據(jù)作為“點”輸入到LOF()函數(shù)中,得到3個LOF值,即LOFA、LOFB和LOFC。當(dāng)3個波束中同時出現(xiàn)局部離群因子,也就是說LOFA、LOFB和LOFC同時>1時,系統(tǒng)認(rèn)為CSI序列信號中存在跳變,即奶牛開始活動;當(dāng)活動持續(xù)一段時間,3個LOF值不滿足同時>1的條件時,認(rèn)為奶?;顒咏Y(jié)束,系統(tǒng)保存這2個時間點之間的CSI信號序列片段。顯然,這些片段中“蘊含”著奶牛的實際動作。
圖2中時間槽1所示的部分,只有天線A波束的LOFA值>1,天線B、C的LOF值均<1,系統(tǒng)判定信號不存在跳變。在時間槽2和3內(nèi),3個天線的LOF值同時>1,系統(tǒng)判定信號存在跳變,此時需要持續(xù)跟蹤信號序列,直到跳變結(jié)束并保存CSI序列片段。
注:t1、t2和t3表示3個不同的時間槽,信號跳變檢測模塊通過計算每個時間槽內(nèi)A、B、C 3個天線上的LOF值,即LOFA、LOFB和LOFC,以此判斷信號是否存在跳變。
訓(xùn)練分類模型,首先需要構(gòu)建可用的數(shù)據(jù)集。利用信號跳變檢測模塊,通過特征提取和人工標(biāo)注一定數(shù)量的CSI序列片段,最終形成可用于訓(xùn)練序列序列信號分類模型的數(shù)據(jù)集。
2.1.1 信道狀態(tài)信息(CSI)序列特征提取
針對每一個采集到的CSI序列片段,系統(tǒng)從10個維度提取其特征,以滿足訓(xùn)練分類器的需要,提取的10個特征如表1所示。
表1 信道狀態(tài)信息(CSI)序列片段特征
2.1.2 構(gòu)建奶牛行為數(shù)據(jù)集
有監(jiān)督機(jī)器學(xué)習(xí)方法對于模型的訓(xùn)練嚴(yán)重依賴于數(shù)據(jù)集。針對一個小的養(yǎng)殖群體(5頭奶牛)的運動情況,系統(tǒng)對奶牛群體中一個或多個個體的3類運動狀態(tài)采集并人工標(biāo)注了8 127個CSI序列片段。其中,每頭奶?;眷o止時(共同進(jìn)食、飲水時)采集的CSI序列片段2 667個;有一頭或多頭奶牛隨機(jī)運動時(隨機(jī)走動、躺臥、嬉戲等)采集的CSI序列片段4 557個;群體中有奶牛存在爬跨行為時采集的CSI序列903個。每個CSI序列片段持續(xù)時間在2~15 s之間。
表2 數(shù)據(jù)集樣本分布
在機(jī)器學(xué)習(xí)領(lǐng)域,典型的做法是將數(shù)據(jù)集中的一部分樣本用于訓(xùn)練分類模型,另一部分樣本用來測試訓(xùn)練后模型的性能。對訓(xùn)練集和測試集的劃分,領(lǐng)域內(nèi)并無固定的標(biāo)準(zhǔn),只有若干指導(dǎo)原則,比如留出法、K折交叉驗證法、留一法、自助法等。由于數(shù)據(jù)集規(guī)模適中,本研究根據(jù)留出法提供的指導(dǎo)原則,將數(shù)據(jù)集的70%用作訓(xùn)練集,剩余30%用作測試集。因此,整個數(shù)據(jù)集中的5 630個CSI序列片段構(gòu)成訓(xùn)練集,另外2 497個CSI序列片段構(gòu)成測試集。數(shù)據(jù)集樣本分布如表2所示。
長短時記憶(Long Short Term Memory,LSTM)是面向時間序列的遞歸神經(jīng)網(wǎng)絡(luò)模型[25],其包含一個記憶模型,用于對時間序列問題中的時間依賴性進(jìn)行建模,能夠有效解決長序列訓(xùn)練過程中梯度消失和梯度爆炸的問題。LSTM的核心在于細(xì)胞(cell)以及穿過細(xì)胞的信息流,整個網(wǎng)絡(luò)由一系列細(xì)胞構(gòu)成,單個LSTM細(xì)胞結(jié)構(gòu)如圖3所示。
信息從細(xì)胞中穿過,通過“門”結(jié)構(gòu)實現(xiàn)對信息的刪除或添加。門可以實現(xiàn)選擇性地讓信息通過,主要通過Sigmoid函數(shù)和一次逐點相乘操作來實現(xiàn)。其中,遺忘門決定哪些信息可以繼續(xù)通過當(dāng)前細(xì)胞;傳入門決定讓多少信息加入到細(xì)胞狀態(tài)中;輸出門求得LSTM的細(xì)胞輸出。
基于LSTM的CSI序列分類模型,可實現(xiàn)奶牛行為的分類任務(wù)。具體而言,構(gòu)建了一個包含8層網(wǎng)絡(luò)結(jié)構(gòu)的LSTM深度網(wǎng)絡(luò),其中輸入層直接處理每個CSI序列片段的10維特征;網(wǎng)絡(luò)共有4層LSTM隱層,每層分別含有150、125、100和80個LSTM細(xì)胞單元;之后緊接全連接層以及Softmax層;網(wǎng)絡(luò)的最后是根據(jù)Softmax層的概率分布做出決策的分類決策層。整個模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。
注:Ct-1為t-1時刻的細(xì)胞狀態(tài),Ct為t時刻的細(xì)胞狀態(tài),為新的候選值;ht-1為上一個細(xì)胞的輸出,ht為當(dāng)前細(xì)胞的輸出;xt為輸入當(dāng)前細(xì)胞的信息;σ為激活函數(shù)Sigmoid;tanh為激活函數(shù);表示逐點相加操作,表示逐點相乘操作;遺忘門、輸入門和輸出門都會對輸入信息ht-1和xt執(zhí)行一些操作,其中間結(jié)果分別為ft、it和Ot,這些結(jié)果用來決定當(dāng)前細(xì)胞應(yīng)該刪除、更新和輸出什么信息。
注:輸入層處理信道狀態(tài)信息(CSI)序列片段的10個特征,即F1、F2、……、F10。P1、P2和P3表示輸入序列被模型識別為各個類別(基本靜止、隨機(jī)走動和爬跨)的概率。
模型在訓(xùn)練時采用Adam優(yōu)化器進(jìn)行優(yōu)化,最大訓(xùn)練輪數(shù)設(shè)置為50,每批次送入模型的樣本數(shù)設(shè)置為13,初始化學(xué)習(xí)率設(shè)置為0.001。系統(tǒng)訓(xùn)練時的關(guān)鍵參數(shù)如表3所示。
模型利用訓(xùn)練集中的5 630個樣本,根據(jù)表3所示的參數(shù)設(shè)置,共迭代訓(xùn)練21 653次。對訓(xùn)練得到的模型,采用測試集中的2 497個樣本進(jìn)行測試,通過計算各項評價指標(biāo)衡量其性能。
系統(tǒng)共涉及到基本靜止、隨機(jī)運動及爬跨3種奶牛行為,二分類問題中常用的查準(zhǔn)率(precision)、查全率(recall)、F1-Score等指標(biāo)并不適用于評價多分類模型?;谀P驮跍y試集上分類結(jié)果,可通過計算總體分類準(zhǔn)確率(Accuracy)以及Kappa系數(shù)來評價多分類模型的性能。
多分類模型的總體分類準(zhǔn)確率(Accuracy)定義如式(17)所示
式中為樣本的類別數(shù),M為模型準(zhǔn)確預(yù)測的第類樣本的數(shù)量,為所有樣本的數(shù)量。
表3 模型關(guān)鍵參數(shù)
Kappa系數(shù)定義如式(18)所示
式中0表示總體分類準(zhǔn)確率(Accuracy);e按照式(19)進(jìn)行計算。
式中為所有樣本數(shù)量,M為模型準(zhǔn)確預(yù)測的第類樣本的數(shù)量,N為第類樣本的實際數(shù)量。
Kappa系數(shù)能夠有效地評價多分類模型的有效性。值為0~0.2時,模型有效性“極低”;值為0.2~0.4時,模型有效性“一般”;值為0.4~0.6時,模型有效性“中等”;值為0.6~0.8時,模型“高度”有效;值為0.8~1.0時,模型與實際情況“幾乎一致”。
系統(tǒng)首先按照圖5所示的場景部署,在實驗室內(nèi)組織志愿者進(jìn)行實證試驗,通過隨機(jī)組織5~15名志愿者構(gòu)成一個小的聚集群體,采集了該群體在做出3種不同類型動作時的CSI序列片段。
圖5 實證試驗場景
通過對1 400段CSI序列片段的分析和觀測,得到如下結(jié)論:
1)被測對象的不同動作行為,會使CSI序列發(fā)生不同的變化,信號振幅呈現(xiàn)出不同的變化模式(圖5)。
2)大多數(shù)載波因被測對象運動狀態(tài)的變化而發(fā)生變化,呈現(xiàn)出相同的變化趨勢(圖6)。
3)一個波束內(nèi)的子載波存在相關(guān)性,相鄰的子載波相關(guān)性更強(qiáng)(圖7)。
圖6 波束中各子載波變化趨勢
圖7 波束中的各個子載波相關(guān)性分析
在約150 m2的養(yǎng)殖棚舍下,選用5頭奶牛進(jìn)行試驗,完成數(shù)據(jù)的采集和標(biāo)注工作。信號發(fā)射端和信號接收端被安置在奶?;顒訁^(qū)域兩側(cè)高度為1.8 m的支架上,發(fā)射端采用1個發(fā)射天線,接收端采用Intel 5300網(wǎng)卡默認(rèn)的3個接收天線。近距離部署使得接收端能夠成功捕獲來自發(fā)射端的Wi-Fi信號。根據(jù)IEEE 802.11 a/g/n標(biāo)準(zhǔn)[18],系統(tǒng)工作時,發(fā)射天線和接收天線之間形成一個1×3的多輸入多輸出(Multiple Input and Multiple Output, MIMO)無線通信系統(tǒng)。
系統(tǒng)工作在2.4 GHz頻段,接收端在建立Wi-Fi連接后,首先通過ping命令向發(fā)射端以1 000 bytes/s的速度不斷發(fā)送數(shù)據(jù)包,使得通信鏈路中存在源源不斷的數(shù)據(jù)流。在接收端的Linux平臺下調(diào)用Intel 5300無線網(wǎng)卡的開源驅(qū)動程序[21]實時捕獲每一個子載波的CSI序列數(shù)據(jù),數(shù)據(jù)以文件形式存儲在接收端。
試驗過程中無數(shù)據(jù)包丟失現(xiàn)象,試驗所采用的數(shù)據(jù)采集方法穩(wěn)定、可靠,試驗場景如圖8所示。
圖8 試驗場景
測試集中共有2 497個測試樣本,其中包含奶牛基本靜止樣本867個、奶牛隨機(jī)運動樣本1 357個、奶牛爬跨樣本273個。通過將這3類樣本輸入模型進(jìn)行檢驗,可得到模型的實際分類結(jié)果,如表4所示。
表4 模型分類混淆矩陣
表4中,每一行表示每一類樣本的真實類別,每一列表示模型對樣本的預(yù)測類別,分析表4可知:
1)模型對每一類樣本中的絕大多數(shù)都能夠正確分類,只有極少數(shù)樣本的分類結(jié)果有誤;
2)基本靜止這一類樣本中僅有10個樣本被誤判為隨機(jī)運動,沒有樣本被識別為爬跨行為。爬跨行為這一類樣本僅有20個樣本被誤判為隨機(jī)運動,沒有樣本被識別為基本靜止。可見,模型能夠100%地區(qū)分基本靜止和爬跨兩類樣本,不會將二者混淆。
3)對于1 357個隨機(jī)運動樣本,有1 304個樣本被正確分類。模型僅將其中40個樣本誤判為基本靜止,將13個樣本誤判為爬跨??赡艿脑蛴校旱谝?,對“隨機(jī)運動”的定義略顯寬泛,即將奶牛的隨機(jī)走動、躺臥、嬉戲等行為均定義為隨機(jī)運動。奶牛嬉戲時的劇烈運動對信號的影響可能與爬跨行為帶來的影響相仿,所采集的CSI序列片段有可能被識別為爬跨行為;奶牛的輕微走動對信號的影響并不劇烈,所采集的CSI序列片段有可能被識別為基本靜止。第二,人工標(biāo)注數(shù)據(jù)時的誤差也使得該類樣本的數(shù)據(jù)質(zhì)量較另外2類樣本略差一些??傊?,在有監(jiān)督機(jī)器學(xué)習(xí)領(lǐng)域,數(shù)據(jù)集的質(zhì)量對分類模型的性能有著顯著的影響,本研究所進(jìn)行的試驗也遵循這一規(guī)律。
根據(jù)上述分類結(jié)果,通過計算2.3節(jié)給出的各項模型評價指標(biāo),可綜合評價模型性能,計算結(jié)果如表5所示。
分析表5可知,就每一類樣本的分類準(zhǔn)確率而言,模型對奶牛的基本靜止行為具有最高的分類準(zhǔn)確率98.85%,對奶牛隨機(jī)運動的分類準(zhǔn)確率為96.09%,對奶牛爬跨行為的分類準(zhǔn)確率為92.67%。奶牛爬跨行為樣本較前兩類樣本的分類準(zhǔn)確率略低,其原因在于奶牛的爬跨行為會使身體高度突然改變,對Wi-Fi信號的CSI序列有著十分顯著的影響,對此類樣本的捕獲以及標(biāo)注工作難以做到十分精確。在實際場景中,采集奶牛的爬跨行為樣本時,很難保證其他奶牛保持絕對靜止。本研究在標(biāo)記此類樣本時遵循“只要出現(xiàn)奶牛爬跨行為就將該類樣本標(biāo)記為‘爬跨’類別”的原則,因此該類樣本動作具有一定的復(fù)雜性,樣本中有可能還包含有其他奶牛的隨機(jī)運動等因素,但爬跨動作對于CSI序列的影響是主要因素。由于所采用的深度學(xué)習(xí)模型建立在對數(shù)據(jù)的統(tǒng)計學(xué)習(xí)基礎(chǔ)之上,在一定數(shù)量樣本的訓(xùn)練下,能夠確保模型在測試集上獲得較高的分類性能即可滿足應(yīng)用需求。隨著此類樣本數(shù)量的進(jìn)一步擴(kuò)充和數(shù)據(jù)集質(zhì)量的不斷提高,模型對該類樣本的分類準(zhǔn)確率可進(jìn)一步提高,但很難達(dá)到100%的分類準(zhǔn)確率。
表5 模型評價結(jié)果
從整個模型的綜合性能來看,模型的Kappa系數(shù)為0.943 1。對照2.3節(jié)給出的評價等級,模型對測試集上各類樣本的分類結(jié)果與樣本的真實結(jié)果“幾乎一致”,獲得了較高性能。
本研究基于當(dāng)前生產(chǎn)環(huán)境中普遍存在的Wi-Fi網(wǎng)絡(luò),利用無線網(wǎng)絡(luò)連接中端口物理層的信道狀態(tài)信息(Channel State Information, CSI)序列數(shù)據(jù)構(gòu)建了奶牛爬跨行為檢測與識別系統(tǒng),為基于Wi-Fi信號的無線感知技術(shù)在農(nóng)業(yè)信息化領(lǐng)域的應(yīng)用提供了基本的技術(shù)架構(gòu),給出了數(shù)據(jù)采集、預(yù)處理、分類模型訓(xùn)練以及模型評價等方面的具體方案。本研究的主要結(jié)論如下:
1)在Wi-Fi信號能夠正常傳播的養(yǎng)殖棚舍環(huán)境下,通過利用普通的網(wǎng)絡(luò)設(shè)備可部署數(shù)據(jù)采集系統(tǒng),構(gòu)建基于CSI序列信號的感知系統(tǒng),通過信號跳變檢測和人工標(biāo)記,共采集到包含3類奶牛動作的CSI序列片段8 127個并構(gòu)建了數(shù)據(jù)集。
2)設(shè)計了一個具有8層網(wǎng)路結(jié)構(gòu)的長短時記憶網(wǎng)絡(luò)(Long Short Term Memory, LSTM),其中的4層LSTM隱層分別含有150、125、100和80個細(xì)胞單元,通過設(shè)定初始學(xué)習(xí)率為0.001,最大訓(xùn)練輪數(shù)為50和每批次訓(xùn)練樣本數(shù)為13等關(guān)鍵參數(shù),以數(shù)據(jù)集中的5 630個樣本作為訓(xùn)練集,以Adam優(yōu)化器進(jìn)行優(yōu)化,對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,得到多分類模型。
3)所得模型在2 497個樣本構(gòu)成的測試集上可獲得96.67%的總體分類準(zhǔn)確率,模型Kappa系數(shù)為0.943 1,具備良好的分類效果。
本研究構(gòu)建的系統(tǒng)僅僅利用了CSI序列信號的振幅特性。實際上,CSI序列信號中的頻率變化、相位變化以及信號時延等屬性也包含著豐富的環(huán)境變化信息,能夠更加細(xì)膩地表征物理環(huán)境的變化,實現(xiàn)諸如對動物呼吸、咀嚼、反芻等細(xì)微動作的感知,這也是本研究需要繼續(xù)深入的研究方向。
[1] 田富洋,王冉冉,宋占華,等. 奶牛發(fā)情行為的檢測研究[J]. 農(nóng)機(jī)化研究,2011,33(12):223-232.
Tian Fuyang, Wang Ranran, Song Zhanhua, et al. Study on the detection of estrus behavior in cows[J]. Journal of Agricultural Mechanization Research, 2011, 33(12): 223-232. (in Chinese with Englishi abstract)
[2] 宗哲英,王帥,蘇力德,等. 奶牛發(fā)情行為的監(jiān)測研究現(xiàn)狀及進(jìn)展[J]. 畜牧與獸醫(yī),2018,50(2):147-150.
Zong Zheying, Wang Shuai, Su Lide, et al. A review research on monitoring the oestrus behavior of dairy cows[J]. Animal Husbandry & Veterinary Medicine, 2018, 50(2): 147-150. (in Chinese with Englishi abstract)
[3] 蔣曉新,鄧雙義,劉煒,等. 運用計步器對北方地區(qū)荷斯坦奶牛妊娠后期活動量進(jìn)行控制的研究[J]. 黑龍江畜牧獸醫(yī),2014(17):102-104.
Jiang Xiaoxin, Deng Shuangyi, Liu Wei, et al. Study on controlling the activity of holstein dairy cows in the late gestation by using pedometer[J]. Heilongjiang Animal Husbandry and Veterinary Medicine, 2014(17):102-104. (in Chinese with English abstract)
[4] Sakaguchi M, Fujiki R, Yabuuchi K, et al. Reliability of estrous detection in holstein heifers using a radiotelemetric pedometer located on the neck or legs under different rearing conditions[J]. Journal of Reproduction & Development, 2007, 53(4): 819-828.
[5] 劉忠超,何東健. 奶牛陰道植入式電阻傳感器與無線檢測系統(tǒng)研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報,2019,50(11):175-185.
Liu Zhongchao, He Dongjian. Research of implantable sensor and wireless monitoring system for cow's vaginal resistance[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(11): 175-185. (in Chinese with Englishi abstract)
[6] Tom V H, Stefano V, Machteld S, et al. Automatic lameness detection based on consecutive 3D-video recordings[J]. Biosystems Engineering, 2014, 119(3): 108-116.
[7] 趙凱旋. 基于視頻分析的奶牛呼吸頻率與異常檢測[J]. 農(nóng)業(yè)機(jī)械學(xué)報,2014,45(10):258-263.
Zhao Kaixuan. Detection of breathing rate and abnormity of dairy cattle based on video analysis[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(10): 258-263. (in Chinese with Englishi abstract)
[8] 何東健. 基于視頻分析的犢牛的基本行為識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報,2016,47(9):294-300.
He Dongjian. Recognition of calf basic behaviors based on video analysis[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(9): 294-300. (in Chinese with Englishi abstract)
[9] Maher A, Allan L S, Wolfgang B, et al. The role of infrared thermography as a non-Invasive tool for the detection of lameness in cattle[J]. Sensors, 2015, 15(6): 14513-14525.
[10] Felix A, Anita K, Florian E, et al. Monitoring trough visits of growing-finishing pigs with UHF-RFID[J]. Computers and Electronics in Agriculture, 2018, 144(1): 144-153.
[11] 逯玉蘭,李廣,郝玉勝. 基于Wi-Fi無線感知技術(shù)的豬呼吸頻率監(jiān)測[J]. 農(nóng)業(yè)工程學(xué)報,2019,35(24):183-190.
Lu Yulan, Li Guang, Hao Yusheng. Monitoring pig respiration frequency using Wi-Fi wireless sensing technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(24): 183-190. (in Chinese with Englishi abstract)
[12] Manikanta K, Kiran J, Dinesh B, et al. SpotFi: Decimeter level localization using WiFi[C]//SIGCOMM 15, London, United Kindom, 2015.
[13] Wang Xuyu, Gao Lingjun, Mao Shiwen. BiLoc: Bi-modal deep learning for indoor localization with commodity 5GHz WiFi[J]. IEEE Access, 2017, 5(3): 4209-4220.
[14] Heba A, Moustafa Y, Khaled A H, et al. WiGest:A ubiquitous WiFi-based gesture recognition system[C]// Computer Communications (INFOCOM). Kowloon, Hong Kong, 2015.
[15] Mohammed A A, Li Fangmin, Ma Xiaolin, et al. Device-free indoor activity recognition system[J]. Applied Sciences, 2016, 6(11): 1-13.
[16] Zeng Yunze, Parth H P, Prasant M. WiWho: WiFi-based person identification in smart spaces[C]//15thACM International Conference on Information Processing in Sensor Networks (IPSN). Vienna, Austria, 2016.
[17] Li Qiyue, Fan Hailong, Sun Wei, et al. Fingerprints in the air: Unique identification of wireless devices using RF RSS fingerprints[J]. IEEE Sensors Journal, 2017, 17(11): 3568-3579.
[18] IEEE standard for information technology-Telecommunications and information exchange between systems-Local and metropolitan area networks - Specific requirements, IEEE Std 802.11nTM-2009 [S/OL]. [2009-10-29].https://ieeexplore.ieee.org/servlet/opac?punumber=5307291.
[19] Yang Zheng, Zhou Zimu, Liu Yunhao. From RSSI to CSI: Indoor localization via channel response[J]. ACM Computing Surveys, 2013, 46(2): 1-32.
[20] Marco C, Moe Z W, Alberto Z. On the capacity of spatially correlated MIMO rayleigh-fading channels[J]. IEEE Transactions on Information Theory, 2003, 49(10): 2363-2371.
[21] Daniel H, Hu Wenjun, Anmol S, et al. Tool release: Gathering 802.11n traces with channel state information[J]. ACM SIGCOMM Computer Communication Review, 2011, 41(1): 53-53.
[22] Wu Kaishun, Xiao Jiang, Yi Youwen, et al. FILA: Fine-grained indoor localization[C]//INFOCOM Proceedings. Orlando, Florida, USA, 2012.
[23] Wang Yuxi, Wu Kaishun. WiFall: Device-free fall detection by wireless networks[J]. IEEE Transactions on Mobile Computing, 2017, 16(2): 581-594.
[24] Breunig M, Kriegel H. LOF: Identifying density-based local outliers[C]//ACM SIGMOD 2000. Dallas, Texas, USA, 2000.
[25] Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780.
Recognition of crawling behavior of dairy cows using Wi-Fi wireless sensing technology
Hao Yusheng1, Lin Qiang1※, Wang Weilan2, Guo Min1, Lu Yulan3
(1.,,730030,;2.,,730030,;3.,,730070,)
In the dairy farming industry, there is a close relationship between estrus and the crawling behavior of dairy cows. Timely detection of the crawling behavior of dairy cows is an important issue to be considered to detect the estrus of cows and improve breeding income. Due to the traditional wearable sensing method is easy to cause animals’ stress response and generally detrimental to their welfare, it is necessary to find a new way. In 802.11 a/g/n standards, channel response can be partially extracted from off-the-shelf Orthogonal Frequency Division Multiplexing (OFDM) receivers in the format of the Channel State Information (CSI), which reveals a set of channel measurements depicting the environment changes. To reliably detect and effectively recognize the crawling behavior of dairy cows and avoid stress response in a natural farming environment, a method based on the CSI of Wi-Fi signals was proposed in this study. Firstly, in the breeding shed of about 150 m2, a wireless router was used as the signal transmitter, and a computer equipped with Intel 5300 wireless Network Interface Card (NIC) was used as the signal receiver to set up a Multiple Input and Multiple Output (MIMO) wireless communication system, which could be used to obtain dairy cows’ motion state data in the format of the CSI. Secondly, the obtained CSI series data was preprocessed step by step (i) the CSI values of 30 subcarriers in each radio beam were aggregated into one by using the algorithm of carrier aggregation so that the module of signal jump detection could be run; (ii) the environmental noise caused by factors such as temperature and shed layout were filtered by using the algorithm of moving weighted average filtering; (iii) based on the algorithm of local outlier factor, a signal jump detection module was designed to find out the beginning and end time of the dairy cows’ motion in each CSI sequence fragment. Thirdly, the characteristics of CSI sequences were designed and extracted to construct a dataset containing 8 127 samples of three types of cows’ movements. Finally, given the advantages and recent success of recurrent neural networks in the domains of time series, a multi-classification recognition model was build based on the Long Short Term Memory (LSTM) network. The LSTM network is constructed with an 8-layer architecture and was trained by 5 630 samples in the dataset. Through repeated training model and modification of network parameters, a set of optimized network parameters was finally obtained. To evaluate the model, the indices of classification accuracy and Kappa coefficient were defined. Meanwhile, the remaining 2 497 samples in the dataset were fed into the model to verify its performance. The test result showed that (i) the proposed method reliably captured the CSI series signal fragments containing dairy cows’ movements; (ii) the validity and accuracy of the model were closely related to the model structure and the quality of the dataset. Generally, the higher the number of layers in the network and the higher the quality of the dataset, the better performance of the model can be achieved; (iii) when the LSTM network adopts an 8-layer structure and trained under specific parameters setting, the Kappa coefficient of the trained model on the test set was 0.934 1, and the classification accuracy was 96.67%. Based on the channel state information of the Wi-Fi signal and combined with the machine learning method, a high-performance behavior recognition model can be constructed in specific application fields. The key to the problem lies in the construction of the dataset and the careful tuning of the model. This study introduced wireless sensing technology based on the Wi-Fi signal into the field of agricultural informatization, the results could expand the technical means of animal behavior monitoring and provide a reference for the application of wireless sensing technology in intelligent agriculture.
livestock production; dairy cow; algorithms; crawling behavior; Wi-Fi wireless sensing; channel state information
郝玉勝,林強(qiáng),王維蘭,等. 基于Wi-Fi無線感知技術(shù)的奶牛爬跨行為識別[J]. 農(nóng)業(yè)工程學(xué)報,2020,36(19):168-176.doi:10.11975/j.issn.1002-6819.2020.19.019 http://www.tcsae.org
Hao Yusheng, Lin Qiang, Wang Weilan, et al. Recognition of crawling behavior of dairy cows using Wi-Fi wireless sensing technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(19): 168-176. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2020.19.019 http://www.tcsae.org
2020-06-17
2020-07-29
西北民族大學(xué)中央高?;究蒲袠I(yè)務(wù)費項目(31920170149);西北民族大學(xué)甘肅省一流學(xué)科引導(dǎo)專項資金(11080305);國家民委創(chuàng)新團(tuán)隊計劃資助(〔2018〕98號);國家自然科學(xué)基金項目“面向多流行學(xué)習(xí)的譜聚類方法及其在運動分割中的應(yīng)用研究”(61866033);國家自然科學(xué)基金項目“基于健康流數(shù)據(jù)的健康演進(jìn)趨勢識別與實時狀態(tài)評測關(guān)鍵技術(shù)研究(61562075);甘肅省高等學(xué)校創(chuàng)新基金項目(2020B-069)
郝玉勝,講師,主要從事農(nóng)業(yè)信息化,智能信息處理研究。Email:daryhao@126.com
林強(qiáng),博士,副教授,主要從事普適計算、智能信息處理研究。Email:787305757@qq.com
10.11975/j.issn.1002-6819.2020.19.019
S24; TN911
A
1002-6819(2020)-19-0168-09