杜曉冬 滕光輝 劉慕霖 趙雨曉 周振宇 祝鵬飛

(1.新希望六和股份有限公司， 北京 100102； 2.中國農(nóng)業(yè)大學(xué)水利與土木工程學(xué)院， 北京 100083)

0 引言

畜禽發(fā)聲是其行為的基本組成部分，通過識別動物聲音可以輔助判斷其健康或疾病狀況[1]。近年來，國內(nèi)外研究學(xué)者針對畜禽動物發(fā)聲檢測這一熱點問題，開展了一系列研究，嘗試關(guān)聯(lián)動物發(fā)聲和動物健康、動物福利、動物生理等信息，提出了一系列借助非接觸式、數(shù)字化、智能化等手段監(jiān)測和管理農(nóng)場動物的方法。例如：通過蛋雞發(fā)聲評估熱應(yīng)激狀態(tài)[2]，健康家禽發(fā)聲識別[3-5]和家禽疾病聲音辨識[6-8]，肉雞啄食聲音監(jiān)測評估采食量情況[9-11]，牛、羊呼吸道疾病監(jiān)測[12-14]，豬咳嗽聲監(jiān)測[15-18]等研究。

基于機器學(xué)習(xí)經(jīng)驗?zāi)Ｐ头绞降膭游锫曇粜盘栕R別是目前的主流方式，大致分為兩步：第1步為特征工程，通過提取動物聲音信號中適合的特征，例如：時域信號時長、短時過零率、功率譜、線性預(yù)測倒譜系數(shù)等，來量化模擬信號的特征；第2步為分類識別，基于提取的特征進行不同類型聲音的建模，用該模板來匹配不同聲音目標(biāo)來實現(xiàn)動物發(fā)聲識別。除了經(jīng)典的經(jīng)驗分類模型外，基于深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network, CNN)的動物聲音識別方法是近年來研究者關(guān)注的熱點之一。深度神經(jīng)網(wǎng)絡(luò)在圖像、語音等領(lǐng)域均得到了廣泛應(yīng)用，通過卷積神經(jīng)網(wǎng)絡(luò)模型可以對原始聲音信號實現(xiàn)信號端到端的分類識別，而非經(jīng)典模型的“兩步走”方法，將特征工程和分類建模有效結(jié)合，極大地節(jié)約了學(xué)習(xí)建模的時間，因此該技術(shù)受到了很多研究者的關(guān)注[19-20]。同時，卷積神經(jīng)網(wǎng)絡(luò)在處理數(shù)據(jù)速度和識別性能方面比其他經(jīng)典機器學(xué)習(xí)模型有一定提升。

深度學(xué)習(xí)技術(shù)可實現(xiàn)信號輸入端到分析結(jié)果輸出端的信號快速檢測，并且深度學(xué)習(xí)模型的抗噪能力較強。針對種雞舍內(nèi)復(fù)雜的背景聲環(huán)境，識別個體繁多的動物聲音也是本研究領(lǐng)域的巨大難題之一[21]。而深度學(xué)習(xí)技術(shù)非常適用于現(xiàn)有規(guī)?；B(yǎng)殖環(huán)境中動物聲音的動態(tài)監(jiān)測，以解決多變的背景噪聲環(huán)境下的動物多樣化聲音的識別難題。本研究基于輕量級卷積神經(jīng)網(wǎng)絡(luò)快速建立種雞聲音辨識模型，以解決種雞舍內(nèi)復(fù)雜聲音背景下的動物多樣化聲音的識別問題，為后期研究種雞福利的評價系統(tǒng)提供理論基礎(chǔ)。

1 聲音信號處理方法

1.1 語譜圖

20世紀(jì)60年代，美國Bell實驗室首次提出了聲紋(Voiceprint)的概念，驗證了不同人具有不同的語譜圖，這為通過聲譜圖辨識聲音信號提供了理論研究基礎(chǔ)[22]。聲譜圖是一種三維感知圖，描述了聲音信號中的時間、幅值和頻率3個維度信息之間的變化關(guān)系，一般情況下聲譜圖橫軸坐標(biāo)為時間，縱軸坐標(biāo)為頻率，信號中不同頻率幅值(振幅或功率)在圖像中一般用不同的灰度或顏色來表示[4]，例如：灰度或顏色的數(shù)量級越大，則表示聲音信號在某一時刻的某一頻率分量越大。

1.2 梅爾頻率特征

梅爾頻率特征被廣泛應(yīng)用在動物發(fā)聲識別研究中，且具有較好的魯棒性和抗噪聲能力[4]。梅爾頻率特征可利用Python的第三方庫librosa的庫函數(shù)自動獲取，librosa是一個非常強大的Python語音信號處理的第三方庫[23]。本研究方法調(diào)用librosa 0.8.1庫函數(shù)中的melspectrogram()獲取Log-Mel特征圖，研究對象種雞聲音信號的采樣頻率為16 kHz，該特征方法選取的幀長為2 048，相鄰幀之間的重疊率為50%，默認(rèn)窗函數(shù)為漢寧窗，Mel濾波器組數(shù)設(shè)置為128[24]。各類型聲音的語譜圖如圖1所示。

圖1 Log-Mel特征圖Fig.1 Spectrograms of Log-Mel feature

1.3 分類模型

將原始聲音信號統(tǒng)一轉(zhuǎn)換為梅爾特征圖數(shù)據(jù)集，其中每幅圖像的尺寸為360像素×360像素，最終選取各類別的聲音樣本片段合計1 500個，每個片段時長截取為1 s，考慮到不同時長的音頻片段轉(zhuǎn)成特征圖后再歸一化會產(chǎn)生圖像中聲紋線的形變，影響聲音識別結(jié)果，本研究僅考慮統(tǒng)一時長和尺寸的情況。其中，隨機抽取80%的特征圖作為訓(xùn)練集建立分類模型，其余20%的數(shù)據(jù)集樣本作為測試集，用于驗證該輕量級卷積神經(jīng)網(wǎng)絡(luò)模型的識別性能[4]。

訓(xùn)練數(shù)據(jù)作用是學(xué)習(xí)優(yōu)化分類，使模型預(yù)測結(jié)果和實際分類結(jié)果之間的誤差最小化。本研究識別聲音類型數(shù)量n為5，即5類聲音，包括：飲水聲、應(yīng)激叫聲、鳴叫聲、產(chǎn)蛋叫聲、風(fēng)機噪聲，設(shè)計輕量級卷積神經(jīng)網(wǎng)絡(luò)模型中卷積核尺寸為5×5，dropout為0.2，設(shè)置dropout的原因是避免模型訓(xùn)練過擬合，特征圖輸入通道數(shù)為3，即RGB三通道。第1層卷積的卷積核個數(shù)為32，第2層卷積的卷積核個數(shù)為64，輸入到CNN網(wǎng)絡(luò)的圖像數(shù)據(jù)類型是4維數(shù)組，第1維為訓(xùn)練數(shù)據(jù)量為32，即訓(xùn)練圖像塊的大小為32，第2、3維為聲譜圖的圖像尺寸，第4維為圖像輸入通道數(shù)。x和y分別為圖像數(shù)據(jù)和圖像標(biāo)簽。

本文構(gòu)建的輕量級卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖如圖2所示。

圖2 CNN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 CNN network structure diagram

CNN網(wǎng)絡(luò)結(jié)構(gòu)中的激活函數(shù)選取ReLU函數(shù)，其數(shù)學(xué)公式為

(1)

式中x——輸入值

選取交叉熵損失函數(shù)(Softmax函數(shù))來計算網(wǎng)絡(luò)的損失值(Loss)，AdamOptimizer作為優(yōu)化器來迭代學(xué)習(xí)訓(xùn)練，假設(shè)神經(jīng)網(wǎng)絡(luò)的原始輸出為y1、y2、…、yn，那么經(jīng)過Softmax回歸處理后輸出為

(2)

式中yi——神經(jīng)網(wǎng)絡(luò)輸出值

n——神經(jīng)網(wǎng)絡(luò)輸出值維度

經(jīng)過Softmax處理后，將單個節(jié)點的輸出結(jié)果變成一個概率值，作為神經(jīng)網(wǎng)絡(luò)最后的輸出。借助深度學(xué)習(xí)強大的特征學(xué)習(xí)能力訓(xùn)練聲音的辨識模型，經(jīng)過500次迭代(Epoch)，學(xué)習(xí)率(Learning rate)為0.000 1。

1.4 評價方法

采用準(zhǔn)確率(Accuracy，A)、精確率(Precision，P)、召回率(Recall，R)和平衡F1值(Balanced score F1)來評價種雞發(fā)聲分類識別性能[12]。

2 試驗設(shè)計

試驗數(shù)據(jù)來自于中國農(nóng)業(yè)大學(xué)上莊試驗站模擬雞舍，研究對象為6羽海蘭褐父母代種雞，35～36周齡，飼養(yǎng)模式為網(wǎng)上平養(yǎng)，飼養(yǎng)空間長1.50 m、寬1.35 m、高1.50 m。試驗平臺包括飲水線、產(chǎn)蛋箱以及料槽等，雞只隨意采食和飲水，試驗階段光期為06:00—22:00，試驗期間環(huán)境溫度在15.0～18.0℃之間，溫度數(shù)據(jù)來自于舍內(nèi)安裝的JWSH-515S-AC型溫濕度一體傳感器，其溫濕度探頭來自瑞士Rotronic公司。

圖3 試驗平臺示意圖Fig.3 Schematic of test platform

聲音數(shù)據(jù)采集平臺選用美國微軟公司的Kinect for Windows v1型嵌入式麥克風(fēng)陣列(4通道同步采集、32位分辨率、16 kS/s采樣頻率)，設(shè)備安裝在飼養(yǎng)區(qū)域正上方高1.8 m的位置，錄音軟件采用美國國家儀器公司(National Instruments, NI)的LabVIEW虛擬儀器平臺，利用LabVIEW聲音工具包模塊(Sound and vibration assistant, SVM)編寫音頻采集程序，單聲道采集，音頻連續(xù)采樣，采樣周期55 s，數(shù)據(jù)以*.wav格式存儲，Kinect設(shè)備通過1個USB數(shù)據(jù)線連接端口至小型工控機進行數(shù)據(jù)傳輸，大量數(shù)據(jù)存儲需外接2 TB USB 3.0移動硬盤(圖3)。各類型聲音采用人工方式進行標(biāo)記，標(biāo)記方法參照文獻[12]，采集的音頻數(shù)據(jù)利用Python 3.7軟件以及Tensorflow
1.15.0、Skimage、Librosa 0.8.1等進行端到端的聲音信號處理和分析。

3 試驗結(jié)果與分析

本研究基于輕量級卷積神經(jīng)網(wǎng)絡(luò)建立算法模型，識別外界聲源，如風(fēng)機噪聲、飲水聲，以及海蘭褐種雞的不同類型聲音，表1為不同聲音類型的定義。

表1 種雞舍內(nèi)不同類型聲音的定義Tab.1 Definition of different types of sounds in breeder house

基于輕量級卷積神經(jīng)網(wǎng)絡(luò)模型對不同聲音類型的識別結(jié)果見表2，表2增加了文獻[4]中經(jīng)典算法模型(Gabor特征模型)的判別結(jié)果作為對比。從表2中可以看出，風(fēng)機噪聲、飲水聲、產(chǎn)蛋叫聲的召回率最高，均為100%，應(yīng)激叫聲的召回率最低，為88.3%，分析原因可能是不同的應(yīng)激源導(dǎo)致動物的不同應(yīng)激叫聲，本研究沒有對應(yīng)激源進行進一步劃分，統(tǒng)一定義為種雞應(yīng)激叫聲，風(fēng)機噪聲和飲水聲的聲譜圖中聲紋變化單一，比較容易區(qū)分[25]；風(fēng)機噪聲、產(chǎn)蛋叫聲精確率參數(shù)最高，均為100%，鳴叫聲的精確率最低，為90.0%；風(fēng)機噪聲、產(chǎn)蛋叫聲F1值最高，均為100%，鳴叫聲F1值最低，為90.0%，分析原因可能是鳴叫聲聲譜圖的聲紋變化較多，沒有固定的匹配模板。從表3來看，因為鳴叫聲和應(yīng)激叫聲的聲紋變化較多，它們也最容易被誤判為其他類型聲音，并且它們相互之間的誤判率也是最高的。另外，因為每段音頻均為專業(yè)人員人工標(biāo)記，所以識別結(jié)果與不同人的主觀判斷也有一定關(guān)聯(lián)。從表2、3中可以看出，產(chǎn)蛋叫聲、風(fēng)機噪聲和飲水聲同其他類型聲音相比，界定相對清晰，較容易實現(xiàn)快速、準(zhǔn)確的音頻標(biāo)記；而應(yīng)激叫聲和鳴叫聲則不容易實現(xiàn)準(zhǔn)確的人工標(biāo)記操作，部分鳴叫聲和應(yīng)激叫聲之間存在混淆。

表2 CNN模型和Gabor特征模型識別率對比Tab.2 Comparison of recognition effect between CNN model and Gabor feature model %

表3 CNN模型不同聲音類型的分類混淆矩陣Tab.3 Confusion matrix of different types of sound

圖4 CNN模型訓(xùn)練和測試的效果Fig.4 Training and testing results of CNN model

圖4為CNN模型訓(xùn)練測試數(shù)據(jù)經(jīng)過500次迭代學(xué)習(xí)后的效果，最終種雞發(fā)聲平均準(zhǔn)確率可達95.7%，比文獻[4]研究方法的準(zhǔn)確率提高3.7個百分點?？傮w來看，CNN模型幾乎在各類型聲音的識別上均優(yōu)于文獻[4]中的反向傳播神經(jīng)網(wǎng)絡(luò)模型。

試驗結(jié)果表明，本文提出的基于輕量級卷積神經(jīng)網(wǎng)絡(luò)的方法適用于種雞舍內(nèi)聲音的辨識，且比文獻[4]的識別性能有所提高，平均準(zhǔn)確率可達95.7%，模型對飲水聲、風(fēng)機噪聲、產(chǎn)蛋叫聲識別召回率均達到100%，其中風(fēng)機噪聲和產(chǎn)蛋叫聲精確率和F1值也均達到100%。針對動物聲音識別方面研究大多僅區(qū)分2或3類聲音類型，聲音類型數(shù)量偏少，識別效果一般。而本文研究提出的CNN模型與國內(nèi)外學(xué)者研究動物發(fā)聲識別結(jié)果相比，對種雞舍內(nèi)常見的5類聲音具有較高的識別率，建模所用的聲音類型較多。而其他研究方法的識別率分別為78.0%～83.0%(監(jiān)測家禽疾病發(fā)聲：支氣管炎、新城疫病等)[6]、79.4%～93.2%(監(jiān)測家畜咀嚼、咬、反芻等5種行為)[26]、95.6%(識別豬咳嗽聲和非咳嗽聲)[16]、95.5%～97.3%(識別豬哼叫聲、受驚嚇聲、喂食前聲音)[20]、93.0%～97.4%(識別禽流感病毒感染雞的發(fā)聲和健康雞發(fā)聲)[8]、66.7%～88.4%(分類雞打噴嚏聲和其他聲音)[7]。

此外，卷積神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)設(shè)計是影響識別準(zhǔn)確率的一個相關(guān)因素，本文方法為輕量化模型，如果增加卷積核函數(shù)尺寸和卷積層數(shù)可能會提高識別率[8]，但是同時將增加更多的計算時間，而選用成熟的卷積神經(jīng)網(wǎng)絡(luò)模型因參數(shù)計算量大勢必會消耗更多內(nèi)存，增加計算時長[16,20]。由此可知，未來需要根據(jù)具體研究目標(biāo)和問題探索識別率和計算性能之間的關(guān)系，以尋求一個最佳的模型應(yīng)用方案。

4 結(jié)束語

本文提出一種基于輕量級卷積神經(jīng)網(wǎng)絡(luò)的種雞發(fā)聲分類識別方法，將一維聲音信號轉(zhuǎn)換為二維圖像信號，借助深度學(xué)習(xí)技術(shù)實現(xiàn)了信號輸入端到分析結(jié)果輸出端的聲音快速識別。該方法平均準(zhǔn)確率可達95.7%，對比分析前人研究，本文方法對種雞舍內(nèi)常見的5類聲音整體識別準(zhǔn)確率提升3.7個百分點。該方法在理解動物行為和評價動物福利方面具有較高的研究價值。