陳爭濤，黃 燦，楊 波，趙 立，廖 勇

（1.四川省國有資產(chǎn)投資管理有限責(zé)任公司，成都 610031；2.四川省國投現(xiàn)代農(nóng)牧業(yè)產(chǎn)業(yè)有限公司，成都 610041；3.成都希盟泰克科技發(fā)展有限公司，成都 610041；4.重慶大學(xué)微電子與通信工程學(xué)院，重慶 400044）

（*通信作者電子郵箱liaoy@cqu.edu.cn）

0 引言

牦牛養(yǎng)殖可以帶動高原地區(qū)的人們脫貧致富，但是現(xiàn)在的牦牛養(yǎng)殖仍處于傳統(tǒng)的模式，養(yǎng)殖效率低，牦牛管理不精準(zhǔn)。為了精確地對牦牛身份進(jìn)行識別，亟須建立一套智能化平臺輔助牦牛養(yǎng)殖和管理，因此智能化平臺需要具有牦牛臉部識別功能，對牦牛進(jìn)行監(jiān)控。

近年來，隨著人工智能的快速發(fā)展，人工智能的一些關(guān)鍵技術(shù)被應(yīng)用于畜牧業(yè)。養(yǎng)殖場為了集中化管理，需要對牲畜的每個個體進(jìn)行記錄以及精確的識別。目前，牲畜身份識別的方法主要為射頻識別（Radio Frequency IDentification，RFID）［1］標(biāo)簽方案，這種侵入式的識別方案需要在動物的耳朵上穿孔來佩戴無線射頻識別標(biāo)簽，容易引起動物的不適，造成咬標(biāo)、掉標(biāo)的情況發(fā)生。人臉識別是基于人的臉部特征信息進(jìn)行身份識別的一種生物識別技術(shù)［2］，通常采用非侵入式的方法進(jìn)行監(jiān)視和識別，與養(yǎng)殖企業(yè)的應(yīng)用場景非常相似［3］。當(dāng)前，國內(nèi)外已經(jīng)有一些研究人員將人臉識別的部分技術(shù)應(yīng)用到牦牛的行為識別［4］上，取得了一些不錯的效果。但是，牦牛臉識別又具有其特殊性，牦牛群由于近親繁殖的原因使得個體間的相似度很高，同時，牦牛臉上的一些毛發(fā)也會掩蓋其面部特征，給牛臉識別造成了很大的困難。文獻(xiàn)［5］中采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）和長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)兩種深度學(xué)習(xí)網(wǎng)絡(luò)對牛個體進(jìn)行定位和識別，首先采用CNN 提取牛身體的特征，再使用LSTM 網(wǎng)絡(luò)對個體進(jìn)行識別，其仿真結(jié)果個體的識別率為87%；但是，該算法實施的前提是需要采集每頭牦牛的體尺信息來進(jìn)行識別，并且神經(jīng)網(wǎng)絡(luò)泛化能力低，工作繁瑣復(fù)雜，不適合實際的養(yǎng)殖場環(huán)境。文獻(xiàn)［6］中采用一種多通道局部二值模式直方圖進(jìn)行特征提取，然后使用支持向量機(jī)（Support Vector Machine，SVM）為主分類器對牛進(jìn)行識別，該算法基于傳統(tǒng)的圖像識別方式，需要對圖片進(jìn)行多次預(yù)處理，算法的復(fù)雜度高并且最后所能達(dá)到的個體識別的準(zhǔn)確度低，最高只有78%。文獻(xiàn)［7］中提出了一種雙線性卷積神經(jīng)網(wǎng)絡(luò)Bilinear-CNN，其在CUB200-2011數(shù)據(jù)集上可以獲得84.1%準(zhǔn)確度，該算法通過增加CNN 的層數(shù)來提高識別的準(zhǔn)確性，隨著網(wǎng)絡(luò)層數(shù)的增加提取到的數(shù)據(jù)特征也就越多，所以網(wǎng)絡(luò)的準(zhǔn)確度也獲得提升，但是網(wǎng)絡(luò)層數(shù)的增加會使得網(wǎng)絡(luò)在訓(xùn)練時出現(xiàn)梯度消失的現(xiàn)象，造成網(wǎng)絡(luò)訓(xùn)練時間變長。VGG（Visual Geometry Group）模型［8］是由牛津大學(xué)視覺幾何組參加ImageNet 挑戰(zhàn)賽提出的網(wǎng)絡(luò)，VGG 網(wǎng)絡(luò)使用多個小型卷積核平滑地擴(kuò)充網(wǎng)絡(luò)的深度，使得該網(wǎng)絡(luò)可以學(xué)習(xí)更加復(fù)雜的模式而不會出現(xiàn)梯度消失的情況，由于卷積核的個數(shù)較多，VGG網(wǎng)絡(luò)的運算復(fù)雜度也會急劇上升，在網(wǎng)絡(luò)訓(xùn)練尋找權(quán)重的過程中需要花費大量的時間。在實際的應(yīng)用中，牦牛臉部數(shù)據(jù)特征多、網(wǎng)絡(luò)訓(xùn)練速度很慢，針對這類情況，遷移學(xué)習(xí)是一種較好的解決方法。遷移學(xué)習(xí)［9］是一種基于源數(shù)據(jù)和目標(biāo)數(shù)據(jù)、源任務(wù)和目標(biāo)任務(wù)之間相似性的機(jī)器學(xué)習(xí)方法，它使用在源數(shù)據(jù)領(lǐng)域中學(xué)習(xí)到的知識來解決目標(biāo)數(shù)據(jù)領(lǐng)域中的任務(wù)，可以有效降低網(wǎng)絡(luò)的訓(xùn)練時間。

牦牛臉識別具有臉部毛發(fā)多、數(shù)據(jù)特征多且復(fù)雜的特點，若采用傳統(tǒng)的CNN 進(jìn)行牦牛臉識別，神經(jīng)網(wǎng)絡(luò)的算法復(fù)雜度高，網(wǎng)絡(luò)在訓(xùn)練時需要對多種特征進(jìn)行處理，訓(xùn)練時間大大加長。因此本文采用遷移學(xué)習(xí)的方法，在VGG16 網(wǎng)絡(luò)的基礎(chǔ)上結(jié)合并行CNN 對牦牛臉進(jìn)行識別，降低網(wǎng)絡(luò)的訓(xùn)練時間。使用VGG16 網(wǎng)絡(luò)是為了利用現(xiàn)有網(wǎng)絡(luò)的權(quán)重達(dá)到遷移學(xué)習(xí)的目的減少訓(xùn)練過程中的耗時，接著使用CNN 對特征進(jìn)行處理。所提算法的具體步驟如下：首先使用現(xiàn)有的VGG16 網(wǎng)絡(luò)結(jié)構(gòu)對牦牛臉數(shù)據(jù)進(jìn)行遷移學(xué)習(xí)，初步提取牦牛臉特征信息；接著使用并行的CNN 對牦牛臉特征進(jìn)行二次提取；最后對提取的特征分類進(jìn)行牦牛個體識別。本文算法在傳統(tǒng)CNN 無法處理牦牛臉部大量數(shù)據(jù)特征的情況下引入遷移學(xué)習(xí)降低網(wǎng)絡(luò)的訓(xùn)練時間，同時在牦牛臉識別上達(dá)到較好的精度。實驗結(jié)果表明，改進(jìn)的網(wǎng)絡(luò)的識別準(zhǔn)確率可以達(dá)到91.2%。

1 數(shù)據(jù)集的獲取和處理

1.1 采集數(shù)據(jù)

在養(yǎng)殖的牧區(qū)采集300 頭牦牛的臉部數(shù)據(jù)用于實驗，包括成年牦牛和牦牛崽，兩者的數(shù)量大致相同。為每一頭牦牛拍攝三段視頻，分別用于網(wǎng)絡(luò)模型的訓(xùn)練、驗證和測試，其中訓(xùn)練視頻的時長為2 min，驗證和測試視頻的時長都為1 min，視頻的分辨率為1 080P，每秒30 幀。拍攝視頻的角度以及光照的強(qiáng)度會對網(wǎng)絡(luò)的泛化能力造成影響，所以視頻的拍攝分為正午和傍晚兩個時間段完成，并且拍攝的角度不固定。將拍攝的牦牛視頻按幀提取圖像，分類保存。實驗過程中使用的牦牛臉部數(shù)據(jù)將從保存的圖像中獲取。

1.2 數(shù)據(jù)處理

提取的圖像中含有大量的背景噪聲，會影響牦牛臉識別的效果，與人臉識別方法類似，本文方法是將牦牛臉從圖像中截取出來，制作牦牛臉數(shù)據(jù)集。由于圖像數(shù)據(jù)是從視頻中按幀提取的，這些圖像可能存在一些問題，如圖片模糊、相鄰圖像之間相似度很高以及不包含或只包含少部分牦牛臉等。因此，需要圖像數(shù)據(jù)進(jìn)行清洗。首先，通過篩選掉牦牛臉數(shù)據(jù)不完整和模糊的圖片。圖像數(shù)據(jù)相似度高，會造成訓(xùn)練集和測試集樣本圖像相似，使得網(wǎng)絡(luò)過擬合，無法判斷網(wǎng)絡(luò)模型的魯棒性，因此需要通過圖形相似度算法，淘汰其中相似度過高的圖像。首先，對提取到的牦牛臉圖像，利用圖像均方誤差（Mean Square Error，MSE）和結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）算法［10］來計算相鄰圖片間的相似程度并做篩選。

MSE的公式如式（1）所示：

只通過MSE 算法不能完全篩選數(shù)據(jù)集，因此加入了基于結(jié)構(gòu)失真的SSIM 評估方法。SSIM 算法通過兩幅圖像之間的方差、協(xié)方差和平均強(qiáng)度來判斷兩幅圖像是否相似，計算公式如（2）所示：

其中：ux、uy為輸入圖像的平均值，σx、σy為輸入圖像的方差，σxy為兩幅圖像的協(xié)方差；c1、c2為常數(shù)。S（x，y）的取值范圍在0～1，當(dāng)取值低于0.7時，可以認(rèn)為兩張圖片不相似。

經(jīng)過清洗后的數(shù)據(jù)集中，每頭牦牛的圖像有150～200 張。為了提高網(wǎng)絡(luò)模型的泛化能力，利用垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)、亮度降低、亮度增強(qiáng)等方法對數(shù)據(jù)集進(jìn)行增強(qiáng)，其中圖像的亮度變化隨機(jī)選取參數(shù)以保證圖像的隨機(jī)性。

2 基于遷移學(xué)習(xí)的Parallel-CNN 牦牛臉識別算法

2.1 遷移學(xué)習(xí)

目前在牦牛臉識別領(lǐng)域存在標(biāo)注數(shù)據(jù)少的問題，為了充分利用之前標(biāo)注完成的數(shù)據(jù)，提出了遷移學(xué)習(xí)。為了使牦牛數(shù)據(jù)在遷移學(xué)習(xí)得到很好的利用，并能在新的領(lǐng)域和任務(wù)中發(fā)揮作用，本文提出一種將VGG 模型遷移到Parallel-CNN 的算法，具體方法如下：首先凍結(jié)并取出VGG 模型中的特征提取層，用于提取初次特征；再與CNN連接進(jìn)行二次特征提取。

2.2 CNN算法

CNN 是一種具有卷積計算和深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)［11］，是深度學(xué)習(xí)的代表性算法之一。CNN 具有表示學(xué)習(xí)的能力，可以根據(jù)輸入信息的層次結(jié)構(gòu)對輸入信息進(jìn)行分類。在全連接神經(jīng)網(wǎng)絡(luò)中，相鄰兩層之間的所有節(jié)點互相連接，所以每一層的所有節(jié)點組成一列，而卷積神經(jīng)網(wǎng)絡(luò)相鄰兩層之間只有部分節(jié)點相連。對于全連接神經(jīng)網(wǎng)絡(luò)來說，直接訓(xùn)練牦牛的圖像會導(dǎo)致訓(xùn)練參數(shù)過多，造成過擬合的問題，而卷積神經(jīng)網(wǎng)絡(luò)除了減少需要估計的參數(shù)以外，還能很好地提取牦牛臉圖像中的特征。

圖1為CNN對牦牛臉圖像的特征提取可視化示意圖。

圖1 牦牛臉圖像的CNN特征提取可視化示意圖Fig.1 Schematic diagram of CNN feature extraction visualization of yak face image

CNN包含了卷積層、池化層與全連接層，每一層又由多個二維向量組成，并且每個向量由多個獨立的神經(jīng)元組成。而其中的核心是卷積層，其思想來源于數(shù)學(xué)中的卷積運算，如式（3）所示：

其中：x(t-a)表示輸入，w(a)為卷積核。離散化后的形式為：

二維形式的卷積為：

2.3 VGG模型

與其他模型不同的是，VGG 網(wǎng)絡(luò)更注重網(wǎng)絡(luò)的深度，使用多個小卷積核構(gòu)成卷積層，從而增加網(wǎng)絡(luò)深度。與很多其他模型采用大卷積核的模式相比，VGG 網(wǎng)絡(luò)使用多個3×3 的小卷積核堆可以平滑地擴(kuò)充網(wǎng)絡(luò)的深度并使得該模型能夠?qū)W習(xí)更加復(fù)雜的模式。本文采用了VGG16模型，如圖2所示。

圖2 VGG16網(wǎng)絡(luò)模型Fig.2 VGG16 network model

由圖2可知，VGG16模型包含了13個卷積層、5個池化層、3 個全連接層。其中所有的卷積核大小均為3×3，采用3×3 小卷積核的原因是：兩個3×3 的堆疊卷積層的有限感受野是5×5；3 個3×3 的堆疊卷積層的感受野是7×7，多個小卷積核構(gòu)成的卷積層相比大卷積核，具有更強(qiáng)的非線性，能夠擬合更復(fù)雜的情況。為了保留更多的信息，池化層全部采用2×2 的池化核；最后經(jīng)過3個全連接層和Softmax層輸出每個類別的概率。

2.4 Parallel-CNN牦牛臉識別

研究表明，人類的視覺信息加工主要由兩條通路組成：腹側(cè)通路和背側(cè)通路，腹側(cè)通路又稱為枕-顳通路，負(fù)責(zé)對物體產(chǎn)生完整而精細(xì)的視知覺；背側(cè)通路又稱為枕-頂通路，負(fù)責(zé)對視覺刺激的空間知覺［12］?；谠撍枷?，本文提出了Parallel-CNN 算法。同時，為了減少訓(xùn)練時間，利用已經(jīng)訓(xùn)練好的VGG16模型進(jìn)行遷移學(xué)習(xí)，算法的結(jié)構(gòu)如圖3所示。

圖3 Parallel-CNN算法Fig.3 Parallel-CNN algorithm

圖3 所示的Parallel-CNN 由兩個并行網(wǎng)絡(luò)組成，該網(wǎng)絡(luò)包含初次特征提取和二次特征提取兩個部分。在分類器運算過程中，任意一個并行網(wǎng)絡(luò)使得不同維度的特征產(chǎn)生交互，這樣能夠提取不同的圖片特征。因此，通過兩個并行網(wǎng)絡(luò)可以同時捕獲輸入圖像不同特征之間的關(guān)系。

Parallel-CNN 算法由六元組組成，以第一個并行網(wǎng)絡(luò)為例，函數(shù)形式為：

其中：V1、V2表示特征提取函數(shù)，D為全連接函數(shù)，C為卷積函數(shù)，P為池化函數(shù)，S為Softmax分類函數(shù)。

特征提取函數(shù)V1(·)通過VGG 模型來完成，V1(·)為特征空間映射，將數(shù)據(jù)特征空間進(jìn)行變換：

其中R∈RE×F，V1(·)將輸入的圖像信息I變換為一個E×F維度的特征；接著通過一個全連接函數(shù)D將兩個VGG 特征提取函數(shù)的輸出進(jìn)行維度變換：

D(·)將E×F維的數(shù)據(jù)轉(zhuǎn)換為EF× 1維度的數(shù)據(jù)；C為卷積函數(shù)，對VGG的輸出數(shù)據(jù)再次進(jìn)行特征提取，卷積函數(shù)為：

其中：i和j代表矩陣的行和列索引，K為卷積核；P為池化函數(shù)，其作用是將每個卷積層的輸出匯聚為一個最終的圖像特征并去除冗余信息、減少計算量，P的計算公式為：

最后，S為Softmax分類函數(shù)，其輸出為輸入圖像各類別的概率，公式為：

3 實驗結(jié)果及分析

3.1 端對端訓(xùn)練

訓(xùn)練數(shù)據(jù)包括了300 頭牦牛共90 000 張圖片，即90 000個數(shù)據(jù)中一共有300 種類別。其中，數(shù)據(jù)被劃分為訓(xùn)練集、驗證集以及測試集，比例為7∶2∶1。在算法的訓(xùn)練階段使用了訓(xùn)練集和驗證集，其中訓(xùn)練集用于更新神經(jīng)網(wǎng)絡(luò)的參數(shù)，而驗證集不參與神經(jīng)網(wǎng)絡(luò)權(quán)重的調(diào)整，起到檢測每輪小批次數(shù)據(jù)的效果，進(jìn)而監(jiān)控算法是否過擬合的作用。實驗過程中，訓(xùn)練數(shù)據(jù)經(jīng)過了在人臉數(shù)據(jù)集預(yù)訓(xùn)練過的VGG16 網(wǎng)絡(luò)，且在第五層池化層進(jìn)行截斷，實現(xiàn)了初次特征提取；接著進(jìn)行維度變換，通過第一個全連接網(wǎng)絡(luò)進(jìn)行維度變換，激活函數(shù)為sigmoid函數(shù)，其函數(shù)形式為：

維度變換之后，進(jìn)入多個卷積層和池化層進(jìn)行二次特征提取，一共包括4 個卷積層和4 個池化層；最后經(jīng)過第二個全連接網(wǎng)絡(luò)作為分類器，該全連接網(wǎng)絡(luò)包含1 個輸入層、1 個隱藏層和1個輸出層，訓(xùn)練時全連接層的dropout的概率為50%，輸入層和隱藏層的激活函數(shù)為線性整流函數(shù)（Rectified Linear Unit，ReLU）函數(shù)，其函數(shù)形式為：

輸出層采用Softmax 函數(shù)；損失函數(shù)采用交叉熵?fù)p失，其定義如下：

其中：K為類別數(shù)；yi為標(biāo)簽，如果類別第i類，則yi=1 時，否則yi=0；pi為神經(jīng)網(wǎng)絡(luò)的輸出，其含義為類別為i的概率；優(yōu)化器采用Adam。

本文所使用訓(xùn)練設(shè)備的配置為Turing 架構(gòu)GeForce RTX 2080TI 顯卡，Intel Xeon E5-2678 V3 處理器，64 GB 內(nèi)存；軟件運行環(huán)境為Ubuntu 20.04操作系統(tǒng)，Python3.7，PyTorch 1.2。

3.2 實驗結(jié)果

本次實驗選取準(zhǔn)確率作為目標(biāo)算法的評價指標(biāo)。準(zhǔn)確率指正確識別圖像的數(shù)量占整個測試數(shù)據(jù)集的百分比。訓(xùn)練過程中的算法的準(zhǔn)確率和損失值的變化曲線如圖4和圖5所示，損失值作為一個訓(xùn)練算法時的輔助指標(biāo)，其用于度量算法的擬合程度，損失值越小，代表算法擬合得越好。

從圖4 和圖5 可以看出，隨著迭代次數(shù)的不斷增加，算法的準(zhǔn)確率在不斷提高，損失值在不斷降低。在迭代次數(shù)達(dá)到60 次之后，準(zhǔn)確率和損失值都逐漸平穩(wěn)，并且準(zhǔn)確率超過了90%，損失值在0.1 左右。驗證集的曲線緊緊跟隨訓(xùn)練集的曲線，沒有出現(xiàn)過擬合的情況，說明使用了dropout 之后，算法抗過擬合性好。

圖5 本文算法損失值變化Fig.5 Loss value change of the proposed algorithm

本次實驗采用300 頭牦牛9 000 張照片作為測試集來度量算法的訓(xùn)練效果，本文將Parallel-CNN 與VGG16 網(wǎng)絡(luò)、ResNet-50 網(wǎng) 絡(luò)［13］、基于主成分分析（Principal Component Analysis，PCA）的Eigenface 算法［14］、緊密連接型卷積網(wǎng)絡(luò)（Dense Convolutional Network，DenseNet）［15］進(jìn)行對比。訓(xùn)練時間和測試結(jié)果如表1所示。

表1 幾種算法的訓(xùn)練時間和測試結(jié)果Tab.1 Training time and test results of several algorithms

從表1 可以看出，Parallel-CNN 的性能最優(yōu)，在測試集上的準(zhǔn)確率達(dá)到了91.2%。和VGG16 模型比較，二次特征提取使算法的準(zhǔn)確率提升了12.9 個百分點，由于Parallel-CNN 算法凍結(jié)了VGG16 的所有權(quán)重，只訓(xùn)練了二次提升特征提取網(wǎng)絡(luò)的權(quán)重，所以訓(xùn)練時間大幅縮減。另外，與ResNet-50相比，訓(xùn)練時間減少了大約43%，準(zhǔn)確率也提升了6.6 個百分點；對比Eigenface，Eigenface 的訓(xùn)練時間比Parallel-CNN 算法減少了33.3%，但可能由于該算法不能較好地識別不同光照角度、強(qiáng)度下圖像，準(zhǔn)確率下降了18 個百分點。最后對比DenseNet，由于該網(wǎng)絡(luò)在每一層使用前面層提取的各個特征，增強(qiáng)了特征傳播，能取得不錯的效果，準(zhǔn)確率也比所提算法的低2.6 個百分點，且Parallel-CNN 較其訓(xùn)練時間減少了20%?？傮w上看，在設(shè)計圖像的特征表述時，利用遷移學(xué)習(xí)與并行網(wǎng)絡(luò)結(jié)合將各特征之間的空間位置關(guān)系考慮進(jìn)去，的確能夠更加豐富、準(zhǔn)確地描述對象，說明多次特征提取建模局部特征的交互能力更強(qiáng)，在描述對象時比單神經(jīng)網(wǎng)絡(luò)更具代表性；而且，訓(xùn)練算法時不需要重新訓(xùn)練VGG16 模型的權(quán)重，顯著降低參數(shù)的數(shù)量。

4 結(jié)語

本文針對牦牛養(yǎng)殖集中化管理中牦牛臉識別存在面部特征數(shù)據(jù)量大、神經(jīng)網(wǎng)絡(luò)訓(xùn)練時間長的問題，提出一種基于遷移學(xué)習(xí)的Parallel-CNN 算法來識別牦牛臉。該算法通過已訓(xùn)練好的VGG16 模型進(jìn)行遷移學(xué)習(xí)，提取得到的牦牛臉圖像的初次特征，再將提取到的初次特征輸入并行CNN 得到二次提取的特征，最后通過全連接網(wǎng)絡(luò)進(jìn)行分類。通過分析與實驗表明，該算法與目前常用的幾種算法對比，能夠有效降低訓(xùn)練時間并且保證較高的準(zhǔn)確率。在未來的養(yǎng)殖領(lǐng)域中，應(yīng)用牦牛臉識別技術(shù)可以確保牦牛的身份能夠被準(zhǔn)確、實時和自動獲取，將豐富智能化牦牛管理信息平臺功能和應(yīng)用。