王 榮，史再峰，高榮華，李奇峰

（1.天津大學 微電子學院，天津300072；2.北京農業(yè)信息技術研究中心，北京1000972；3.國家農業(yè)信息化工程技術研究中心，北京1000973）

【研究意義】生豬的消費產值成為農村經濟的重要支柱。豬個體識別技術可協(xié)助豬場實現(xiàn)自動化管理，記錄豬個體的成長資料。常見的豬個體識別技術如RFID耳標技術等成本高[1]，且易感染寄生蟲引起并發(fā)癥[2]有一定的局限性。隨著圖像技術和深度學習的不斷發(fā)展，通過非接觸式的豬個體識別技術減少養(yǎng)豬場職工數量、監(jiān)測疫病、降低養(yǎng)殖成本已成為必然趨勢。研究表明，非接觸式豬個體識別技術的難點在于提高多變環(huán)境中豬個體身份的識別率?！厩叭搜芯窟M展】利用計算機視覺和圖像處理技術代替人眼感知實現(xiàn)非接觸式豬個體識別，可記錄每頭豬的身份信息和健康狀況，并在通過外觀識別豬個體、豬體體尺參數和體質量估測[3]和豬個體輪廓分割[4]等方面取得顯著成就。豬個體外觀十分相似，傳統(tǒng)的豬個體識別方法常常通過人工標記顏色，通過識別標記實現(xiàn)對豬個體的識別和追蹤[5]。將豬舍中仔豬的背部和側面部用不同顏色進行標記，通過消除背景和非標記對象的影響進行分割以獲取豬仔位置[6]，或利用圖像處理技術分析豬背部涂抹的待識別圖案與樣本圖案的匹配程度，識別豬個體并估計其體質量[7]。江蘇大學電氣工程學院[8]利用Isomap算法融合豬個體的顏色、紋理及形狀特征，并用支持向量機進行分類識別。然而豬個體顏色、形狀特征以及標記圖案特征不明顯，個體識別率較低，因此，N.Wada等人[9]提出利用特征空間法識別豬臉，手動分割全臉圖像、眼睛周圍的圖像和鼻子周圍的圖像實現(xiàn)豬個體識別，并取得較好的識別率。綜合考慮以上基于計算機視覺和機器學習的算法，通過臉部特征識別豬個體的正確率較高，但都只對單一環(huán)境做了研究，在多變環(huán)境中識別豬只身份還有很大的提升空間。隨著計算能力的不斷提升，深度學習算法得到了更好地發(fā)展，具有更強的特征提取能力。Alexnet網絡在2012年ILSVRC（imagenet large scale visual recognition competition）比賽中獲得第一名[10]，識別率較傳統(tǒng)算法有了巨大的提升。由牛津大學計算機視覺幾何組（visual geometry group）提出的VGG網絡[11]、深度殘差網絡（deep residual network，ResNet）[12]通過改進卷積結構并增加卷積層和池化層數量，實現(xiàn)了深度卷積神經網絡（deep convolutional neural networks，DCNN），使其具有更強的特征提取能力。【本研究切入點】為提高復雜環(huán)境下豬個體的識別率，則需要增強算法對豬臉圖像的特征提取能力，以DCNN為基礎的改進網絡在人臉識別[13]及動物識別[14]領域都得到了較好的應用。2015年，MOREIRA等[15]將深層卷積神經網絡應用于動物的個體識別中識別走失狗，STERN等[16]通過對拍攝視頻的每幀圖像分類可分析動物個體的行為特點。2018年，PU等[17]利用CNN和Kinect傳感器相結合實現(xiàn)了自動識別雞群行為，達到了較好的識別效果。利用目標檢測網絡Faster R-CNN[18]（faster region-convolutional neural network）識別群養(yǎng)豬的吃食行為[19]和母豬的5種姿勢[20]（站立、坐姿、胸骨臥姿、腹側臥位和側臥位）也達到了較好的識別效果。類比人臉識別，將深度學習遷移到牛臉中，在采集的牛臉數據集中達到了較好的識別效果[21]。這些研究表明利用遷移學習的方式實現(xiàn)豬臉識別具有可行性。2018年Hansen[22]利用改進的卷積神經網絡提取豬臉圖像特征，對10頭豬個體進行識別，為復雜環(huán)境中的豬臉識別打下基礎?！緮M解決的關鍵問題】為提高豬臉識別算法在多變環(huán)境下的個體識別率，本文提出了一種基于多尺度卷積神經網絡的非接觸、低成本的豬個體身份識別方法，并借助GoogleNet[23]網絡思想設計了3種多尺度卷積的Inception結構，網絡融合了對稱拆分和非對稱拆分兩種方法。在生豬真實養(yǎng)殖環(huán)境下，利用86層的DCNN模型可以從豬臉數據集圖像中提取更詳細的面部信息，增強識別能力，設計7組數據集增強后的對比實驗，驗證網絡對復雜多變環(huán)境的魯棒性。

1 材料與方法

1.1 數據處理

豬臉數據樣本于2018年8月采集自天津惠康種豬場，設計了限位欄豬臉采集系統(tǒng)，使用三腳架將相機固定在距離限位欄50 cm的位置，高度與豬臉位置平行，拍攝自然養(yǎng)殖條件下的種豬視頻，使用工業(yè)相機為HD1080分辨率（1 920×1 080），每秒30幀。采集選用每天10:00—12:00，14:00—16:00光線較亮的時間段，將拍攝的種豬視頻按幀提取圖像，分類保存。選取圖像數量較多的類別編號為正樣本，拍攝圖像較少的類別為負樣本，利用爬蟲技術爬取網上的豬臉圖像加入負樣本中，加大類間數據的差異性，提升網絡的容錯性。

拍攝的圖像中含有大量的背景噪聲，圖像中會出現(xiàn)豬欄、窗戶等信息，都會影響豬臉的識別效果，與其他識別方法相同，本文方法需要將豬臉從圖像中截取出來，制作豬臉數據集。由于數據集是直接從視頻幀中獲得，相鄰圖像之間相似度很高，會造成訓練集和測試集樣本圖像相似，使得網絡過擬合，無法檢測識別方法的魯棒性，因此需要借助相似度算法篩選圖像。在不同光照、遮擋以及不同角度的環(huán)境下，現(xiàn)有的豬個體識別網絡準確率較差，為驗證本文設計的豬臉識別方法對多變環(huán)境的適應能力，利用數據集增強技術模擬多種不同環(huán)境下的豬臉圖像。

如圖1所示，對提取到的原始圖像數據進行預處理得到豬臉數據集。首先，對提取到的豬臉圖像，利用圖像均方誤差（mean square error，MSE）和結構相似性（structural similarity index，SSIM）算法來計算相鄰兩張圖像的相似程度并篩選，得到大小為299×299的低相似度種豬正臉圖像，按照8:2的比例將數據集劃分為兩部分，其中0.8的部分按照9∶1的比例劃分為訓練集和驗證集，0.2的部分作為測試集。為驗證識別方法對不同環(huán)境的適應性，利用水平翻轉、垂直翻轉、亮度增強、亮度降低、隨機遮擋和隨機剪裁圖像六種方法對測試集增強，其中亮度的增強和降低以及遮擋和剪裁等操作均隨機選取參數以保證生成圖像的隨機性。

圖1 豬臉數據集制作過程Fig.1 The production process of pig face dataset

MSE公式如（1）所示：

最后把3個函數組合起來，得到SSIM指數函數，為了得到簡化形式，設置α=β=γ=1,c3=c2/2：

豬生長過程中臉部差別較為明顯，成年后的種豬7—8月份開始發(fā)情，2周歲左右會被淘汰，在此期間成年種豬面部特征變化較小，因此選擇成年種豬作為豬臉識別目標。采集到的數據處理結果如表1，篩選出26頭豬作為正樣本，剩余的24頭豬和網上爬取的豬臉圖像一起作為負樣本。其中SSIM的篩選值設置為0.5，MSE的篩選值設為1 000，圖像數據集整體的篩選率為66.13%。并增加6組對比數據測試模型性能。

表1 數據集處理結果Tab.1 The result of the processed data set

1.2 豬舍環(huán)境下豬個體身份識別模型

圖像識別技術的核心在于圖像的特征提取，在前人的豬臉識別方法中，由于提取到的特征信息較少，冗余信息較多，導致最終分類時效果不理想。網絡較淺時，無法提取豬臉詳細特征如眼睛、耳朵等位置，而通過加深網絡層數改進性能的方法會導致參數增多、計算量增加，使得豬臉識別速度較慢，因此需要尋找合適的稀疏連接代替全連接。因此本文設計了一種基于多尺度多通道并行結構的深層卷積神經網絡識別豬個體身份的方法，能夠增強豬臉圖像的特征提取，網絡結構如表2。

由表2可知，本文的網絡模型深度達到86層卷積層，模型中設計的Inception結構能夠尋找最優(yōu)的局部稀疏結構并將其覆蓋為近似的稠密組價，通過這種復雜網絡的拓撲結構增加模型的深度和寬度，豬個體身份分類前實現(xiàn)對豬臉特征的充分提取和分析。基于這種多尺度卷積并行提取圖像特征的思想，本文利用不同的模塊設計的86層的DCNN網絡實現(xiàn)了跨通道組織信息，提高網絡的表達能力，具體結構如圖2所示。

表2 多尺度DCNN模型結構及并行通道參數Tab.2 The structure of multi-scale DCNN model and parameters of parallel channels

圖2 深度卷積神經網絡模型Fig.2 The deep convolutional neural network model

圖2 為豬個體識別方法中提取豬臉圖像特征的深層卷積神經網絡模型，該模型由特征預提取模塊、兩種降維模塊、3種Inception模塊及全連接層4部分組成，模型輸入為299×299像素大小的圖像，輸出為27個類別的概率值，選取概率值最大的類別作為預測結果。

豬臉圖像輸入模型之后首先經過9層的特征預提取模塊，傳統(tǒng)網絡直接使用大尺寸卷積核提取特征會使豬臉的細節(jié)特征如眼睛、嘴和耳朵等明顯特征丟失，因此利用3個3×3小卷積核代替7×7大卷積核，使得豬臉各部分特征提取詳細，減少特征丟失。提取到的豬臉特征圖進入S1模塊后，首先經過1×1大小的卷積層對豬臉特征圖降維，高維度的豬臉特征圖像會包含多種冗余信息，且增加后續(xù)卷積運算的計算量，影響網絡的訓練和豬個體身份的識別速度。由于個體豬之間主要差異在于豬臉形狀和五官細節(jié)，需要同時提取整體形狀特征以及五官等局部信息，因此本文選用了多通道多尺寸卷積核并行結構，利用非對稱拆分的方法，使用1×7和7×1大小的卷積層替代7×7的卷積層，提取了豬臉圖像的全局信息，使得卷積結果不變的條件下，減少了模型的參數量，提升豬個體的識別速度。將兩路卷積層提取到的特征拼接，豐富了豬臉的特征提取。

豬個體之間差異性較小，臉部特征相似度較高，模型的特征預提取模塊提取的特征不足，因此設計了3種Inception結構如圖3所示，使用四路通道中不同尺寸的卷積核并行提取豬臉特征，提高豬個體識別模型性能，并在模塊中加入池化通道，以精簡豬臉特征圖中的信息，池化通道與其他通道并行提取特征后拼接級聯(lián)，預防了因池化導致的特征丟失。為了實現(xiàn)更加高效的計算，在每個Inception模塊后加入批量歸一化（batch normalization，BN）[24]，BN結構使得所有權重變化步調一致，增強模型的泛化能力防止過擬合并降低模型的計算量。

圖3 改進的Inception結構Fig.3 The improved structure of Inception

1.3 豬個體身份識別模型實現(xiàn)方法

針對豬的臉部特征進行提取實現(xiàn)識別豬個體身份的方法需要利用預處理后的數據集反復訓練模型，并對訓練好的模型多次評估對比，得到識別率高的模型實現(xiàn)豬個體身份識別，其整體實現(xiàn)方法如圖4所示。

圖4 豬個體身份識別模型的實現(xiàn)方法Fig.4 Method for implementing individual identification of pigs

該方法主要分為3個步驟首先將采集到的數據進行預處理并將處理好的數據集輸入到深度卷積神經網絡中訓練，然后根據訓練結果不斷調整訓練參數，最后對訓練好的卷積網絡進行評估，利用6種數據集增強技術設置對比實驗，驗證本文模型對多變環(huán)境的適用性。

豬臉數據集圖像經過預處理之后，被劃分為不同批次（Batch），每次隨機在訓練集中選取一個Batch圖片作為網絡的輸入，使用動態(tài)學習率和交叉驗證的方法訓練。每次訓練完成之后，輸出網絡預測的豬個體分類結果，并計算與實際分類結果的交叉熵，利用梯度下降法調整參數。經過多輪數據迭代之后得到訓練效果較好的網絡權重，網絡訓練完成。

網絡使用的Softmax函數進行分類，如公式（4）。

其中，輸入圖像為x，i代表第i類，j代表圖片x的第j個像素。在標簽輸入之前對標簽進行正則化（Label smoothing），使得在計算損失值時能夠有效抑制過擬合現(xiàn)象，如公式（5）

其中，yi為真實預測值，利用得到的分類結果和正則化后的標簽計算交叉熵損失函數，如公式（6）。根據求得的損失函數值，利用動態(tài)學習率調整所有權重參數。

2 結果與分析

2.1 實驗平臺

本實驗采用兩塊GeForce GTX 1080Ti型GPU進行訓練，每塊顯存大小為11G Bytes，基于Ubuntu16.04操作系統(tǒng)和Tensorflow框架搭建了深度學習算法網絡訓練平臺，其中Python版本為3.6.3，Tensorflow版本為1.9.0，Keras的版本為2.2.4，CUDA API的版本為9.1，cuDNN的版本為9.0。

2.2 訓練過程分析

本文設計了3組分別基于Lenet5、VGG16和ResNet50網絡的豬臉識別方法作為對比實驗，使用訓練集對網絡進行訓練時，采用梯度下降（SGD，stochastic gradient descent）算法進行優(yōu)化。將隨機失活（Dropout）優(yōu)化算法參數大小設為0.8，設置動態(tài)學習率初始參數為0.000 1，學習動量設置為0.95。每次迭代包含的樣本數量為50，全部樣本迭代一次為一輪，設置迭代輪數為500輪。分析隨著迭代次數的增加，網絡的準確率和損失函數的變化過程，對比本文模型和其他豬臉識別模型的訓練精度。

模型的訓練過程如圖5所示，所有模型的loss值整體呈下降趨勢，精確度值整體呈上升趨勢。模型在反向傳播的過程中會不斷計算全局的最優(yōu)解，通過小樣本計算出的損失值更新卷積核參數，使其預測結果的損失值不斷減小。隨著迭代輪數的增加，網絡的精確度值和損失函數值趨于穩(wěn)定，會在一定的范圍震蕩，如430輪迭代之后，本文模型的損失函數值在0～0.02震蕩，精確度在0.96～1.00震蕩，其他3種淺層網絡收斂速度較本文模型稍快，ResNet50和VGG16最終的收斂結果較好，損失函數和訓練精確度分別穩(wěn)定在0.01～0.1和0.96～1.00。但3種對比模型的震蕩幅度要高于本文模型，在小樣本預測過程中誤差較高，因此本文模型的收斂效果更好。

2.3 網絡性能對比分析

對網絡的訓練結果對比分析，從參數模型大小、訓練速度和識別模型在測試集中的準確度來測試算法性能。測試集數據經過水平翻轉、垂直翻轉、亮度提高、亮度降低、隨機遮擋和隨機剪裁處理之后分為7組，對訓練好的豬臉識別模型進行測試，計算網絡的準確率。

圖6為不同網絡的訓練結果，網絡模型大小反應了網絡的復雜度，本文模型使用多尺度并行特征提取，復雜度遠高于其他網絡。然而訓練時間和模型大小沒有因為層數的增加而驟增，其主要原因是因為網絡中使用的BN結構和Dropout結構降低了深層網絡的參數量和運算量。

表3為不同網絡豬臉識別方法的測試結果，所有模型在原始測試集圖像中的識別準確率最高，水平翻轉、垂直翻轉和隨機塊遮擋的情況對深層網絡的影響較小。本文模型在水平翻轉、垂直翻轉和隨機塊遮擋的情況下，識別準確率分別可以達到95.13%、94.19%和92.97%，明顯高于其他網絡。Alexnet作為淺層網絡的代表，對增強之后的數據集識別率較低，網絡的魯棒性較差。本文基于多尺度卷積的豬臉識別方法，在多種圖像增強的測試集的識別率高于其他網絡，對實際應用中的復雜環(huán)境有更強的適用性，但是在隨機剪裁和亮度變化的情況下還有更多的提升潛力。

圖5 訓練過程對比圖Fig.5 Comparison of training process

2.4 模型中間層可視化

根據圖2的網絡結構圖，訓練完成的網絡對豬臉數據集圖像進行特征提取，圖7為模型特征提取的輸出結果?？捎^察到網絡剛開始預提取特征模塊中，提取到的豬臉特征冗余信息較多，隨著深度的增加，以及各Inception模塊的特征提取，冗余信息減少，豬臉特征越來越突出。由圖7可知，本文基于多尺度分類網絡的豬個體身份識別模型能夠更好地全面提取豬臉特征，并過濾掉無用信息。

圖6 豬個體識別模型的訓練結果Fig.6 The training results of individual pig recognition model

表3 豬個體識別模型測試結果Tab.3 The test results of individual pig identification model

圖7 模型特征提取結果Fig.7 The feature extraction results of model

3 結論與討論

針對現(xiàn)有的豬個體身份識別方法在多變環(huán)境下識別效果不佳的情況，本文基于多尺度卷積分類網絡優(yōu)良的特征提取能力，提出了一種通過識別臉部特征確定豬個體身份的識別模型。利用SSIM和MSE方法對采集到數據集進行篩選，濾除掉相似性很高的圖像，有效的預防了訓練集和測試集圖像相似導致的過擬合。網絡使用對稱和非對稱兩種卷積核拆分方法，將不同通道提取到的特征融合，增強了豬臉的全局特征以及細節(jié)信息提取，且提高了網絡的運行速度。本研究表明，對于真實養(yǎng)殖環(huán)境下所采集的圖像，本文所提出的模型的識別率高達99.81%，明顯高于其他網絡，在水平翻轉、垂直翻轉和隨機塊遮擋的情況下本文模型的識別率都優(yōu)于其他模型。

測試豬臉識別模型的過程中發(fā)現(xiàn)，圖像亮度的升高和降低對網絡的影響較為明顯，為進一步提高豬臉識別模型的準確率，可采用改進網絡結構和擴充訓練集的方法，提高網絡在惡劣環(huán)境下的識別能力，以適應大型農場中復雜多變的環(huán)境。同時，識別網絡大多采用端到端的識別模式，無法針對特征突出的部位重點識別，因此如何在改進的網絡結構中增加多種顯著特征的識別權重還可進一步的研究。

致謝：天津惠康種豬場對本試驗提供場地和數據支持，謹致謝意！