肖德琴 林思聰 劉 勤 黃一桂 曾瑞麟 陳 麗

(1.華南農(nóng)業(yè)大學數(shù)學與信息學院， 廣州 510642； 2.溫氏食品集團股份有限公司， 云浮 523700)

0 引言

生豬的體溫監(jiān)測在規(guī)?；i養(yǎng)殖中有非常重要的作用，一般使用豬的直腸溫度表征豬的體溫[1-2]。當豬只處于循環(huán)衰弱、產(chǎn)后癱瘓、中毒或者臨死期時，其體溫低于正常體溫范圍的最低值；當豬只感染某些炎癥或傳染性疾病時，如豬傳染性胸膜肺炎、豬流感等，其體溫超過正常體溫的最高值。在畜禽養(yǎng)殖中的大部分傳染性疾病中，體溫升高往往發(fā)生的較早[3-4]。因此，對生豬進行體溫監(jiān)測和分析能有效發(fā)現(xiàn)疾病早期癥狀，以便及時通知養(yǎng)殖人員處理，減少養(yǎng)殖企業(yè)的經(jīng)濟損失[5-7]。

檢測生豬體溫的方法主要有傳感器法和熱紅外成像技術。相比于傳感器測溫要將設備置于生豬體內(nèi)[8-9]，基于熱紅外成像技術的測溫方法具有非接觸式的優(yōu)點，避免了人畜接觸交叉感染，也不會引起豬只的應激反應，能更準確地反映豬只體溫[10]。SCOLARI等[11]和SKYKES等[12]使用紅外熱像儀采集發(fā)情母豬肛部的熱紅外圖像分析母豬發(fā)情行為；秦永孝等[13]利用紅外熱像儀研究母豬發(fā)情狀態(tài)下體溫變化；WESCHENFELDER等[14]通過紅外熱像儀采集生豬屠宰前的體溫，研究分析了生豬體表溫度與其屠宰前的心理條件和豬肉品質(zhì)的相關性。上述研究都表明了基于熱紅外成像技術提取的豬只體溫能夠反映豬只生理狀況。

近年來隨著計算機視覺的發(fā)展，基于圖像處理技術的生豬熱紅外圖像感興趣區(qū)域測溫技術成為研究熱點。周麗萍等[15]基于熱紅外圖像提出改進Ostu算法檢測生豬耳根區(qū)域，但該方法僅能檢測完整具有耳根部特征的豬只圖像。趙海濤[16]借鑒人臉關鍵點檢測技術對豬臉的紅外圖像進行關鍵部位自動識別，該方法適用于人工拍攝的豬臉數(shù)據(jù)，難以結合自動化設備進行檢測。LU等[17]使用SVM識別紅外圖像中豬只頭部，基于頭部輪廓定位豬耳，并提取溫度，但存在將豬尾部輪廓誤識別為豬頭，導致耳部定位錯誤的問題。盡管上述研究一定程度上實現(xiàn)了自動化提取熱紅外圖像中感興趣部位的溫度，但數(shù)據(jù)來源是人工拍攝，自動化程度較低，而且存在感興趣部位的定位精度較低的問題。

已有研究表明，生豬熱紅外圖像的耳部區(qū)域最大溫度及平均溫度均保持了與生豬直腸體溫較好的相關性[17-18]。本文在前期部署的設施豬場生豬體溫紅外巡檢系統(tǒng)基礎上[19]，將紅外熱成像技術與計算機視覺技術結合，選取生豬耳部區(qū)域作為其體溫的代表區(qū)域，提出一種基于紅外熱成像的生豬耳溫自動提取算法(Infrared thermography based pigs’ ear temperature extraction，IT-PETE)，自動提取生豬耳部溫度，以實現(xiàn)對設施豬場內(nèi)生豬體溫的快速監(jiān)測，為后期構建豬只健康監(jiān)測預警模型提供技術支撐。

1 材料與方法

1.1 生豬熱紅外圖像數(shù)據(jù)的采集

本文數(shù)據(jù)采集于廣東省云浮市新興縣溫氏東成種豬場，于2018年7—9月進行了試驗，現(xiàn)場裝備部署及拍攝效果如圖1所示。試驗豬舍的限位欄長220 cm、寬75 cm、高106 cm。采集設備為FLIR A310型紅外熱像儀，并在其內(nèi)置25°鏡頭的基礎上加裝了一個視場角90°的鏡頭，部署于滑軌移動設備上，距離地面200 cm，可拍攝欄位共計28個。熱像儀的紅外分辨率為320像素×240像素。紅外熱像儀在試驗環(huán)境下進行嚴格校準，試驗豬場內(nèi)的環(huán)境因子數(shù)據(jù)是可調(diào)控的并且相對穩(wěn)定，但具體拍攝時仍需要對豬只個體輻射率和拍攝距離等參數(shù)進行校正優(yōu)化。根據(jù)文獻[20]的研究，通過多次拍攝測溫，將豬只個體輻射率調(diào)準為0.95能夠穩(wěn)定反映生豬的體溫。實際拍攝時，豬只姿態(tài)變化一定程度上影響拍攝距離。但將拍攝距離從115 cm調(diào)整到140 cm后，同一測量點的溫度誤差不超過0.1℃，測量結果如表1所示，試驗結果表明不同拍攝距離對設備測溫效果影響不顯著。因此，根據(jù)豬只大致高度將拍攝距離設置為120 cm。經(jīng)過試驗校準后，本文紅外設備獲取的溫度在誤差允許范圍內(nèi)能夠反映生豬的體溫，能夠建立有效的溫度分布熱像圖和獲取豬只體溫。

表1 不同拍攝距離下部分溫度數(shù)據(jù)

根據(jù)采集到的紅外熱像圖，構建包含2 400幅生豬紅外熱像圖的數(shù)據(jù)集。樣本來自于28個欄位不同生豬個體。其中，訓練集和驗證集共2 000幅圖像用于訓練和篩選模型，400幅用于驗證模型性能。在進行數(shù)據(jù)集標注前對數(shù)據(jù)集預處理，再使用LabelImg標注工具對數(shù)據(jù)集進行豬只個體及耳部區(qū)域的標注，如圖2所示。為避免非目標區(qū)域對目標區(qū)域分割和溫度提取造成干擾，進行標注時盡可能使包含耳部區(qū)域的最小外接矩形作為標注框。

1.2 基于紅外熱成像的生豬耳溫自動提取算法

本文提出的基于紅外熱成像的生豬耳溫自動提取算法包括生豬熱紅外圖像預處理、生豬耳部提取、生豬耳溫自動提取3個階段，其中生豬耳部提取又分為基于YOLO v4[21]的生豬個體和耳部區(qū)域檢測、生豬個體和耳部判定、基于形態(tài)學的生豬耳部區(qū)域分割3個步驟，算法流程圖如圖3所示。

1.3 基于拉普拉斯算子的生豬熱紅外圖像預處理

在訓練目標檢測模型前，對熱紅外圖像進行裁剪等預處理，可以減少噪聲，輔助人工標注數(shù)據(jù)，同時有助于目標檢測器更好地學習特征。對圖像裁剪的基本思路是保留圖像中間位置限位欄的目標豬只，將短邊上下各裁剪30個像素寬度，消除非目標欄位豬只對后續(xù)耳部檢測的干擾。原始圖像由分辨率320像素×240像素變?yōu)?20像素×180像素。之后使用中心數(shù)為5的4鄰域拉普拉斯算子對圖像銳化處理，使得豬只耳部邊緣輪廓信息更加突出明顯，以減弱紅外熱像圖存在邊緣模糊、對比度較低等問題，有利于人工標注和機器識別。預處理過程如圖4所示。

1.4 基于YOLO v4和形態(tài)學的生豬耳部檢測

在所采集的熱紅外圖像中，生豬由于個體差異、姿態(tài)變化等因素導致其耳部形狀不規(guī)則，如圖5所示。使用傳統(tǒng)的目標檢測算法難以設計出具有高魯棒性的圖像特征用于豬只耳部的檢測。相較于人工設計特征，深度學習方法通過深層次的神經(jīng)網(wǎng)絡自動提取目標特征，使其在目標檢測領域取得了傳統(tǒng)機器學習無法比擬的檢測精度。采用基于深度卷積網(wǎng)絡的目標檢測器YOLO v4識別豬只耳部區(qū)域[21]。YOLO(You only look once)是一種一階段的目標檢測器，將目標檢測問題轉換為回歸問題，具有檢測速度快的特點[22]。YOLO v4經(jīng)過改進[21-24]，使用CSPDarknet53作為骨干網(wǎng)絡，SPP和PAN作為特征融合結構，并使用了如CuMix和Mosaic數(shù)據(jù)增強、DropBlock正則化、類標簽平滑等訓練技巧提高了目標檢測的精度。

基于耳部區(qū)域的圖像，采用形態(tài)學方法對豬只耳部進行分割，以提取耳部輪廓，去除背景噪聲。具體算法過程如下：

輸入：經(jīng)過圖像預處理的生豬熱紅外圖像I。

輸出：經(jīng)過分割的耳部區(qū)域二值圖像Ifinal及該區(qū)域在圖像I中的左上角坐標(xe1,ye1)、右下角坐標(xe2,ye2)。

(1)將熱紅外圖像I輸入到YOLO v4目標檢測器。

(2)經(jīng)過YOLO v4目標檢測器處理，得到有且僅有一個分類為pig且置信度最高的目標豬只檢測框，若干個(不大于6個)分類為ear的耳部檢測框，將檢測框坐標由(x,y,w,h)轉換為左上角(x1,y1)右下角(x2,y2)表示。

(3)遍歷計算每個耳部檢測框，判斷其質(zhì)心是否包含于目標豬只檢測框，若是則輸出此耳部檢測框；否則舍棄該檢測框。

(4)對輸出的每個耳部檢測框在圖像I上裁剪對應區(qū)域圖像Iear。

(5)將圖像Iear轉換成灰度圖Igrey。

(6)使用Otsu算法計算圖像Igrey的二值分割閾值b，并根據(jù)b計算得到二值化圖像Ibw。

(7)對圖像Ibw進行開操作，消去圖像噪點，使輪廓光滑，得到圖像Iopen。

(8)基于圖像Iopen使用小面積填充方法消除內(nèi)部孔洞得到圖像Ifinal。

步驟(2)使用YOLO v4目標檢測器對豬只耳部和豬只個體進行了識別，目的是通過豬只個體區(qū)域來確保耳部區(qū)域屬于目標欄位的豬只，避免其它欄位的豬只耳部對結果造成干擾。

1.5 基于耳部分割圖像的生豬耳溫自動提取

根據(jù)生豬耳部提取算法得到生豬耳部分割圖像和原始熱紅外圖像對應的溫度矩陣對耳部溫度進行自動提取。算法提取的耳部溫度包括溫度最大值tmax、溫度平均值tmean。當豬只呈現(xiàn)不同的姿態(tài)或者行為時，耳部區(qū)域存在遮擋問題，熱像儀捕獲的熱紅外圖像中目標欄位豬只耳部區(qū)域存在1個、2個或不存在的情況。只考慮檢測到耳部區(qū)域的情況，設初始熱紅外圖像溫度矩陣為M，檢測到的耳部區(qū)域左上角坐標為(x1,y1)，右下角坐標為(x2,y2)，耳部溫度提取流程如下：

輸入：經(jīng)過分割的耳部區(qū)域二值圖像Ifinal，耳部區(qū)域左上角坐標(xe1,ye1)、右下角坐標(xe2,ye2)和溫度矩陣M。

輸出：耳部溫度集合Tear，耳部溫度平均值tmean和耳部溫度最大值tmax。

(1)根據(jù)耳部區(qū)域的左上角和右下角坐標計算其在圖像預處理前的實際坐標(x′e1,y′e1)、(x′e2,y′e2)。

(2)將實際坐標(x′e1,y′e1)、(x′e2,y′e2)映射到溫度矩陣，提取出耳部區(qū)域的溫度矩陣T。

(3)遍歷耳部區(qū)域二值圖像Ifinal每個像素點，如果坐標為(x,y)的像素點值為1，則將該點對應的溫度添加到耳部溫度集合Tear；否則，舍棄該點對應的溫度值。

(4)計算耳部溫度集合Tear的平均值tmean。

(5)計算耳部溫度集合Tear的最大值tmax。

2 試驗

2.1 試驗配置

試驗所用處理平臺為臺式計算機，處理器為Intel Xeon E7-8870，64 GB內(nèi)存，GPU采用NVIDIA TESLA K80。運行環(huán)境為Ubuntu 16.04LTS 64位操作系統(tǒng)，編程語言使用Python 3.7，深度學習框架使用Pytorch 1.7, 配備CUDA 10.0版本并行計算架構與cuDNN 8.0版本深層神經(jīng)網(wǎng)絡加速庫。

2.2 生豬耳部區(qū)域檢測模型訓練結果

本文標注了訓練集和驗證集共2 000幅圖像用于YOLO v4的訓練，并采用5折交叉驗證的方法篩選模型，將數(shù)據(jù)隨機劃分為5份，每份400幅圖像，即每次訓練有訓練集圖像1 600幅，驗證集圖像400幅。生豬耳部區(qū)域檢測器基于YOLO v4預訓練模型進行訓練，每次訓練迭代1 000個迭代周期，每迭代10個迭代周期保存1次模型。訓練設置批尺寸為4，即訓練集1 600幅圖像，每訓練迭代1個迭代周期，需要迭代400次。YOLO v4的初始訓練參數(shù)設置如表2所示。訓練結果如表3所示。

表2 YOLO v4訓練參數(shù)設置

表3 生豬耳部區(qū)域檢測模型訓練結果

表3中l(wèi)osstrain為訓練時模型在訓練集上的平均損失值，lossval為在驗證集上的平均損失值，括號內(nèi)數(shù)字為迭代周期，lossvalmin為模型在驗證集上最小損失值，Epochval為該損失值對應的迭代周期的次數(shù)。

進行多次訓練后，發(fā)現(xiàn)YOLO v4迭代約100個迭代周期時就已經(jīng)收斂。根據(jù)表3可知，第4折交叉驗證，訓練迭代到740個迭代周期時在驗證集上取得最小損失值3.944 5。該次訓練損失函數(shù)的收斂情況如圖6所示，模型在訓練集上的損失函數(shù)已經(jīng)收斂。因此選用訓練750個迭代周期后得到的模型作為生豬耳部區(qū)域檢測模型進行后續(xù)試驗。

2.3 生豬耳部區(qū)域檢測模型性能分析

為驗證生豬耳部檢測算法中YOLO v4目標檢測器的檢測精度和速度，本文標注了測試集400幅圖像用于評估，同時訓練了Faster R-CNN[25]、SSD[26]檢測器進行對比試驗。本文檢測器的訓練和測試都在Pytorch深度學習框架下進行。

試驗采用精確率(P)、召回率(R)、平均精度(mAP)、F1值、交并比(IoU)和單幀圖像的平均檢測時間評估模型性能。

3種檢測模型的檢測結果如圖7所示。3種檢測模型均能正確檢測出豬只個體，當視野中出現(xiàn)上下欄位的生豬時，當前欄位的生豬個體仍然能被檢測出來。在耳部區(qū)域檢測方面，YOLO v4和Faster R-CNN檢測模型能將目標豬只的2個耳朵都檢測出來，SSD存在明顯的檢測丟失現(xiàn)象。同時，YOLO v4的分類置信度明顯高于Faster R-CNN和SSD。

3種模型在測試集上的性能如表4所示。在檢測精度方面，YOLO v4各項評估指標的得分均優(yōu)于Faster R-CNN和SSD。Faster R-CNN對豬只個體的檢測精度與YOLO v4相當，但豬只耳部的檢測精度為95.6%，低于YOLO v4的97.6%。SSD在豬只個體及其耳部區(qū)域的檢測精度都略顯不足。在IoU方面，YOLO v4的評分為90.5%，比Faster R-CNN和SSD高2.9個百分點和8.2個百分點，表明YOLO v4在檢測框的預測上更貼近人工標注，有利于后續(xù)生豬耳部分割和溫度提取等操作的執(zhí)行。試驗表明，YOLO v4檢測模型相較于Faster R-CNN和SSD有更強的檢測性能，更能滿足生豬耳部區(qū)域定位識別的需求。

表4 3種模型在測試集上的性能檢測結果

在檢測速度方面，YOLO v4處理1幅熱紅外圖像的平均時間為12 ms，速度極快，優(yōu)于Faster R-CNN的處理時間，同時也比SSD快。本研究中，部署于生豬養(yǎng)殖場的紅外熱像儀拍攝熱像圖時需要停頓1 s，而生豬耳部分割和溫度提取過程處理耗時可忽略不計，YOLO v4檢測模型能夠滿足實時提取耳部溫度的需求。

2.4 生豬耳溫自動提取性能分析

為評估本文算法的整體性能以及驗證其提取的耳部溫度最大值和平均值是否能直接代表人工統(tǒng)計數(shù)據(jù)，從測試集隨機選取20頭豬的熱紅外圖像，人工提取40個豬只耳部輪廓，基于溫度矩陣統(tǒng)計輪廓內(nèi)部溫度的平均值和最大值作為真值，與算法提取的生豬耳溫結果進行對比。特別說明，為減少人工提取耳部輪廓時的主觀誤差，由3人分別對耳部輪廓進行提取，分別計算耳部溫度并取其平均值作為真實值。

基于熱紅外圖像的生豬耳部區(qū)域檢測實例如圖8所示，檢測到目標豬只的2個耳部區(qū)域后，使用生豬耳部區(qū)域分割方法提取其耳部像素點，得到耳部輪廓的二值圖像，過程如圖9所示。結合溫度矩陣和耳部輪廓的二值圖像，提取耳部溫度的最大值和平均值。人工提取的溫度數(shù)據(jù)與算法結果的相對誤差計算公式為

(1)

式中T——人工測量溫度，作為真實值

t——算法提取溫度，作為測量值

e——相對誤差

試驗結果如表5所示，其中Tmax和Tmean分別是人工提取的耳部區(qū)域溫度最大值和平均值，emax和emean是本文算法結果與人工測量值取得的最大值與平均值相對誤差。

表5 耳部溫度提取結果

由表5可知，通過本文算法提取的耳部溫度最大值與人工提取的數(shù)據(jù)一致，而平均值略有浮動，但相對誤差在合理范圍內(nèi)。由于耳部分割邊緣點選取略有偏差，統(tǒng)計對應溫度的平均值時會有偏差，而最大值總能包含在耳部輪廓內(nèi)，因此取值基本一致。

為評估算法在溫度檢測上的準確性，統(tǒng)計所有生豬耳部溫度數(shù)據(jù)的算法結果的相對誤差。結果表明，算法提取的耳部區(qū)域最大溫度相對誤差最大為1.4%，平均相對誤差為0.1%；本文算法提取的耳部區(qū)域平均溫度相對誤差最大為2.8%，平均相對誤差為0.6%。該結果為可接受范圍，表明本文算法提取的生豬耳部溫度有較高的準確性。

進一步將人工提取的溫度數(shù)據(jù)與算法結果進行相關性分析，試驗結果如圖10、11所示。由圖10、11可知，人工統(tǒng)計結果與算法提取的耳部區(qū)域溫度最大值的決定系數(shù)為0.984 9，與溫度平均值的決定系數(shù)為0.911 9，相關性較好，表明本文算法一定程度上可以替代人工提取生豬紅外熱像圖中的耳溫，表明本文算法基于生豬的紅外熱圖像自動提取耳溫的可行性。

3 結束語

提出一種基于紅外熱成像的生豬耳溫自動提取算法。算法基于YOLO v4和形態(tài)學對熱紅外圖像中的生豬耳部進行提取，并結合耳部分割圖像和溫度矩陣自動獲取耳部區(qū)域溫度的最大值和平均值。構建了用于熱紅外圖像的生豬個體和耳部區(qū)域的YOLO v4檢測模型，耳部檢測的準確率為97.6%，單幅圖像平均檢測時間為12 ms。試驗結果表明，人工統(tǒng)計耳溫和本文算法提取的耳溫具有高度相關性，且本文算法提取結果的相對誤差在可接受范圍內(nèi)。本文算法能夠滿足實時檢測耳部溫度的要求，可為豬只體溫自動化監(jiān)測及預警提供技術支撐。