張 倩，楊 穎*，劉 剛, 2, 3，吳 瀟，寧遠(yuǎn)霖

1.中國(guó)農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，北京 100083 2.現(xiàn)代精細(xì)農(nóng)業(yè)系統(tǒng)研究教育部重點(diǎn)實(shí)驗(yàn)室，北京 100083 3.農(nóng)業(yè)部農(nóng)業(yè)信息獲取技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100083

引 言

隨著人民生活水平的提高，人們更加重視食物的營(yíng)養(yǎng)健康，牛奶中含有豐富的乳蛋白和維生素，日常飲用牛奶有益于提高人體的免疫力。據(jù)《中國(guó)奶業(yè)統(tǒng)計(jì)資料》顯示：2020年全國(guó)牛奶產(chǎn)量為3 440萬噸，占比全球總產(chǎn)量的5%，奶牛養(yǎng)殖規(guī)模比例達(dá)到67%[1]。發(fā)展奶牛養(yǎng)殖業(yè)對(duì)于國(guó)家的畜牧業(yè)發(fā)展和農(nóng)業(yè)農(nóng)村經(jīng)濟(jì)發(fā)展都有極其重要的作用[2]。奶牛乳房炎是奶牛生產(chǎn)養(yǎng)殖中最為嚴(yán)重的疾病之一。奶牛患乳腺炎疾病會(huì)導(dǎo)致產(chǎn)奶量下降、牛奶質(zhì)量降低，會(huì)對(duì)養(yǎng)殖戶造成嚴(yán)重的經(jīng)濟(jì)損失[3]。根據(jù)臨床癥狀不同，奶牛乳房炎主要可分為顯性乳房炎和隱性乳房炎[4]?；加酗@性乳房炎的部位表現(xiàn)出肉眼可見的紅、腫、熱等癥狀，然而，隱性乳房炎的發(fā)病率高且奶牛乳房外觀變化細(xì)微，檢測(cè)較為困難[5]。早期由于缺乏有效的科技手段，養(yǎng)殖人員通過人工觀察奶牛乳腺炎的發(fā)病情況，判斷具有一定的主觀性，誤診率較高。隨著我國(guó)奶牛養(yǎng)殖廠的數(shù)量規(guī)模不斷擴(kuò)大，急需一種高效、準(zhǔn)確的奶牛隱性乳房炎早期檢測(cè)方法。

早期比較常規(guī)的“接觸式”奶牛隱性乳房炎檢測(cè)方法主要包括直接體細(xì)胞計(jì)數(shù)法(SCC)、加州乳房炎檢測(cè)法(CMT)、電導(dǎo)率法(EC)等等。此類法均需要對(duì)奶牛乳液進(jìn)行采樣，并通過專業(yè)儀器測(cè)量樣品的理化成分從而判定奶牛是否患乳房炎，整個(gè)過程需要嚴(yán)格控制檢測(cè)樣品的環(huán)境條件，具有實(shí)驗(yàn)操作繁瑣、周期長(zhǎng)且成本價(jià)格昂貴等弊端，從而限制了其在生產(chǎn)實(shí)際中的應(yīng)用[6-8]。

紅外熱成像技術(shù)[9](infrared thermograph technology, IRT)近些年來應(yīng)用領(lǐng)域愈加廣泛，其原理是利用傳感器檢測(cè)物體表面輻射出的電磁波信號(hào)，并轉(zhuǎn)換成視覺可見的熱紅外圖像或視頻，其不同的明亮程度以及顏色代表不同溫度從而可以判斷患病區(qū)域表面溫度以及炎癥反應(yīng)程度。IRT技術(shù)作為一種安全、低成本、非侵入性的快速疾病篩查方法，可以在早期發(fā)現(xiàn)乳腺病變，基于IRT的“非接觸式”畜類乳腺炎檢測(cè)方法開始受到研究人員的關(guān)注。Zaninelli[10]等將采集到的奶牛熱紅外像圖像通過應(yīng)用軟件計(jì)算每個(gè)乳房的溫度數(shù)據(jù)，結(jié)果證實(shí)了奶牛乳房表面溫度與其牛奶樣品中的體細(xì)胞數(shù)量之間存在顯著相關(guān)性。Bartolome[11]等通過熱紅外圖像以及心率來評(píng)估動(dòng)物眼睛溫度，研究表明動(dòng)物的眼睛顯示出最高的溫度代表最接近內(nèi)部核心體溫的溫度。Sathiyabarathi[12]等采用IRT技術(shù)檢測(cè)奶牛體溫和乳房表皮溫度(USST)，結(jié)果表明：患乳腺炎的部位平均USST高于平均體溫0.8 ℃。因此，研究者們提出采用熱紅外熱像儀測(cè)量奶牛眼睛和乳房等關(guān)鍵部位溫度，可以作為奶牛乳房疾病判斷依據(jù)。

Metzner[13]等采用不同的幾何工具手動(dòng)測(cè)量出奶牛熱紅外圖像關(guān)鍵部位，并通過受試者工作特征曲線(receiver operating characteristic, ROC)分析比較出最佳檢測(cè)方法。然而人工標(biāo)記很容易產(chǎn)生誤差，且消耗大量人力。為了實(shí)現(xiàn)奶牛乳房炎的自動(dòng)檢測(cè)，張旭東[14]等提出了一種基于閾值分割的奶牛眼睛和乳房自動(dòng)定位算法，并根據(jù)溫度閾值對(duì)奶牛乳房炎發(fā)病程度進(jìn)行評(píng)級(jí)，結(jié)果表明，一級(jí)奶牛乳腺炎檢測(cè)準(zhǔn)確率為87.5%，二級(jí)的檢測(cè)準(zhǔn)確率僅有33.3%。該研究中的分割方法對(duì)噪聲敏感，關(guān)鍵部位定位誤差大，導(dǎo)致二級(jí)乳腺炎檢測(cè)準(zhǔn)確極低。

隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(CNN)對(duì)大規(guī)模的數(shù)據(jù)具有強(qiáng)大的學(xué)習(xí)功能，在復(fù)雜背景的目標(biāo)檢測(cè)場(chǎng)景中取得了顯著的成績(jī)[15]。為了提高奶牛關(guān)鍵部位的識(shí)別準(zhǔn)確度，Xudong[16]等提出了一種基于熱紅外圖像的EFMYOLOv3深度學(xué)習(xí)算法，該方法定位平均精確率達(dá)到96.8%，乳腺炎分類準(zhǔn)確率為83.33%。王彥超[17]等提出了一種改進(jìn)YOLO v3-tiny的奶牛乳房炎檢測(cè)方法，奶牛乳房炎檢測(cè)精度可達(dá)77.3%。然而，在實(shí)際場(chǎng)景中由于運(yùn)動(dòng)目標(biāo)的測(cè)量距離、角度、環(huán)境等因素都會(huì)造成測(cè)量溫度漂移，再經(jīng)過與閾值比較，誤差擴(kuò)大，嚴(yán)重影響到最終的乳腺炎分類。無論是目標(biāo)檢測(cè)或是圖像分割法均需定位識(shí)別出奶牛的眼睛、乳房等關(guān)鍵部位，其次通過特定軟件從每頭牛奶的多張圖片中提取出該區(qū)域溫度，然后將其與標(biāo)準(zhǔn)理化指標(biāo)進(jìn)行比較。這種“多步式”的檢測(cè)方法不僅過程冗余復(fù)雜，而且很容易由于外部因素造成誤差累計(jì)，因此更需要一種從輸入數(shù)據(jù)到得出最終結(jié)果，無需其他人工操作步驟的“端到端”奶牛乳腺炎檢測(cè)方法。

針對(duì)上述問題，為了實(shí)現(xiàn)更快速、更高精度的“一步式”奶牛乳腺炎疾病檢測(cè)，本工作提出一種基于熱紅外圖像拼接的改進(jìn)ResNet34奶牛乳腺炎檢測(cè)算法。無需人工手動(dòng)標(biāo)記奶牛熱紅外數(shù)據(jù)，首先將原始局部圖像拼接成完整圖片，再采用RandAugment數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)充數(shù)據(jù)集，最后基于遷移學(xué)習(xí)和改進(jìn)ResNet34算法直接對(duì)奶牛熱紅外圖像進(jìn)行識(shí)別，將奶牛乳腺狀況進(jìn)行分類(患病或正常)。

1 實(shí)驗(yàn)部分

1.1 數(shù)據(jù)來源

實(shí)驗(yàn)數(shù)據(jù)來自于北京市延慶區(qū)大地集團(tuán)的荷斯坦奶牛養(yǎng)殖場(chǎng)。采集時(shí)間控制在上午8—10點(diǎn)時(shí)間段內(nèi)，采集地點(diǎn)設(shè)置在養(yǎng)殖場(chǎng)室內(nèi)。數(shù)據(jù)采集場(chǎng)景如圖1(a—d)所示，泌乳期奶牛依次通過寬度為90 cm的入口通道進(jìn)入擠奶廳(18臺(tái)擠奶儀器)，入口處的射頻識(shí)別(RFID)裝置用以記錄視頻中每一頭奶牛的ID號(hào)，入口通道兩側(cè)分別安裝一臺(tái)固定拍攝裝置——FLIR A310熱像儀(FLIR系列，美國(guó))。為確保熱像儀能拍到實(shí)驗(yàn)對(duì)象的關(guān)鍵部位，并減少視野盲區(qū)，熱像儀鏡頭(FOL 18 mm)與通道直線距離180 cm，鏡頭高度設(shè)置為90 cm。按照實(shí)際情況調(diào)整熱成像儀的反射溫度、相對(duì)濕度并設(shè)置其發(fā)射率為0.98，與Zaninelli等[10]研究保持一致。采用FLIR Tools的Altas SDK圖庫(kù)記錄360頭奶牛的熱紅外視頻(視頻的格式為SEQ，像素大小為320×240)，并通過體細(xì)胞分析儀對(duì)采集的牛奶樣品進(jìn)行檢測(cè)。根據(jù)Zaninelli等[10]的研究表明：當(dāng)SCC值大于或等于20 W·mL-1時(shí)，奶牛的該乳房部位被確認(rèn)為患有乳腺炎。

圖1 奶牛熱紅外數(shù)據(jù)采集裝置示意圖

1.2 圖像預(yù)處理

實(shí)驗(yàn)共計(jì)獲取360頭奶牛熱紅外視頻。SCC檢測(cè)結(jié)果顯示29頭奶牛患有乳腺炎疾病，為了使數(shù)據(jù)較為均衡，隨機(jī)挑選37頭正常奶牛，共計(jì)66頭奶牛選為最終實(shí)驗(yàn)對(duì)象，然后通過MATLAB R2018b將其SEQ視頻按照15 fps速率分幀成像素大小為320×240，格式為jpg的原始熱紅外圖片。

采集過程中，自然行走的奶牛由于運(yùn)動(dòng)導(dǎo)致眼睛和乳房無法一直保持在同一幀畫面之中。為了增強(qiáng)有關(guān)信息的可檢測(cè)性，本研究提出一種奶牛熱紅外圖像拼接方法：將同一頭奶牛連續(xù)幀中單獨(dú)包含眼睛或乳房的局部圖片，一對(duì)一水平拼接成同時(shí)包含眼睛和乳房的整體圖片[圖2(a, b, c)所示]。這樣既保留了數(shù)據(jù)處理前后的時(shí)空聯(lián)系，又解決了動(dòng)態(tài)目標(biāo)導(dǎo)致的數(shù)據(jù)特征缺失問題。根據(jù)上述預(yù)處理方法共得到2 234張(37頭)正常、1 064張(29頭)患病奶牛熱紅外圖像，并將樣本數(shù)量按照3∶1∶1劃分訓(xùn)練集、驗(yàn)證集、測(cè)試集。劃分結(jié)果如表1所示。

表1 數(shù)據(jù)劃分結(jié)果

圖2 數(shù)據(jù)預(yù)處理效果

1.3 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是以提高深度學(xué)習(xí)模型的魯棒性為目的，從同源數(shù)據(jù)中產(chǎn)生具有相同的標(biāo)簽的樣本，擴(kuò)充訓(xùn)練數(shù)據(jù)集的技術(shù)。深度殘差網(wǎng)絡(luò)一貫的數(shù)據(jù)增強(qiáng)方式是：在模型訓(xùn)練過程中將獲得每一批數(shù)據(jù)進(jìn)行增強(qiáng)與變換，具體過程是：首先將圖像按比例縮放像素大小為256×256，然后對(duì)圖像進(jìn)行隨機(jī)裁剪為224×224，最后將像素進(jìn)行歸一化處理。

為了進(jìn)一步提升樣本多樣性，在原有數(shù)據(jù)增強(qiáng)的基礎(chǔ)上結(jié)合RandAugment數(shù)據(jù)增強(qiáng)新方法。當(dāng)數(shù)據(jù)增強(qiáng)操作使得增強(qiáng)樣本和原樣本之間的分布產(chǎn)生了較大的差異，反而會(huì)降低模型性能，因此從RandAugment操作集中剔除與本實(shí)驗(yàn)有負(fù)影響的4種操作，其余10種操作分別為：自動(dòng)明暗對(duì)比(AutoContrast)、均衡化(Equalize)、旋轉(zhuǎn)(Rotate)、色調(diào)分離(Posterize)、對(duì)比度(Contrast)、銳化(Sharpness)、沿X軸錯(cuò)切(Shear-X)、沿Y軸錯(cuò)切(Shear-Y)、沿X軸移位(Translate-X)、沿Y軸移位(Translate-Y)。RandAugment有兩個(gè)關(guān)鍵性參數(shù)：N和M，即每次數(shù)據(jù)增強(qiáng)子策略按照1/10等概率原則選取N種操作方法，每種操作使得圖像形變程度為M，共有10N種生成圖像。數(shù)據(jù)增強(qiáng)的最佳強(qiáng)度取決于模型大小和訓(xùn)練集大小，過于極端的增強(qiáng)操作可能會(huì)產(chǎn)生一定的信噪比，從而導(dǎo)致數(shù)據(jù)增強(qiáng)效果適得其反。圖3(a—d)展示的是當(dāng)N=3、M=15時(shí)使用RandAugment數(shù)據(jù)增強(qiáng), 經(jīng)過包含沿X軸錯(cuò)切、沿Y軸移位和旋轉(zhuǎn)三種增強(qiáng)方式的增強(qiáng)子策略所生成的效果圖。

圖3 數(shù)據(jù)增強(qiáng)效果圖

1.4 遷移學(xué)習(xí)

遷移學(xué)習(xí)是一種運(yùn)用已有知識(shí)對(duì)相關(guān)領(lǐng)域問題進(jìn)行求解，在經(jīng)驗(yàn)信息的基礎(chǔ)上使得快速解決新任務(wù)能力的機(jī)器學(xué)習(xí)新方法。從圖像分類流程來看，參數(shù)遷移屬于遷移學(xué)習(xí)主要方式之一，參數(shù)遷移可以使得模型訓(xùn)練過程具有一個(gè)較好的初始狀態(tài)，能有效縮短訓(xùn)練時(shí)間[18]。ImageNet是一個(gè)具有超過1 400萬圖像，2萬多個(gè)類別的大型可視化數(shù)據(jù)庫(kù)，其樣本類別覆蓋范圍廣、種類豐富多樣。奶牛熱紅外數(shù)據(jù)與ImageNet中動(dòng)物圖片在紋理、色彩、結(jié)構(gòu)等方面有相似的宏觀特征[19]。本研究選用參數(shù)遷移學(xué)習(xí)方法進(jìn)行模型訓(xùn)練，將深度殘差網(wǎng)絡(luò)模型在ImageNet上預(yù)訓(xùn)練參數(shù)權(quán)重加載到所搭建好的模型中進(jìn)行網(wǎng)絡(luò)的微調(diào)，若預(yù)訓(xùn)練權(quán)重與新構(gòu)建網(wǎng)絡(luò)層匹配則保留其值，反之，不匹配層(改進(jìn)部分)使用默認(rèn)隨機(jī)參數(shù)初始化，訓(xùn)練過程不凍結(jié)任何網(wǎng)絡(luò)層。

1.5 改進(jìn)ResNet34模型構(gòu)建

深度殘差網(wǎng)絡(luò)(deep residual network)由2015年微軟亞洲研究院的He等所提出，其核心思想——短路機(jī)制巧妙的緩解了傳統(tǒng)卷積層中由于深度增加導(dǎo)致網(wǎng)絡(luò)退化問題。近年來，殘差網(wǎng)絡(luò)各種變體模型應(yīng)時(shí)而生，在圖像分類、目標(biāo)檢測(cè)、以及語(yǔ)義分割等領(lǐng)域取得突破性進(jìn)展[20]。

ResNet34作為深度殘差網(wǎng)絡(luò)的一員，其表征能力和學(xué)習(xí)能力較高且模型參數(shù)較少，是圖像分類領(lǐng)域研究的熱點(diǎn)方向，因此本研究采用ResNet34殘差網(wǎng)絡(luò)作為實(shí)驗(yàn)的基礎(chǔ)網(wǎng)絡(luò)。ResNet34首先采用7×7卷積層和3×3最大池化層下采樣減小輸入圖像特征尺寸，然后通過layer1—layer4提取高層特征信息，并經(jīng)過自適應(yīng)全局平均池化層輸入到全連接層，最后進(jìn)行分類輸出。其中每一層layer分別包含3，4，6和3個(gè)BasicBlock模塊，BasicBlock架構(gòu)如圖4(c)所示：主要使用了兩個(gè)3×3的卷積、批歸一化處理、ReLU激活函數(shù)等操作，再將深層特征與捷徑連接傳遞的低層信息相加。當(dāng)BasicBlock輸入和輸出數(shù)據(jù)維度一致時(shí)其殘差支路不做任何變化(路線②)，否則，利用卷積層進(jìn)行下采樣，并相應(yīng)改變通道數(shù)量(路線①)。

實(shí)驗(yàn)的數(shù)據(jù)采集場(chǎng)景單一，與自然可見光圖像相比，熱紅外圖像紋理清晰，色彩、明亮對(duì)比度明顯。針對(duì)紅外熱成像自身的特點(diǎn)，為了使該模型更適用于奶牛乳腺炎分類任務(wù)，提出一種改進(jìn)ResNet34網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)如圖4所示，其中(a)部分表示模型內(nèi)部層數(shù)改進(jìn)，(b)為新增輔助分類器，(d)和(e)為多融合池化層。圖5為每層網(wǎng)絡(luò)的特征圖可視化。

圖4 改進(jìn)ResNet34模型結(jié)構(gòu)

圖5 特征圖可視化

1.5.1 網(wǎng)絡(luò)層數(shù)改進(jìn)

冗余的特征以及權(quán)重會(huì)使網(wǎng)絡(luò)模型占用更多的內(nèi)存資源，為了在最大限度地保持模型準(zhǔn)確性的同時(shí)實(shí)現(xiàn)高效深度學(xué)習(xí)，對(duì)Layer層進(jìn)行輕量化，如圖4(a)所示：將傳統(tǒng)ResNet34模型內(nèi)部四層Layer分別包含3，4，6和3個(gè)BasicBlock精簡(jiǎn)化為3，2，2和3個(gè)殘差單元，保留淺層以及深層的特征提取層，刪減部分中間層從而大幅度壓縮空間、降低計(jì)算量，達(dá)到速度與準(zhǔn)確率之間的平衡。

1.5.2 多融合池化層

最大池化可以提取具有強(qiáng)烈的語(yǔ)義信息和紋理特征；平均池化可以更多地保留圖像背景信息。傳統(tǒng)ResNet34殘差網(wǎng)絡(luò)使用單一的最大或平均池化進(jìn)行特征圖降維，可能會(huì)導(dǎo)致有用信息丟失。為盡量避免類似情況發(fā)生，設(shè)計(jì)了新的池化層如圖4(d)和(e)部分所示：將大小為3×3、步長(zhǎng)為2的最大池化層與平均池化進(jìn)行融合，結(jié)合兩者優(yōu)勢(shì)，在降低特征維度的同時(shí)增強(qiáng)網(wǎng)絡(luò)的非線性表達(dá)能力使得提取內(nèi)容更加豐富。前向傳播時(shí)具體計(jì)算公式如式(1)，假設(shè)由輸入特征圖X對(duì)應(yīng)池化窗口的值可以計(jì)算輸出特征圖Y中某一位置的值，則

(1)

式(1)中，n表示特征圖號(hào)，c是通道號(hào)，h是行號(hào)，w是列號(hào)，s為步長(zhǎng)大小，kh和kw是池化窗口的長(zhǎng)、寬大小。

1.5.3 輔助分類器

基于GoogLeNet網(wǎng)絡(luò)在中間層添加輔助分類器促進(jìn)模型更穩(wěn)定學(xué)習(xí)和更好收斂的思想，本研究分別在Layer2和Layer3的輸出層設(shè)置兩組輔助分類器，獲取更多的淺層以及中間層信息，彌補(bǔ)由于模型精簡(jiǎn)帶來的特征損失。如圖4(b)部分所示：輔助分類器由大小為3×3的多融合全局池化層與全連接層組成并輸出輔助分類結(jié)果，其輸出并不影響主分類器的分類結(jié)果，而是在反向傳播時(shí)額外增加兩個(gè)淺層網(wǎng)絡(luò)的Loss損失值。

在分類問題中，假設(shè)模型預(yù)測(cè)第i類的概率為Pi，則交叉熵?fù)p失函數(shù)值L的表達(dá)式如式(2)

(2)

式(2)中，N為樣本個(gè)數(shù)，yi表示樣本i的標(biāo)簽(正類為1，負(fù)類為0)。

設(shè)新增輔助分類器的損失值表達(dá)式如式(3)，則利用輔助分類器后總的損失函數(shù)值表達(dá)式如式(4)

(3)

(4)

1.6 模型評(píng)價(jià)指標(biāo)

選取查準(zhǔn)率、查全率、特異性、F1分?jǐn)?shù)作為最終的模型性能評(píng)價(jià)指標(biāo)，具體表達(dá)公式如式(5)—式(8)

(5)

(6)

(7)

(8)

式(5)—式(8)中的TP表示模型預(yù)測(cè)為正的正樣本數(shù)量，TN表示模型預(yù)測(cè)為負(fù)的負(fù)樣本數(shù)量，F(xiàn)P表示模型預(yù)測(cè)為正的負(fù)樣本數(shù)量，F(xiàn)N表示模型預(yù)測(cè)為負(fù)的正樣本。

2 結(jié)果與討論

實(shí)驗(yàn)硬件環(huán)境：Intel i9-10900K處理器、NVIDIA GTX3060GPU、64G內(nèi)存、12G顯存；軟件環(huán)境：Ubuntu18.04操作系統(tǒng)、PyTorch1.9.0深度學(xué)習(xí)框架、Python3.8.11編程語(yǔ)言、PyCharm集成開發(fā)環(huán)境、CUDA11.4。設(shè)置模型參數(shù)：Batch-size為32、Adam優(yōu)化器、交叉熵?fù)p失函數(shù)。

實(shí)驗(yàn)流程如圖6所示，首先將處理好的實(shí)驗(yàn)數(shù)據(jù)應(yīng)用于幾種經(jīng)典深度學(xué)習(xí)網(wǎng)絡(luò)模型，并根據(jù)驗(yàn)證準(zhǔn)確率、測(cè)試準(zhǔn)確率、平均訓(xùn)練時(shí)間等指標(biāo)對(duì)改進(jìn)ResNet34模型與其他模型性能進(jìn)行比較；然后基于改進(jìn)ResNet34模型結(jié)合遷移學(xué)習(xí)、數(shù)據(jù)增強(qiáng)、學(xué)習(xí)率進(jìn)行微調(diào)，最后根據(jù)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià)與分析。

圖6 實(shí)驗(yàn)流程圖

2.1 改進(jìn)ResNet34模型與其他模型性能的比較

將改進(jìn)ResNet34與四種傳統(tǒng)經(jīng)典網(wǎng)絡(luò)模型——VGG16，GoogLeNet，ResNet34，ResNet50的奶牛乳腺炎分類性能進(jìn)行對(duì)比。設(shè)置模型參數(shù)：訓(xùn)練輪數(shù)為200、學(xué)習(xí)率為0.000 1。改進(jìn)ResNet34模型中輔助分類器的衰減系數(shù)按照層數(shù)由淺至深將其分別設(shè)置為0.1，0.2和1。實(shí)驗(yàn)結(jié)果如表2所示，從表中可以看出ResNet系列網(wǎng)絡(luò)的驗(yàn)證準(zhǔn)確率明顯高于其他模型，其中ResNet34與ResNet50測(cè)試準(zhǔn)確率僅相差0.2%，經(jīng)過模型改進(jìn)以后ResNet34測(cè)試準(zhǔn)確率比ResNet50高0.8%；改進(jìn)前后的ResNet34模型平均檢測(cè)速度相差無幾，均處于優(yōu)勢(shì)地位，但改進(jìn)后模型的分類速度提升5.9%，測(cè)試準(zhǔn)確率提升了1%；VGG16在幾種模型中訓(xùn)練時(shí)間最久，分類準(zhǔn)確率相對(duì)較低；GoogLeNet模型總體性能處于中游。從訓(xùn)練損失圖7中可以看出ResNet34模型擬合速度相對(duì)較快，穩(wěn)定后的Loss值相對(duì)最低。

表2 不同模型性能比較

圖7 不同分類模型損失圖

圖8展示了改進(jìn)ResNet34模型性能，由圖可知改進(jìn)ResNet34模型在訓(xùn)練過程中收斂速度較快，大約在第30個(gè)Epoch時(shí)模型訓(xùn)練準(zhǔn)確率達(dá)到88.4%，證明所提出的改進(jìn)模型具有較好的分類效果。為了進(jìn)一步提高模型性能，以改進(jìn)ResNet34模型為基礎(chǔ)進(jìn)行實(shí)驗(yàn)。

圖8 改進(jìn)Resnet34模型性能圖

2.2 遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)以及超參數(shù)對(duì)模型性能的影響

2.2.1 遷移學(xué)習(xí)對(duì)網(wǎng)絡(luò)性能的影響

為了比較遷移學(xué)習(xí)對(duì)改進(jìn)ResNet34模型性能的影響，設(shè)置模型參數(shù)：訓(xùn)練輪數(shù)為200、學(xué)習(xí)率為0.000 1。實(shí)驗(yàn)訓(xùn)練結(jié)果準(zhǔn)確率如圖9(a, b)所示：基于遷移學(xué)習(xí)的改進(jìn)ResNet34模型訓(xùn)練準(zhǔn)確率比未遷移的改進(jìn)ResNet34模型高大約1.3%，遷移之后模型的初始性能更高，訓(xùn)練過程中模型收斂速度更快、訓(xùn)練損失更小。

圖9 遷移學(xué)習(xí)對(duì)模型訓(xùn)練結(jié)果影響對(duì)比

2.2.2 數(shù)據(jù)增強(qiáng)對(duì)模型性能的影響

為了比較數(shù)據(jù)增強(qiáng)對(duì)改進(jìn)ResNet34模型性能的影響，參照RandAugment原作者實(shí)驗(yàn)以及本文數(shù)據(jù)實(shí)際情況，設(shè)置參數(shù)N和M分別為3和15。設(shè)置模型參數(shù)：訓(xùn)練輪數(shù)為500、學(xué)習(xí)率為0.000 1。實(shí)驗(yàn)結(jié)果如圖10(a,b)所示：數(shù)據(jù)增強(qiáng)后模型的訓(xùn)練準(zhǔn)確率高于未增強(qiáng)模型1.5%，但模型擬合速度有些許變慢，損失值有所上升。該組實(shí)驗(yàn)證明在一定程度上數(shù)據(jù)增強(qiáng)可以提高本實(shí)驗(yàn)?zāi)Ｐ偷姆诸悳?zhǔn)確率，但還有很大提升空間。

圖10 數(shù)據(jù)增強(qiáng)對(duì)模型訓(xùn)練結(jié)果影響對(duì)比

2.2.3 學(xué)習(xí)率對(duì)模型性能的影響

學(xué)習(xí)率主要控制模型到達(dá)最優(yōu)點(diǎn)過程中權(quán)重的更新步長(zhǎng)，為了比較不同學(xué)習(xí)率對(duì)模型性能影響，設(shè)置四組對(duì)照實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表3所示：當(dāng)學(xué)習(xí)率為0.000 1時(shí)改進(jìn)ResNet34模型的分類準(zhǔn)確率達(dá)到相對(duì)最優(yōu)；當(dāng)學(xué)習(xí)率小于0.000 01時(shí)模型性能出現(xiàn)退化。決定選擇學(xué)習(xí)率為0.000 1進(jìn)行最終的改進(jìn)ResNet34模型訓(xùn)練。

表3 不同學(xué)習(xí)率下的模型訓(xùn)練結(jié)果對(duì)比

2.2.4 綜合數(shù)據(jù)增強(qiáng)與遷移學(xué)習(xí)對(duì)模型性能影響

上述實(shí)驗(yàn)分別證明了遷移學(xué)習(xí)、數(shù)據(jù)增強(qiáng)以及調(diào)整學(xué)習(xí)率對(duì)于改進(jìn)ResNet34模型性能都有一定的提升。為了探究綜合以上幾種方式對(duì)改進(jìn)ResNet34模型性能的影響，設(shè)置模型參數(shù)：訓(xùn)練輪數(shù)為600，學(xué)習(xí)率為0.000 1，RandAugment中N=3，M=15。實(shí)驗(yàn)結(jié)果表明：融合遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)的改進(jìn)ResNet34模型的每張圖片檢測(cè)時(shí)間達(dá)到0.003 39 s，驗(yàn)證準(zhǔn)確率達(dá)到90.3%，測(cè)試準(zhǔn)確率為88.4%，分別比傳統(tǒng)ResNet34模型分類準(zhǔn)確率高5.3%和2.9%。由此證明了融合遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)對(duì)改進(jìn)ResNet34模型訓(xùn)練效果以及分類準(zhǔn)確率有很大的幫助。

2.3 模型評(píng)價(jià)

2.3.1 模型性能評(píng)價(jià)

為了評(píng)估融合遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)的改進(jìn)ResNet34網(wǎng)絡(luò)模型對(duì)于奶牛乳腺炎疾病檢測(cè)的性能，對(duì)從未參與訓(xùn)練過程的測(cè)試樣本進(jìn)行預(yù)測(cè)，結(jié)果如表4所示。

表4 測(cè)試集混淆矩陣結(jié)果

由表6以及式(5)—式(8)計(jì)算出改進(jìn)ResNet34網(wǎng)絡(luò)模型在測(cè)試集上查準(zhǔn)率為91.2%、查全率為91.6%、特異度為0.818、F1分?jǐn)?shù)為0.914，表明本研究提出的奶牛乳腺炎檢測(cè)算法分類能力強(qiáng)且模型具有良好的穩(wěn)健性。

在基于紅外圖像的奶牛乳腺炎疾病檢測(cè)領(lǐng)域中，文獻(xiàn)[14]提出一種基于閾值分割奶牛乳腺炎疾病檢測(cè)方法，一級(jí)和二級(jí)奶牛乳腺炎檢測(cè)準(zhǔn)確率分別為87.5%和33.3%。文獻(xiàn)[16]改進(jìn)的深度學(xué)習(xí)網(wǎng)絡(luò)，對(duì)奶牛乳腺炎疾病檢測(cè)率的83.33%, 文獻(xiàn)[17]提出的一種改進(jìn)YOLO v3-tiny的奶牛關(guān)鍵部位檢測(cè)方法，奶牛乳房炎檢測(cè)精度為77.3%。從表5中可以看出，所構(gòu)建的改進(jìn)ResNet34算法的奶牛乳腺炎分類準(zhǔn)確率在相關(guān)研究中表現(xiàn)出色，證明了本研究所提出的方法具有明顯優(yōu)勢(shì)。

表5 相關(guān)研究結(jié)果對(duì)比

2.3.2 模型的泛化性評(píng)價(jià)

為了證明本研究方法的泛化性，需進(jìn)一步保證各數(shù)據(jù)集之間樣本的獨(dú)立性，將奶牛個(gè)體數(shù)量按照3∶1∶1劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，劃分結(jié)果如表6所示。將數(shù)據(jù)樣本送入融合遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)的改進(jìn)ResNet34模型中，并設(shè)置上述實(shí)驗(yàn)相同的模型參數(shù)。實(shí)驗(yàn)結(jié)果如表7所示，按照奶牛個(gè)體數(shù)量劃分?jǐn)?shù)據(jù)測(cè)得模型的分類效果同樣令人滿意，證明本文所提出的融合遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)的改進(jìn)ResNet34模型對(duì)未知奶牛患乳腺炎的疾病檢測(cè)準(zhǔn)確率達(dá)到80%以上，該模型具有很好的魯棒性以及有效性。

表6 按照奶牛個(gè)體劃分?jǐn)?shù)據(jù)

表7 按照奶牛個(gè)體劃分?jǐn)?shù)據(jù)檢測(cè)結(jié)果

3 結(jié) 論

基于殘差網(wǎng)絡(luò)提出了一種改進(jìn)ResNet34模型，通過模型精簡(jiǎn)以及引入輔助分類器模塊和多融合池化層，能夠有效提高奶牛熱紅外圖像乳腺炎檢測(cè)準(zhǔn)確率，縮短分類時(shí)間。經(jīng)過與幾種經(jīng)典深度學(xué)習(xí)模型對(duì)比，在考慮遷移學(xué)習(xí)、學(xué)習(xí)率、數(shù)據(jù)增強(qiáng)以及數(shù)據(jù)集劃分方式等因素影響的情況下，設(shè)置多組對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明：當(dāng)學(xué)習(xí)率為0.000 1時(shí)，融合遷移學(xué)習(xí)和RandAugment數(shù)據(jù)增強(qiáng)的改進(jìn)ResNet34模型測(cè)試準(zhǔn)確率為88.4%，高于傳統(tǒng)ResNet34模型2.5%。通過混淆矩陣計(jì)算出模型查準(zhǔn)率為0.912、查全率為0.916、F1分?jǐn)?shù)為0.914，證明本研究所提出的奶牛乳腺炎檢測(cè)模型具有很好的健壯性與魯棒性。與前人基于熱紅外圖像奶牛乳腺炎研究相比，本方法無需人工手動(dòng)標(biāo)記樣本，能有效避免中間操作造成的誤差累計(jì)，疾病檢測(cè)準(zhǔn)確率較高且平均檢測(cè)時(shí)間僅需約0.003 39 s，本研究可以提高奶牛乳腺炎早期檢測(cè)的識(shí)別效率，為牛場(chǎng)管理人員科學(xué)養(yǎng)殖提供參考。然而，由于本研究依賴于奶牛的熱紅外數(shù)據(jù)，而固定的采集設(shè)備很難捕獲到包含完整目標(biāo)的數(shù)據(jù)，且關(guān)鍵部位(乳房、眼睛)的位置影響溫度的獲取。因此，在后續(xù)研究中，還需進(jìn)一步提高數(shù)據(jù)采集設(shè)備，例如：利用深度相機(jī)與可移動(dòng)、便攜式熱像儀獲取帶有位置信息的優(yōu)質(zhì)數(shù)據(jù)集，提高關(guān)鍵部位溫度讀取精度，增強(qiáng)奶牛乳腺炎檢測(cè)系統(tǒng)性能。