賈增業(yè)，陳春雨

哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001

我國的畜牧業(yè)發(fā)展歷史悠久。當(dāng)前我國畜牧業(yè)的發(fā)展正處在一個關(guān)鍵時期[1]。對于目前的養(yǎng)豬行業(yè)，傳統(tǒng)的養(yǎng)豬模式尚存在大量的缺點和不足，例如設(shè)備簡陋、生產(chǎn)效率低、容易發(fā)生豬瘟等一系列不利于養(yǎng)豬業(yè)生產(chǎn)和管理的因素[2]。隨著人工智能的不斷發(fā)展和應(yīng)用，其憑借先進(jìn)的養(yǎng)豬理念逐漸被廣泛應(yīng)用于現(xiàn)代化養(yǎng)豬生產(chǎn)過程中，為我國的養(yǎng)豬產(chǎn)業(yè)注入了新的發(fā)展動力，引領(lǐng)了新一輪的畜牧業(yè)產(chǎn)業(yè)革命[3]。生豬養(yǎng)殖過程中，體況作為生產(chǎn)性能的一項重要指標(biāo)，對豬場的經(jīng)濟效益最大化具有重要影響。傳統(tǒng)的豬只體況評分方法使用目測法進(jìn)行評分，其存在效率低、易接觸等缺點[4]。為解決傳統(tǒng)豬只體況評分的弊端[5]，結(jié)合深度學(xué)習(xí)技術(shù)，提出豬只上方體況評分法。其過程首先由攝像頭采集豬只上方深度圖圖片，經(jīng)過預(yù)處理之后再由模型對豬只體況進(jìn)行評分。相比于傳統(tǒng)評分方法，上方體況評分法更加便捷高效，有助于豬場實現(xiàn)智能化、無人化管理。研究過程中發(fā)現(xiàn)，由于不同體況的豬只數(shù)量差別較大，豬只體況分布呈現(xiàn)出長尾分布這一數(shù)據(jù)不平衡現(xiàn)象。

長尾分布是計算機視覺領(lǐng)域常見的問題，其定義為少數(shù)類擁有大量樣本，而多數(shù)類只有少量樣本，其本質(zhì)為數(shù)據(jù)不平衡。Lin 等[6]提出Focal Loss，通過減少易分類樣本的損失函數(shù)權(quán)重，使模型在訓(xùn)練過程中更專注于難分類樣本。Zhou 等[7]提出雙邊分支網(wǎng)絡(luò)，通過對不同分支網(wǎng)絡(luò)進(jìn)行重采樣以及特征加權(quán)聚合提高分類效果。Kang等[8]提出通過解耦特征學(xué)習(xí)與分類器學(xué)習(xí)來提高長尾分布情況下的分類效果。對于豬只上方體況問題，結(jié)合實際情況，我們更希望對于任何一頭豬只，模型都能給出相對應(yīng)的定量的體況預(yù)測值。本文以Resnet-50 作為網(wǎng)絡(luò)基本框架，并加入注意力機制模塊以及標(biāo)簽分布平滑算法和特征分布平滑算法解決豬只上方體況研究中遇到的長尾分布問題。

1 數(shù)據(jù)采集與預(yù)處理

1.1 數(shù)據(jù)采集

本文的數(shù)據(jù)來自內(nèi)蒙古正大和吉林金源2 個豬場。數(shù)據(jù)的采集分為2 個步驟：1) 通過智能自動化設(shè)備從豬只上方進(jìn)行圖像采集，并將采集到的數(shù)據(jù)保存在硬盤中；2) 由現(xiàn)場工作人員手持視頻拍攝設(shè)備從豬只后方進(jìn)行體況評分視頻的采集，采集完成后的視頻通過上傳到體況數(shù)據(jù)云平臺，并對其進(jìn)行體況評分。圖1 為采集的數(shù)據(jù)。

1.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理如圖2 所示。

圖2 數(shù)據(jù)預(yù)處理流程

數(shù)據(jù)預(yù)處理共分為圖2 所示的4 步：

1) 對采集的上方數(shù)據(jù)進(jìn)行清洗，得到圖像數(shù)據(jù)，以及帶有豬場信息、數(shù)據(jù)采集日期、豬只欄號和體況標(biāo)簽的匯總文檔。

2) 對現(xiàn)場拍攝的體況評分視頻進(jìn)行評分。為進(jìn)一步細(xì)化評分分?jǐn)?shù)，本文在圖3 的基礎(chǔ)上再添加2.5 分、3.5 分2 種評分，評分標(biāo)準(zhǔn)按照圖3 所示[9]。

圖3 母豬體況評分標(biāo)準(zhǔn)

接下來由第1)步得到的采集日期、欄號等信息將體況評分值與采集到的上方體況數(shù)據(jù)進(jìn)行體況標(biāo)簽值匹配。由于體況評分視頻的采集存在天數(shù)遺漏的情況，對于缺失體況評分的數(shù)據(jù)，本文利用相鄰日期的體況評分對其做線性插值處理，以得到缺失對應(yīng)體況評分視頻數(shù)據(jù)的體況標(biāo)簽值。使用線性插值法處理后得到的數(shù)據(jù)量在總數(shù)據(jù)量中占較大比重。線性插值法使得原始采集數(shù)據(jù)在一定誤差范圍內(nèi)得到充分的利用，提高了樣本的多樣性，在一定程度上提升了模型的泛化能力。但是由于引入的插值數(shù)據(jù)同樣是不均衡的，因此添加插值數(shù)據(jù)后的數(shù)據(jù)仍然存在不平衡這一現(xiàn)象。

3) 對深度圖進(jìn)行渲染，得到如圖4(a)所示的渲染后的深度圖圖像。再使用Mask-rcnn 網(wǎng)絡(luò)分割出中間豬只的掩膜，并將除掩膜外的其他區(qū)域的像素值設(shè)置為0。提取后的掩膜如圖4(b)所示。

圖4 預(yù)處理效果

4) 對得到的掩膜做進(jìn)一步的像素偏移，使其處于圖片的中心位置，方便后續(xù)網(wǎng)絡(luò)的訓(xùn)練。最終得到如圖4(c)所示的500×500 像素值的灰度圖。

2 方法介紹

本文使用Resnet-50 作為基本網(wǎng)絡(luò)，Resnet 網(wǎng)絡(luò)由何凱明等[10]提出，其主要思想是在網(wǎng)絡(luò)中加入了直連通道，并提出殘差學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)，殘差模塊有效地避免了網(wǎng)絡(luò)在信息傳遞時存在的信息丟失、損耗以及梯度爆炸等問題。

針對不同形態(tài)大小的豬只，本文在Resnet-50網(wǎng)絡(luò)基礎(chǔ)上加入卷積核注意力機制模塊SKConv[11]，通過不同豬只的尺寸信息自適應(yīng)調(diào)節(jié)感受野大小。針對豬只上方體況存在的長尾分布問題，本文借鑒標(biāo)簽分布平滑[12](label distribution smoothing,LDS)算法對損失函數(shù)進(jìn)行加權(quán)處理；以及借鑒特征分布平滑[12](feature distribution smoothing, FDS)算法，通過傳遞臨近區(qū)間的特征統(tǒng)計信息，校準(zhǔn)特征分布中由于數(shù)據(jù)不平衡造成的偏差。

2.1 上方體況回歸網(wǎng)絡(luò)

本文的網(wǎng)路框架如圖5 所示。豬只上方圖像經(jīng)過預(yù)處理之后，首先經(jīng)過標(biāo)簽分布平滑模塊計算出有效的標(biāo)簽分布密度，再將圖像輸入到添加卷積核注意力機制的網(wǎng)絡(luò)中進(jìn)行特征提取，提取到的特征再經(jīng)過特征分布平滑模塊做進(jìn)一步的平滑處理，最終經(jīng)過殘差線性層將不同層之間的特征信息進(jìn)行融合，最終在計算損失函數(shù)時利用之前得到的有效標(biāo)簽密度對損失函數(shù)做加權(quán)處理。

圖5 本文網(wǎng)絡(luò)框架

2.2 Select Kernel 注意力模塊

卷積神經(jīng)網(wǎng)絡(luò)中，特征的提取主要依靠卷積實現(xiàn)，卷積核作為神經(jīng)網(wǎng)絡(luò)的核心，通常被看做是在局部感受野上，將空間上的信息和特征維度上的信息進(jìn)行聚合的信息聚合體[13]。卷積核依次與輸入不同位置的圖像做卷積得到輸出，起到了濾波和特征提取的作用。

為了更好地提取圖像中不同大小豬只的特征信息，本文在Resnet-50 網(wǎng)絡(luò)的基礎(chǔ)上引入Selective Kernel 卷積，以實現(xiàn)針對不同大小的豬只自適應(yīng)的調(diào)整感受野進(jìn)行特征提取。Selective Kernel 卷積主要分為3 個步驟：Split、Fuse 以及Select，圖6 所示為雙分支的情況。

圖6 Selective Kernel 卷積

Split：對于任何給定的特征圖，默認(rèn)情況下雙分支各自通過卷積操作得到對應(yīng)的特征圖：

Fuse：將2 個分支計算出來的特征進(jìn)行逐元素相加，然后通過全局平均池化操作生成通道統(tǒng)計信息：

式中s通過空間尺寸H×W收縮特征U計算得到，即s的第c個元素的值是由U的第c維度的特征計算得到：

之后通道統(tǒng)計信息s經(jīng)過全連接層得到更加緊湊的特征z：

式中： δ為ReLU 函數(shù)， β為批量標(biāo)準(zhǔn)化，W∈Rd×C。d變量的值為

Select：在特征z的引導(dǎo)下，通過兩個全連接層矩陣A、B得到長度為C的向量長度為C的向量a、b，對a和b在通道維度上利用softmax操作分別計算不同卷積核對應(yīng)的權(quán)重：

式中：A、B∈RC×d需要在網(wǎng)絡(luò)訓(xùn)練之前初始化為2 個全連接層，為A的第c行元素，a∈RC×1，ac為a的第c個元素。

式中：ac和bc相加的和為1，V=[V1,V2,···,Vc]，Vc∈RH×W。

Selective Kernel 卷積利用多尺度特征匯總的信息在通道層面指導(dǎo)網(wǎng)絡(luò)選擇合適的感受野大小，進(jìn)一步提高了特征提取的效果。

2.3 標(biāo)簽分布平滑和特征分布平滑

對于缺失對應(yīng)體況評分視頻的數(shù)據(jù)，本文采用線性插值的方法對其進(jìn)行處理。由于體況采集視頻缺失嚴(yán)重，存在較多缺少對應(yīng)體況參考視頻的數(shù)據(jù)，因此添加的插值數(shù)據(jù)量占總數(shù)據(jù)量的75%左右。圖7、圖8 分別為添加插值數(shù)據(jù)前后的數(shù)據(jù)分布，橫軸為體況標(biāo)簽值，縱軸為對應(yīng)的數(shù)據(jù)量。由于添加插值數(shù)據(jù)后的體況種類增多，圖8 橫軸坐標(biāo)值采用稀釋表示。對比圖7 和圖8可以看到，添加插值后的數(shù)據(jù)仍然存在不平衡的現(xiàn)象，但是相應(yīng)的數(shù)據(jù)量和類別會增多。

圖7 插值前數(shù)據(jù)分布

圖8 插值后數(shù)據(jù)分布

為解決上方豬只體況中數(shù)據(jù)存在的長尾分布現(xiàn)象，本文在現(xiàn)有算法基礎(chǔ)上引入LDS 算法和FDS 算法。

LDS 算法通過使用對稱核函數(shù)[15]與標(biāo)簽密度分布做卷積處理，利用相鄰標(biāo)簽之間的相似性表達(dá)。相比于原來的標(biāo)簽密度分布，平滑之后的標(biāo)簽密度與誤差分布具有更好的相關(guān)性。LDS 算法為

式中：k(y,y′)為對稱核函數(shù)，p(y)為原始標(biāo)簽密度分布，(y′)為經(jīng)過卷積之后得到的有效標(biāo)簽密度。然后利用有效標(biāo)簽密度的倒數(shù)對損失函數(shù)做加權(quán)處理：

FDS 算法通過使用對稱核函數(shù)在特征空間內(nèi)執(zhí)行平滑操作，利用鄰域標(biāo)簽之間的特征相似性，在相鄰標(biāo)簽值范圍內(nèi)傳遞特征統(tǒng)計信息。這樣對于訓(xùn)練樣本不足的數(shù)據(jù)，其可以通過繼承相鄰標(biāo)簽范圍內(nèi)的統(tǒng)計信息來校準(zhǔn)由數(shù)據(jù)不平衡帶來的偏差特征表示，算法表示為

最終將校準(zhǔn)后的特征送入后續(xù)網(wǎng)路進(jìn)行回歸并用于損失函數(shù)的計算。LDS 算法和FDS 算法通過利用標(biāo)簽和特征空間中相鄰目標(biāo)之間的相似性極大的改善了數(shù)據(jù)分布不平衡問題所帶來的影響。

3 豬只上方體況實驗

3.1 豬只上方體況數(shù)據(jù)集

目前關(guān)于豬只上方體況的研究較少，相關(guān)公開數(shù)據(jù)集難以獲得，本文實驗數(shù)據(jù)通過在2 個豬場采集所得，采集的圖像均為深度圖圖像，預(yù)處理后的深度圖為500×500 像素，經(jīng)過數(shù)據(jù)均衡后選取訓(xùn)練集圖像共111 028 張，測試集圖像共40 974 張。

3.2 環(huán)境和設(shè)置

本文實驗配置如表1 所示。

表1 實驗配置

模型參數(shù)設(shè)置上，Batch_size 設(shè)置為12，學(xué)習(xí)率設(shè)置為0.000 1，Epoch 設(shè)置為60，優(yōu)化器使用Adam 自適應(yīng)動量優(yōu)化算法，動量值設(shè)置為0.9，采用端到端的訓(xùn)練方式進(jìn)行訓(xùn)練。

3.3 評價指標(biāo)

在回歸網(wǎng)絡(luò)中，通常使用準(zhǔn)確率（accuracy,ACC）為

平均絕對誤差（mean absolute error, MAE）為

均方誤差（mean square error, MSE）為

式中：m為樣本數(shù)量，yi為樣本對應(yīng)的標(biāo)簽值，f(xi)為模型的預(yù)測值。對于ACC，其表示預(yù)測值和標(biāo)簽值的接近程度，值越高代表模型預(yù)測的結(jié)果和標(biāo)簽值越接近。對于MAE，其用于評估預(yù)測結(jié)果和真實標(biāo)簽值的接近程度，值越小說明預(yù)測值和標(biāo)簽值的擬合效果越好。

3.4 消融對比實驗

3.4.1 注意力機制有效性實驗

該部分實驗使用Resnet-50 以及加入注意力機制的Resnet-50 網(wǎng)絡(luò)進(jìn)行對比實驗，目的在于驗證SKConv 卷積核注意力機制的有效性。實驗結(jié)果如表2 所示。

表2 注意力機制對網(wǎng)絡(luò)的影響

根據(jù)實驗結(jié)果可知，在加入注意力機制后的網(wǎng)絡(luò)比較原網(wǎng)絡(luò)在準(zhǔn)確率、平均絕對誤差、均方誤差指標(biāo)上均有所提升，驗證了SKConv 卷積核注意力機制在豬只上方體況問題中的有效性。

3.4.2 LDS 和FDS 有效性實驗

該部分實驗對LDS 算法和FDS 算法進(jìn)行消融對比實驗，以Resnet-50 網(wǎng)絡(luò)為基礎(chǔ)，在添加注意力機制與不添加注意力機制的情況下，分別對網(wǎng)絡(luò)添加LDS 算法和FDS 算法，目的在于驗證LDS 算法和FDS 算法解決長尾分布問題的有效性。實驗結(jié)果如表3 所示。由實驗結(jié)果可知，在Resnet-50 網(wǎng)絡(luò)的基礎(chǔ)上分別添加LDS 算法和FDS 算法或者同時添加兩者都會使網(wǎng)絡(luò)性能提升，而同時添加LDS 算法和FDS 算法會獲得最佳效果。在添加注意力機制的基礎(chǔ)上，使用LDS 算法或FDS 算法同樣會對網(wǎng)絡(luò)性能進(jìn)行進(jìn)一步提升，而兩者同時使用情況下，網(wǎng)絡(luò)會獲得最佳性能。驗證了LDS 算法和FDS算法解決長尾分布問題的有效性。

表3 LDS 和FDS 消融實驗

3.4.3 模型性能的可視化

通過對比基本網(wǎng)絡(luò)Resnet-50 和添加注意力機制、LDS 算法以及FDS 算法后網(wǎng)絡(luò)的模型訓(xùn)練和測試效果，進(jìn)一步驗證本文所使用方法的有效性，以及所用方法對模型處理數(shù)據(jù)不平衡問題的能力的提升?？梢暬Y(jié)果如圖9、圖10 所示。圖9和圖10 中橫軸對應(yīng)藍(lán)色點代表標(biāo)簽值，縱軸對應(yīng)紅色點代表模型預(yù)測值，綠色曲線為模型預(yù)測值的均值曲線，即綠色曲線與藍(lán)色點擬合程度越高說明模型的性能越好。

圖9 Resnet-50

圖10 Resnet-50+SKConv+LDS+FDS

對比可視化結(jié)果，模型的測試效果中圖10(a)的擬合程度要好于圖9(a)，并且模型的預(yù)測點較圖9(a)更加緊密；模型的訓(xùn)練效果同理，圖10(b)的擬合程度要好于圖9(b)。綜上表明本文所使用的方法不僅提高了模型的性能，同時也提高了模型解決數(shù)據(jù)不平衡問題的能力。但是從圖10 中可以看到，數(shù)據(jù)的不平衡仍然會對最終的預(yù)測結(jié)果造成影響，表現(xiàn)在對應(yīng)兩端數(shù)據(jù)量較少的類別，模型預(yù)測曲線會產(chǎn)生較大震蕩，同時曲線的擬合效果也不理想。

4 結(jié)論

針對豬只體況問題，本文提出從上方對豬只體況預(yù)測的方法。使用卷積核注意力機制以及標(biāo)簽分布平滑算法和特征分布平滑算法解決豬只上方體況存在的長尾分布問題。通過實驗證明本文所用方法在豬只上方體況預(yù)測中的有效性，通過對模型性能的可視化進(jìn)一步驗證本文所用方法能夠提高模型解決長尾分布問題的能力。深度學(xué)習(xí)技術(shù)與傳統(tǒng)畜牧業(yè)相結(jié)合實現(xiàn)豬只體況預(yù)測，對生豬養(yǎng)殖具有重要的實際意義。

后續(xù)研究可通過進(jìn)一步完善體況標(biāo)簽值的匹配方法來減小誤差以及引入生成對抗網(wǎng)絡(luò)等方式進(jìn)一步提高模型解決長尾分布問題的能力。