孔商羽，陳春雨

(哈爾濱工程大學 信息與通信工程學院，哈爾濱 150000)

0 引 言

我國的養(yǎng)殖業(yè)和畜牧業(yè)已經(jīng)到了現(xiàn)代化、科技化產(chǎn)業(yè)的轉(zhuǎn)型階段。目前的豬年出欄量達7億頭以上，占世界1/2以上，規(guī)模化速度驚人[1]。傳統(tǒng)的飼養(yǎng)方式已經(jīng)無法滿足養(yǎng)殖的高效性，養(yǎng)殖場對傳統(tǒng)養(yǎng)殖技術(shù)和科技創(chuàng)新的結(jié)合的需求在不斷增加[2]。在豬只飼養(yǎng)中，豬的體重和體況評分十分重要。通過測定體重的變化和拐點，調(diào)整飼喂方法，可實現(xiàn)生長豬的精準飼喂；同時出欄體重也跟盈利相關(guān)。通過對豬體況的評分，實時制定針對性飼喂量，是當前母豬飼養(yǎng)模式的難點和實現(xiàn)最佳母豬生產(chǎn)性能的關(guān)鍵點[3]。由于豬的生理特性，豬只的常見姿態(tài)主要有兩種：站立姿態(tài)和側(cè)臥姿態(tài)。因此，在機器學習中，利用圖像分割算法分割豬只不同形態(tài)與多任務(wù)學習算法同時預測豬只飼養(yǎng)的體重和體況評分，實現(xiàn)同一網(wǎng)絡(luò)進行同時預測，具有十分重要的意義。在豬只圖像識別領(lǐng)域，涂淑琴等[4]提出了基于Mask R-CNN框架，結(jié)合Soft-NMS算法的群養(yǎng)粘連豬實例分割方法，有效降低了粘連豬的漏檢率；劉坤等[5]在群養(yǎng)環(huán)境下，實現(xiàn)生豬粘連，雜物遮擋等不同條件下生豬個體的高精度分割；李丹等[6]針對目前豬只爬跨行為自動化檢測程度較低的問題，提出了一種基于Mask R-CNN分割豬只的爬跨行為識別算法。劉虹[7]針對豬個體檢測技術(shù)，在傳統(tǒng)的Mask R-CNN模型上，改進了位置定位邊界框損失函數(shù)的計算方法，提出了基于相對熵的損失函數(shù)代替?zhèn)鹘y(tǒng)的框回歸損失函數(shù)以及軟化的非極大抑制代替非極大抑制的方法。在多任務(wù)學習領(lǐng)域，謝金寶等[8]提出了循環(huán)卷積多任務(wù)學習模型用于文本多分類，分別利用多任務(wù)學習,循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)將不同領(lǐng)域具有相似性的文本共同建模，獲取多領(lǐng)域文本間的相關(guān)性和文本長期依賴關(guān)系，提取文本的局部特征。

1 圖像分割網(wǎng)絡(luò)

1.1 圖像分割網(wǎng)絡(luò)結(jié)構(gòu)

目標檢測[9]與實例分割是計算機視覺領(lǐng)域重要的兩個任務(wù)。常用的目標檢測算法有Faster R-CNN[10]、SDD[11]、基于YOLOv3[12]等；相對目標檢測的邊界框，實例分割可精確到物體的邊緣，常用的實例分割算法為Mask R-CNN[13]。Mask R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)是作為Faster R-CNN的擴展，在有效檢測目標的同時輸出高質(zhì)量的實例分割掩膜，并具有很好的泛化適應(yīng)能力，可和多種R-CNN框架結(jié)合。

本文的圖像分割網(wǎng)絡(luò)的整體設(shè)計是在Mask R-CNN圖像分割網(wǎng)絡(luò)的基礎(chǔ)上，通過ResNet101[14]和FPN共享網(wǎng)絡(luò)提取豬只站立姿態(tài)和側(cè)臥姿態(tài)的特征。Mask R-CNN是在Faster R-CNN 的基礎(chǔ)特征網(wǎng)絡(luò)上加入了全連接的分割子網(wǎng)，由原來的分類和回歸兩個任務(wù)變?yōu)榱朔诸?、回歸和分割3個任務(wù)。Mask R-CNN采用和Faster R-CNN相同的兩個階段：①具有相同的RPN(Region Proposal Network)層，掃描圖像并生成提議(proposals);②除了預測類別和候選矩形框回歸，還添加了全卷積網(wǎng)絡(luò)的分支，對每個候選框(ROI)預測了對應(yīng)的二值掩膜(binary mask)，說明給定的像素是否為目標的一部分。當像素屬于目標的所有位置上時標識為1，其它位置標識為 0。采用的圖像分割網(wǎng)絡(luò)的整體結(jié)構(gòu)見圖1。

圖1 Mask R-CNN結(jié)構(gòu)Fig.1 Structure of Mask R-CNN

第一個分支為原始Faster R-CNN的結(jié)構(gòu)，用于對候選窗口進行分類和窗口坐標回歸。第二個分支利用了一個小的全卷積網(wǎng)絡(luò)結(jié)構(gòu)(Fully Convolutional Network，F(xiàn)CN)，對每個候選框預測分割掩模。Mask R-CNN 將ROI Pooling層替換成了ROI Align層，添加了并列的FCN層。通過像素級分割，輸出二進制掩碼，將ROI Align與來自Faster R-CNN的分類和邊界框相結(jié)合，以便進行精確的分割。

1.2 特征提取網(wǎng)絡(luò)

Mask R-CNN網(wǎng)絡(luò)采用ResNet101-FPN的結(jié)構(gòu)提取特征，對每個實例生成目標邊界框和分割掩碼。使用深度殘差網(wǎng)絡(luò)(ResNet)能夠訓練到更加深層的網(wǎng)絡(luò)。

ResNet網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)使用的是預訓練好的ResNet101。輸入的ROI首先獲得7×7×1 024的ROI特征，然后將其升維到2 048個通道。分為兩個分支，上面的分支負責分類和回歸，下面的分支負責生成對應(yīng)的mask掩膜。由于前面進行了多次卷積和池化，減小了對應(yīng)的分辨率，生成掩膜的分支開始利用反卷積進行分辨率的提升，同時減少通道的個數(shù)，因此變?yōu)?4×14×256，最后輸出了14×14×80的mask模板。

FPN網(wǎng)絡(luò)通過輸入單一尺度的圖片，最后對應(yīng)的特征金字塔，該網(wǎng)絡(luò)可以在一定程度上提高檢測的精度。該架構(gòu)也分為兩個分支，作用和ResNet相同，但是分類時使用了更少的濾波器。而mask分支中進行了多次卷積操作，首先將ROI變化為14×14×256，然后進行了5次相同的操作，接著進行反卷積操作，最后輸出28×28×80的掩膜。與ResNet比可以獲得更細致的mask。

2 多任務(wù)學習網(wǎng)絡(luò)

在機器學習中，絕大多數(shù)都是單輸入輸出的卷積神經(jīng)網(wǎng)絡(luò)模型，即一個輸入對應(yīng)一個輸出的單任務(wù)學習。本文的體重和體況評分的雙輸出回歸網(wǎng)絡(luò)模型，采用的是多任務(wù)學習[15]的網(wǎng)絡(luò)結(jié)構(gòu)。多任務(wù)學習是一種聯(lián)合學習，給每個樣本一系列的目標值，多個任務(wù)并行學習，共享一個模型，預測出該數(shù)據(jù)點的多個屬性，且結(jié)果相互影響[16]。由于多任務(wù)學習可共享它們所學到的信息，是單任務(wù)學習所不具備的，因此相關(guān)聯(lián)的多任務(wù)學習比單任務(wù)學習有更好的泛化效果。

基于深度神經(jīng)網(wǎng)絡(luò)的多任務(wù)學習中常用兩種方法：隱層參數(shù)的硬共享與軟共享[17]。硬共享可將參數(shù)共享到所有任務(wù)的所有隱層上，而保留任務(wù)相關(guān)的輸出層。多個任務(wù)之間共享網(wǎng)絡(luò)的淺層參數(shù)，在網(wǎng)絡(luò)的靠近輸出部分開始分叉去做不同的任務(wù)。因此硬共享機制降低了過擬合的風險。軟共享是每個任務(wù)都有自己的模型和參數(shù)。對模型參數(shù)的距離進行正則化來保障參數(shù)的相似。

本文在ResNet101的單任務(wù)學習的基礎(chǔ)上，基于硬共享的方法修改設(shè)計了兩種多任務(wù)學習網(wǎng)絡(luò)結(jié)構(gòu)。

第一種網(wǎng)絡(luò)結(jié)構(gòu)中，兩個任務(wù)通過卷積層共享參數(shù)，得到共享特征，再從全連接層分出，將分類改為回歸輸出，分別輸出體重預測值和體況評分預測值。該方法是在ResNet101網(wǎng)絡(luò)上修改的簡單結(jié)構(gòu)，增強兩者之間的聯(lián)系，從而降低過擬合的風險。全連接層網(wǎng)絡(luò)結(jié)構(gòu)見圖2。

圖2 多任務(wù)學習網(wǎng)絡(luò)的全連接層結(jié)構(gòu)1Fig.2 First multi-tasking learning network fully connected layers structure

為進一步增強體重和體況之間的關(guān)聯(lián)性，設(shè)計了第2種網(wǎng)絡(luò)結(jié)構(gòu)見圖3。在結(jié)構(gòu)1的基礎(chǔ)上，通過ResNet101網(wǎng)絡(luò)的卷積層得到共享特征，再分別通過不同的全鏈接層。為了加強任務(wù)間關(guān)聯(lián)性，增強參數(shù)共享機制，因此在全連接層最后將不同任務(wù)的特征表示參數(shù)共享，即將不同任務(wù)的特征參數(shù)拼接后，分別輸出體重預測和體況評分預測。

圖3 多任務(wù)學習網(wǎng)絡(luò)的全連接層2Fig.3 Second multi-tasking learning network fully connected layers structure

3 實 驗

3.1 實驗環(huán)境和設(shè)置

訓練的設(shè)備參數(shù)如下：Ubuntu 18.04，顯卡為GTX1080，顯存8 G，CPU為i7-970K，內(nèi)存為16 GB。

在模型的參數(shù)設(shè)置上，圖像分割模型使用的輸入圖片的分辨率大小為640×480。圖像分割網(wǎng)絡(luò)是基于深度學習框架TensorFlow框架下的Mask R-CNN算法實現(xiàn)，訓練所用的學習率初始值設(shè)置為1e-5，batch size為16。圖像分割網(wǎng)絡(luò)測試中，只檢測置信度大于0.9的包圍框。

體重和體況評分的預測網(wǎng)絡(luò)是基于深度學習框架PyTorch下的ResNet101卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)。

3.2 豬只圖像數(shù)據(jù)集

為了增強模型訓練的真實性和可實踐性，采用的數(shù)據(jù)集來源于豬場采集的真實數(shù)據(jù)，通過人工標注的方法進行制作。豬場的圖像采集設(shè)備在限位欄母豬的上方拍攝豬只圖像；體重數(shù)據(jù)來源于豬場的限位欄體重秤，按秒記錄體重數(shù)據(jù)，后續(xù)通過平滑濾波等方法處理體重數(shù)據(jù)；體況評分由豬場的專業(yè)養(yǎng)殖人員，根據(jù)豬只后方背膘生長程度，肋骨、骨骼和髖骨周圍脂肪的生長程度制定評分標準。采集數(shù)據(jù)共322頭豬，2 937張圖片，體重范圍100～175 kg，體況評分范圍1～6。豬只的姿態(tài)包括站立姿態(tài)和側(cè)臥姿態(tài)。測試集總共60頭豬，共298張圖片，體重范圍100～160 kg，體況評分范圍1～6。

3.2.1 圖像分割實驗

為了檢測出不同姿態(tài)的豬只，在打標簽時添加站立和側(cè)臥兩種豬只形態(tài)。具體步驟如下：①挑選33張圖片，分為訓練集30張，測試集3張，用via標注工具制作標簽，標記為站立、側(cè)臥和不完整；②基于coco數(shù)據(jù)集進行遷移學習；③調(diào)整超參數(shù)，學習率設(shè)定為1e-5；④訓練，觀察損失函數(shù)下降直到收斂；⑤在測試集上測試；⑥將圖像分割結(jié)果不完整、分類結(jié)果錯誤的豬只挑出重新打標簽訓練；⑦重復步驟④～⑥，得到圖像分割效果較好的模型，應(yīng)用到采集的數(shù)據(jù)中，分割得到站立和側(cè)臥姿態(tài)的掩膜，分割準確率達98%。

3.2.2 深度圖轉(zhuǎn)點云圖像

得到豬只掩膜后，需要將深度圖轉(zhuǎn)為點云。原理為坐標系的變換：即圖像坐標系轉(zhuǎn)換為世界坐標系。變換的約束條件是相機內(nèi)參矩陣，相機內(nèi)參數(shù)由現(xiàn)場攝像頭得到。

坐標轉(zhuǎn)換的公式：

(1)

其中：u和v分別為圖像坐標系下的任意坐標點；u0和v0分別為圖像的中心坐標；xω，yω，zω為世界坐標系下的三維坐標點；zc為相機坐標的z軸值，即目標到相機的距離。相機坐標系和世界坐標系的坐標原點重合，相機坐標和世界坐標下的同一個物體具有相同的深度，即zc=zω。R,T分別為外參矩陣的3×3旋轉(zhuǎn)矩陣和3×1平移矩陣。由于世界坐標原點和相機原點是重合的，即沒有旋轉(zhuǎn)和平移，所以公式簡化為

(2)

從式(2)可以計算得到圖像點[u,v]T到世界坐標點[xω,yω,zω]T的變換公式：

(3)

通過相機的成像原理，將二維的圖像坐標轉(zhuǎn)換為空間三維坐標系。

3.2.3 數(shù)據(jù)增強實驗

由于自制的采集到的數(shù)據(jù)集數(shù)據(jù)量較小，且體重和體況評分的數(shù)據(jù)分布呈現(xiàn)不均勻的趨勢。在深度學習中，很多算法存在基本假設(shè)——數(shù)據(jù)的分布是均勻的。但在實際應(yīng)用中，大部分數(shù)據(jù)都是不均衡的，因此存在分類和回歸預測時不準確的現(xiàn)象，特別是較少的邊緣數(shù)據(jù)會出現(xiàn)預測偏差較大的問題。從訓練集的體重分布直方圖見圖4，每個體重數(shù)據(jù)下對應(yīng)的數(shù)量分布十分不均，特別是大于150 kg的體重明顯較少，這種不均勻的分布影響模型訓練效果。

圖4 體重分布直方圖Fig.4 Histogram of weight distribution

為了減少數(shù)據(jù)量小且不平衡的樣本問題，對數(shù)據(jù)做增強實驗對比。解決方法為：①從訓練集入手，通過改變訓練集樣本分布，降低不平衡程度；②從算法入手，根據(jù)算法解決不平衡時的問題，適當?shù)匦薷牡靡越鉀Q。本文通過增加樣本來擴充數(shù)據(jù)集。簡單的過采樣通過從少數(shù)量數(shù)據(jù)中隨機采樣增加新的樣本，改變訓練數(shù)據(jù)的分布減小數(shù)據(jù)的不平衡程度。直接復制數(shù)據(jù)的方法使得數(shù)據(jù)集中反復出現(xiàn)一些樣本，容易導致過擬合，并且沒有增加任何新的信息。結(jié)合數(shù)據(jù)集的具體情況，通過圖片翻轉(zhuǎn)的方法增加數(shù)據(jù)集，具體采用了180°翻轉(zhuǎn)和水平鏡像對稱翻轉(zhuǎn)兩種方式，翻轉(zhuǎn)結(jié)果見圖5。翻轉(zhuǎn)后的訓練集圖片總數(shù)從2 937張增加到3 865張，測試集由298張?zhí)砑拥?45張。

圖5 180度翻轉(zhuǎn)和水平鏡像翻轉(zhuǎn)Fig.5 180 degree flip and horizontal mirror flip

3.3 單任務(wù)學習網(wǎng)絡(luò)

為了評價多任務(wù)回歸的學習效果，分別在CNN網(wǎng)絡(luò)上訓練體重和體況數(shù)據(jù)，評價標準為各個類別的平均絕對誤差(MAE)和準確率。

平均絕對誤差公式：

(4)

平均準確率公式：

(5)

3.3.1 體重預測網(wǎng)絡(luò)

基于PyTorch環(huán)境下的ResNet101卷積神經(jīng)網(wǎng)絡(luò)訓練體重預測模型，學習率設(shè)置為1e-5，訓練迭代40次后收斂。選擇收斂后的模型，用于測試集上測試模型效果，輸出預測體重，見圖6。通過計算得到MAE=7.214，平均準確率92.00%。

圖6 單任務(wù)體重預測曲線Fig.6 Weight prediction curve for the single task

3.3.2 體況評分預測網(wǎng)絡(luò)

與體重預測條件相同，訓練結(jié)束后在測試集上測試，輸出預測的體況評分。MAE=0.680，平均準確率為89.85%。體況評分預測曲線見圖7。

圖7 單任務(wù)體況評分預測曲線Fig.7 Prediction curve of single task body condition score

3.4 多任務(wù)學習網(wǎng)絡(luò)

3.4.1 損失函數(shù)加權(quán)

由于本文是多任務(wù)學習下的回歸網(wǎng)絡(luò)，選用適合回歸的MSE均方損失函數(shù)(L2 Loss)。使用Adam(Adaptive Moment Estimation)優(yōu)化器，用來更新神經(jīng)網(wǎng)絡(luò)的權(quán)重。

梯度下降法：

(6)

(7)

在針對多任務(wù)學習的網(wǎng)絡(luò)模型中，最簡單的方法就是每個任務(wù)單獨計算損失，然后匯總起來，最終的損失函數(shù)為

loss(t)=loss1(t)+loss2(t)

(8)

根據(jù)上述公式，兩個任務(wù)的損失函數(shù)反向傳播的梯度數(shù)量級不一致時,loss直接相加的方式導致多任務(wù)的學習被某個任務(wù)所主導。當模型傾向于去擬合某個任務(wù)時，其他任務(wù)的效果可受到負面影響，效果會相對變差。因此，引入權(quán)重來平衡梯度：

loss(t)=ω1loss1(t)+ω2loss2(t)

(9)

根據(jù)數(shù)據(jù)集的訓練情況設(shè)置合理的權(quán)重。

3.4.2 動態(tài)權(quán)重調(diào)整

由于體重和體況評分的損失函數(shù)的數(shù)量級差別較大，若將損失函數(shù)的權(quán)重設(shè)置為一個固定值，會使加權(quán)后較小的任務(wù)一直被抑制，因此，設(shè)計一個簡單的動態(tài)權(quán)重調(diào)整，權(quán)重隨著損失函數(shù)的變化而變化，從而實現(xiàn)體重和體況評分任務(wù)的訓練平衡。

加上權(quán)重的目的是使兩個任務(wù)的損失函數(shù)的數(shù)值上大致接近，或者說量綱大致一致。因此在已知的單任務(wù)網(wǎng)絡(luò)的學習情況下，根據(jù)式(9)設(shè)計簡單的動態(tài)權(quán)重：

(10)

n1和n2分別為體重和體況評分的損失函數(shù)的最高位數(shù)。通過縮放使兩個損失函數(shù)在同一數(shù)量級上，兩個任務(wù)的梯度下降達到相對平衡。

3.4.3 多任務(wù)學習網(wǎng)絡(luò)實驗對比

采用2.1節(jié)所設(shè)計的網(wǎng)絡(luò)訓練多任務(wù)模型，與單任務(wù)實驗的訓練參數(shù)設(shè)置相同，損失函數(shù)采用直接相加的方法，同時輸出體重和體況評分預測值。用平均絕對誤差(MAE)和平均準確率評估體重和體況評分的預測效果。

傳統(tǒng)的多任務(wù)學習網(wǎng)絡(luò)結(jié)構(gòu)——深度關(guān)系網(wǎng)絡(luò)(DRN)做對比。該網(wǎng)絡(luò)是在AlexNet網(wǎng)絡(luò)框架下，共享卷積層，對全連接層添加矩陣先驗，允許模型學習任務(wù)間的關(guān)系。該方法加強任務(wù)間的關(guān)聯(lián)性，但依賴于事先預定義的共享結(jié)構(gòu)。實驗對比結(jié)果見表1。由表1可見，通過4種網(wǎng)絡(luò)結(jié)構(gòu)對比可見ResNet網(wǎng)絡(luò)框架下的結(jié)構(gòu)1和結(jié)構(gòu)2，通過網(wǎng)絡(luò)參數(shù)之間的共享，增強兩個任務(wù)之間的關(guān)聯(lián)性，使得預測的準確率提高，驗證了基于ResNet網(wǎng)絡(luò)的多任務(wù)學習網(wǎng)絡(luò)輸出豬只體重和體況評分預測的有效性。

表1 不加權(quán)重的模型效果評估Table 1 Evaluation of model effects without weights

3.4.4 權(quán)重調(diào)整實驗結(jié)果對比

觀察體重和體況評分的損失函數(shù)收斂時，分別在數(shù)值10和0.5左右波動，根據(jù)損失函數(shù)的比例，調(diào)整權(quán)重比例，設(shè)定loss1=0.05，loss2=0.95。結(jié)果見表2；根據(jù)設(shè)計的動態(tài)調(diào)整權(quán)重的方法，調(diào)整損失函數(shù)的權(quán)重，訓練模型結(jié)果見表3。

表2 調(diào)整權(quán)重后的模型效果評估Table 2 Evaluation of model effects by adjusting weights

表3 動態(tài)調(diào)整權(quán)重后的模型效果評估Table 3 Evaluation of model effects by dynamically adjusting weight

通過調(diào)整權(quán)重，將收斂時的損失函數(shù)調(diào)整到同一數(shù)量級，平衡了體重和體況評分的模型訓練，有效地降低了體重訓練時因損失函數(shù)過大造成的訓練主導，從而提高了體況評分的準確性。

4 結(jié) 論

本文針對豬只的不同形態(tài)，結(jié)合Mask R-CNN算法分割豬只圖像，分割準確率達到98%。設(shè)計了兩種ResNet網(wǎng)絡(luò)下的多任務(wù)學習的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，根據(jù)網(wǎng)絡(luò)訓練情況動態(tài)調(diào)整了損失函數(shù)的權(quán)重，完成體重和體況評分共享一個模型的預測。有效驗證了多任務(wù)學習方法應(yīng)用的可行性，通過增強了體重和體況評分預測的關(guān)聯(lián)性，提高了預測的準確性，使得加入動態(tài)權(quán)重調(diào)節(jié)后體重預測提高了5%準確率，體況評分預測提高了3%準確率。有利于實際的應(yīng)用。