邢永鑫，孫游東，王天一

貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴陽 550025

信息技術(shù)與智能技術(shù)的快速進(jìn)步正推動(dòng)現(xiàn)代畜牧業(yè)朝著綠色、高效、智能的方向發(fā)展[1-2]。奶牛養(yǎng)殖作為畜牧業(yè)的重要組成部分，智能化、自動(dòng)化養(yǎng)殖也成為必然的趨勢[3-5]。在養(yǎng)殖場中，為精準(zhǔn)、快速地記錄每頭奶牛的產(chǎn)奶量、擠奶時(shí)間、擠奶次數(shù)、產(chǎn)奶品質(zhì)等數(shù)據(jù)，需要對(duì)每頭奶牛進(jìn)行精準(zhǔn)快速的識(shí)別。為完成這一任務(wù)，需要借助基于深度學(xué)習(xí)的目標(biāo)檢測算法。卷積神經(jīng)網(wǎng)絡(luò)[6]作為深度學(xué)習(xí)的一種學(xué)習(xí)算法，利用逐層深入的空間關(guān)系來減少需要學(xué)習(xí)的參數(shù)數(shù)目以提高一般神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練性能，具有很強(qiáng)的判別能力與學(xué)習(xí)能力[7]。將圖像輸入網(wǎng)絡(luò)后，每層卷積層均通過不同權(quán)值學(xué)習(xí)輸入數(shù)據(jù)的不同特征，得到的特征信息在不同的卷積層中依次進(jìn)行傳遞。

近年來，以AlexNet[8]、VGGNet[9]等算法為代表的深度學(xué)習(xí)算法在圖像識(shí)別等復(fù)雜任務(wù)上表現(xiàn)優(yōu)異，迅速吸引了學(xué)術(shù)界和工業(yè)界的聚焦。在目標(biāo)檢測領(lǐng)域，基于深度學(xué)習(xí)的經(jīng)典算法包括R-CNN[10]以及在其基礎(chǔ)上改進(jìn)的Faster R-CNN[11]等，這些算法雖然具有較高的檢測精度，其雙階段檢測的特性卻導(dǎo)致檢測的速度較慢。2016年，Redmon等在CVPR會(huì)議上提出統(tǒng)一實(shí)時(shí)目標(biāo)檢測算法[12]（you only look once，YOLO），該算法利用回歸得到邊界框和類別概率，以檢測精度為代價(jià)換來了檢測速度的明顯提升。同年，Liu等在ECCV會(huì)議上提出了多尺度單發(fā)射擊檢測算法[13]（single shot multibox detector，SSD），在不同尺度感受野的特征圖上提取特征，再利用回歸得到目標(biāo)物體的位置和分類結(jié)果，在保證實(shí)時(shí)性的同時(shí)，提高了檢測精度。然而，SSD算法的缺點(diǎn)在于不能充分利用淺層的高分辨率特征圖。此外，候選框的尺寸比例也需要人工根據(jù)經(jīng)驗(yàn)設(shè)置。

本文以SSD算法為基礎(chǔ)，針對(duì)前文提到的兩個(gè)缺點(diǎn)，對(duì)SSD算法進(jìn)行改進(jìn)，提出了基于淺層特征模塊的改進(jìn)SSD（shallow feature module SSD，SFM-SSD）算法。

SFM-SSD在原始SSD算法的基礎(chǔ)上，將主干卷積神經(jīng)網(wǎng)絡(luò)由VGG16換為MobileNetV2，利用MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)中的深度可分離卷積[14]來降低網(wǎng)絡(luò)的運(yùn)算量；再利用淺層特征模塊（shallow feature module，SFM）[15-16]，提高淺層特征圖的特征提取能力，擴(kuò)大淺層特征圖的感受野[17]；最后，利用K均值聚類算法對(duì)網(wǎng)絡(luò)的區(qū)域候選框重新設(shè)置[18-19]；降低真實(shí)框匹配的難度，提升算法在奶牛識(shí)別任務(wù)上的精度。實(shí)驗(yàn)結(jié)果表明，在FriesianCattle2017數(shù)據(jù)集上，SFM-SSD算法和SSD算法相比，性能有了明顯改善。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測原理

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種包含卷積計(jì)算的前饋神經(jīng)網(wǎng)絡(luò)，由不同的卷積層連接組成，卷積層的計(jì)算過程如圖1所示。

如圖1所示，為卷積層的計(jì)算過程。在圖1中，（6×6×3）為輸入的特征圖。其中（6×6）為特征圖的尺寸，3為特征圖的通道數(shù)。（3×3×3）為權(quán)值矩陣（卷積核），其中（3×3）為權(quán)值的大小，3為輸入特征圖的通道數(shù)。權(quán)值矩陣在圖像里就像一個(gè)特定信息的過濾器，一個(gè)權(quán)值矩陣用來提取邊緣信息，另一個(gè)可能用來提取特定的顏色。如圖1中，有兩個(gè)權(quán)值矩陣，對(duì)應(yīng)輸出特征圖通道數(shù)為2。權(quán)值與輸入特征圖進(jìn)行卷積運(yùn)算時(shí)，以滑動(dòng)窗口的形式，從左至右，從上至下，3個(gè)通道和對(duì)應(yīng)位置相乘求和。然后加上偏置（圖1中b1、b2），經(jīng)過Relu激活函數(shù)，得到輸出特征圖（4×4×2），其中（4×4）為輸出特征圖大小，2為輸出特征圖的通道數(shù)，輸出特征圖的通道數(shù)和權(quán)值矩陣的數(shù)量相同。

圖1 卷積層的計(jì)算過程Fig.1 Calculation process of convolution layer

如圖2所示，圖片經(jīng)過不同的權(quán)值矩陣，會(huì)產(chǎn)生不同通道的特征圖，不同權(quán)值矩陣提取圖片中不同方面的特征信息，有的權(quán)值矩陣提取奶牛背上花紋特征，有的權(quán)值矩陣則提取奶牛的輪廓特征，因此不同的權(quán)值形成了不同通道的特征圖。將所有通道的特征融合后形成圖片經(jīng)過卷積的仿真圖。

圖2 圖片經(jīng)過卷積后的仿真結(jié)果Fig.2 Simulation results of convolution

1.2 SSD算法

SSD算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。SSD算法的主干網(wǎng)絡(luò)為VGG16，并將VGG16網(wǎng)絡(luò)的FC6、FC7層改為Conv6、Conv7層，然后在后面加了4個(gè)卷積層，構(gòu)成SSD算法框架。網(wǎng)絡(luò)以300×300圖片作為輸入，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)有6個(gè)特征圖，分別預(yù)測不同尺寸的物體，淺層特征圖分辨率高、感受野小用來預(yù)測小物體目標(biāo)，深層特征圖則用來預(yù)測較大的物體目標(biāo)。最后經(jīng)過非極大值抑制過濾掉多余邊界框并產(chǎn)生最終檢測結(jié)果。

圖3 SSD算法網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 SSD algorithm network structure

2 SFM-SSD算法

SFM-SSD算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。算法的主干卷積神經(jīng)網(wǎng)絡(luò)由VGG16換為MobileNetV2，在不同尺度的特征圖上提取特征，并在Conv4_3和Fc7層上增加了淺層特征模塊（shallow feature module，SFM），然后對(duì)區(qū)域候選框重構(gòu)，使區(qū)域候選框的數(shù)量由8 732增加到11 640。最后經(jīng)過非極大值抑制預(yù)測目標(biāo)物體。

圖4 SFM-SSD網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 SFM-SSD network structure

2.1 MobileNetV2

在提高網(wǎng)絡(luò)檢測精度的同時(shí)為了提高網(wǎng)絡(luò)的檢測速度，將SSD網(wǎng)絡(luò)的主干網(wǎng)絡(luò)由VGG16換為Mobile-NetV2。MobileNetV2是對(duì)MobileNetV1的改進(jìn)，同樣是一種輕量級(jí)的神經(jīng)網(wǎng)絡(luò)，除了繼承MobileNetV1的深度可分離卷積之外，另外借ResNet網(wǎng)絡(luò)中采用了殘差網(wǎng)絡(luò)取得很好的效果，提出了反殘差網(wǎng)絡(luò)的概念。

深度可分離卷積將傳統(tǒng)的卷積分解為一個(gè)深度卷積和一個(gè)1×1的點(diǎn)卷積。假定輸出特征圖的通道數(shù)為N，卷積核的大小為DK×DK，則深度可分離卷積的計(jì)算量僅為傳統(tǒng)卷積的，因而能夠明顯提升運(yùn)算速度，改善檢測的實(shí)時(shí)性。如圖5所示反殘差網(wǎng)絡(luò)是采用擴(kuò)張通道-特征提取-壓縮通道的信息處理方式，先通過一個(gè)1×1卷積對(duì)通道數(shù)進(jìn)行擴(kuò)展，對(duì)擴(kuò)展之后的通道執(zhí)行深度卷積以提取特征，最后通過一個(gè)1×1卷積使輸出通道數(shù)和輸入相同。為了兼顧算法的實(shí)時(shí)性，本文網(wǎng)絡(luò)中部分高維通道擴(kuò)展倍數(shù)設(shè)置為4。

圖5 殘差網(wǎng)絡(luò)和反殘差網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比Fig.5 Structure comparison between residual network and anti residual network

2.2 淺層特征模塊

淺層特征模塊的結(jié)構(gòu)如圖6所示。為了充分利用SSD淺層特征圖的細(xì)節(jié)表達(dá)能力，受到多分支卷積Inception和殘差網(wǎng)絡(luò)ResNet的啟發(fā)，設(shè)計(jì)了SFM。SFM使用多通道的卷積核，在模塊中1×1卷積主要是為了降低通道數(shù)，從而降低網(wǎng)絡(luò)的計(jì)算量。使用3×1，1×3的卷積可以使網(wǎng)絡(luò)學(xué)習(xí)到更多的非線性關(guān)系?？斩淳矸e不僅使網(wǎng)絡(luò)學(xué)習(xí)到更多的特征信息，增大感受野，而且不同空洞率的卷積可以起到下采樣的效果，增加特征多樣性，能讓淺層特征圖進(jìn)一步提取豐富的特征。然后通過通道拼接特征融合，最后與殘差分支的1×1直連卷積連接，經(jīng)過激活函數(shù)。將SFM模塊添加到網(wǎng)絡(luò)的Conv4_3層和Fc7層不僅可以提高檢測精度，而且可以增強(qiáng)對(duì)小物體目標(biāo)的檢測能力，如圖7。

圖6 SFM模塊Fig.6 SFM module

圖7 淺層特征圖Fig.7 Shallow feature map

2.3 區(qū)域候選框重構(gòu)

深度學(xué)習(xí)目標(biāo)檢測算法的性能很大程度上取決于特征學(xué)習(xí)的好壞，而特征學(xué)習(xí)是由訓(xùn)練數(shù)據(jù)驅(qū)動(dòng)的，在SSD目標(biāo)檢測任務(wù)中訓(xùn)練數(shù)據(jù)就是區(qū)域候選框。當(dāng)區(qū)域候選框與真實(shí)框的交并比（IOU）大于閾值時(shí)，被標(biāo)為正樣本，反之，被標(biāo)為負(fù)樣本。

區(qū)域候選框參數(shù)公式如下：

Sk是第k個(gè)特征圖的min_size參數(shù)；max_size的值為Sk+1；Smin是設(shè)計(jì)好的最小歸一化尺寸，取值為0.2；Smax為設(shè)計(jì)好的最大歸一化尺寸，取值為0.9；m是特征圖的數(shù)量（SSD算法中m=6）。

如圖8所示，產(chǎn)生4個(gè)候選框，兩個(gè)正方形（紅色虛線），兩個(gè)長方形（藍(lán)色虛線）。300×min_size為小正方形的邊長，為大正方形的邊長，aspect_ration（縱橫比）是一個(gè)設(shè)置的參數(shù)。aspect_ration={1,2}，對(duì)應(yīng)的兩個(gè)長方形的長寬：

圖8 候選框示意圖Fig.8 Schematic diagram of candidate box

當(dāng)要產(chǎn)生6個(gè)候選框時(shí)，aspect_ration的值設(shè)置為{1，2，3}，300為SSD算法中輸入圖片的尺寸。

在以往的檢測中，大多都是按照經(jīng)驗(yàn)來設(shè)定候選框的大小和比例，在訓(xùn)練過程中網(wǎng)絡(luò)會(huì)調(diào)整候選框，如果能在訓(xùn)練前預(yù)先找到候選框合適的尺寸和比例，將能得到更好的預(yù)測結(jié)果。本文使用k-means聚類算法來預(yù)測候選框的大小和比例。

本文使用的距離度量公式為：

其中，centroid為聚類中心，box為標(biāo)注框。在計(jì)算時(shí)，每個(gè)標(biāo)注框的中心點(diǎn)與聚類中心的中心點(diǎn)重合才能計(jì)算IOU的值。(xj,yj)是標(biāo)注框的中心點(diǎn)，(wj,hj)是標(biāo)注框的寬高，(Wi,Hi)是聚類中心的寬高；N為標(biāo)注框的個(gè)數(shù)，K為聚類個(gè)數(shù)，通過以上公式將標(biāo)注框分配給距離最近的聚類中心。所有標(biāo)注框分配完以后，對(duì)每個(gè)集合重新計(jì)算聚類中心點(diǎn)，公式：

求集合中所有標(biāo)注框平均寬和高，然后重復(fù)以上步驟，直到聚類中心改變很小。

實(shí)驗(yàn)中設(shè)置K={1,2,3,4,5,6,7,8,9,10}進(jìn)行實(shí)驗(yàn)，分別對(duì)標(biāo)注框進(jìn)行聚類。由圖9可知，當(dāng)K<6時(shí)，平均交并比漲幅很大，當(dāng)K>6時(shí)基本趨于平緩，再結(jié)合算法綜合考慮，選擇K=6。當(dāng)K=6時(shí)得到候選框的縱橫比為[0.59，0.89，1.18，1.84，1.9，2.84]，通過以上實(shí)驗(yàn)數(shù)據(jù)結(jié)合圖10實(shí)驗(yàn)結(jié)果對(duì)候選框重構(gòu)。

圖9 標(biāo)注框聚類Fig.9 Label box clustering

圖10 K=6聚類效果Fig.10 K=6 clustering effect

SSD算法采用6個(gè)特征圖生成不同尺寸大小的候選框，如果特征圖的大小為M×N，即將對(duì)應(yīng)的特征圖劃分成M×N個(gè)網(wǎng)格，然后以每個(gè)網(wǎng)格的中心點(diǎn)為中心，產(chǎn)生H個(gè)候選框，則每個(gè)特征圖產(chǎn)生候選框的數(shù)量為M×N×H。在SFM-SSD算法中，6個(gè)特征圖aspect_ration（縱橫比；在表1和表2中簡寫為ar）設(shè)置為{1，2，3}，H的個(gè)數(shù)由{4，6，6，6，4，4}改為{6，6，6，6，6，6}。

表1 SSD算法區(qū)域候選框設(shè)置Table 1 SSD algorithm area candidate box setting

表2 SFM-SSD算法區(qū)域候選框設(shè)置Table 2 SFM-SSD algorithm area candidate box setting

SSD算法進(jìn)行目標(biāo)檢測時(shí)，最終的檢測結(jié)果與區(qū)域候選框的預(yù)測有關(guān)，而區(qū)域候選的預(yù)測框進(jìn)行回歸與其周圍一定范圍內(nèi)的樣本有很大關(guān)系，因此重構(gòu)區(qū)域候選框的同時(shí)，也應(yīng)該選擇合適的閾值。為了選擇合適的閾值，在不同閾值下進(jìn)行實(shí)驗(yàn)，由實(shí)驗(yàn)結(jié)果可知，選擇最佳閾值為0.45。

2.4 損失函數(shù)設(shè)計(jì)

SFM-SSD算法的損失函數(shù)由SSD算法的損失函數(shù)結(jié)合聚焦分類損失函數(shù)[20]優(yōu)化而來，損失函數(shù)由分類損失和位置損失加權(quán)求和獲得，公式如下：

分類損失公式如下：

位置損失的公式如下：

在公式中{cx,cy,w,h}分別是中心點(diǎn)和寬高，pos表示正樣本集；分別表示第j個(gè)真實(shí)框的中心點(diǎn)坐標(biāo)和寬高。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)與環(huán)境

實(shí)驗(yàn)使用FriesianCattle2017數(shù)據(jù)集，在訓(xùn)練時(shí)對(duì)圖像進(jìn)行數(shù)據(jù)增強(qiáng)，包括隨機(jī)亮度變化、隨機(jī)平移、隨機(jī)旋轉(zhuǎn)、水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)、尺寸變化、隨機(jī)裁剪等。對(duì)不同的模型進(jìn)行訓(xùn)練，按照6∶2∶2的比例將數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集、測試集。

實(shí)驗(yàn)環(huán)境：python3.7，tensorflow2.0。用labelimg標(biāo)注數(shù)據(jù)集；用keras構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)；圖11為數(shù)據(jù)集圖片標(biāo)注結(jié)果；用RTX 2080Ti加速訓(xùn)練。CPU：i7-9700 3.6k@3.60 GHz×8。

圖11 標(biāo)注圖片F(xiàn)ig.11 Label picture

3.2 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)通過在測試集中分析模型改進(jìn)前后的平均準(zhǔn)確率（average precision，AP）和平均檢測時(shí)間，對(duì)比模型的性能。用AP作為精度檢測的指標(biāo)，平均準(zhǔn)確率為精確度關(guān)于召回率的函數(shù)曲線與坐標(biāo)軸0到1范圍圍成的面積。AP值越高，檢測性能越好；精確度（Precision）和召回率（Recall）公式定義如下：

其中，TP為正樣本中的正例，F(xiàn)P為負(fù)樣本中的正例，F(xiàn)N為負(fù)樣本中的負(fù)例。

AP的積分公式：

其中，P(r)為精確度關(guān)于召回率的函數(shù)，r為召回率。

3.3 實(shí)驗(yàn)結(jié)果

由表3可知，當(dāng)閾值為0.45時(shí)模型的平均準(zhǔn)確率最高，因此在SFM-SSD算法中選擇閾值為0.45。

表3 不同閾值模型的平均準(zhǔn)確率Table 3 Average accuracy of different threshold models

如圖12所示，為不同算法的loss曲線。實(shí)驗(yàn)中使用Adam優(yōu)化器，bath_size設(shè)置為16，初始化學(xué)習(xí)率為0.000 4，為了防止過擬合，實(shí)驗(yàn)中使用了early_stoping（早停），當(dāng)連續(xù)6個(gè)epoch的vall_loss（驗(yàn)證集損失）的值不下降時(shí)自動(dòng)停止訓(xùn)練。

圖12 不同模型的loss曲線Fig.12 Loss curves of different models

由表4可知，本文的SFM-SSD算法的AP值為94.91%，和傳統(tǒng)的SSD算法相比不僅精確度提高了3.13個(gè)百分點(diǎn)，而且檢測速度也減少了5.07 ms，和第3個(gè)網(wǎng)絡(luò)模型相比雖然準(zhǔn)確度稍微下降，但檢測速度有了很大的提升?？梢姳疚奶岢龅腟FM-SSD算法對(duì)奶牛的識(shí)別效果較好，且檢測速度有了一定的提升。

表4 不同模型在測試集上的測試結(jié)果Table 4 Test results of different models on test set

3.4 不同模型檢測結(jié)果對(duì)比

如圖13所示，為SSD算法與SFM-SSD算法的檢測結(jié)果，由檢測結(jié)果可知，無論是置信度還是預(yù)測位置SFM-SSD算法都優(yōu)于SSD算法。

圖13 不同模型檢測結(jié)果對(duì)比Fig.13 Comparison of test results of different models

3.5 SFM-SSD算法與YOLO系列算法對(duì)比

由表5所示，為SFM-SSD算法與YOLO系列算法的實(shí)驗(yàn)結(jié)果，由實(shí)驗(yàn)結(jié)果可知，SFM-SSD算法比YOLOV2，YOLOV3算法的檢測精度更高。

表5 SFM-SSD算法與YOLO系列算法在測試集上實(shí)驗(yàn)結(jié)果Table 5 Experimental results of SEM-SSD algorithm and YOLO series algorithm on test set

3.6 SFM-SSD算法與YOLOV3算法檢測效果

如圖14所示，為YOLOV3算法與SFM-SSD算法的檢測結(jié)果，由檢測結(jié)果可知，對(duì)奶牛個(gè)體的檢測識(shí)別，SFM-SSD算法的檢測結(jié)果優(yōu)于YOLOV3算法。

圖14 SFM-SSD算法與YOLOV3算法檢測效果Fig.14 Detection effect of SFM-SSD algorithm and YOLOV3 algorithm

4 結(jié)語

本文通過對(duì)傳統(tǒng)的SSD改進(jìn)算法，首先，使用了MobileNetV2作為主干網(wǎng)絡(luò)，提高網(wǎng)絡(luò)的檢測速度。然后，對(duì)網(wǎng)絡(luò)中的候選框從新設(shè)置，提高網(wǎng)絡(luò)的檢測精度，設(shè)計(jì)淺層特征模塊，提高網(wǎng)絡(luò)中淺層特征圖的特征提取能力，擴(kuò)大淺層特征圖的感受野，增強(qiáng)對(duì)小目標(biāo)物體的檢測能力。實(shí)驗(yàn)結(jié)果表明，SFM-SSD模型在精度上和速度上都超過了傳統(tǒng)SSD模型。為了在不同的環(huán)境中對(duì)奶牛都可以很好地識(shí)別，接下來利用遷移學(xué)習(xí)方面的知識(shí)展開研究。