鄭志強(qiáng)，胡 鑫，翁 智，王雨禾，程 曦

（內(nèi)蒙古大學(xué)電子信息工程學(xué)院，呼和浩特 010021）

（*通信作者wzhi@imu.edu.cn）

0 引言

畜牧業(yè)是農(nóng)業(yè)的重要組成部分，智能化管理是提升畜牧業(yè)發(fā)展質(zhì)量的重要手段，因此動(dòng)物個(gè)體智能識(shí)別技術(shù)的研究成為了學(xué)者們的關(guān)注熱點(diǎn)。相較于耳標(biāo)與烙印，基于生物特征的個(gè)體識(shí)別技術(shù)因其對(duì)動(dòng)物健康更有利而得到人們的重視。其中圖像識(shí)別是最主要的實(shí)現(xiàn)方式，它在大數(shù)據(jù)支撐下對(duì)網(wǎng)絡(luò)進(jìn)行自主學(xué)習(xí)優(yōu)化，通過深度學(xué)習(xí)對(duì)目標(biāo)圖像數(shù)據(jù)進(jìn)行生物特征提取，完成個(gè)體識(shí)別，因此從圖像數(shù)據(jù)中精準(zhǔn)提取目標(biāo)個(gè)體的生物特征成為實(shí)現(xiàn)高精度動(dòng)物個(gè)體識(shí)別的關(guān)鍵。

在基于圖像的動(dòng)物個(gè)體識(shí)別中，傳統(tǒng)方法是提取目標(biāo)個(gè)體的顏色［1］、形狀［2］和紋理［3］等特征完成個(gè)體識(shí)別，而虹膜特征則是較為準(zhǔn)確的差異化特征。方超等［4］提出利用邊緣特征對(duì)牛眼虹膜進(jìn)行精準(zhǔn)定位，進(jìn)而提取虹膜特征實(shí)現(xiàn)牛個(gè)體識(shí)別；Lu等［5］通過幾何方法擬合分割牛眼虹膜，提取局部特征與全局特征并編碼作為識(shí)別特征；Barron等［6］利用雙視網(wǎng)膜系統(tǒng)進(jìn)行綿羊個(gè)體識(shí)別，采用基于OR 邏輯運(yùn)算符和匹配分?jǐn)?shù)求和的決策準(zhǔn)則提高準(zhǔn)確率。傳統(tǒng)的虹膜算法已經(jīng)取得一定成果，但仍面臨著小樣本導(dǎo)致的泛化能力不足、魯棒性不強(qiáng)、算法設(shè)計(jì)較復(fù)雜等問題。

在這樣的需求下，神經(jīng)網(wǎng)絡(luò)出現(xiàn)在人們的視野中。神經(jīng)網(wǎng)絡(luò)是通過對(duì)大量的數(shù)據(jù)進(jìn)行深度學(xué)習(xí)，分析每一類別圖像的像素排布規(guī)律，最后自動(dòng)對(duì)該類圖像進(jìn)行特征提取識(shí)別。目前神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于生活的各個(gè)領(lǐng)域，如機(jī)器翻譯［7］、唇語(yǔ)識(shí)別［8］、視頻換臉［9］等。人們也開始將神經(jīng)網(wǎng)絡(luò)應(yīng)用于畜牧業(yè)，如Trokielewicz 等［10］利用卷積神經(jīng)網(wǎng)絡(luò)提取馬匹的虹膜特征與眼部特征來(lái)完成馬匹身份識(shí)別；Nguyen 等［11］則對(duì)野生動(dòng)物圖像使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取并完成分類；de Arruda 等［12］首先利用熱圖像與SLIC（Simple Linear Iterative Clustering）分割算法完成對(duì)目標(biāo)的定位，然后利用卷積神經(jīng)網(wǎng)絡(luò)提取RGB 圖像中定位區(qū)域的特征信息，完成對(duì)野生動(dòng)物的分類。

基于虹膜圖像的個(gè)體身份識(shí)別不會(huì)損害動(dòng)物的健康，且虹膜特征具有個(gè)體差異，識(shí)別精度更高，但是相關(guān)數(shù)據(jù)的采集較為困難，除了需要專業(yè)設(shè)備，動(dòng)物個(gè)體對(duì)眼部圖像采集也有一定的抗拒性，難以配合完成；同時(shí)，動(dòng)物眼部睫毛遮擋、采集時(shí)的光照等也會(huì)降低圖像質(zhì)量，使得虹膜特征不易提取，所以基于虹膜特征的動(dòng)物個(gè)體識(shí)別的實(shí)用性不高。為此，本文提出了一種新的實(shí)用性較高的識(shí)別方式，利用DenseNe（tDense convolutional Network）［13］對(duì)整個(gè)牛眼圖像進(jìn)行特征提取識(shí)別，同時(shí)針對(duì)小數(shù)據(jù)集的情況對(duì)DenseNet 進(jìn)行改進(jìn)，提高了網(wǎng)絡(luò)對(duì)小數(shù)據(jù)特征的提取能力，增強(qiáng)網(wǎng)絡(luò)的泛化能力和遷移性，改進(jìn)后的網(wǎng)絡(luò)更加經(jīng)濟(jì)便利，能方便應(yīng)用于畜牧場(chǎng)。

1 DenseNet

DenseNet［13］是Huang 等于2017 年提出的最優(yōu)深度模型，該網(wǎng)絡(luò)借鑒了ResNet［14］與GoogLeNet［15］的優(yōu)點(diǎn)，將跨連接充分應(yīng)用到了模塊內(nèi)的每一個(gè)特征層，即任一卷積層的輸入直接包含了前面所有卷積層的輸出，特征得到充分復(fù)用，高低層次的特征融合使得網(wǎng)絡(luò)具有較強(qiáng)的抗過擬合性能，且參數(shù)量更小，跨連接的應(yīng)用也緩解了層數(shù)加深而導(dǎo)致的梯度消失問題。DenseNet 結(jié)構(gòu)的核心為DenseBlock 和Transition layer，Huang 等［13］提出三種基本結(jié)構(gòu)分別為DenseNet、DenseNet-B和DenseNet-BC。DenseNet-B 是在DenseNet 的基礎(chǔ)上，在DenseBlock 內(nèi)部加入了1×1 的卷積核，旨在降低每一層的輸入特征圖的維度，減少計(jì)算量；DenseNet-BC 結(jié)構(gòu)基于DenseNet-B，在Transition layer 內(nèi)加入一個(gè)壓縮率參數(shù)θ，根據(jù)不同的實(shí)際需求設(shè)置參數(shù)值，可以將上一個(gè)DenseBlock 輸出的特征圖維度降低相應(yīng)的比例，有效減少由于網(wǎng)路層數(shù)增加產(chǎn)生的巨大計(jì)算量。因此，本文采用DenseNet-BC 網(wǎng)絡(luò)。該網(wǎng)絡(luò)整體流程結(jié)構(gòu)如圖1 所示，結(jié)構(gòu)核心為DenseBlock 和Transition layer。

圖1 DenseNet-BC網(wǎng)絡(luò)整體流程結(jié)構(gòu)Fig.1 DenseNet-BC network overall process structure

DenseNet-BC 網(wǎng)絡(luò)結(jié)構(gòu)首先采用7×7 卷積對(duì)輸入圖像進(jìn)行初步的下采樣和降維，再對(duì)多個(gè)DenseBlock 與Transition layer 依次進(jìn)行級(jí)聯(lián)實(shí)現(xiàn)特征提取，最后利用提取到的特征完成分類。DenseBlock 模塊的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，由四個(gè)Denselayer 連接組成，其中每一層均實(shí)現(xiàn)了稠密連接，層內(nèi)包含批歸一化層（Batch Normalization，BN）、激活函數(shù)、卷積層，由1×1 卷積核構(gòu)成的卷積層實(shí)現(xiàn)通道降維、減少計(jì)算量。DenseBlock 模塊內(nèi)的稠密連接指任一層的輸入特征包含了模塊內(nèi)前面所有層的輸出特征，卷積層輸入計(jì)算公式為：

圖2 DenseBlock內(nèi)部結(jié)構(gòu)Fig.2 DenseBlock internal structure

其中：I2、I3、I4、I5分別表示H2、H3、H4、H5的輸入；k0表示最開始的輸入特征圖通道數(shù)；k表示網(wǎng)絡(luò)的通道增長(zhǎng)率。根據(jù)式（1）～（4）可以看出：DenseNet通過對(duì)DenseBlock 模塊內(nèi)前面所有層的輸出特征通過拼接得到當(dāng)前層的輸入特征；同樣，當(dāng)前層的輸出特征也是模塊內(nèi)后面所有層的輸入特征的一部分，卷積層輸出特征的高頻復(fù)用，極大地增強(qiáng)了不同層次特征的融合利用；同時(shí)跨連接也可以避免梯度消失問題，為了防止大量特征拼接導(dǎo)致計(jì)算成本過高，任一層的輸出特征都通過降維得到較小的通道維度。

Transition Layer 的應(yīng)用主要是為了降低稠密模塊輸出特征維度，避免拼接操作造成的特征通道維度過大，同時(shí)要實(shí)現(xiàn)特征下采樣以輸入下一稠密模塊進(jìn)行特征提取。Transition Layer 通過1×1 的卷積核實(shí)現(xiàn)特征通道降維，通過2×2 平均池化層實(shí)現(xiàn)特征下采樣，而通道降維的相關(guān)參數(shù)為壓縮率θ，θ是一個(gè)0～1 的參數(shù)，代表降維的比例，本文θ取0.5，即將通過卷積核后的特征圖數(shù)量減少一半。

2 改進(jìn)后的DenseNet

2.1 網(wǎng)絡(luò)架構(gòu)

本文針對(duì)牛眼部圖像提取特征完成個(gè)體識(shí)別，所以除了形狀、顏色等特征外，需要進(jìn)行語(yǔ)義特征提取，較深的網(wǎng)絡(luò)提取到的特征更完整，但是計(jì)算量大，導(dǎo)致識(shí)別速度慢，因此采用DenseNet-BC 結(jié)構(gòu)作為識(shí)別網(wǎng)絡(luò)框架。本文經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)DenseNet-BC 架構(gòu)的網(wǎng)絡(luò)識(shí)別準(zhǔn)確率不高，故對(duì)DenseNet-BC結(jié)構(gòu)作出改進(jìn)。首先，借鑒原始的DenseNet-BC 結(jié)構(gòu)，本文搭建了一個(gè)共71 層的DenseNet-BC 網(wǎng)絡(luò)架構(gòu)，如圖3 所示，網(wǎng)絡(luò)的輸入數(shù)據(jù)為224×224的RGB牛眼圖像。

圖3 DenseNet-71結(jié)構(gòu)Fig.3 DenseNet-71 structure

牛眼圖像輸入DenseNet-71 后會(huì)首先經(jīng)過卷積層實(shí)現(xiàn)對(duì)輸入圖像的降維以及下采樣，通過對(duì)比識(shí)別準(zhǔn)確率，卷積核尺寸為5×5 時(shí)，網(wǎng)絡(luò)的特征提取效果會(huì)比7×7 卷積核更好，所以網(wǎng)絡(luò)輸入的濾波器的卷積核選擇5×5。

2.2 激活函數(shù)

Denselayer 選用的激活函數(shù)是修正線性單元（Rectified Linear Unit，ReLU），該函數(shù)在負(fù)半軸置零使得其具有良好的稀疏性，而在非負(fù)區(qū)間則是穩(wěn)定輸出的線性函數(shù)。計(jì)算公式為：

根據(jù)式（5）可以看出，當(dāng)產(chǎn)生負(fù)梯度時(shí)，ReLU 函數(shù)的輸出值為零，即神經(jīng)元不被激活，神經(jīng)元死亡。激活函數(shù)的輸入為BN層的輸出，所以激活函數(shù)的輸入最大值為1，而當(dāng)輸入值趨近于0 時(shí)，經(jīng)過多次反向傳播，則會(huì)出現(xiàn)梯度消失問題。為了解決ReLU 的梯度消失，本文根據(jù)函數(shù)特性采用了縮放指數(shù)線性單元（Scaled exponential Linear Unit，SeLU）激活函數(shù)［16］，計(jì)算公式為：

其中：λ=1.050 700 987 355 480 493 419 334 985 294 6，α=1.673 263 242 354 377 284 817 042 991 671 7，是Klambauer 經(jīng)過大量計(jì)量驗(yàn)證得出的值。根據(jù)式（6）可以看出，SeLU 的正半軸輸出略大于輸入，因此可以放大較小的輸入值，SeLU 的負(fù)半軸不同于ReLU 的直接置零輸出方式，而是輸出一個(gè)略小于0 的值，避免了神經(jīng)元死亡，這也同時(shí)保持了ReLU 的單側(cè)抑制效果，具有良好的稀疏性，避免因小樣本和網(wǎng)絡(luò)層過深引起的梯度消失問題，使網(wǎng)絡(luò)更好地應(yīng)用在小數(shù)據(jù)樣本研究中，在深層網(wǎng)絡(luò)中即使加入噪聲也能快速收斂到均值為0、方差為1。

2.3 DropBlock模塊

原始的DenseNet-BC 中包含了Dropout 層，Dropout 通過隨機(jī)置零多個(gè)網(wǎng)絡(luò)神經(jīng)元降低神經(jīng)元之間的共適應(yīng)關(guān)系，抑制過擬合的發(fā)生，等同于將輸入圖像中的部分像素信息置零，降低神經(jīng)元對(duì)局部特征的依賴性。效果如圖4 所示，圖4（a）中的牛眼區(qū)域?qū)?yīng)圖4（b）中灰色區(qū)域，圖4（b）中的標(biāo)記代表該位置被置零。

圖4 Dropout效果圖Fig.4 Dropout effect

網(wǎng)絡(luò)通過卷積實(shí)現(xiàn)對(duì)圖像數(shù)據(jù)的特征提取，因?yàn)榫矸e操作的特定實(shí)現(xiàn)方式，使得特征信息之間具有一定的相互影響，Dropout 可以通過置零神經(jīng)元放棄部分特征，但在卷積層后會(huì)因?yàn)樘卣鏖g的相互影響而仍學(xué)習(xí)到冗余特征，并傳入到下一層，因此Dropout對(duì)于卷積層的效果較為一般。若DenseNet內(nèi)部采用大量跨層直連，會(huì)出現(xiàn)大量冗余無(wú)效的牛眼特征，會(huì)導(dǎo)致識(shí)別準(zhǔn)確率下降，為此本文轉(zhuǎn)而采用更完善的DropBlock來(lái)代替Dropout。DropBlock［17］模塊是谷歌團(tuán)隊(duì)于2018 年提出的一個(gè)針對(duì)卷積神經(jīng)網(wǎng)絡(luò)的正則化模塊，效果如圖5 所示。DropBlock 會(huì)隨機(jī)將特征的某一連通區(qū)域置零，強(qiáng)制網(wǎng)絡(luò)學(xué)習(xí)其余區(qū)域的特征，以此來(lái)實(shí)現(xiàn)卷積層的正則化，提高抗過擬合能力。

圖5 DropBlock效果圖Fig.5 DropBlock effect

DropBlock 模塊包含兩個(gè)重要的參數(shù)：block_size和γ。其中block_size表示的是準(zhǔn)備丟棄的方塊尺寸，一般網(wǎng)絡(luò)會(huì)取3、5、7。當(dāng)block_size=1時(shí)，DropBlock變?yōu)閭鹘y(tǒng)的Dropout模塊；當(dāng)block_size=7時(shí)，效果最好。參數(shù)γ表示的是丟棄的語(yǔ)義信息激活單元塊的概率，計(jì)算公式為：

其中：keep_prob表示將單元塊保留的概率；feat_size表示特征圖大小。

在DropBlock模塊中網(wǎng)絡(luò)會(huì)隨機(jī)舍棄部分牛眼特征，通過深層網(wǎng)絡(luò)的多次提取，最終會(huì)得到最優(yōu)特征并作為識(shí)別特征。改進(jìn)前后的Denselayer 如圖6 所示，圖6（a）表示原始的Denselayer，圖6（b）表示使用SeLU 與DropBlock 的Denselayer改進(jìn)層。由于使用SeLU 代替ReLU、使用DropBlock 代替Dropout，這增強(qiáng)了Denselayer 的抗過擬合能力，保障了模型的魯棒性。

圖6 Denselayer內(nèi)部結(jié)構(gòu)Fig.6 Denselayer internal structure

本文所用DenseNet-71 結(jié)構(gòu)中包含4 個(gè)DenseBlock 模塊，但模塊內(nèi)部包含的Denselayer 層的個(gè)數(shù)不同，4 個(gè)DenseBlock內(nèi)包含的Denselayer 個(gè)數(shù)分別為3、6、12、12，輸入特征的通道超參數(shù)設(shè)置為64，通道增長(zhǎng)率設(shè)置為32。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)所用數(shù)據(jù)來(lái)源于牧場(chǎng)實(shí)地采集，其中截取牛眼區(qū)域作為實(shí)驗(yàn)數(shù)據(jù)集，實(shí)驗(yàn)環(huán)境為Windows 10 的64 位系統(tǒng)，采用Pytorch 作為深度學(xué)習(xí)框架，編程語(yǔ)言采用Python。計(jì)算機(jī)內(nèi)存為32 GB，搭載Intel Core i9-9900K，3.6 GHz x8 CPU 處理器，并采用英偉達(dá)Quadro P6000顯卡加速圖像處理。網(wǎng)絡(luò)一共訓(xùn)練300個(gè)epoch，初始學(xué)習(xí)率為10-3，batch_size為132。

3.2 數(shù)據(jù)集建立

大型數(shù)據(jù)集的建立耗時(shí)耗力且網(wǎng)絡(luò)遷移成本高，所以選取小型數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。通常畜牧場(chǎng)的牛只數(shù)量為60～1 000，所以選取10 頭牛作為數(shù)據(jù)集進(jìn)行訓(xùn)練。相較于60～1 000 頭牛的數(shù)量，10 頭牛是小數(shù)據(jù)集。本次實(shí)驗(yàn)所使用的數(shù)據(jù)選自于科爾沁左翼后旗的西門塔爾牛，采集牛眼圖像時(shí)對(duì)每頭牛的每只眼睛從不同角度進(jìn)行拍攝、裁剪，得到150張圖像，每頭牛共300 張牛眼圖像，選取其中的240 張作為訓(xùn)練集與驗(yàn)證集，其余60 張作為測(cè)試集。網(wǎng)絡(luò)訓(xùn)練時(shí)，會(huì)首先通過不同角度旋轉(zhuǎn)來(lái)進(jìn)行擴(kuò)充數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)，牛眼圖像數(shù)據(jù)集部分圖像如圖7所示。

圖7 牛眼圖像數(shù)據(jù)集示例Fig.7 Examples of cattle eye image dataset

3.3 實(shí)驗(yàn)比較與分析

本次實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)包括精確率PR（Precision Rate）、召回率RR（Recall Rate）和準(zhǔn)確率AR（Accuracy Rate）。各個(gè)指標(biāo)計(jì)算公式如下：

其中：真陽(yáng)TP（True Positives），表示的是正確的牛眼樣本被目標(biāo)檢測(cè)器判別為正確的牛眼的樣本數(shù)量；假陽(yáng)FP（False Positives），表示的是錯(cuò)誤的牛眼樣本被目標(biāo)檢測(cè)器判別為正確的牛眼的樣本數(shù)量；假陰FN（False Negatives），表示的是正確的牛眼樣本被目標(biāo)檢測(cè)器判別為錯(cuò)誤的牛眼的樣本數(shù)量；真陰TN（True Negatives），表示的是錯(cuò)誤的牛眼樣本被目標(biāo)檢測(cè)器判別為錯(cuò)誤的牛眼的樣本數(shù)量；Z表示正確樣本數(shù)；C表示錯(cuò)誤樣本數(shù)。牛眼識(shí)別分類效果越好，表示提取到的牛眼特征更加精確，所以特征提取算法的目標(biāo)是提高準(zhǔn)確率。由于本次實(shí)驗(yàn)數(shù)據(jù)集包含10 頭牛，所以對(duì)精確率、召回率和準(zhǔn)確率均取平均值。

由于數(shù)據(jù)集的小樣本特點(diǎn)與DenseNet-71的深層特點(diǎn)，為了防止過擬合、提升網(wǎng)絡(luò)的泛化能力與魯棒性，本文網(wǎng)絡(luò)優(yōu)化了激活函數(shù)與Dropout 層。激活函數(shù)會(huì)影響到網(wǎng)絡(luò)的抗過擬合能力，因此應(yīng)在保障特征稀疏性的同時(shí)進(jìn)一步優(yōu)化激活函數(shù)，而Dropout 層在本文小數(shù)據(jù)的情況下，未能有效地抑制過擬合，因此本文網(wǎng)絡(luò)針對(duì)激活函數(shù)與Dropout 層進(jìn)行改進(jìn)。表1 是對(duì)基礎(chǔ)DenseNet-71 使用不同激活函數(shù)進(jìn)行識(shí)別結(jié)果對(duì)比，總共做了五組實(shí)驗(yàn)，包括ReLU、ReLU6、ELU（Exponential Linear Unit）、LeakyReLU 和SeLU，內(nèi)部采用的Dropout模塊。從表1可知，使用SeLU激活函數(shù)識(shí)別準(zhǔn)確率最高且比原始的ReLU 函數(shù)識(shí)別準(zhǔn)確率提高了1.51 個(gè)百分點(diǎn)，平均精確率比改進(jìn)前提高了2.91 個(gè)百分點(diǎn)，改進(jìn)后的網(wǎng)絡(luò)精度有所提升。

表1 激活函數(shù)對(duì)比實(shí)驗(yàn)結(jié)果 單位：%Tab.1 Comparison experiment result of activation function unit：%

本文對(duì)DropBlock 與Dropout 也進(jìn)行了對(duì)比實(shí)驗(yàn)，為了控制變量，實(shí)驗(yàn)中使用SeLU 作為激活函數(shù)，實(shí)驗(yàn)結(jié)果如表2 所示。從表2可以看出，DropBlock模塊比Dropout識(shí)別準(zhǔn)確率高1.01 個(gè)百分點(diǎn)，精確率與召回率均有增加，這說明隨機(jī)舍棄部分區(qū)域特征可以更好地增強(qiáng)卷積層的抗過擬合能力。

表2 Dropout與DropBlock對(duì)比實(shí)驗(yàn)結(jié)果 單位：%Tab.2 Comparison experiment result of Dropout and DropBlock unit：%

為了更好地解釋改進(jìn)后DenseNet-71的優(yōu)勢(shì)，本文進(jìn)行如下的消融實(shí)驗(yàn)，將改進(jìn)后的DenseNet-71 與原始的DenseNet-71 進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3 所示。從表3 可以發(fā)現(xiàn)，與原始的DenseNet 相比，單獨(dú)使用SeLU 激活函數(shù)和DropBlock時(shí)，準(zhǔn)確率均有提高；二者同時(shí)使用時(shí)提高了2.52 個(gè)百分點(diǎn)。

表3 改進(jìn)前后DenseNet-71對(duì)比實(shí)驗(yàn)結(jié)果Tab.3 Comparison experiment result of DenseNet-71 before and after improvement

DropBlock 可以有效地增強(qiáng)網(wǎng)絡(luò)的魯棒性與泛化能力，而在網(wǎng)絡(luò)的不同部位使用DropBlock 也同樣會(huì)得到不同的網(wǎng)絡(luò)性能，本文通過在不同位置添加、刪減、移動(dòng)DropBlock來(lái)得到模塊最優(yōu)位置。一共做了四組實(shí)驗(yàn)，DenseNet_0 表示去掉DropBlock，DenseNet_1 表示DropBlock 在激活函數(shù)的前面，DenseNet_2 表 示DropBlock在卷積層前面，DenseNet_3 表示DropBlock 在卷積層后面，實(shí)驗(yàn)結(jié)果如表4所示。從表4可知，DenseNet_0的準(zhǔn)確率最低，DenseNet_3準(zhǔn)確率最高，在卷積層后使用DropBlock模塊可以使網(wǎng)絡(luò)達(dá)到最優(yōu)的效果。

表4 不同DropBlock位置對(duì)比實(shí)驗(yàn)結(jié)果 單位：%Tab.4 Comparison experiment results of different DropBlock locations unit：%

值得注意的是，DenseBlock 通過內(nèi)部的多個(gè)卷積組對(duì)特征進(jìn)行提取、降維與拼接融合。對(duì)每個(gè)DenseBlock 內(nèi)部的卷積組個(gè)數(shù)進(jìn)行設(shè)計(jì)調(diào)整，具體的調(diào)整方法如表5 所示，激活函數(shù)為SeLU，使用DropBlock。從表5 可以看出，DenseNet-71 準(zhǔn)確率最高，且參數(shù)量明顯低于其他幾個(gè)模型，DenseNet-71 模型參數(shù)量近似為DenseNet-121 的一半。實(shí)驗(yàn)結(jié)果表明，本文選定的結(jié)構(gòu)能以較小的參數(shù)量得到較高的識(shí)別準(zhǔn)確率。

表5 不同Denselayer配置對(duì)比實(shí)驗(yàn)結(jié)果Tab.5 Comparison experiment results of different Denselayer settings

為了檢驗(yàn)改進(jìn)后的DenseNet 在牛眼特征提取識(shí)別優(yōu)于其他網(wǎng)絡(luò)，對(duì)改進(jìn)后的DenseNet 與現(xiàn)有網(wǎng)絡(luò)進(jìn)行對(duì)比，共做了五組實(shí)驗(yàn)，具體識(shí)別網(wǎng)絡(luò)包括VGG-19、GoogLeNet、ResNet-18、DenseNet-121 和改進(jìn)后的DenseNet-71，具體結(jié)果如表6 所示。從表6 可以看出，改進(jìn)后的DenseNet-71 在準(zhǔn)確率上優(yōu)于其他幾個(gè)神經(jīng)網(wǎng)絡(luò)，與經(jīng)典的DenseNet-121 相比準(zhǔn)確率提高2.14 個(gè)百分點(diǎn)。改進(jìn)后的DenseNet-71 雖然識(shí)別準(zhǔn)確率僅比GoogLeNet 高出1.22 個(gè)百分點(diǎn)，但是網(wǎng)絡(luò)的大小約縮減了3/4。同時(shí)，由表1 可知，改進(jìn)前網(wǎng)絡(luò)的準(zhǔn)確率、精確率和召回率 分 別 為94.95%、94.79% 和94.96%，采 用SeLU 和DropBlock 改進(jìn)后，網(wǎng)絡(luò)的準(zhǔn)確率、精確率和召回率分別提升了2.52個(gè)百分點(diǎn)、3.32個(gè)百分點(diǎn)和2.94個(gè)百分點(diǎn)。

表6 識(shí)別網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)結(jié)果Tab.6 Comparison experiment results of recognition network

4 結(jié)語(yǔ)

針對(duì)牛眼圖像特征提取識(shí)別，本文提出了一種牛眼特征提取網(wǎng)絡(luò)算法，通過密集連接提取牛眼特征，利用SeLU 和DropBlock 加強(qiáng)網(wǎng)絡(luò)的抗過擬合性和魯棒性。本文所提網(wǎng)絡(luò)能對(duì)牛眼進(jìn)行高精度識(shí)別，為牛個(gè)體識(shí)別系統(tǒng)的智能化提供理論基礎(chǔ)。