王振亞，趙繼紅，王艷鵬，葛廣英，孫群

（1.聊城大學(xué)物理科學(xué)與信息工程學(xué)院，聊城 252059；2.聊城大學(xué)季羨林學(xué)院，聊城 252059；3.聊城大學(xué)機(jī)械與汽車工程學(xué)院，聊城 252059）

0 引言

近年來(lái)，人們生活水平逐漸提高，對(duì)醫(yī)藥的品質(zhì)追求也越來(lái)越嚴(yán)格。藥品的特殊性使其在研發(fā)、生產(chǎn)、包裝到流通等各個(gè)環(huán)節(jié)都應(yīng)當(dāng)受到監(jiān)督和檢查，對(duì)藥片的品質(zhì)分類檢測(cè)顯得尤為重要。如何在藥品生產(chǎn)輸送時(shí)、包裝入庫(kù)前，高效地檢測(cè)出不合格的藥品并剔除，是藥品生產(chǎn)領(lǐng)域研究的一個(gè)重要方向。傳統(tǒng)的人工抽檢的方法效率低，并且容易出錯(cuò)，成本較高，不能適應(yīng)工業(yè)自動(dòng)化的發(fā)展。因此，研究人員提出了很多研究方法，如機(jī)器視覺檢測(cè)法、深度學(xué)習(xí)檢測(cè)法等。

機(jī)器視覺檢測(cè)方法在我國(guó)被應(yīng)用到制藥領(lǐng)域較晚，主要是通用相機(jī)采集圖像，對(duì)圖像進(jìn)行處理，得到結(jié)果。例如泡罩藥品包裝缺陷檢測(cè)［1］、液體藥品異物檢測(cè)［2］以及利用近紅外光譜進(jìn)行藥片種類判別［3～4］等研究。

通過(guò)圖像處理技術(shù)提取到圖片的顏色、紋理、形狀等特征，再根據(jù)向量利用神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等模式識(shí)別的方法進(jìn)行圖像分類。這類檢測(cè)方法雖然圖像識(shí)別的準(zhǔn)確率有一定的提高，但是本質(zhì)上依然依賴人工設(shè)計(jì)與特征的自然表達(dá)，導(dǎo)致訓(xùn)練時(shí)間長(zhǎng)并且誤差率較高。［5］

深度學(xué)習(xí)隨著大數(shù)據(jù)和人工智能的發(fā)展越來(lái)越廣泛的被應(yīng)用，尤其在圖像分類、目標(biāo)檢測(cè)領(lǐng)域等方面。卷積神經(jīng)網(wǎng)絡(luò)（CNN，convolutional neural network）［6］具有局部連接、參數(shù)共享，降采樣的特點(diǎn)，減少了網(wǎng)絡(luò)參數(shù)，提高了網(wǎng)絡(luò)的泛化能力，比傳統(tǒng)的方法具有更加強(qiáng)大的特征學(xué)習(xí)與表達(dá)能力。

本文基于EfficientNet-B0網(wǎng)絡(luò)，并對(duì)其進(jìn)行改進(jìn)。簡(jiǎn)化了網(wǎng)絡(luò)模型架構(gòu)，減少了網(wǎng)絡(luò)參數(shù)，提高了網(wǎng)絡(luò)的運(yùn)行速率；將注意力機(jī)制SE模塊改進(jìn)為ECA模塊，其激勵(lì)操作使用一維卷積自適應(yīng)地確定卷積核的大小，避免降維導(dǎo)致的副作用，提高了網(wǎng)絡(luò)模型的精度；對(duì)藥片數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充，滿足實(shí)驗(yàn)應(yīng)用，防止產(chǎn)生過(guò)擬合；對(duì)比分析其他的網(wǎng)絡(luò)模型驗(yàn)證改進(jìn)后模型的性能效果。

1 EfficientNet網(wǎng)絡(luò)

EfficientNet［7］網(wǎng)絡(luò)是2019年Tan等人提出的一種新的分類識(shí)別網(wǎng)絡(luò)，是標(biāo)準(zhǔn)圖像集ImageNet［8］下分類性能最優(yōu)的網(wǎng)絡(luò)之一。EfficientNet網(wǎng)絡(luò)通過(guò)復(fù)合縮放的方法，按照比例對(duì)網(wǎng)絡(luò)寬度（width），深度（depth）以及輸入圖像分辨率（resolution）三個(gè)維度進(jìn)行擴(kuò)展［7］，尋求最大化識(shí)別精度需要的最優(yōu)參數(shù)，而不是像傳統(tǒng)的方法那樣任意縮放網(wǎng)絡(luò)的維度。在模型參數(shù)量不變的情況下找出最優(yōu)的組合，網(wǎng)絡(luò)縮放的具體關(guān)系如下所示：

式（2）中的參數(shù)均為基準(zhǔn)網(wǎng)絡(luò)中定義好的參數(shù)，式（3）中Memory為記憶存儲(chǔ)器，式（4）中FLOPS為每秒浮點(diǎn)運(yùn)算次數(shù)。為了尋求最優(yōu)的組合參數(shù)，將用指數(shù)Φ表示出這三個(gè)待優(yōu)化參數(shù)，如式（5）所示：

式中，d、w和r分別代表網(wǎng)絡(luò)的深度、寬度和分辨率。α、β和γ分別代表網(wǎng)絡(luò)深度、寬度和分辨率的分配系數(shù)，是需要求解的參數(shù)。而α、β和γ是可以通過(guò)網(wǎng)格搜索固定的每個(gè)維度的縮放系數(shù)。Φ為復(fù)合系數(shù)，其大小可以根據(jù)可用資源進(jìn)行調(diào)節(jié)。通過(guò)改變式（5）中的Φ值，放大基準(zhǔn)網(wǎng)絡(luò)EfficentNet-B0，得到EfficientNet-B1至Efficient Net-B7。EfficientNet-B0主要是由16個(gè)倒置瓶頸卷積模塊（mobile inverted bottleneck convolution，MBConv）、2個(gè)卷積層、1個(gè)全局平均池化層和1個(gè)全連接層構(gòu)成，網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示。MBConv模塊中包含深度可分離卷積，批處理歸一化以及Swish激活函數(shù)，并引入SENet通道注意力機(jī)制，使得淺層網(wǎng)絡(luò)也能通過(guò)全局感受野來(lái)捕獲圖像特征對(duì)圖像進(jìn)行描述。MBConv網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。

表1 EfficientNet-B0網(wǎng)絡(luò)參數(shù)

圖1 MBConv結(jié)構(gòu)圖

Swish激活函數(shù)的公式如下：

函數(shù)中x為輸入，μ為常數(shù)或可訓(xùn)練的參數(shù)。Swish函數(shù)無(wú)上界，有下界，平滑并且非單調(diào)，準(zhǔn)確率優(yōu)于傳統(tǒng)的ReLU函數(shù)。

SE（squeeze-excitation）［9］模塊是一種注意力（attention）機(jī)制，可以自動(dòng)搜集每個(gè)特征通道的重要性并根據(jù)所搜集的特征的重要性排序，對(duì)有用特征增強(qiáng)并抑制在目前任務(wù)用處不大的特征。SE模塊使用全局平均池化提取通道間的特征，將結(jié)果和后層特征融合，起到對(duì)不同通道的注意力加權(quán)重機(jī)制。在SE模塊中有三個(gè)操作，分別是Squeeze、Excitation、Scale操作。SE模塊結(jié)構(gòu)圖如圖2所示。

圖2 SE模塊結(jié)構(gòu)圖

EfficientNet網(wǎng)絡(luò)的優(yōu)點(diǎn)是平衡了網(wǎng)絡(luò)的寬度、深度、輸入圖像的分辨率，尋找三者最優(yōu)的組合擴(kuò)展網(wǎng)絡(luò)。采用核心的MBConv模塊，集成了眾多結(jié)構(gòu)來(lái)豐富特征的提取。同時(shí)用深度可分離卷積代替標(biāo)準(zhǔn)卷積，使得模型參數(shù)量減小，減小參數(shù)意味著減小模型的大小［10］，從而提升效率。但Efficient Net網(wǎng)絡(luò)也有一定的局限性，其中的MBConv模塊內(nèi)部結(jié)構(gòu)復(fù)雜，對(duì)計(jì)算機(jī)的硬件設(shè)備要求較高，同時(shí)對(duì)小樣本數(shù)據(jù)也可能會(huì)出現(xiàn)過(guò)擬合現(xiàn)象。

2 改進(jìn)EfficientNet網(wǎng)絡(luò)模型設(shè)計(jì)

2.1 改進(jìn)措施

基于原EfficientNet網(wǎng)絡(luò)模型計(jì)算量復(fù)雜，為了使EfficientNet模型更好的適應(yīng)藥片的分類檢測(cè)，對(duì)網(wǎng)絡(luò)進(jìn)行了以下修改。

2.1.1 簡(jiǎn)化EfficientNet網(wǎng)絡(luò)

將原EfficientNet網(wǎng)絡(luò)中的多個(gè)MBConv模塊去掉進(jìn)行精簡(jiǎn)。保留共4個(gè)尺寸為3×3的MBConv，1個(gè)尺寸為5×5的MBConv。經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)5×5尺寸的卷積核大小下采樣時(shí)圖像數(shù)據(jù)失真較少，保留信息較好，當(dāng)全部尺寸為3×3時(shí)，有失真的現(xiàn)象。故保留1個(gè)尺寸為5×5的MBConv模塊，在盡可能減少參數(shù)的情況下保證圖像信息的準(zhǔn)確性。EfficientNet原網(wǎng)絡(luò)層數(shù)復(fù)雜，所消耗的計(jì)算資源多，藥片的數(shù)據(jù)集樣本非復(fù)雜的數(shù)百萬(wàn)級(jí)別數(shù)據(jù)集，網(wǎng)絡(luò)復(fù)雜會(huì)造成過(guò)擬合的現(xiàn)象。因此對(duì)原EfficientNet網(wǎng)絡(luò)的簡(jiǎn)化，保留了網(wǎng)絡(luò)中的核心架構(gòu)，減少了網(wǎng)絡(luò)參數(shù)，簡(jiǎn)化了計(jì)算量同時(shí)也能達(dá)到很好的分類檢測(cè)效果。

2.1.2 引入ECA模塊

ECA（efficient channel attention）［11］模塊提出了一種不降維的局部跨信道交互策略，模塊通過(guò)非線性自適應(yīng)確定的一維卷積實(shí)現(xiàn)。SE模塊是對(duì)特征圖通道注意力機(jī)制的研究，ECA模塊在其基礎(chǔ)上進(jìn)行改進(jìn)，避免了SE因降維導(dǎo)致的通道與權(quán)重不直接對(duì)應(yīng)的副作用，同時(shí)以極其輕量級(jí)的方式有效地捕獲了跨通道交互的信息。ECA模塊是一種非常輕量級(jí)的即插即用塊，可以調(diào)高各種CNN的性能，結(jié)構(gòu)如圖3所示。

圖3 ECA模塊結(jié)構(gòu)圖

由圖3可知，ECA模塊去掉了SE模塊的2層全連接層，采用一維卷積。其激勵(lì)操作能夠自適應(yīng)地判斷卷積核的大小k，通過(guò)一維卷積來(lái)學(xué)習(xí)GAP（global average pooling）之后的特征，避免維度的減少，通道和權(quán)重可以直接互相對(duì)應(yīng)，同時(shí)使參數(shù)量大幅減少。ECA模塊采用分組卷積，改進(jìn)CNN架構(gòu)，通道維度C和卷積核大小k成比例，如公式（7）所示：卷

積尺寸如公式（8）：

2.2 網(wǎng)絡(luò)模型整體結(jié)構(gòu)圖

改進(jìn)后的網(wǎng)絡(luò)模型總體結(jié)構(gòu)如圖4所示，大大減少了網(wǎng)絡(luò)的參數(shù)。由圖4看出，輸入的圖片首先經(jīng)過(guò)卷積和批標(biāo)準(zhǔn)化以及Swish激活操作，然后使用一系列不同尺寸的MBConv模塊提取特征，內(nèi)嵌ECA模塊。使用尺寸為1×1的卷積能適應(yīng)各種不同尺寸的特征圖，并將其統(tǒng)一為我們需要的維度。最后通過(guò)Softmax函數(shù)完成藥片的分類識(shí)別檢測(cè)。

圖4 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)圖

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)平臺(tái)

本實(shí)驗(yàn)采用Python語(yǔ)言，TensorFlow和Keras深度學(xué)習(xí)框架，在Windows 10環(huán)境下完成的。實(shí)驗(yàn)的硬件設(shè)備：CPU為Intel（R）Xeon（R）Silver 4210R CPU＠2.40 GHz 2.39 GHz（2個(gè)處理器）；GPU為RTX 4000。

3.2 數(shù)據(jù)集

實(shí)驗(yàn)所采集的數(shù)據(jù)分為兩部分，一部分來(lái)自HALCON中的MVTec藥丸數(shù)據(jù)集；另一部分是使用工業(yè)相機(jī)對(duì)藥片進(jìn)行拍攝所得。拍攝設(shè)備為陜西維視數(shù)字圖像技術(shù)有限公司生產(chǎn)的型號(hào)為MVEM120M/C的CCD面陣工業(yè)相機(jī)，鏡頭型號(hào)為MP系列的AFT-1214MP百萬(wàn)像素工業(yè)鏡頭。藥片圖像共計(jì)3750張，分為9個(gè)類別，包括三種不同的藥片品牌ginseng、magnesium、mint的三種不同質(zhì)量類別contamination（污染）、crack（破損）、good（完好），圖5為部分樣本示例。

圖5 部分藥片分類圖樣本示例

為防止在訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合現(xiàn)象，對(duì)圖像數(shù)據(jù)通過(guò)增強(qiáng)來(lái)進(jìn)行擴(kuò)充。通過(guò)對(duì)原始數(shù)據(jù)集進(jìn)行90°旋轉(zhuǎn)、亮度、色度和對(duì)比度變化的方法來(lái)擴(kuò)充圖像樣本。擴(kuò)充后的圖像共15000幅。將擴(kuò)充后的樣本統(tǒng)一放縮為224×224像素大小，并進(jìn)行歸一化處理。隨機(jī)將圖像劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集三個(gè)數(shù)據(jù)集。比例為70%：15%：15%，分別為10500幅、2250幅和2250幅。

3.3 模型評(píng)價(jià)

為了直觀地觀察網(wǎng)絡(luò)的性能，對(duì)其進(jìn)行分析，本文繪制了改進(jìn)后的EfficientNet網(wǎng)絡(luò)模型對(duì)藥片分類仿真實(shí)驗(yàn)的損失值和準(zhǔn)確率曲線，如圖6所示。

從圖6中可以看出改進(jìn)后的EfficientNet網(wǎng)絡(luò)模型共訓(xùn)練了30個(gè)eopchs，隨著迭代次數(shù)的增加，準(zhǔn)確率和損失值曲線逐漸平緩，趨于穩(wěn)定，并且損失值能夠較好的收斂。改進(jìn)后的Efficient-Net網(wǎng)絡(luò)的訓(xùn)練曲線和驗(yàn)證曲線基本的趨勢(shì)相同，沒有出現(xiàn)過(guò)擬合的情況，具有一定的泛化能力。實(shí)驗(yàn)證明，改進(jìn)后EfficientNet網(wǎng)絡(luò)對(duì)藥片數(shù)據(jù)集的分類檢測(cè)精度達(dá)到98.93%。

圖6 改進(jìn)后EfficientNet網(wǎng)絡(luò)訓(xùn)練曲線

3.4 算法性能對(duì)比

在相同實(shí)驗(yàn)環(huán)境下，用原EfficientNet、GoogleNet［12］、MoblieNetV2［13］網(wǎng) 絡(luò) 模 型 對(duì) 構(gòu) 建 的藥片數(shù)據(jù)集進(jìn)行分類檢測(cè)，與改進(jìn)后的Efficient-Net網(wǎng)絡(luò)進(jìn)行對(duì)比，如表2所示。

表2 各類分類方法精度對(duì)比

由表2可以看出，改進(jìn)后的EfficientNet網(wǎng)絡(luò)準(zhǔn)確率明顯高于其他三個(gè)網(wǎng)絡(luò)，比原網(wǎng)絡(luò)提高了1.83%，運(yùn)算速率也明顯提升，說(shuō)明改進(jìn)模型的可行有效性。

4 結(jié)語(yǔ)

本文針對(duì)傳統(tǒng)藥片的分類檢測(cè)準(zhǔn)確率低等問題，提出基于改進(jìn)EfficientNet網(wǎng)絡(luò)模型的藥片分類檢測(cè)方法。構(gòu)建藥片數(shù)據(jù)集，數(shù)據(jù)增強(qiáng)防止過(guò)擬合。通過(guò)對(duì)原網(wǎng)絡(luò)進(jìn)行簡(jiǎn)化，減少了網(wǎng)絡(luò)參數(shù)量，提升了網(wǎng)絡(luò)的運(yùn)行效率。改進(jìn)了注意力機(jī)制模塊，將SE模塊改進(jìn)為ECA模塊，避免了SE模塊因降維帶來(lái)的通道與權(quán)重不直接對(duì)應(yīng)的副作用。實(shí)驗(yàn)結(jié)果表明，此方法取得了98.93%的準(zhǔn)確率，較原網(wǎng)絡(luò)提高了1.83%；同時(shí)減少了網(wǎng)絡(luò)參數(shù)，識(shí)別時(shí)間與原網(wǎng)絡(luò)相比明顯縮短，提高了實(shí)時(shí)性效率，實(shí)現(xiàn)了較好的效果。