董苗苗，梁允泉，劉羿漩,2，齊振嶺,2，牛慧娟，葛廣英

（1.聊城大學(xué)物理科學(xué)與信息工程學(xué)院，聊城 252059；2.聊城大學(xué)山東省光通信科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室，聊城 252059；3.聊城大學(xué)計(jì)算機(jī)學(xué)院，聊城 252059）

0 引言

中醫(yī)藥是中華民族的偉大創(chuàng)造，我們國家高度重視中醫(yī)藥事業(yè)的發(fā)展，隨著醫(yī)療大數(shù)據(jù)和互聯(lián)網(wǎng)技術(shù)的發(fā)展，人工智能領(lǐng)域已經(jīng)逐漸深入到傳統(tǒng)的中醫(yī)藥領(lǐng)域。中藥飲片是藥材分類中的一個(gè)特殊分類，其種類繁多，某些中藥飲片外形相似，但其使用目的并不相同，因此需要對其正確識別分類。傳統(tǒng)的人工分類方式受制于人的主觀判斷，需要人腦記憶很多種類的中藥飲片及其藥效功能，因此存在工作量大、工作效率低等問題，有一定的局限性。隨著中藥市場需求的不斷擴(kuò)大，建立一種快速、高效識別中藥飲片的分類檢測方法日益迫切。作為人工智能時(shí)代的眼睛，計(jì)算機(jī)視覺被廣泛應(yīng)用于目標(biāo)分類和識別的許多領(lǐng)域，因此與中醫(yī)領(lǐng)域的結(jié)合也是未來發(fā)展的重要方向。

近年來，對于中藥飲片的分類檢測，國內(nèi)眾多學(xué)者用深度學(xué)習(xí)的方法對其開展了諸多研究。黃方亮等［1］研究了AlextNet 網(wǎng)絡(luò)模型在5 種中草藥圖像分類過程中的應(yīng)用，在實(shí)驗(yàn)過程中采用CPU 訓(xùn)練，訓(xùn)練的時(shí)間較長，準(zhǔn)確率不高，僅達(dá)到87.5%。陳雁等［2］引進(jìn)沃瑟斯坦生成對抗神經(jīng)網(wǎng)絡(luò)（WGAN）模型和Wasserstein 間距的算法，在60 種中藥飲片的數(shù)據(jù)集上得到的平均精度為85.9%。呂宇琛等［3］通過對方向梯度直方圖（HOG）、局部二值模式（LBP）等特征提取及融合方式結(jié)合傳統(tǒng)的SVM 分類器的算法，在30 種中藥飲片的數(shù)據(jù)集上識別率為91.16%。張誼等［4］在12 種中藥飲片的數(shù)據(jù)集上對比了傳統(tǒng)算法與多種深度學(xué)習(xí)算法的識別差異。孫鑫等［5］在VGG16 的網(wǎng)絡(luò)模型上對50 種中藥飲片進(jìn)行識別，最終的識別精度為70%。胡繼禮等［6］基于深度遷移學(xué)習(xí)的方式，在Inception-V3模型的基礎(chǔ)上，參考了DOC 和DAN 方法在模型中加入了自適應(yīng)度量，在137種中藥飲片的數(shù)據(jù)集上，模型的識別精度為88.3%。張萬義等［7］選取了通道數(shù)較少的VGG 模型，在17 種中草藥的數(shù)據(jù)集上識別率達(dá)到了96%。王建慶等［8］基于GoogLeNet 深度學(xué)習(xí)模型在100種中藥飲片的數(shù)據(jù)集上進(jìn)行訓(xùn)練和識別，識別率為92%。本文在研究中藥飲片［9］的基礎(chǔ)上，引用目標(biāo)檢測YOLOv5 算法，并對其加以改進(jìn)，以期在保持較高精度的同時(shí)，最大限度地減少網(wǎng)絡(luò)模型的計(jì)算量，從而達(dá)到最優(yōu)效果。

1 YOLOv5算法及其改進(jìn)

1.1 YOLOv5算法

本文以單階段檢測算法YOLOv5為基礎(chǔ)實(shí)現(xiàn)對中藥飲片的檢測識別。YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)包含四個(gè)部分，分別是：Input 輸入、Backbone 網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)、輸出層。

YOLOv5模型如圖1所示，在輸入端YOLOv5采用了Mosaic 數(shù)據(jù)增強(qiáng)，即隨機(jī)縮放、隨機(jī)裁剪、隨機(jī)排布的方式進(jìn)行拼接。在Backbone中，Conv 模塊中封裝了三個(gè)功能，包括卷積（Conv2d）、BatchNorm2d（BN）以及SiLU 激活函數(shù)；Bottleneck 模塊有兩個(gè)分支，一個(gè)分支采用兩個(gè)Conv 卷積模塊，與另一分支用add 進(jìn)行特征融合，融合后的特征數(shù)保持不變；在C3 模塊中，包含有三個(gè)Conv 卷積模塊，以及N個(gè)Bottleneck 模塊，該模塊是對殘差特征進(jìn)行學(xué)習(xí)的主要模塊，其結(jié)構(gòu)共有兩個(gè)分支，一支將Conv 卷積模塊和N 個(gè)Bottleneck 模塊堆疊，另一支僅使用Conv 模塊，最后將兩個(gè)分支經(jīng)過concat 操作，再經(jīng)過一個(gè)Conv 模塊，最后輸出；SPP 是空間金字塔池化，首先經(jīng)過一個(gè)Conv 模塊將輸入通道減半，分別做kernel-size 為5，9，13 的Maxpooling，再對三次Maxpooling 的結(jié)果與沒有經(jīng)過Maxpooling 的數(shù)據(jù)進(jìn)行concat，最后再經(jīng)過一次Conv 模塊輸出，SPPF 是用5×5 的kernel-size 代替了SPP的5，9，13，目的就是減少計(jì)算量，提高速度。

圖1 YOLOv5網(wǎng)絡(luò)模型結(jié)構(gòu)

在Neck 網(wǎng)絡(luò)中，YOLOv5s采用了FPN+PAN結(jié)構(gòu)。如圖2所示，F(xiàn)PN結(jié)構(gòu)是自頂向下進(jìn)行上采樣，使得底層的特征圖包含更強(qiáng)的中藥飲片的語義信息。如圖3所示，在FPN結(jié)構(gòu)的后面添加兩個(gè)PAN 結(jié)構(gòu)，PAN 結(jié)構(gòu)自底向上進(jìn)行下采樣，使頂層特征包含更多的中藥飲片的位置信息。

圖2 FPN 結(jié)構(gòu)

圖3 FPN+PAN結(jié)構(gòu)

1.2 GhostBottleneck 模塊

針對于實(shí)際的應(yīng)用場景，往往需要將深度學(xué)習(xí)的模型移植到嵌入式設(shè)備中來使用，如果硬件的算力不夠，就很大程度上限制了深度學(xué)習(xí)的應(yīng)用。因此，在YOLOv5 的Backbone 主干網(wǎng)絡(luò)中設(shè)計(jì)了GhostBottleneck 模塊［10］，以此來降低主干網(wǎng)絡(luò)中C3 模塊的參數(shù)量，既能滿足模型的輕量化要求，又能加快網(wǎng)絡(luò)的推理速度。

假定輸入X∈Rh×w×c，c是輸入的通道數(shù)，h是輸入數(shù)據(jù)的高度，w是輸入數(shù)據(jù)的寬度，生成n個(gè)特征圖的卷積層的計(jì)算為

其中*是卷積運(yùn)算，b是偏差項(xiàng)，Y∈Rh'×w'×n是n個(gè)通道的輸出特征圖，f∈Rc×k×k×n是卷積層的卷積核，h'和w'是輸出數(shù)據(jù)的高度和寬度，k×k是卷積核的大小。普通卷積的結(jié)構(gòu)如圖4所示，那么，普通卷積的計(jì)算量為

圖4 普通卷積

相對于普通卷積，GhostBottleneck 中的卷積分兩步進(jìn)行，第一步先經(jīng)過一個(gè)普通的卷積計(jì)算，生成一些少量的特征圖，再將生成的特征圖進(jìn)行cheap operation 操作，生成一些冗余的特征圖，最后將兩者結(jié)合進(jìn)行concat 操作，卷積過程如圖5所示。

圖5 GhostBottleneck中的卷積

GhostBottleneck中的卷積計(jì)算量為

其中s是每個(gè)通道產(chǎn)生的總映射（1 個(gè)特征圖有s-1 個(gè)冗余特征圖），s?c。d·d是線性操作的平均核大小，和k·k相似。將GhostBottleneck中的卷積層命名為GhostConv，并仿照原YOLOv5的Bottleneck 中的結(jié)構(gòu)順序進(jìn)行堆疊，新的GhostBottleneck結(jié)構(gòu)如圖6所示。

圖6 GhostBottleneck 模塊

通過公式（1）、公式（2）和公式（3）可知，GhostBottleneck 模塊可以降低卷積層的計(jì)算成本。在YOLOv5s 模型的網(wǎng)絡(luò)結(jié)構(gòu)中，將C3 模塊中原有的Conv 層替換為GhostConv 層，Bottleneck 替換為GhostBottleneck 組成新的C3Ghost 模塊，大大降低了網(wǎng)絡(luò)的參數(shù)計(jì)算量。

1.3 網(wǎng)絡(luò)層中加入注意力機(jī)制

針對YOLOv5 算法容易丟失中藥飲片的小目標(biāo)信息的問題，在模型的網(wǎng)絡(luò)結(jié)構(gòu)中加入了Coordinate Attention［11］（以下簡稱CA）來增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)特征的能力。CA 注意力機(jī)制是將位置信息嵌入到通道注意力中，使輕量級的網(wǎng)絡(luò)能夠在更大的區(qū)域上進(jìn)行注意力。CA 注意力機(jī)制分為Coordinate 信息嵌入和Coordinate Attention 生成兩步，結(jié)構(gòu)如圖7所示。

圖7 CA注意力機(jī)制

Coordinate 信息嵌入是將通道注意力在輸入特征圖的寬度和高度兩個(gè)方向分別進(jìn)行全局平均池化，分別獲得兩個(gè)方向上的特征圖。假設(shè)，輸入為X∈RH×W×C，使用尺寸(H,1)和(1,W)的池化核分別沿水平坐標(biāo)方向和垂直坐標(biāo)方向?qū)γ總€(gè)通道進(jìn)行編碼，那么第C個(gè)通道在高度h處的輸出可以表示為

在寬度w處的輸出可以表示為

將這兩個(gè)變換沿著兩個(gè)空間方向進(jìn)行特征聚合。Coordinate Attention 生成是將信息嵌入中的變換進(jìn)行concat 操作，再使用卷積變換函數(shù)對其進(jìn)行變換操作：

后沿著空間維數(shù)分解為兩個(gè)單獨(dú)的張量和。再利用兩個(gè)卷積變換和sigmoid 激活函數(shù)得到兩個(gè)具有相同通道數(shù)的張量，分別為

最后對輸出的和進(jìn)行擴(kuò)展作為attention weights，CA注意力機(jī)制模塊的輸出可以寫成

CA注意力機(jī)制很簡單，可以靈活地插入到網(wǎng)絡(luò)結(jié)構(gòu)中。在YOLOv5s的網(wǎng)絡(luò)結(jié)構(gòu)中，本文在新設(shè)計(jì)的C3Ghost模塊后加入CA注意力機(jī)制，以此來提高對中藥飲片中存在的小目標(biāo)的檢測能力。

1.4 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)

同時(shí)為了減少加入注意力機(jī)制后對網(wǎng)絡(luò)參數(shù)產(chǎn)生的影響，在YOLOv5 算法的Backbone 中使用了深度可分離卷積。深度可分離卷積是將一個(gè)完整的卷積運(yùn)算分解成Depthwise Convolution（逐深度卷積）和Pointwise Convolution（逐點(diǎn)1*1）卷積兩步來進(jìn)行。深度可分離卷積的卷積方式可以減少網(wǎng)絡(luò)參數(shù)數(shù)量，同時(shí)還可以減少參數(shù)占用的內(nèi)存。

如圖8所示，逐深度卷積是每一個(gè)通道都只被一個(gè)卷積核卷積，這個(gè)卷積過程產(chǎn)生的特征圖的通道數(shù)和輸入的通道數(shù)是一樣的。

圖8 逐深度卷積

如圖9所示，逐點(diǎn)卷積是用1*1 的卷積來組合不同深度卷積的輸出，并將上一步產(chǎn)生的特征圖在深度方向上進(jìn)行加權(quán)融合，又生成新的特征圖，即有幾個(gè)卷積核就有幾個(gè)輸出的特征圖。

圖9 逐點(diǎn)卷積

假設(shè)輸入的特征圖大小為Dk×Dk×M，卷積核大小為DF×DF×M，數(shù)量為N，對于標(biāo)準(zhǔn)卷積的計(jì)算量為

記為A1，深度可分離卷積的計(jì)算量為

記為A2，那么深度可分離卷積與標(biāo)準(zhǔn)卷積的計(jì)算量之比為

通過公式（12）的計(jì)算，本文網(wǎng)絡(luò)模型中的深度可分離卷積的計(jì)算量占使用標(biāo)準(zhǔn)卷積計(jì)算量的11.5%。

綜上所述，將改進(jìn)后的YOLOv5算法命名為YOLOv5-Ghost-CA，其結(jié)構(gòu)如圖10所示。

圖10 YOLOv5-Ghost-CA結(jié)構(gòu)

2 數(shù)據(jù)集處理

2.1 中藥飲片數(shù)據(jù)集的建立

由于目前沒有公開的中藥飲片的數(shù)據(jù)集，本文參考文獻(xiàn)［1］至文獻(xiàn)［8］中的數(shù)據(jù)集構(gòu)建了107種中藥飲片，對收集到的中藥飲片進(jìn)行圖像采集，每種中藥飲片采集到的圖片有幾十張，再運(yùn)用圖像處理的方式，包括平移、旋轉(zhuǎn)、反轉(zhuǎn)、圖像增強(qiáng)等方式，達(dá)到擴(kuò)充數(shù)據(jù)集的目的。經(jīng)過數(shù)據(jù)處理后中藥飲片的數(shù)據(jù)集一共有22380張圖像，數(shù)據(jù)集中的中藥飲片種類共計(jì)107 種，最后將數(shù)據(jù)集的22380 張圖片利用labelimg 工具進(jìn)行標(biāo)注。數(shù)據(jù)集的訓(xùn)練集、驗(yàn)證集、測試集按照7∶2∶1的比例進(jìn)行劃分。

2.2 實(shí)驗(yàn)平臺環(huán)境

本次模型訓(xùn)練基于Pytorch 深度學(xué)習(xí)框架，實(shí)驗(yàn)環(huán)境為Windows Server 2019操作系統(tǒng)，GPU為Quadro RTX 4000，內(nèi)存64 G，torch 版本為1.10.1+cua102，實(shí)驗(yàn)參數(shù)設(shè)定見表1。

表1 實(shí)驗(yàn)參數(shù)設(shè)定

2.3 重新計(jì)算先驗(yàn)框

為了獲取更好的模型效果，將原YOLOv5算法中預(yù)先設(shè)定的先驗(yàn)框利用K-means 算法重新獲取，先驗(yàn)框獲取前后對比見表2。

表2 先驗(yàn)框?qū)Ρ?/p>

3 模型分析

3.1 模型評價(jià)指標(biāo)

常用的模型評價(jià)指標(biāo)有查全率（Recall，R），查準(zhǔn)率（Precision，P），F(xiàn)1-score，平均精度AP，平均精度均值mAP，計(jì)算量FLOPs，模型參數(shù)parameters 等。其解析式表達(dá)如公式（13）—公式（17）所示。

其中，TP指中藥飲片中的正樣本被預(yù)測為正樣本的數(shù)量，F(xiàn)N指中藥飲片中正樣本被預(yù)測為負(fù)樣本的數(shù)量，F(xiàn)P指中藥飲片中負(fù)樣本被預(yù)測為正樣本的數(shù)量。AP是指PR曲線下的面積（一般來講，PR曲線下的面積越大，模型越好），mAP指各類AP的平均值。N指數(shù)據(jù)集中的總類別數(shù)。YOLOv5 算法與YOLOv5-Ghost-CA 算法訓(xùn)練后的mAP@0.5值對比如圖11所示。

表3給出了中藥飲片數(shù)據(jù)集在兩種模型上的具體指標(biāo)值結(jié)果。根據(jù)圖11可知，YOLOv5-Ghost-CA 算法比YOLOv5 算法模型mAP@0.5高，在第20 個(gè)epoch 時(shí)YOLOv5-Ghost-CA 模型的平均精度達(dá)到97.07%，并逐漸趨近于穩(wěn)定，YOLOv5 算法模型在第39 個(gè)epoch 時(shí)模型的平均精度為93.59%，之后逐漸趨于穩(wěn)定。結(jié)合表3分析可知，YOLOv5-Ghost-CA 算法模型大小僅6.61 MB，比YOLOv5 算法模型減少了53.45%，參數(shù)量減少了50%以上，計(jì)算量減少了57.14%，YOLOv5-Ghost-CA 算法在大幅度降低計(jì)算量的同時(shí)，模型的精度一直保持在較高的水平，mAP@0.5 的值比YOLOv5 算法提高了2.93%，mAP@0.5:0.95 的值YOLOv5 提高了2.9%。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的模型對檢測中藥飲片有較高的精度，在此基礎(chǔ)上，改進(jìn)后的模型更小，更有利于部署到嵌入式設(shè)備上，滿足實(shí)際應(yīng)用場景的需求。

圖11 mAP@0.5對比

表3 兩種模型的評價(jià)指標(biāo)對比

3.2 推理速度對比

為了證明YOLOv5-Ghost-CA 算法的有效性，本文選取了107種中藥飲片的圖片作為實(shí)際檢測，根據(jù)表4分析，YOLOv5-Ghost-CA 算法比YOLOv5算法在推理速度方面提升了15.23%。

表4 推理速度對比

綜上所述，YOLOv5-Ghost-CA 算法不僅在推理速度方面比YOLOv5算法有很大提升，而且在實(shí)際檢測效果方面也優(yōu)于YOLOv5算法。

3.3 消融實(shí)驗(yàn)對比

為了再次驗(yàn)證YOLOv5-Ghost-CA 算法的有效性，在YOLOv5算法的網(wǎng)絡(luò)模型結(jié)構(gòu)中，在不同的位置上做了改進(jìn)，具體結(jié)果如表5所示。

根據(jù)表5中的結(jié)果可知，YOLOv5+CA 是在YOLOv5 算法的基礎(chǔ)上只加入CA 注意力機(jī)制，模型平均精度提升了2.4%，但模型的參數(shù)量和計(jì)算量都有所增加，模型大小也比原模型大；YOLOv5+C3Ghost 是在YOLOv5 算法的基礎(chǔ)上只加入C3Ghost 模塊，模型的平均精度比YOLOv5算法提升2.82%，同時(shí)模型的參數(shù)量、計(jì)算量、模型的大小也大幅度降低；YOLOv5+C3Ghost+CA1 是融合了前兩種的添加方式，在YOLOv5算法的基礎(chǔ)上加入CA 注意力機(jī)制和C3Ghost 模塊，模型的平均精度比原模型提升了2.88%；YOLOv5+C3Ghost+CA2 是在YOLOv5+C3Ghost+CA1 添加方式的基礎(chǔ)上又在不同位置進(jìn)行添加，模型的平均精度提升了2.91%。本文的YOLOv5-Ghost-CA 算法與前面的算法相比，在模型的平均精度、參數(shù)量、計(jì)算量、模型的大小都達(dá)到了最優(yōu)，訓(xùn)練所獲得的模型也更小，進(jìn)一步驗(yàn)證了YOLOv5-Ghost-CA算法的有效性。

表5 不同位置改進(jìn)的模型對比結(jié)果

4 結(jié)語

綜上所述，本文首先建立一個(gè)符合實(shí)驗(yàn)的中藥飲片的數(shù)據(jù)集，基于YOLOv5算法訓(xùn)練得到一個(gè)檢測中藥飲片的模型，針對YOLOv5算法的不足提出了一種輕量化的YOLOv5-Ghost-CA 算法，經(jīng)過訓(xùn)練該算法模型的mAP@0.5 可以達(dá)到98.37%，能夠準(zhǔn)確檢測中藥飲片，同時(shí)YOLOv5-Ghost-CA 算法也將參數(shù)量和計(jì)算量降到最低，可以很好地應(yīng)用于嵌入式設(shè)備當(dāng)中。接下來的工作，將嘗試通過基于Python 語言的Streamlit構(gòu)建識別中藥飲片的Web APP，可以在網(wǎng)頁端對中藥飲片進(jìn)行檢測識別，同時(shí)也可以部署到Streamlit 提供的Streamlit cloud 云端，供其他人訪問；同時(shí)YOLOv5-Ghost-CA 算法在平均精度方面還有提升的空間，今后也將繼續(xù)在此方面進(jìn)行研究，以期望達(dá)到更好的模型精度。