張琦，區(qū)錦鋒，周華英

（1.廣東藥科大學(xué) 醫(yī)藥信息工程學(xué)院，廣東 廣州 510006；2.廣東省中醫(yī)藥精準(zhǔn)醫(yī)學(xué)大數(shù)據(jù)工程中心，廣東 廣州 510006）

0 引言

傳統(tǒng)中藥包括中藥材、中藥飲片和成品中成藥三大部分。其中，中藥飲片是指在中醫(yī)藥理論指導(dǎo)下，根據(jù)辨證論治和調(diào)劑、制劑的需要，對(duì)中藥材進(jìn)行特殊加工炮制后的制成品[1]。近年來，中藥飲片產(chǎn)業(yè)取得了長(zhǎng)足的發(fā)展，在國(guó)內(nèi)外得到越來越多的認(rèn)可。由于我國(guó)中藥材品種繁多、來源復(fù)雜，很多中藥飲片外形相似，容易混淆，一般用肉眼難以鑒別真假。傳統(tǒng)的人工鑒別方法主觀性強(qiáng)、誤判率高，而基于計(jì)算機(jī)視覺的中藥飲片識(shí)別分類具有快速、準(zhǔn)確等特點(diǎn)，使飲片篩選智能化[2]。

使用計(jì)算機(jī)視覺對(duì)中藥飲片圖像進(jìn)行智能識(shí)別，經(jīng)歷了機(jī)器學(xué)習(xí)與深度學(xué)習(xí)兩個(gè)階段。機(jī)器學(xué)習(xí)算法主要依靠提取中藥飲片圖像特征進(jìn)行分析識(shí)別，包括大小、顏色、形態(tài)與紋理等[3-6]。這種方法容易產(chǎn)生過擬合現(xiàn)象，雖然在訓(xùn)練集上識(shí)別結(jié)果的準(zhǔn)確率很高，但是在測(cè)試集上效果不甚理想[7]。而深度學(xué)習(xí)擁有強(qiáng)大的泛化性，可以針對(duì)機(jī)器學(xué)習(xí)的不足，提高中藥飲片圖像識(shí)別的準(zhǔn)確率。文獻(xiàn)[8]利用GoogLeNet 深度學(xué)習(xí)模型對(duì)8 886 張中藥飲片圖像進(jìn)行訓(xùn)練，平均識(shí)別率達(dá)到92%，優(yōu)于HOG 特征的機(jī)器學(xué)習(xí)算法。文獻(xiàn)[9]利用AlexNet、VGGNet 和ResNet 三種逐通道卷積（Depthwise Convolution）神經(jīng)網(wǎng)絡(luò)算法，基于遷移學(xué)習(xí)對(duì)7 種不同的中藥飲片進(jìn)行分類，其中ResNet 效果最佳，正確率高達(dá)98.17%。

1 基本理論

1.1 遷移學(xué)習(xí)

傳統(tǒng)機(jī)器學(xué)習(xí)在訓(xùn)練時(shí)需要標(biāo)注大量數(shù)據(jù)，非常耗時(shí)耗力，如果沒有標(biāo)注數(shù)據(jù)則模型性能較差。而遷移學(xué)習(xí)[10]（Transfer Learning）則是將已訓(xùn)練好的模型應(yīng)用到新的不同數(shù)據(jù)集上，從而達(dá)到模型或數(shù)據(jù)可以復(fù)用的目的。通過使用其他相關(guān)任務(wù)訓(xùn)練模型的參數(shù)，即使只有一個(gè)小的數(shù)據(jù)集，也可能達(dá)到很好的性能[11]。本文利用在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練的Xception 網(wǎng)絡(luò)，將其權(quán)重參數(shù)遷移到本文的中藥飲片識(shí)別模型中來。

1.2 深度可分離卷積

深度可分離卷積在常規(guī)卷積的基礎(chǔ)上做了改進(jìn)，深度可分離卷積包含逐通道卷積和逐點(diǎn)卷積（Pointwise Convolution）兩個(gè)過程[12]，可以降低模型復(fù)雜度、減小模型大小、提高模型的計(jì)算效率等。由于普通的卷積操作需要對(duì)所有輸入通道進(jìn)行卷積計(jì)算，導(dǎo)致模型參數(shù)數(shù)量和計(jì)算量都變得更大；而深度可分離卷積通過更精細(xì)的卷積操作來捕獲局部特征和空間信息，避免了不必要的冗余參數(shù)。因此，在保持模型規(guī)模相對(duì)較小的情況下，可以提高模型在各種任務(wù)上的表現(xiàn)。深度可分離卷積將卷積操作主要分為兩個(gè)步驟，分別是逐通道卷積和逐點(diǎn)卷積。

1.2.1 逐通道卷積

逐通道卷積的目的是在每個(gè)通道上分別提取特征，使得網(wǎng)絡(luò)可以學(xué)習(xí)通道之間的不同特征表示。通過這種方式，逐通道卷積在減少參數(shù)量和計(jì)算量的同時(shí)，能夠保持較高的特征表達(dá)能力。

逐通道卷積是深度可分離卷積操作中的重要組成部分之一，它使用尺寸大小為D×D的卷積核K對(duì)輸入特征圖F中的每個(gè)通道進(jìn)行卷積運(yùn)算，從而得到輸出特征圖G中的每個(gè)通道和位置(x,y)的特征表示，逐通道卷積的計(jì)算公式如下：

式中：x'和y'為輸入特征圖F的位置；m為輸入通道的索引；K(x-x',y-y',m,i)為卷積核在位置(x,y)上對(duì)輸入通道m(xù)和輸出通道i的權(quán)重；sum 為對(duì)所有的輸入通道m(xù)和卷積核位置(x-x',y-y',m,i)的加權(quán)和。

式（1）表示在每個(gè)輸出通道i和位置(x,y)上，將輸入特征圖F的每個(gè)通道m(xù)的值與對(duì)應(yīng)位置的卷積核K(x-x',y-y',m,i)進(jìn)行元素級(jí)乘法，并將所有通道m(xù)的乘積相加，得到輸出特征圖G的對(duì)應(yīng)位置(x,y) 的值。

1.2.2 逐點(diǎn)卷積

逐點(diǎn)卷積的作用是在保持特征圖尺寸不變的同時(shí)，通過對(duì)每個(gè)通道進(jìn)行加權(quán)和的操作，實(shí)現(xiàn)通道之間的信息融合和特征變換。逐點(diǎn)卷積通常用于調(diào)整通道數(shù)、改變特征圖的表示維度，或者進(jìn)行特征圖之間的非線性變換。

假設(shè)輸入特征圖為Hin，輸出特征圖為Hout，卷積核為W，逐點(diǎn)卷積是深度可分離卷積中的另一個(gè)過程，它在特征提取和融合的過程中扮演著至關(guān)重要的角色。通常使用大小為1×1 的卷積核對(duì)輸入張量中的每個(gè)通道上的特征進(jìn)行卷積運(yùn)算。由于卷積核的大小非常小，因此它在計(jì)算時(shí)可以非常高效地對(duì)每個(gè)元素進(jìn)行卷積計(jì)算，并得到相應(yīng)的輸出特征圖。對(duì)于輸出特征圖Hout的每個(gè)通道j和位置(x,y)，逐點(diǎn)卷積的計(jì)算公式如下：

式中：i為輸入通道的索引；W(i,j)為卷積核在輸入通道i和輸出通道j之間的權(quán)重；sum 表示對(duì)所有的輸入通道i的加權(quán)和。

式（2）表示在每個(gè)輸出通道j和位置(x,y)上將輸入特征圖Hin的每個(gè)通道i的值與對(duì)應(yīng)位置的卷積核W(i,j)進(jìn)行元素級(jí)乘法，并將所有通道i的乘積相加，得到輸出特征圖Hout的對(duì)應(yīng)位置(x,y)的值。

需要注意的是，逐點(diǎn)卷積不改變特征圖的空間分辨率，只對(duì)每個(gè)通道進(jìn)行獨(dú)立的線性變換。深度可分離卷積操作的數(shù)字表達(dá)式如下：

式中：yi,j,k為輸出張量中第i行、第j列、第k個(gè)通道的元素；Cin為輸入張量的通道數(shù)；Kh和Kw分別為卷積核的高度和寬度；wr,s,p,k為卷積核中第r行、第s列、第p個(gè)通道與第k個(gè)通道的權(quán)重；Xi+r,j+s,p為輸入張量中第i+r行、第j+s列、第p個(gè)通道的元素。

深度可分離卷積的流程圖如圖1所示。在逐通道卷積階段，為了對(duì)輸入張量的每個(gè)通道進(jìn)行卷積運(yùn)算，通常會(huì)使用一個(gè)僅包含一個(gè)通道的卷積核，以便從每個(gè)通道中提取出不同的特征信息，并將它們合并成一個(gè)深度張量。這樣就可以利用卷積核的滑動(dòng)窗口特性，對(duì)輸入張量中每個(gè)通道的每個(gè)位置進(jìn)行卷積計(jì)算，從而獲得一個(gè)具有更多特征信息的深度張量。而在逐點(diǎn)卷積階段，為了進(jìn)一步提取和融合這些特征信息，使用1×1 的卷積核對(duì)深度張量中的每個(gè)元素進(jìn)行卷積運(yùn)算，這樣就能夠?qū)Σ煌恢玫奶卣餍畔⑦M(jìn)行加權(quán)融合，并得到一個(gè)輸出張量。通過這種方式，可以利用卷積運(yùn)算高效的特征提取能力實(shí)現(xiàn)對(duì)輸入張量中復(fù)雜特征的快速提取與融合。

圖1 深度可分離卷積的流程圖

1.3 Xception 模型結(jié)構(gòu)

Xception[13]全稱為Extreme Inception，是谷歌公司提出的對(duì)Iception V3 的一種改進(jìn)模型，該模型結(jié)合了深度可分離卷積（Depthwise Separable Convolution）和ResNet結(jié)構(gòu)里面殘差連接的思想，深度可分離卷積可以實(shí)現(xiàn)對(duì)特征張量的跨通道相關(guān)性和空間相關(guān)性的完全解耦。相比于普通卷積，深度可分離卷積的參數(shù)數(shù)量和運(yùn)算成本都降低了，但是深度可分離卷積的復(fù)雜性更高，使得模型的層數(shù)更深。殘差結(jié)構(gòu)則是保證在層數(shù)更深的前提下，能大幅度地保留原來的特征，保護(hù)信息的完整性，減少在卷積的過程中特征張量的信息丟失、損耗的問題，使得模型學(xué)習(xí)隨著深度的增加效果也逐漸增加。

Xception 結(jié)構(gòu)如圖2 所示，圖中的SeparableConv 代表可分離卷積結(jié)構(gòu)，ReLU 代表神經(jīng)網(wǎng)絡(luò)激活函數(shù)，Conv代表普通卷積結(jié)構(gòu)，Stride 代表卷積滑動(dòng)步長(zhǎng)。殘差連接的卷積層為下采樣卷積層，相比于池化層，下采樣卷積控制了步進(jìn)大小，信息融合更好，能更好地保留特征張量原來的信息。模型分為輸入層、中間層和輸出層三個(gè)結(jié)構(gòu)，其中包含了34 個(gè)可分離卷積，中間層每一層結(jié)合了3次結(jié)構(gòu)，特征張量在中間層需要重復(fù)循環(huán)8次該結(jié)構(gòu)，最后到輸出層再進(jìn)行卷積操作。

圖2 Xception 結(jié)構(gòu)圖

2 實(shí)驗(yàn)方案設(shè)計(jì)

2.1 數(shù)據(jù)集

由于目前并未有公開的中藥飲片圖像大規(guī)模數(shù)據(jù)集，因此本文以香港浸會(huì)大學(xué)所建的中藥材圖像數(shù)據(jù)庫為基準(zhǔn)，從中選取60 種常見中藥飲片作為實(shí)驗(yàn)數(shù)據(jù)集，部分飲片圖像如圖3 所示。

圖3 部分中藥飲片圖像

選用的中藥飲片均在正規(guī)機(jī)構(gòu)購買，為了提高模型測(cè)試的魯棒性，利用單反相機(jī)對(duì)單個(gè)中藥飲片的雙面圖像進(jìn)行拍攝采集，得到11 125 張圖像，每種飲片圖像數(shù)量在200～250張之間。另外，通過網(wǎng)絡(luò)爬取獲得1 963張圖像，共計(jì)13 088 張。由于網(wǎng)絡(luò)抓取的圖像可能會(huì)存在背景干擾、圖片水印以及圖像不清晰等問題。因此，采用以手工拍攝為主與網(wǎng)絡(luò)爬取相結(jié)合的方式，不僅能保證中藥飲片的準(zhǔn)確性，而且有助于提高模型的性能效果。

2.2 數(shù)據(jù)預(yù)處理

由于數(shù)據(jù)集格式參差不齊，包含了單個(gè)飲片的部分圖片和多個(gè)同種飲片聚堆的圖片，為了提高模型測(cè)試的穩(wěn)定性，首先提取每個(gè)飲片獨(dú)立為一張圖像，尺寸大小為299×299，并對(duì)圖像中像素點(diǎn)進(jìn)行歸一化，使像素值介于0 和1 之間，實(shí)驗(yàn)將會(huì)按照7∶2∶1 的比例劃分訓(xùn)練集、驗(yàn)證集以及測(cè)試集，其中9 163 張圖像為訓(xùn)練集，2 617 張圖像為驗(yàn)證集，1 308 張圖像為測(cè)試集。將每種飲片用不同的數(shù)字進(jìn)行標(biāo)記，實(shí)驗(yàn)訓(xùn)練將對(duì)應(yīng)的標(biāo)簽轉(zhuǎn)化為對(duì)應(yīng)的獨(dú)熱編碼方便訓(xùn)練。

2.3 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)硬件為聯(lián)想臺(tái)式計(jì)算機(jī)，CPU 為Intel Xeon Platinum 8260C，GPU 為NVIDIA GeForce RTX 3090，顯存24 GB，內(nèi)存86 GB。采用的是Windows 10 操作系統(tǒng)，Python 版本為3.9，TensorFlow 版本為2.8.0，并采用GPU 加速訓(xùn)練，CUDA 的版本為11.2。

2.4 模型構(gòu)建

本實(shí)驗(yàn)基于Xception 模型網(wǎng)絡(luò)，遷移在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練過的權(quán)重參數(shù)到本次中藥飲片圖像實(shí)驗(yàn)中，但對(duì)其中的權(quán)重進(jìn)行微調(diào)。微調(diào)是指將其靠近輸出的幾層解凍，并將這幾層與分類器聯(lián)合訓(xùn)練，讓模型更加適用于當(dāng)前要解決的問題。Xcepiton 結(jié)構(gòu)分為14 個(gè)模塊，除了第一個(gè)模塊外，其余模塊至少包含兩次或兩次以上的分離卷積結(jié)構(gòu)，本實(shí)驗(yàn)將凍結(jié)第1 個(gè)模塊，通過訓(xùn)練次數(shù)不斷迭代來更新其他13 個(gè)模塊和模型拼接的全連接層結(jié)構(gòu)參數(shù)，使得訓(xùn)練模型能更好地?cái)M合數(shù)據(jù)。

實(shí)驗(yàn)采用SGD 優(yōu)化器，初始學(xué)習(xí)率設(shè)置為0.01，動(dòng)量值為0.9，并且利用Nesterov 動(dòng)量更好地調(diào)整學(xué)習(xí)率的梯度方向。批量大小Batchsize 設(shè)置為41，訓(xùn)練次數(shù)Epochs 為100，分類器則選用Softmax，運(yùn)用交叉熵Categorical Crossentropy 作為損失函數(shù)，將拆分后的訓(xùn)練集和驗(yàn)證集輸入到模型進(jìn)行迭代訓(xùn)練和驗(yàn)證，最后得出60 種中藥飲片識(shí)別模型。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 網(wǎng)絡(luò)特征提取可視化

輸入60 種中藥飲片圖像到網(wǎng)絡(luò)模型中，得到飲片圖像的顏色、形狀與紋理特征，使得每種飲片具有自己的辨別特征。通過可視化方法可以將每次卷積后的特征圖顯示出來，如圖4 所示為部分中藥飲片的第1、2、3及最后一層卷積、激活后的可視化特征圖。

圖4 部分飲片的可視化特征圖

3.2 模型的準(zhǔn)確率與損失率

對(duì)于識(shí)別本實(shí)驗(yàn)中的60 種中藥飲片圖像，圖5 展示了訓(xùn)練集與驗(yàn)證集的分類準(zhǔn)確率與損失率，其中訓(xùn)練集的準(zhǔn)確率為100%，而在驗(yàn)證集上的準(zhǔn)確率稍低，為97.42%，損失值為0.155。從圖5 中可以看出，在整個(gè)訓(xùn)練過程中，訓(xùn)練集隨著訓(xùn)練次數(shù)的增加，它的準(zhǔn)確率在快速上升，而損失率則穩(wěn)步下降，大約經(jīng)過了20次訓(xùn)練后基本趨于穩(wěn)定。因此，可以得出本文構(gòu)建的飲片識(shí)別模型能夠很好地?cái)M合驗(yàn)證集。最后再通過輸入測(cè)試集來驗(yàn)證模型的準(zhǔn)確率，達(dá)到97.26%。實(shí)驗(yàn)數(shù)據(jù)表明使用遷移學(xué)習(xí)可以使模型快速地收斂，參數(shù)擬合數(shù)據(jù)集的速度更快，即使模型在較少的訓(xùn)練次數(shù)中也能達(dá)到較高的準(zhǔn)確率。

圖5 訓(xùn)練集與驗(yàn)證集的準(zhǔn)確率與損失率

3.3 混淆矩陣

為了進(jìn)一步評(píng)估模型的分類性能，實(shí)驗(yàn)選用混淆矩陣這一評(píng)價(jià)指標(biāo)對(duì)本文模型進(jìn)行評(píng)估，它可以直觀反映模型對(duì)不同種類樣本分類性能的好環(huán)。本模型對(duì)于60種中藥飲片進(jìn)行分類，其中40 種飲片達(dá)到100%的識(shí)別率，但有20 種飲片發(fā)生識(shí)別錯(cuò)誤，圖6 所示為其混淆矩陣。圖中x軸為預(yù)測(cè)的飲片類別，y軸為實(shí)際的飲片類別，每一列中的數(shù)值表示真實(shí)數(shù)據(jù)被預(yù)測(cè)為該類的數(shù)目。因此，混淆矩陣中標(biāo)識(shí)出來的數(shù)字越大，則說明模型預(yù)測(cè)的飲片種類準(zhǔn)確性越高。從圖6 中得出，出現(xiàn)分類錯(cuò)誤的中藥飲片樣本數(shù)量均在3 個(gè)以內(nèi)，只有白術(shù)和當(dāng)歸的錯(cuò)誤數(shù)量較多，分別為6 個(gè)和5 個(gè)。這可能是由于白術(shù)與當(dāng)歸的數(shù)據(jù)集中的飲片形態(tài)數(shù)量過多，外形與其他飲片過于相似，導(dǎo)致難以正確識(shí)別。

圖6 識(shí)別錯(cuò)誤的中藥飲片的混淆矩陣

4 結(jié)語

針對(duì)中藥飲片數(shù)據(jù)集規(guī)模較小，本文提出采用遷移學(xué)習(xí)的方法，基于Xception 網(wǎng)絡(luò)，通過賦予模型預(yù)訓(xùn)練參數(shù)并微調(diào)模型的方式進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，模型對(duì)中藥飲片圖像分類效果較好，達(dá)到了97.26%的準(zhǔn)確率，相比文獻(xiàn)[8]中使用GoogLeNet 模型的方法，準(zhǔn)確率提升了4%。雖然數(shù)據(jù)量有限，但所選飲片種類中多個(gè)飲片形態(tài)相似，外形難以區(qū)分，本文模型依然可以準(zhǔn)確區(qū)分出這些易混淆的中藥飲片，證明了Xception 模型對(duì)于中藥飲片圖像識(shí)別具有一定的優(yōu)勢(shì)。

注：本文通訊作者為周華英。