王一丁，姚 毅，李耀利，蔡少青，袁 媛

1.北方工業(yè)大學(xué) 信息學(xué)院，北京 100144

2.北京大學(xué) 藥學(xué)院，北京 100191

3.中國中醫(yī)科學(xué)院 中藥資源中心，北京 100700

利用中藥材粉末顯微鑒定的方法對中藥樣品進(jìn)行鑒別是其質(zhì)量監(jiān)控的一項關(guān)鍵技術(shù)，顯微特征包括組織、細(xì)胞及其內(nèi)含物，如木栓組織、結(jié)晶、纖維、淀粉粒、花粉粒、導(dǎo)管、表皮細(xì)胞等。目前，關(guān)于中藥材粉末的顯微特征，有文字描述、墨線圖描繪及彩色照片三種常用的方法，但是這些特征描述和圖像在使用時多有不便，并且在比較和判斷過程中常常需要依據(jù)專家的經(jīng)驗，主觀因素過多，作為非專家的一般藥學(xué)人員很難勝任利用這些顯微鑒定資料進(jìn)行顯微鑒定的工作。因此，顯微鑒定的應(yīng)用受到了很大的限制。

近年來，隨著計算機(jī)視覺技術(shù)的不斷發(fā)展以及人工智能的興起，運(yùn)用圖像處理算法、模式識別技術(shù)進(jìn)行中藥材顯微特征圖像的自動識別的方法和應(yīng)用不斷產(chǎn)生。目前國內(nèi)已經(jīng)有了一些初步的工作，王亞杰[1]等人運(yùn)用分形分析、小波分析、灰度梯度共生矩陣三種方法來進(jìn)行特征提取，然后用K-近鄰分類方法，得到較高準(zhǔn)確率；李輝等人[2]采用掃描電鏡法和X-射線衍射法獲得了藥用珍珠、混淆品及浙產(chǎn)珍珠粉的掃描電鏡圖，進(jìn)而鑒別真?zhèn)危煌跄偷热薣3]提取了牛膝和川牛膝兩種中藥材拼接橫切面顯微圖像的顏色、紋理等特征，Zscore標(biāo)準(zhǔn)化后進(jìn)行主成分分析，最后識別采用BP神經(jīng)網(wǎng)絡(luò)。此外，還有研究者運(yùn)用改進(jìn)型雙通道SqueezeNet[4]、RGB-HSV+TAM+MBAM[5]等深度學(xué)習(xí)的方法進(jìn)行了顯微圖像識別研究，取得了不錯的效果。

值得注意的是，目前的中藥材顯微圖像識別方法都是在相同場景下進(jìn)行研究的，其中訓(xùn)練樣本和測試樣本都屬于同一個中藥材顯微圖像數(shù)據(jù)庫。在這種情況下，可以認(rèn)為測試集和訓(xùn)練集樣本的特征分布相似。但在實際應(yīng)用中，中藥材粉末顯微圖像往往是在不同的環(huán)境或不同的設(shè)備下采集的，在這種場景下，訓(xùn)練和測試的顯微圖像樣本在顏色、形態(tài)和大小等方面會有一定的不同，這就導(dǎo)致了它們的特征分布會有差異，識別方法的效果可能會大大降低。因此，對訓(xùn)練樣本和測試樣本屬于兩個不同的中藥材粉末顯微圖像數(shù)據(jù)庫的識別問題進(jìn)行研究是非常值得的。針對以上問題，本文將進(jìn)行3個方面的工作：（1）在所有中藥材粉末顯微圖像特征中表皮細(xì)胞具有的紋理特征最明顯，視覺上最容易區(qū)分，因此選用其作為本次實驗的數(shù)據(jù)集進(jìn)行研究；（2）將局部二值模式圖（local binary patterns，LBP）和Canny邊緣檢測特征圖與RGB圖像進(jìn)行合并為5通道作為網(wǎng)絡(luò)的輸入，擴(kuò)充網(wǎng)絡(luò)輸入端的數(shù)據(jù)寬度，使得網(wǎng)絡(luò)可以學(xué)習(xí)與表達(dá)的東西更加豐富，有利于提高精確度；（3）改進(jìn)了SPP結(jié)構(gòu)并把其嵌入到輕量并且高效的EfficientNet網(wǎng)絡(luò)模型中，增大神經(jīng)網(wǎng)絡(luò)的深度同時去除冗余信息，通過更深的神經(jīng)網(wǎng)絡(luò)實現(xiàn)特征提取。

1 卷積神經(jīng)網(wǎng)絡(luò)與EfficientNet網(wǎng)絡(luò)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，尤其是在圖像識別方面卷積神經(jīng)網(wǎng)絡(luò)的表現(xiàn)十分出色。它主要是由輸入層、卷積層、池化層、全連接層和softmax層組成。卷積神經(jīng)網(wǎng)絡(luò)最早于1989年LeCun等人[6]提出，并用于計算機(jī)識別手寫數(shù)字圖像；2012年，Krizhevsky與Hinton提出了AlexNet[7]，成功采用ReLU作為網(wǎng)絡(luò)激活函數(shù)，提出局部響應(yīng)歸一化（local response normalization，LRN）并且首次使用了Dropout層，目的是使一部分神經(jīng)元失活，避免模型過擬合；2015年，He等人提出了具有殘差連接的ResNet[8]網(wǎng)絡(luò)，有效解決了當(dāng)深層神經(jīng)網(wǎng)絡(luò)的深度到達(dá)一定深度后，擬合能力反而更差的問題；2017年，谷歌提出了深度可分離卷積（depthwise separable convolution），以此為基礎(chǔ)搭建了輕量化網(wǎng)絡(luò)MobileNet[9]，同時允許用戶修改網(wǎng)絡(luò)寬度與輸入分辨率這兩個參數(shù)，從而適配到不同的應(yīng)用環(huán)境中；2019年，谷歌提出了EfficientNet[10]，即用一種新的模型縮放方法對網(wǎng)絡(luò)深度（depth）、網(wǎng)絡(luò)寬度（width）和輸入圖像分辨率（resolution）三個維度進(jìn)行合理并高效的搭配，不僅比別的網(wǎng)絡(luò)快很多，而且精度也更高。

1.2 EfficientNet網(wǎng)絡(luò)

考慮到不同批次，不同環(huán)境下采集到的中藥材粉末表皮細(xì)胞顯微圖像本身在形態(tài)上會有不同，以及其本身具有復(fù)雜紋理的特點，選擇特征提取能力強(qiáng)和對跨庫數(shù)據(jù)識別精度高的網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，同時也考慮到網(wǎng)絡(luò)的識別速度以及后續(xù)部署等問題，需要模型的參數(shù)量不能過大。綜上本文使用EfficientNet作為對跨庫中藥材粉末顯微圖像的基礎(chǔ)分類網(wǎng)絡(luò)，其運(yùn)用網(wǎng)絡(luò)搜索技術(shù)來對網(wǎng)絡(luò)的圖像分辨率、深度以及寬度三個參數(shù)進(jìn)行搜索，進(jìn)而得出最平衡的搭配，這樣高效的網(wǎng)絡(luò)不僅參數(shù)量小而且可以很好地學(xué)習(xí)到圖像的深層語義信息，因此對于分類任務(wù)來講更具有魯棒性。

EfficentNet是由多個MBConv模塊構(gòu)成的，MBConv中包含深度可分離卷積、Swish激活函數(shù)以及Dropout層，并將注意力機(jī)制嵌入到模塊中，其結(jié)構(gòu)如圖1所示。

圖1 MBConv結(jié)構(gòu)圖Fig.1 MBConv schematic diagram

EfficientNet-B0的網(wǎng)絡(luò)框架總共分成了9個模塊，第1個模塊就是一個卷積核大小為3×3步距為2的普通卷積層，第2～8個模塊都是在重復(fù)堆疊MBConv結(jié)構(gòu)，而第9個模塊由普通的1×1的卷積層、平均池化層和全連接層組成。B1～B7的網(wǎng)絡(luò)結(jié)構(gòu)就是在B0的基礎(chǔ)上修改圖像的輸入分辨率、特征層的通道數(shù)以及卷積層數(shù)。由于EfficientNet共有8種結(jié)構(gòu)，為了選出最優(yōu)結(jié)構(gòu)作為跨庫中藥材粉末顯微圖像的基礎(chǔ)網(wǎng)絡(luò)，以RGB原圖作為輸入圖像做8組實驗，實驗結(jié)果如表1所示。經(jīng)對比后發(fā)現(xiàn)，EfficientNet-B2分類效果最好，因此選用其作為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行下一步的工作。

表1 EfficientNet B0～B7網(wǎng)絡(luò)對比實驗結(jié)果Table 1 EfficientNet B0～B7 network comparison experiment results

2 基于多通道融合的Efficientnet模型改進(jìn)

在跨庫圖像識別任務(wù)中，由于圖像的分辨率、亮度、顏色等差異的干擾，單純的RGB圖像不能充分地讓網(wǎng)絡(luò)學(xué)習(xí)到兩個庫中同種中藥材顯微圖像所具有的共同特征。經(jīng)過分析發(fā)現(xiàn)，不同庫中同種中藥材顯微特征圖像的紋理分布是相同的，利用這個特點可以幫助網(wǎng)絡(luò)更好地對數(shù)據(jù)進(jìn)行識別。因此本文首先將RGB圖像與不同的特征圖進(jìn)行融合，形成大于三通道的圖像數(shù)據(jù)送入分類網(wǎng)絡(luò)中，目的是在訓(xùn)練過程中擴(kuò)充輸入數(shù)據(jù)的寬度來提供更豐富的數(shù)據(jù)信息，進(jìn)而提升跨庫數(shù)據(jù)分類效果；其次，網(wǎng)絡(luò)對于增加的特征信息會出現(xiàn)處理瓶頸的問題，因而會丟失部分信息，而SPP結(jié)構(gòu)具有的從不同角度進(jìn)行特征提取，之后再聚合的特點可以很好地解決瓶頸問題，因此將SPP結(jié)構(gòu)進(jìn)行改進(jìn)（D-SPP）嵌入到網(wǎng)絡(luò)結(jié)構(gòu)中增加網(wǎng)絡(luò)的深度進(jìn)而應(yīng)對增加的特征紋理信息。改進(jìn)后的模型結(jié)構(gòu)如圖2所示，由于增加了卷積操作，會使得網(wǎng)絡(luò)的參數(shù)量有所上升，改進(jìn)前后的模型參數(shù)量如表2所示。

圖2 改進(jìn)后的EfficientNet-B2結(jié)構(gòu)Fig.2 Improved EfficientNet-B2 network architecture

表2 改進(jìn)前后網(wǎng)絡(luò)參數(shù)量對比Table 2 Comparison of network parameters before and after improvement

2.1 擴(kuò)充輸入端的數(shù)據(jù)寬度

為了更好地研究多通道融合的方法，本文選取了多種特征圖作為備選，所選取的特征有：LBP、Canny、HOG以及Gabor。首先將每一個特征圖分別與RGB圖像融合形成四通道圖像送入網(wǎng)絡(luò)訓(xùn)練，實驗結(jié)果如表3所示。

表3 四通道圖像實驗對比結(jié)果Table 3 Four-channel image experiment comparison results

由表3可知，相較于原始分類網(wǎng)絡(luò)采用的單一的RGB圖像作為輸入，融合了特征圖的數(shù)據(jù)由于擁有更豐富的語義信息，因此使得網(wǎng)絡(luò)識別率更高。通過實驗結(jié)果可以看出，結(jié)合了Gabor特征圖的效果最好準(zhǔn)確率達(dá)到了79.5%。接下來選取四種特征圖中的兩種與原圖進(jìn)行融合形成五通道圖像輸入網(wǎng)絡(luò)，實驗結(jié)果如表4所示。

表4 五通道圖像實驗對比結(jié)果Table 4 Five-channel image experiment comparison results

由表4可知，相較于四通道圖像，五通道圖像由于融合了更多的信息，識別效果也有所提高，而RGB+LBP+Canny這種組合方式準(zhǔn)確率最高，達(dá)到了79.8%。接下來在四種特征圖中選取三種與原圖進(jìn)行融合形成六通道圖像輸入網(wǎng)絡(luò)，之后再將四種特征全部與原圖進(jìn)行融合形成七通道圖像輸入網(wǎng)絡(luò)進(jìn)行實驗，實驗結(jié)果如表5所示。

表5 六通道和七通道圖像實驗對比結(jié)果Table 5 Comparison results of six-channel and seven-channel image experiments

由表5可知，相較于五通道圖像，六通道和七通道圖像并沒有在識別效果上有所提高，反而準(zhǔn)確率有所降低，是因為隨著通道數(shù)的增加雖然會使得語義信息越來越豐富，但是也會使得噪聲、冗余信息越來越多，減弱神經(jīng)網(wǎng)絡(luò)對有用信息的判斷能力。通過以上三個實驗結(jié)果可以看出，當(dāng)特征圖組合方式為RGB+LBP+Canny的效果是最好的，說明LBP特征圖和Canny邊緣檢測兩種特征圖的組合更有助于豐富并且突出圖像的紋理信息，從而提升網(wǎng)絡(luò)跨庫識別能力。

2.1.1 局部二值模式（LBP image）

局部二值模式是計算機(jī)視覺領(lǐng)域中一個非常有效的紋理描述特征，具有很多優(yōu)點，比如旋轉(zhuǎn)不變性、平移不變性以及可以消除光照變化的問題等，具體原理是，以3×3為窗口單位，若周圍像素值大于中心像素值，則該像素點標(biāo)記為1，否則標(biāo)記為0，之后對鄰域像素進(jìn)行二進(jìn)制化，將所得的值與二值序列對應(yīng)相乘后相加即可得到中心像素的LBP值，具體過程是：

式中，s0為中心點像素的灰度值，s i(i=1,2,…,8)為領(lǐng)域像素的灰度值，K為將中心像素與鄰域像素的灰度值進(jìn)行比較得到的二值序列。中藥材粉末表皮細(xì)胞顯微圖像不同數(shù)據(jù)庫之間的原圖樣本和對應(yīng)的LBP特征圖如圖3和圖4所示，其中（a）和（b）分別代表丁香表皮細(xì)胞和砂仁表皮細(xì)胞，且每一個種類左邊為庫1右邊為庫2。

通過圖3和圖4可以看出，丁香的表皮細(xì)胞具有塊狀的紋理特點，而砂仁的表皮細(xì)胞具有條紋狀的紋理特點，這些都能在LBP特征圖上很好地顯示出來，因此可以作為區(qū)分不同種類表皮細(xì)胞的依據(jù)使得網(wǎng)絡(luò)更能充分學(xué)習(xí)到不同類的紋理信息。

圖3 表皮細(xì)胞顯微圖像1庫和2庫樣本1的示例Fig.3 Examples of sample 1 in library 1 and library 2 of epidermal cell microscopic images

圖4 表皮細(xì)胞顯微圖像1庫和2庫樣本的LBP特征圖Fig.4 LBP feature maps of samples in epidermal cell microscopic image in library 1 and library 2

2.1.2 Canny邊緣檢測（Canny image）

1986年Canny提出了Canny算子，Canny算子有三個規(guī)范，即邊緣點被誤報的概率低、檢測到的邊緣點盡可能位于真實邊緣的中心和單邊只有一個響應(yīng)。具體步驟是：

（1）高斯濾波：對圖像進(jìn)行降噪處理，增大邊緣的寬度。

式中，f(m,n)為原圖經(jīng)過灰度化之后位置在(m,n)像素點的灰度值，g(m,n)為經(jīng)過高斯濾波之后位置在(m,n)像素點的灰度值。

（2）計算梯度值和梯度方向：圖像梯度可以用來表示灰度值的變化程度和方向，因此可以看出來哪些像素點灰度值變化是最大的。

式中，g x(m,n)表示像素點在X方向上的梯度值，g y(m,n)表示像素點在Y方向上的梯度值。

（3）非極大值抑制：過濾不是邊緣的點，使邊緣的寬度盡可能為1個像素點。原則是如果像素點在梯度方向上的梯度值是最大的，則為邊緣點，否則不是邊緣，將灰度值設(shè)為0。

（4）雙閾值檢測：通過第三步之后，仍然有很多可能的邊緣點，進(jìn)一步設(shè)置像素的兩個閾值，即低閾值和高閾值，灰度變化大于高閾值的，設(shè)置為強(qiáng)邊緣，低于低閾值的，剔除掉。對于中間的像素點，如果與確定為邊緣的像素點鄰接，則判定為邊緣；否則為非邊緣。

中藥材粉末表皮細(xì)胞顯微圖像不同數(shù)據(jù)庫之間的原圖樣本和對應(yīng)的Canny邊緣檢測特征圖如圖5和6所示，其中（a）和（b）分別代表丁香表皮細(xì)胞和砂仁表皮細(xì)胞，且每一個種類左邊為庫1右邊為庫2。

圖5 表皮細(xì)胞顯微圖像1庫和2庫樣本2的示例Fig.5 Examples of sample 2 in library 1 and library 2 of epidermal cell microscopic images

圖6 表皮細(xì)胞顯微圖像庫1和庫2樣本的Canny特征圖Fig.6 Canny feature maps of samples in epidermal cell microscopic image in library 1 and library 2

通過以上兩幅圖可以看出，Canny邊緣檢測方法能夠很好地檢測出丁香表皮細(xì)胞的塊狀紋理和砂仁表皮細(xì)胞的條紋狀紋理，因此可以和LBP特征圖一起輔助網(wǎng)絡(luò)充分學(xué)習(xí)到圖像的紋理信息，進(jìn)而更好地區(qū)分不同種類表皮細(xì)胞。

2.2 增加網(wǎng)絡(luò)的深度（D-SPP）

SPP-Net[11]是一種可以不用考慮圖像大小，輸出圖像固定長度網(wǎng)絡(luò)結(jié)構(gòu)，并且可以做到在圖像變形情況下表現(xiàn)穩(wěn)定，在圖像分類和檢測領(lǐng)域有著非常廣泛的應(yīng)用。YOLOv4[12]目標(biāo)檢測算法在特征提取網(wǎng)絡(luò)后加入了SPP模塊，結(jié)構(gòu)如圖7所示，其主要是通過使用不同大小內(nèi)核的最大池化層得到特征圖局部區(qū)域感受野和接近全局的感受野信息，并進(jìn)行特征融合。這種融合不同尺度感受野的操作能有效豐富特征圖的表達(dá)能力，增加網(wǎng)絡(luò)的深度進(jìn)而增強(qiáng)網(wǎng)絡(luò)輸出特征的接受范圍，能夠更有效地應(yīng)對由于增加的特征信息網(wǎng)絡(luò)所出現(xiàn)的處理瓶頸問題。

圖7 YOLOv4算法中SPP模塊結(jié)構(gòu)圖Fig.7 SPP module structure diagram in YOLOv4

具體操作是：輸入的特征圖通過一個卷積層后，分別經(jīng)過5×5、9×9、13×13三個不同尺寸的池化核做最大池化處理，再通過concat操作將得到的特征圖進(jìn)行通道的拼接，輸出的通道數(shù)變?yōu)樵ǖ罃?shù)的2倍，上述過程可表示為：

式中，E0∈R(N,W,H,C)為輸入特征圖，E1∈R(N,W,H,1/2C)為原特征圖經(jīng)過1×1卷積之后的結(jié)果，E2,E3,E4∈R(N,W,H,1/2C)為E1分別經(jīng)過5×5、9×9、13×13三個不同尺寸內(nèi)核做最大池化處理之后的特征圖，E5∈R(N,W,H,2C)為將E1、E2、E3、E4四個特征圖拼接的結(jié)果。

經(jīng)過分析，雖然上述結(jié)構(gòu)可以有效地提取圖像特征，但是由于其最后輸出的通道數(shù)是原特征圖的2倍，之后還需要進(jìn)行通道數(shù)調(diào)整操作，對于計算機(jī)來說有不小的計算壓力，而且由于通道數(shù)增多特征圖的冗余信息也會增多。因此本文對SPP結(jié)構(gòu)進(jìn)行改進(jìn)，將經(jīng)過三個不同的池化核之后的特征圖先進(jìn)行連接，然后通過1×1卷積恢復(fù)為原通道數(shù)，再與輸入特征圖相加，改進(jìn)后的SPP結(jié)構(gòu)（D-SPP）如圖8所示。

圖8 改進(jìn)后的SPP模塊結(jié)構(gòu)圖Fig.8 Structure diagram of improved SPP module

這樣的結(jié)構(gòu)輸出通道數(shù)與原特征圖通道數(shù)相同，對于網(wǎng)絡(luò)的后續(xù)操作既減小了計算量又沒有破壞掉原特征圖的信息，而且還可以起到去除冗余信息的作用。上述過程可表示為：

式中，D0∈R(N,W,H,C)為輸入特征圖，D1∈R(N,W,H,1/2C)為原特征圖經(jīng)過1×1卷積之后的結(jié)果，D2,D3,D4∈R(N,W,H,1/2C)為D1分別經(jīng)過n1、n2、n3三個不同尺寸池化核處理之后的特征圖，D5∈R(N,W,H,C)為先將D2、D3、D4四個特征圖拼接，經(jīng)過1×1卷積調(diào)整通道數(shù)之后再與原特征圖相加的結(jié)果。

為了選取D-SPP結(jié)構(gòu)中的三種池化核大小的最優(yōu)搭配，將大小分別為3、5、7、9、13的池化核作為備選項，進(jìn)行十組對比實驗。實驗結(jié)果如表6所示。經(jīng)實驗對比后發(fā)現(xiàn)，池化核n1大小為3，池化核n2大小為7，池化核n3大小為9時分類效果最好，因此D-SPP結(jié)構(gòu)采用最優(yōu)的池化核組合方式。

表6 不同池化核大小對比實驗結(jié)果Table 6 Results of different pooling kernel size comparison experiments

將SPP結(jié)構(gòu)和D-SPP結(jié)構(gòu)分別嵌入到網(wǎng)絡(luò)中進(jìn)行對比實驗，輸入為RGB+LBP+Canny五通道圖像，并記錄訓(xùn)練過程總共100個epoch中的平均單epoch所用的時間，結(jié)果如表7所示。

表7 SPP模塊對比實驗結(jié)果Table 7 Comparison experiment results of SPP module

從結(jié)果可以看出，將改進(jìn)的SPP模塊加入到網(wǎng)絡(luò)中雖然比原始EfficientnetB2增加了一部分訓(xùn)練時間，但是相比于改進(jìn)之前SPP結(jié)構(gòu)由于去除掉了冗余信息，單epoch訓(xùn)練時間縮短了13 s，這極大提升了訓(xùn)練的效率，而在準(zhǔn)確率方面，改進(jìn)后的SPP結(jié)構(gòu)相較于原始結(jié)構(gòu)準(zhǔn)確率提升了1.7個百分點，比加入改進(jìn)前的SPP結(jié)構(gòu)準(zhǔn)確率提升了0.6個百分點。

3 實驗及結(jié)果分析

3.1 實驗環(huán)境

實驗的訓(xùn)練和測試環(huán)境為Windows操作系統(tǒng)，使用Pytorch深度學(xué)習(xí)框架實現(xiàn)模型算法。實驗電腦CPU型號為intel至強(qiáng)E5，Nvidia GTX1080Ti顯卡，16 GB內(nèi)存，在集成開發(fā)環(huán)境PyCharm中使用Python3.7語言來開發(fā)。

3.2 數(shù)據(jù)集與實驗設(shè)置

實驗使用的中藥材粉末顯微表皮細(xì)胞特征圖像數(shù)據(jù)集一共有1 198張圖片，其中1庫有809張圖片，2庫有389張圖片，兩個庫中數(shù)據(jù)均為26種，類別均相同且為不同時間和環(huán)境下采集的中藥材顯微圖像。圖9和圖10展示了一些樣本數(shù)據(jù)，可以看到，1庫和2庫種屬于同一類別的數(shù)據(jù)在形態(tài)，亮度，顏色等方面均有差異。選用1庫數(shù)據(jù)集中90%（728張）的圖片作為訓(xùn)練集，剩下10%（81張）作為驗證集，2庫數(shù)據(jù)集中的圖片均作為測試集，來對模型進(jìn)行最后的驗證。

圖9 表皮細(xì)胞1庫樣本圖Fig.9 Sample maps of epidermal cell in library 1

圖10 表皮細(xì)胞2庫樣本圖Fig.10 Sample maps of epidermal cell in library 2

為了網(wǎng)絡(luò)能夠更好地訓(xùn)練圖片，首先將輸入圖像統(tǒng)一調(diào)整到260×260大小，然后再將圖片所有的像素值除以255，歸一化到0～1之間，將訓(xùn)練集進(jìn)行隨機(jī)打亂，驗證集和測試集均保持不變。選擇Adam作為模型參數(shù)優(yōu)化器，每一個批次訓(xùn)練16張圖片，損失函數(shù)采用softmax交叉熵?fù)p失函數(shù)；訓(xùn)練周期為100輪；學(xué)習(xí)率的更新采用隨epoch增大階段性減小的策略，如圖11所示，初始學(xué)習(xí)率設(shè)置為0.01，此后每經(jīng)過20個epoch學(xué)習(xí)率縮減為原來的0.5，以此類推。為了防止在訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象，將使用圖像增強(qiáng)方法，即對訓(xùn)練圖像進(jìn)行水平翻轉(zhuǎn)和隨機(jī)角度旋轉(zhuǎn)。原始訓(xùn)練集一共有728張圖片，在通過過數(shù)據(jù)增強(qiáng)進(jìn)行數(shù)據(jù)擴(kuò)充后，訓(xùn)練集數(shù)量達(dá)到1 529張，是原始訓(xùn)練集的2.1倍。

圖11 學(xué)習(xí)率函數(shù)Fig.11 Learning rate function

3.3 實驗結(jié)果及分析

為了驗證所提模型的有效性，以及對跨庫中藥材粉末表皮細(xì)胞顯微圖像識別的魯棒性，將此模型與目前一些比較常用的分類網(wǎng)絡(luò)模型做對比實驗，輸入為RGB+LBP+Canny五通道圖像，模型訓(xùn)練方法均與3.2節(jié)中所描述的方法相同，實驗結(jié)果如表8所示。

從表8可以看出，本文所提出的方法針對26種不同庫的中藥材粉末表皮細(xì)胞顯微圖像數(shù)據(jù)集上取得了良好的效果，相比較于Xception網(wǎng)絡(luò)準(zhǔn)確率提高了3.1個百分點，損失值減少了0.17，根據(jù)最開始表1的數(shù)據(jù)可以看出相較于改進(jìn)之前的EfficientNet-B2準(zhǔn)確率提升了2.7個百分點，損失值減少了0.17。為了進(jìn)一步說明本文方法相較于其他圖像分類方法的優(yōu)勢，將使用ROC曲線來對模型的性能進(jìn)行可視化，ROC曲線可以很容易地查出一個分類器在某個閾值時對樣本的識別能力，曲線越靠近左上角，即靈敏度越高，誤判率越低，分類性能越好。如圖12所示，本文提出的方法其靈敏度和特異度之和最大，因此在實驗中能夠取得優(yōu)于其他方法的效果。

表8 不同卷積神經(jīng)網(wǎng)絡(luò)的對比實驗結(jié)果Table 8 Comparative experimental results of different convolutional neural networks

圖12 不同模型在測試集上的ROC曲線和AUC值Fig.12 Performance of each CNN model on test set

通過對比六組實驗的訓(xùn)練準(zhǔn)確率折線圖，可以發(fā)現(xiàn)RGB-LBP-Canny+D-SPP的方法在訓(xùn)練過程中收斂速度最快，70輪之后準(zhǔn)確率逐漸達(dá)到平穩(wěn)狀態(tài)，最后的準(zhǔn)確率也是最高的。從曲線來看整個訓(xùn)練過程相比于其他方法更加的穩(wěn)定，沒有大幅度的波動狀態(tài)，訓(xùn)練準(zhǔn)確率折線圖如圖13所示。

圖13 訓(xùn)練準(zhǔn)確率折線圖Fig.13 Training accuracy line chart

并且為了充分驗證所提出算法的有效性，本文將采用控制變量法與文獻(xiàn)[4]和文獻(xiàn)[5]所提出的方法進(jìn)行對比實驗，即采用文獻(xiàn)中所使用的導(dǎo)管顯微特征圖像分類數(shù)據(jù)集進(jìn)行實驗，結(jié)果與對應(yīng)文獻(xiàn)方法的結(jié)果進(jìn)行對比。文獻(xiàn)[4]采用15種中藥材導(dǎo)管顯微圖像，數(shù)據(jù)集包含4 568張圖片，其中訓(xùn)練集共3 928張圖片，測試集共640張圖片，實驗結(jié)果如表9所示。

表9 不同分類網(wǎng)絡(luò)對比實驗結(jié)果1Table 9 Comparison experimental resultsⅠof different classification networks

文獻(xiàn)[5]采用34種中藥材導(dǎo)管顯微圖像，數(shù)據(jù)集包含8 774張圖片，其中訓(xùn)練集包含7 986張圖片，驗證集包含798張圖片，測試集包含788張圖片；實驗結(jié)果如表10所示。

表10 不同分類網(wǎng)絡(luò)對比實驗結(jié)果2Table 10 Comparison experimental resultsⅡof different classification networks

由表9和表10得出，本文所提出算法在使用導(dǎo)管顯微圖像數(shù)據(jù)集的情況下識別效果也比較不錯，可以看到相較于文獻(xiàn)[4]，本文方法在其測試集準(zhǔn)確率上提高了5.2個百分點；相較于文獻(xiàn)[5]，本文方法在其測試集準(zhǔn)確率上提高了0.8個百分點，結(jié)果證明了本文方法不僅適合解決跨庫中藥材粉末表皮細(xì)胞顯微圖像的分類問題，還可以解決類似中藥材粉末顯微特征細(xì)胞的識別問題。

4 結(jié)束語

經(jīng)過分析，針對中藥材粉末表皮細(xì)胞顯微圖像跨庫識別問題提出了一種改進(jìn)型EfficientNet模型，首先將局部二值模式圖和Canny邊緣檢測特征圖與原RGB圖像合并，形成5通道圖像送入網(wǎng)絡(luò)豐富紋理信息，其次將改進(jìn)的SPP模塊嵌入到網(wǎng)絡(luò)中增強(qiáng)特征提取的同時去除冗余信息。經(jīng)實驗證實，所提方法對于跨庫識別問題具有一定的有效性，識別率達(dá)到了81.5%，相比較于改進(jìn)之前提升了2.7個百分點。接下來的工作本文將考慮如何在不增加參數(shù)量的情況下也能獲得比較高的識別率，對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行進(jìn)一步優(yōu)化，在保證精度的同時加快模型的識別速度。