王一丁，郝晨宇，李耀利，蔡少青*，袁 媛

（1.北方工業(yè)大學(xué)信息學(xué)院，北京100144； 2.北京大學(xué)藥學(xué)院，北京100191； 3.中國(guó)中醫(yī)科學(xué)院中藥資源中心，北京100700）（?通信作者電子郵箱sqcai@bjmu.edu.cn）

0 引言

中藥材粉末顯微鑒定是通過(guò)在顯微鏡下觀察藥材粉末中組織、細(xì)胞和內(nèi)含物等細(xì)微特征，對(duì)藥材進(jìn)行鑒定的一種方法。自1838年德國(guó)學(xué)者Schleiden闡明細(xì)胞是構(gòu)成植物體的基本單位后，英國(guó)、德國(guó)、美國(guó)和日本等國(guó)家對(duì)常用藥材或國(guó)家藥典及藥品處方集中所收載的藥材進(jìn)行了顯微鑒定研究。徐國(guó)鈞院士作為我國(guó)中藥材顯微鑒定領(lǐng)域的奠基人之一，于1951年，就發(fā)表了包含101種中藥材的《粉末生藥鑒定檢索表》；于1986年，出版了研究專著《中藥材粉末顯微鑒定》［1］。1977年版的《中華人民共和國(guó)藥典》［2］首次收錄了中藥材顯微鑒別項(xiàng)目。1999年，趙中振等［3］出版了《中華人民共和國(guó)藥典中藥材粉末顯微鑒別彩色圖集》，并于2005年和2016年，先后出版了《中藥顯微鑒別圖鑒》［4］和《中藥顯微鑒定圖典》［5］兩本專著。這些前輩的研究和專著的出版，為中藥材粉末顯微鑒定提供了大量的圖像和文字描述。但是，目前中藥材粉末顯微鑒定采用人工對(duì)比的方式，即將顯微鏡下所見(jiàn)圖像與各類專著中圖像和文字進(jìn)行對(duì)比鑒別。因此，此種方法需要專業(yè)人士的知識(shí)和經(jīng)驗(yàn)，對(duì)于非專業(yè)人士來(lái)說(shuō)比較困難，導(dǎo)致中藥材粉末顯微鑒別方法受到了極大的限制。

迄今收載中藥材品種最多的《中華本草》記載了我國(guó)藥材品種8 980個(gè)，其中常用的約500種。依據(jù)天然屬性和藥用部位，中藥材分為植物藥、動(dòng)物藥和礦物藥。植物藥再依不同的藥用部位分為根和根莖類、莖木類、皮類、葉類、花類、果實(shí)和種子類及全草類等。植物藥材的粉末在顯微鏡下可見(jiàn)多種組織、細(xì)胞和內(nèi)含物，包括導(dǎo)管、纖維、石細(xì)胞、淀粉粒、結(jié)晶、毛茸、表皮、塊狀物等，其中，導(dǎo)管依據(jù)細(xì)胞壁的加厚紋理可分為環(huán)紋導(dǎo)管、螺紋導(dǎo)管、梯紋導(dǎo)管、網(wǎng)紋導(dǎo)管以及具緣紋孔導(dǎo)管等，五類導(dǎo)管示意圖見(jiàn)圖1。一般中藥材粉末中可見(jiàn)1～3種導(dǎo)管類型，不同中藥材導(dǎo)管的直徑以及類型也有所不同。因?yàn)閷?dǎo)管豐富的紋理細(xì)節(jié)，所以選其作為本文的研究對(duì)象。

針對(duì)導(dǎo)管圖像，本文選用基于深度學(xué)習(xí)的中藥材粉末分類識(shí)別方法［6］，可以由計(jì)算機(jī)部分替代專業(yè)人士，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的方法對(duì)顯微特征圖像進(jìn)行自動(dòng)分類與識(shí)別。

深度學(xué)習(xí)這一概念是由Hinton等［7］于2006年提出，它所具有的多隱層神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，通過(guò)構(gòu)建多層網(wǎng)絡(luò)，對(duì)目標(biāo)采取多層表達(dá)的方式，通過(guò)高層次特征來(lái)表達(dá)樣本所具有的抽象語(yǔ)義信息。隨著深度學(xué)習(xí)這一方法的盛行，經(jīng)過(guò)大量學(xué)者的研究，設(shè)計(jì)出了多種結(jié)構(gòu)的CNN，如LeNet［8］、VGG［9］、Inception［10］、ResNet［11］等。CNN 作為一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，通過(guò)大規(guī)模樣本的自我學(xué)習(xí)和重復(fù)迭代訓(xùn)練以及局部感受野對(duì)圖像信息的提取，實(shí)現(xiàn)了分類器對(duì)圖像特征的分類。本文選用的網(wǎng)絡(luò)為ResNet-v2-101［12］，它具有一定的網(wǎng)絡(luò)的深度，可以保障充分學(xué)習(xí)中藥材粉末顯微特征的高層次信息；并且具有殘差結(jié)構(gòu)，可以在一定程度上緩和在網(wǎng)絡(luò)訓(xùn)練過(guò)程中的過(guò)擬合現(xiàn)象。

本文將在王一丁等［6］研究的基礎(chǔ)上將中藥材種類由15種擴(kuò)增到34種，通過(guò)ResNet-v2-101網(wǎng)絡(luò)對(duì)每類中藥材粉末的導(dǎo)管進(jìn)行分類識(shí)別。隨著中藥材種類的增多，每類中藥材樣本數(shù)量稀少的問(wèn)題尤為凸顯，這也導(dǎo)致了網(wǎng)絡(luò)學(xué)習(xí)的特征信息不足，存在難以對(duì)導(dǎo)管精確分類的問(wèn)題，并且不同的顯微鏡成像系統(tǒng)采集中藥材粉末顯微特征時(shí)，由于光源、濾光片、白平衡和操作人員等不同對(duì)圖像的亮度等信息造成一定的差異，同樣會(huì)對(duì)導(dǎo)管分類產(chǎn)生一定的誤差。

針對(duì)中藥材粉末顯微特征樣本所存在樣本量稀少以及跨設(shè)備采集所造成圖像差異的問(wèn)題，本文提出了一種ResNetv2-101網(wǎng)絡(luò)的改進(jìn)方法。通過(guò)在網(wǎng)絡(luò)輸入端對(duì)樣本的信息擴(kuò)充，在殘差模塊（Residual）后加入通道注意力模塊（Channel Attention）和空間注意力模塊（Spatial Attention），得到權(quán)重的分配，從而實(shí)現(xiàn)小樣本數(shù)據(jù)分類效果的提升。網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)如圖2所示。

圖2 網(wǎng)絡(luò)改進(jìn)結(jié)構(gòu)Fig.2 Network improvement structure

本文主要工作分為以下兩部分：

1）提出多通道顏色空間。通過(guò)多通道與顏色空間相結(jié)合作為網(wǎng)絡(luò)輸入端，實(shí)現(xiàn)對(duì)小樣本數(shù)據(jù)量不足的補(bǔ)充，如圖2（a）所示。網(wǎng)絡(luò)通過(guò)HSV（Hue，Saturation，Value）顏色空間作為輸入信息的補(bǔ)充，其可以充分學(xué)習(xí)到亮度、色調(diào)、飽和度等特征信息，消除不同顯微鏡成像系統(tǒng)采集所帶來(lái)的影響。實(shí)驗(yàn)證明色彩特征信息對(duì)中藥材顯微圖像更為關(guān)鍵。

2）提出改進(jìn)的注意力機(jī)制模型。通道注意力機(jī)制模型和空間注意力機(jī)制模型，如圖2（b）所示。CNN訓(xùn)練小樣本數(shù)據(jù)的輪次（Epoch）不能太多或太少，否則都會(huì)導(dǎo)致識(shí)別效果達(dá)不到預(yù)期，并且不是所有特征信息都需要被網(wǎng)絡(luò)所關(guān)注，因此本文通過(guò)此兩個(gè)模型實(shí)現(xiàn)網(wǎng)絡(luò)對(duì)通道和空間上權(quán)重的分配，使得網(wǎng)絡(luò)將注意力集中到重要的通道和空間上，從而學(xué)習(xí)關(guān)鍵的特征信息。

1 多通道顏色空間

1.1 中藥材粉末顯微特征圖像采集與預(yù)處理

按照以前報(bào)道的方法，本文收集了34種中藥材中8 774張?jiān)嫉膶?dǎo)管圖像，其中每張?jiān)紙D像的分辨率達(dá)到5440×3648。然而大背景下的中藥材顯微圖像由于其顯微特征在圖像中所占比例過(guò)小，且一張圖像中不能保證只有一種顯微特征，因此并不能直接用于分類網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)，所以先經(jīng)過(guò)篩選和剪切，得到了導(dǎo)管的最大外接圖像，部分中藥材導(dǎo)管如圖3所示。然而即使采用最大外接圖像，中藥材導(dǎo)管間的差異并不明顯，因此需要通過(guò)網(wǎng)絡(luò)學(xué)習(xí)最大外接圖像導(dǎo)管之間的細(xì)微差異。

經(jīng)篩選和裁剪，樣本一共有8 774張圖像，設(shè)置原始訓(xùn)練集7 986張（91%），測(cè)試集788張（9%），其中由于中藥材類別眾多，且存在樣本不平衡問(wèn)題，每類中藥材的導(dǎo)管樣本數(shù)量由幾十到幾百不等，本文為保障CNN在學(xué)習(xí)過(guò)程中不會(huì)由數(shù)據(jù)極度不平衡問(wèn)題而產(chǎn)生過(guò)擬合問(wèn)題，測(cè)試集中每類中藥材圖像數(shù)量占原始數(shù)據(jù)集中該類中藥材數(shù)量的9%。

圖3 中藥材導(dǎo)管的顯微特征Fig.3 Microscopic featuresof Chinesemedicinal material vessels

在劃分訓(xùn)練集和驗(yàn)證集后，需對(duì)圖像進(jìn)行預(yù)處理操作，其中包含隨機(jī)裁剪、多角度旋轉(zhuǎn)、去均值和尺度歸一化。圖像預(yù)處理的目的一方面是為了更方便讓CNN學(xué)習(xí)圖像間細(xì)微區(qū)別而進(jìn)行相應(yīng)的處理，另一方面則是擴(kuò)充數(shù)據(jù)集。本文原始訓(xùn)練集的10%（798張）作為網(wǎng)絡(luò)訓(xùn)練的驗(yàn)證集，剩余原始訓(xùn)練集在經(jīng)圖像預(yù)處理（隨機(jī)裁剪和多角度旋轉(zhuǎn)）擴(kuò)充后，訓(xùn)練集數(shù)量達(dá)到21564張，是原始訓(xùn)練集的2.7倍。

1.2 多通道顏色空間

現(xiàn)階段大多數(shù)分類網(wǎng)絡(luò)創(chuàng)新在于網(wǎng)絡(luò)構(gòu)架的優(yōu)化，如多尺度融合、批歸一化等，其本質(zhì)是為了更加有效地學(xué)習(xí)圖像間的特征信息。但是現(xiàn)在分類網(wǎng)絡(luò)的預(yù)處理方式大多只在網(wǎng)絡(luò)輸入端進(jìn)行簡(jiǎn)單的平移、翻轉(zhuǎn)和隨機(jī)裁剪等擴(kuò)充，對(duì)網(wǎng)絡(luò)準(zhǔn)確率提升的幫助有限。本文的中藥材粉末顯微特征圖像存在著樣本數(shù)量稀少問(wèn)題，并且不同顯微鏡成像系統(tǒng)所采集的圖像也存在著一定的亮度、色調(diào)和飽和度等差異。為了能更多地?cái)U(kuò)充特征信息，減少不同顯微鏡成像系統(tǒng)采集的差異，本文將在原有圖像預(yù)處理的基礎(chǔ)上探索多通道顏色空間方式能否提升小樣本數(shù)據(jù)分類網(wǎng)絡(luò)的識(shí)別效果。

顏色空間是對(duì)色彩的組織形式，借助物理設(shè)備的采集，得以通過(guò)顏色空間得到色彩的固定模擬和數(shù)字表示，其中每一個(gè)顏色定義的名字和代碼都基于嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)定義。在深度學(xué)習(xí)中所被普遍運(yùn)用的顏色空間為RGB（Red，Green，Blue）顏色空間，其中紅色、綠色和藍(lán)色三種原色作為基礎(chǔ)，通過(guò)對(duì)此三種顏色不同比例配比組成繁多的色彩，從而形成了RGB顏色空間，其中每一種顏色由24 b代表，每個(gè)通道R、G、B各出8 b，因此導(dǎo)致每個(gè)通道依據(jù)灰階劃分出了256個(gè)亮度等級(jí)。

近些年不同顏色空間這一概念一直被運(yùn)用到膚色檢測(cè)［13］和手勢(shì)識(shí)別［14］中。在2018年陳昌紅等［15］提出了基于多通道和卷積神經(jīng)網(wǎng)絡(luò)的極光分類，首次將多通道融合運(yùn)用到分類網(wǎng)絡(luò)中，但是由于此篇文章所研究的是極光分類問(wèn)題屬于特殊性質(zhì)的圖像分類，多通道包含極光的局部二值模式（Local Binary Pattern，LBP）特征圖和變化幅度等信息，并不能推廣到普通圖像的分類問(wèn)題上；且對(duì)于普通圖像的分類問(wèn)題，三原色調(diào)配顏色的方式不能很好體現(xiàn)中藥材粉末顯微特征圖像顏色、形狀等特性：因此本文將多通道與不同顏色空間相結(jié)合，將其運(yùn)用到分類網(wǎng)絡(luò)中，通過(guò)實(shí)驗(yàn)論證顏色空間的多通道融合可以在有限的樣本下提供更多的特征信息，以此來(lái)實(shí)現(xiàn)提升小樣本數(shù)據(jù)分類效果的目的。根據(jù)2011年江鳳兵［16］提出的關(guān)于人體膚色檢測(cè)論文對(duì)于顏色空間的改進(jìn)，將HSV空間和YCrCb空間相結(jié)合形成新的HCrCb空間，與原始圖像相結(jié)合形成六通道的RGB-H-CrCb作為網(wǎng)絡(luò)輸入進(jìn)行嘗試，以希望找出多通道顏色空間的最佳組合方式。

本文首先通過(guò)實(shí)驗(yàn)比較不同顏色空間對(duì)小樣本分類效果的影響，選用的顏色空間包括HSV、Lab、YCrCb、YUV、XYZ、HLS（Hue，Luminance，Saturation）、H-CrCb。通過(guò)對(duì)原始RGB圖像進(jìn)行公式轉(zhuǎn)換得到不同的顏色空間。以HSV顏色空間為例，HSV空間的三種通道的劃分十分直觀，其源自顏色的特性，因此其也被稱呼為六角錐體模型。HSV顏色空間的三個(gè)通道分別代表色調(diào)（H，范圍為0°～360°）、飽和度（S，范圍為0～255）和亮度（V，范圍為0～255）。HSV圖像通過(guò)將R、G、B采用不同的組合方式轉(zhuǎn)換而成，轉(zhuǎn)換公式如式（1）～（6）所示：

經(jīng)過(guò)公式轉(zhuǎn)換，不同顏色空間的通道信息都可由RGB顏色空間得到。通過(guò)公式轉(zhuǎn)換得到的通道信息之間有著一定的關(guān)聯(lián)，但也都有著其獨(dú)有的特征信息，所以本文通過(guò)結(jié)合不同顏色空間來(lái)嘗試對(duì)中藥材粉末顯微特征圖像分類問(wèn)題的適用性，為網(wǎng)絡(luò)提供最適合用于小樣本中藥材數(shù)據(jù)分類識(shí)別的多通道顏色空間。多通道顏色空間可以是兩種顏色空間的組合，甚至是多種顏色空間的組合，但是其他顏色空間信息的生成需要經(jīng)過(guò)RGB顏色空間的轉(zhuǎn)化，需要大量時(shí)間進(jìn)行處理，并且極大占用計(jì)算機(jī)內(nèi)存。為節(jié)省網(wǎng)絡(luò)初始化時(shí)圖像預(yù)處理時(shí)間以及減輕電腦配置需要，本文將采用6通道的顏色空間作為多通道顏色空間的輸入，在保證擴(kuò)充小樣本數(shù)據(jù)通道信息的同時(shí)，降低圖像預(yù)處理的時(shí)間，最終實(shí)現(xiàn)通過(guò)六通道顏色空間的方式為中藥材圖像提供更多重要的特征信息，提升網(wǎng)絡(luò)對(duì)小樣本數(shù)據(jù)的準(zhǔn)確率。

2 改進(jìn)的注意力機(jī)制模型

CNN基于其豐富的表現(xiàn)能力，極大地促進(jìn)了圖像識(shí)別領(lǐng)域在深度學(xué)習(xí)方向的發(fā)展。近些年來(lái)針對(duì)CNN性能的提升，大多側(cè)重于深度、寬度和基數(shù)此三個(gè)影響因素。從ResNet18到ResNet152網(wǎng)絡(luò)證明通過(guò)跳躍連接和堆疊排列的殘差卷積塊可以做到分類精度的提升；GoogLeNet的提出證明了提升模型性能也可以通過(guò)增加網(wǎng)絡(luò)寬度的方式；在之后Xception［17］和ResNeXt［18］的提出則表明增加基數(shù)也可以達(dá)到提升網(wǎng)絡(luò)學(xué)習(xí)性能的效果，并且性能的提高還要優(yōu)于深度和寬度二者；自從2017年ImageNet競(jìng)賽冠軍Hu等［19］提出了基于通道間權(quán)重的分配來(lái)實(shí)現(xiàn)通道間重要性選擇的算法SEnet（Squeeze and Excitation Networks），從而引起了對(duì)于CNN在通道注意力上的關(guān)注；在2018年，Woo等［20］就以此為理論基礎(chǔ)，提出了在通道和空間的注意力機(jī)制模型CBAM（Convolutional Block Attention Module），此研究表明不僅是在通道間，在空間中也有著相應(yīng)的內(nèi)在聯(lián)系，因此其設(shè)計(jì)的CBAM結(jié)構(gòu)在兼顧通道和空間權(quán)重選擇后，網(wǎng)絡(luò)的分類效果又得到進(jìn)一步的提升。本文存在著樣本量稀少的問(wèn)題，這導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)的Epoch不能過(guò)多，否則會(huì)出現(xiàn)過(guò)擬合的情況，因此如何在有限的Epoch中使得網(wǎng)絡(luò)能夠更快降低損失函數(shù)（Loss Function，loss）是所需要研究的問(wèn)題。本文通過(guò)注意力機(jī)制模型與ResNet-v2-101網(wǎng)絡(luò)結(jié)合，對(duì)不同信息權(quán)重進(jìn)行分配，使得網(wǎng)絡(luò)能夠?qū)⒏嗟淖⒁饬Ψ诺疥P(guān)鍵的通道和空間中，實(shí)現(xiàn)小樣本數(shù)據(jù)分類效果的提升。

本文發(fā)現(xiàn)在通道和空間上的注意力模型并未進(jìn)一步考慮其在深度、寬度、基數(shù)或內(nèi)在聯(lián)系這四方面上的展開(kāi)。經(jīng)過(guò)進(jìn)一步的研究表明可以分別在通道和空間注意力機(jī)制上結(jié)合內(nèi)在聯(lián)系和寬度這兩個(gè)重要因素，以達(dá)到讓網(wǎng)絡(luò)著重學(xué)習(xí)關(guān)鍵信息的目的。

本文所提出的注意力機(jī)制模型位于ResNet-v2-101網(wǎng)絡(luò)中每個(gè)殘差模塊之后，通過(guò)依次對(duì)殘差模塊結(jié)果采取通道和空間上的權(quán)重分配，從而實(shí)現(xiàn)對(duì)小樣本關(guān)鍵特征的著重學(xué)習(xí)，如圖2（b）所示。Input∈ ?H×W×C為輸入層，其在經(jīng)過(guò)殘差模塊后得到結(jié)果RS∈?H×W×C。通過(guò)通道注意力模塊可以得到所有通道權(quán)重CA∈?1×1×C，殘差模塊結(jié)果RS與通道權(quán)重相乘得到結(jié)果G∈?H×W×C。G通過(guò)空間注意力模塊得到空間權(quán) 重SA∈?1×1×C，再 與SA相 乘 得 到 新 的 殘 差 模 塊K∈?H×W×C。將K與Input相加得到最后的輸出結(jié)果Output∈?H×W×C。注意力模型的計(jì)算過(guò)程如式（7）所示：

2.1 通道注意力模型

SEnet結(jié)構(gòu)分別采取全局平均池化和全局最大池化操作用于注意力機(jī)制模型，相較于原始訓(xùn)練結(jié)果都有一定的提升，但是CBAM所提出的通道注意力模型的訓(xùn)練結(jié)果并未優(yōu)于其兩者。本文結(jié)果表明，CBAM所采取將全局平均池化和全局最大池化簡(jiǎn)單相加的方式并未充分考慮其二者的內(nèi)在聯(lián)系，使得其并未優(yōu)于最好結(jié)果。

因此為了更好地將全局平均池化和全局最大池化內(nèi)在關(guān)系聯(lián)立，本文設(shè)計(jì)了一種新的通道注意力模型——串聯(lián)注意力模型（Tandem Attention Model，TAM），通過(guò)全連接層將二者更加緊密地聯(lián)系到一起，以更好提升關(guān)鍵特征的權(quán)重分配。TAM結(jié)構(gòu)如圖4所示。

TAM分別通過(guò)對(duì)H×W尺寸圖像采取全局平均池化和全局最大池化操作，實(shí)現(xiàn)搜集Input的通道信息?1×1×C，其中AvgPool和MaxPool分別代表全局平均池化和全局最大池化的操作符。兩類通道信息都分別經(jīng)過(guò)全連接層得到輸出?1×1×C/d，其中Mc為第一層全連接層操作符。d則代表壓縮比例，此操作原因在于批尺寸（Batch Size，BS）設(shè)置過(guò)大，如果不經(jīng)過(guò)壓縮會(huì)導(dǎo)致全連接層因參數(shù)量過(guò)大而產(chǎn)生顯存溢出問(wèn)題，因此通過(guò)設(shè)置壓縮比減少網(wǎng)絡(luò)參數(shù)量，同時(shí)也可以提升網(wǎng)絡(luò)的運(yùn)算效率。最后經(jīng)過(guò)一層全連接層，其目的在于將二者的信息充分融合，并且將輸出恢復(fù)為原始尺寸?1×1×C，從而得到通道權(quán)重，其中Mc'代表第二層全連接層操作符。本文所提出的TAM通過(guò)將全局平均池化和最大池化串聯(lián)，使得全連接層學(xué)習(xí)其兩者間內(nèi)在聯(lián)系，實(shí)現(xiàn)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)去深層次調(diào)整通道上權(quán)重配比的目的，從而達(dá)到更好的識(shí)別效果。TAM計(jì)算過(guò)程如式（8）所示：

式（2）中：CA表示通道注意力權(quán)重，σ代表Sigmoid激活函數(shù)，w代表ReLu激活函數(shù)，⊕代表一維向量的串聯(lián)。

圖4 串聯(lián)注意力模型Fig.4 Tandem attention model

2.2 空間注意力模型

CBAM網(wǎng)絡(luò)對(duì)于空間注意力模型構(gòu)思的提出是對(duì)通道注意力機(jī)制的補(bǔ)充，其將思路從通道上權(quán)重的分配延續(xù)到空間上，分別將輸入層從縱向?qū)μ卣鲌D進(jìn)行全局平均池化和全局最大池化操作，得到輸出?H×W×1。將兩者并聯(lián)得到?H×W×2，最后通過(guò)7×7卷積得到空間注意力權(quán)重?H×W×1。但是經(jīng)過(guò)導(dǎo)管圖像樣本進(jìn)行實(shí)驗(yàn)論證，其效果遠(yuǎn)不及原始訓(xùn)練效果。本文認(rèn)為可能與平均池化和最大池化并聯(lián)有關(guān)，因此對(duì)CBAM空間注意力模型分別驗(yàn)證兩者的可行性。

經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)，單獨(dú)的全局平均和最大池化相較于CBAM的空間注意力模型都有一定提升，認(rèn)為其可能并非適用于二者的聯(lián)立，使得二者互相干擾導(dǎo)致影響實(shí)驗(yàn)效果，因此本文選擇效果最好的全局平均池化作為接下來(lái)研究方向。正如前文所述，不論是SEnet還是CBAM的空間注意力模型都只關(guān)注了自身的注意力機(jī)制，并未結(jié)合深度、寬度和基數(shù)這三個(gè)重要因素，因此在分析空間注意力模型結(jié)構(gòu)后認(rèn)為其可以與寬度這一因素相結(jié)合能夠更加合理地實(shí)現(xiàn)在空間上的權(quán)重分配。

經(jīng)過(guò)Inception網(wǎng)絡(luò)多尺度融合的啟發(fā)，本文認(rèn)為可以對(duì)空間注意力模型增加其視野范圍，從而更充分地學(xué)習(xí)空間之間的結(jié)構(gòu)信息。但是由于7×7卷積參數(shù)量過(guò)于龐大，因此在并聯(lián)過(guò)程中會(huì)大大降低運(yùn)算速度。本文從文獻(xiàn)［21］中獲得啟發(fā)，在運(yùn)用多卷積核的同時(shí)采用空洞卷積，通過(guò)對(duì)3×3卷積設(shè)置不同的膨脹系數(shù)，使其擴(kuò)增為5×5和7×7等尺寸的空洞卷積核，使得網(wǎng)絡(luò)可以學(xué)習(xí)到不同尺寸感受野的特征信息，以更好權(quán)衡不同大小特征的權(quán)重；并且采用空洞卷積可以使參數(shù)量大幅度減少，在使用多卷積核的同時(shí)保證計(jì)算時(shí)間減少。本文嘗試了多種多卷積核的組合架構(gòu)，通過(guò)對(duì)3×3、5×5和7×7尺寸空洞卷積核采取不同的組合形式，進(jìn)行實(shí)驗(yàn)對(duì)比。經(jīng)過(guò)大量實(shí)驗(yàn)反復(fù)論證得出新的空間注意力機(jī)制模型：多卷積注意 力 模 型（Multi-convolutional Block Attention Module，MBAM），其通過(guò)將此三種空洞卷積核并聯(lián)的方式組合，可以更有效地提升小樣本的分類效果；并且此三種空洞卷積核參數(shù)量之和只有CBAM空間注意力模型中7×7尺寸卷積核參數(shù)量的一半，從而使計(jì)算時(shí)間大幅減少。MBAM結(jié)構(gòu)如圖5所示。

圖5 多卷積注意力模型Fig.5 Multi-convolutional block attention model

MBAM輸入為Input∈?H×W×C，對(duì)特征圖在通道上采取全局平均池化操作，得到空間信息?H×W×1，AvgPool代表全局平均池化操作符?？臻g信息分別經(jīng)過(guò)3個(gè)3×3尺寸的空洞卷積，其中設(shè)置3個(gè)卷積核的擴(kuò)張系數(shù)（dilations）分別為1、2、3，三種卷積核操作符為U1、U2、U3，其輸出結(jié)果為W1、W2、W3。最后通過(guò)3個(gè)卷積核的并聯(lián)得到空間上的權(quán)重。MBAM計(jì)算過(guò)程如式（9）、（10）所示。

式（10）中：SA為空間注意力權(quán)重，σ代表Sigmoid激活函數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

針對(duì)多通道顏色空間和改進(jìn)的注意力機(jī)制模型，本文將分別通過(guò)實(shí)驗(yàn)驗(yàn)證二者的有效性，并在最后將兩者結(jié)合得到最終的實(shí)驗(yàn)結(jié)果。

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文采用TensorFlow架構(gòu)來(lái)實(shí)現(xiàn)ResNet-v2-101網(wǎng)絡(luò)模型的搭建，共有101層結(jié)構(gòu)，BS設(shè)置為64，學(xué)習(xí)率以0.1為起始，采用指數(shù)衰減的方式在訓(xùn)練過(guò)程中降低學(xué)習(xí)率，其中衰減指數(shù)為0.98。實(shí)驗(yàn)設(shè)備配置為Xeon Gold 5120 CPU、64 GB內(nèi)存、GV100 GPU。中藥材粉末顯微特征樣本一共8 774張圖像，每張圖像大小為224×224，其中包括原始訓(xùn)練集7 986張（81%），驗(yàn)證集798張（10%），測(cè)試集788張（9%）。原始訓(xùn)練集在經(jīng)圖像預(yù)處理（隨機(jī)裁剪和多角度旋轉(zhuǎn)）擴(kuò)充后，訓(xùn)練集數(shù)量達(dá)到21564張。

本文所采用的ResNet-v2-101網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。實(shí)驗(yàn)中所有提到的注意力機(jī)制模型都依據(jù)圖2（b）所示，添加到對(duì)應(yīng)每個(gè)卷積層的CA和SA中。

3.2 多通道顏色空間

通過(guò)比較不同顏色空間對(duì)中藥材粉末顯微特征圖像分類準(zhǔn)確率的影響。經(jīng)對(duì)比可知，XYZ、HCrCb顏色空間的準(zhǔn)確率低于RGB空間，因此將不作為重點(diǎn)考慮；HSV、YCrCb和YUV空間在9種顏色空間中分類效果相對(duì)較好，認(rèn)為此三個(gè)空間中所包含的中藥材顯微特征信息對(duì)網(wǎng)絡(luò)的學(xué)習(xí)提供重要作用。實(shí)驗(yàn)結(jié)果如表2所示。

表1 ResNet-v2-101網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 ResNet-v2-101 network structure

表2 三通道顏色空間準(zhǔn)確率 單位：%Tab.2 Three-channel color space accuracy unit：%

通過(guò)將RGB顏色空間與其他顏色空間并聯(lián)的方式將圖像輸入分類網(wǎng)絡(luò)，對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行比較。經(jīng)實(shí)驗(yàn)證明，RGBHSV的6通道顏色空間作為網(wǎng)絡(luò)輸入可以得到最優(yōu)的分類識(shí)別效果，其準(zhǔn)確率由RGB顏色空間的89.8%提高到91.6%。實(shí)驗(yàn)結(jié)果如表3所示。根據(jù)顏色空間的原理可以得知，與其他顏色空間相比HSV顏色空間的亮度、色調(diào)和飽和度是分離開(kāi)的三種變量，能夠更加直觀地表達(dá)色彩的變化。相較于RGB顏色空間通過(guò)三原色混合得到的不同顏色，HSV顏色空間可以更好地表達(dá)亮度、色調(diào)和色度上的變化差異，因此其作為RGB顏色空間上對(duì)通道信息的補(bǔ)充，RGB-HSV的六通道顏色空間可以為中藥材圖像提供更多重要的特征信息，提升網(wǎng)絡(luò)對(duì)小樣本數(shù)據(jù)的準(zhǔn)確率。

3.3 注意力機(jī)制模型

3.3.1 通道注意力模型

TAM是通過(guò)將全局平均池化和全局最大池化串聯(lián)，再經(jīng)過(guò)全連接層得到的通道權(quán)重分配，在結(jié)構(gòu)中存在著壓縮比d這一變量，經(jīng)本文實(shí)驗(yàn)論證表明，壓縮比d參數(shù)設(shè)置為4對(duì)小樣本數(shù)據(jù)的分類識(shí)別效果最佳。實(shí)驗(yàn)結(jié)果如表4所示。

表3 六通道顏色空間準(zhǔn)確率 單位：%Tab.3 Six-channel color spacer accuracy unit：%

表4 RGB-HSV+TAM不同壓縮比的準(zhǔn)確率對(duì)比 單位：%Tab.4 Accuracy comparison of different compression ratiosof RGB-HSV+TAM unit：%

其次，本文將對(duì)比實(shí)驗(yàn)2017年ImageNet競(jìng)賽冠軍SEnet結(jié)構(gòu)和2018年ECCV的CBAM通道注意力模型來(lái)驗(yàn)證TAM的有效性，不同通道注意力模型結(jié)構(gòu)如圖6所示，其中SEnet結(jié)構(gòu)的Pooling可采用AvgPool或MaxPool的方式進(jìn)行全局池化操作。經(jīng)實(shí)驗(yàn)可得出結(jié)論，本文所設(shè)計(jì)的TAM結(jié)構(gòu)可以更好地結(jié)合全局平均池化和全局最大池化的優(yōu)點(diǎn)，實(shí)現(xiàn)了在通道注意力上小樣本準(zhǔn)確率的提升。實(shí)驗(yàn)結(jié)果如表5所示。

圖6 不同通道注意力模型Fig.6 Different channel attention models

表5 通道注意力模型準(zhǔn)確率比較 單位：%Tab.5 Accuracy comparisonofchannelattentionmodels unit：%

3.3.2 空間注意力模型

為驗(yàn)證所提出空間注意力模型的有效性，本文將對(duì)不同的全局平均池化空間注意力模型結(jié)構(gòu)進(jìn)行實(shí)驗(yàn)對(duì)比。首先本文采用單個(gè)空洞卷積的方式，將3×3卷積核的dilations設(shè)置為1、2、3、4，膨脹后卷積核變?yōu)?×3、5×5、7×7和9×9，比較單個(gè)空洞卷積核的識(shí)別效果，單空洞卷積核的空間注意力模型如圖7所示，其中Conv為空洞卷積所在位置。經(jīng)實(shí)驗(yàn)對(duì)比后發(fā)現(xiàn)3×3、5×5和7×7卷積核的效果最好。實(shí)驗(yàn)結(jié)果如表6所示。

圖7 單空洞卷積核的空間注意力模型Fig.7 Spatial attention model of single-cavity convolution kernel

經(jīng)過(guò)以上實(shí)驗(yàn)對(duì)比，多卷積核的結(jié)構(gòu)將依據(jù)3×3、5×5和7×7這三種卷積核進(jìn)行設(shè)計(jì)，通過(guò)對(duì)空洞卷積核采取兩路并聯(lián)和三路并聯(lián)的組合方式來(lái)實(shí)現(xiàn)實(shí)驗(yàn)對(duì)比。其中兩路并聯(lián)的結(jié)構(gòu)如圖8所示，通過(guò)對(duì)Conv1和Conv2采用不同的空洞卷積核進(jìn)行組合。實(shí)驗(yàn)結(jié)果如表7所示（表7中“+”代表卷積核的并聯(lián)），從而得到最優(yōu)的結(jié)果為MBAM結(jié)構(gòu)，通過(guò)空間上權(quán)重分配實(shí)現(xiàn)對(duì)小樣本數(shù)據(jù)分類準(zhǔn)確率的提升。

圖8 兩路并聯(lián)的空間注意力模型Fig.8 Two-way parallel spatial attention model

表7 多卷積核準(zhǔn)確率比較 單位：%Tab.7 Accuracy comparison of multipleconvolution kernels unit：%

最終本文所提出MBAM結(jié)構(gòu)與2018年ECCV所提出的CBAM空間注意力模型以及分別采用全局平均池化和全局最大池化的空間注意力模型進(jìn)行比較，不同的空間注意力機(jī)制模型如圖9所示，其中Pooling可采用AvgPool或MaxPool的方式進(jìn)行全局池化操作。通過(guò)實(shí)驗(yàn)可以得出結(jié)論，本文所提出的MBAM結(jié)構(gòu)具有更好的空間權(quán)重分配機(jī)制，能夠更好地達(dá)到小樣本分類準(zhǔn)確率提升的目的。實(shí)驗(yàn)結(jié)果如表8所示。

圖9 不同的空間注意力模型Fig.9 Different spatial attention models

表8 空間注意力模型識(shí)別結(jié)果比較 單位：%Tab.8 Comparison of spatial attention model identification results unit：%

3.3.3 通道和空間注意力模型

本文將通道和空間注意力模型相結(jié)合，驗(yàn)證當(dāng)兩者共同使用時(shí)對(duì)小樣本數(shù)據(jù)的分類識(shí)別效果。實(shí)驗(yàn)結(jié)果如表9所示。經(jīng)實(shí)驗(yàn)對(duì)比可知，本文所設(shè)計(jì)多通道顏色空間和注意力機(jī)制模型不僅在通道和空間上具有很好的權(quán)重分配效果，且當(dāng)二者相結(jié)合后，網(wǎng)絡(luò)對(duì)小樣本數(shù)據(jù)特征信息的權(quán)重分配效果也有一定的提升。

表9 通道和空間注意力機(jī)制模型識(shí)別結(jié)果 單位：%Tab.9 Identification resultsof channel and spatial attention mechanismmodels unit：%

3.4 多通道顏色空間和注意力機(jī)制模型

最后，為證明多通道顏色空間和注意力機(jī)制模型對(duì)小樣本分類網(wǎng)絡(luò)的有效性，將通過(guò)實(shí)驗(yàn)分別論證；并將兩者結(jié)合驗(yàn)證二者在共同作用下，對(duì)中藥材粉末顯微特征圖像準(zhǔn)確率的提升。通過(guò)對(duì)比四組實(shí)驗(yàn)的訓(xùn)練損失折線圖，可以觀察到本文所提出的多通道顏色空間與注意力機(jī)制的組合可以使得訓(xùn)練loss更快收斂，達(dá)到對(duì)小樣本數(shù)據(jù)在有限的Epoch中更快收斂的目的。訓(xùn)練損失折線如圖10所示。實(shí)驗(yàn)結(jié)果如表10所示。

綜上，針對(duì)小樣本難以分類的問(wèn)題，本文所提出對(duì)多通道顏色空間與注意力機(jī)制模型的網(wǎng)絡(luò)改進(jìn)方法，準(zhǔn)確率分別提升1.8個(gè)百分點(diǎn)和3.1個(gè)百分點(diǎn)，將二者結(jié)合后準(zhǔn)確率提升4.1個(gè)百分點(diǎn)；且訓(xùn)練loss值由7.704×10-4下降到4.732×10-4，下降2.972×10-4。

圖10 訓(xùn)練損失折線Fig.10 Linechart of trainingloss

表10 多通道顏色空間和注意力機(jī)制模型識(shí)別結(jié)果Tab.10 Identification results of multi-channel color spaceand attention mechanism models

4 結(jié)語(yǔ)

針對(duì)中藥材粉末顯微特征圖像類別多、樣本數(shù)量稀少、難以分類等問(wèn)題，本文提出了一種基于小樣本的網(wǎng)絡(luò)改進(jìn)方法——多通道顏色空間和注意力機(jī)制模型。實(shí)驗(yàn)結(jié)果表明，多通道顏色空間通過(guò)向網(wǎng)絡(luò)中加入HSV顏色空間來(lái)實(shí)現(xiàn)針對(duì)中藥材粉末顯微特征相關(guān)信息的補(bǔ)充，彌補(bǔ)了小樣本數(shù)據(jù)量不足的問(wèn)題；注意力機(jī)制模型則通過(guò)深化通道模型的內(nèi)在聯(lián)系和空間模型的多尺度思想，改進(jìn)CBAM結(jié)構(gòu)，實(shí)現(xiàn)了CBAM計(jì)算效率的提升，并且更好地分配網(wǎng)絡(luò)中通道和空間注意力的權(quán)重，使網(wǎng)絡(luò)通過(guò)自主學(xué)習(xí)的方式，將注意力聚焦于關(guān)鍵的特征信息。將本文所提出的兩種結(jié)構(gòu)融合后，準(zhǔn)確率得到了顯著的提升，證明了兩種方法對(duì)小樣本分類識(shí)別有著大幅度的提升。

本文提出的方法是否可以應(yīng)用于其他一些難以獲取的小樣本（如安全領(lǐng)域或醫(yī)療領(lǐng)域數(shù)據(jù)集）的分類識(shí)別還有待考證。并且不同通道特征信息的重要程度不一，是否能夠?qū)崿F(xiàn)將不同顏色空間的單通道進(jìn)行拼接組合，使得組合后的三通道顏色空間得到六通道顏色空間相同的識(shí)別效果，從而實(shí)現(xiàn)減少多通道顏色空間的圖像預(yù)處理時(shí)間將是接下來(lái)的研究方向。