周麗媛，高紅梅，趙啟軍，3，高定國＊＊

（1.西藏大學(xué)信息科學(xué)技術(shù)學(xué)院 拉薩 850000；2.藏文信息技術(shù)創(chuàng)新人才培養(yǎng)示范基地 拉薩 850000；3.四川大學(xué)計(jì)算機(jī)學(xué)院 成都 610065）

藏醫(yī)藥是人類醫(yī)藥的寶貴遺產(chǎn)，生活在雪域高原的藏族人民在與自然和各種疾病斗爭中積累了豐富的經(jīng)驗(yàn)，通過世世代代不斷傳承、創(chuàng)新與發(fā)展，逐步形成了現(xiàn)代的獨(dú)具民族特色的藏醫(yī)藥文化體系[1]。藏藥材切片種類繁多，早期的經(jīng)驗(yàn)鑒別作為其主要的分辨方法，在過去實(shí)踐中已被證明能夠有效地分辨不同切片，但傳統(tǒng)人工識別結(jié)果的準(zhǔn)確性深度依賴于技術(shù)人員的累積經(jīng)驗(yàn)很容易出錯(cuò)，不利于高效和大批量識別與鑒定，很難適應(yīng)信息化環(huán)境下的鑒別需求[2]。隨著深度學(xué)習(xí)技術(shù)發(fā)展，深度學(xué)習(xí)方法已經(jīng)在農(nóng)業(yè)、工業(yè)、醫(yī)學(xué)等多個(gè)領(lǐng)域廣泛應(yīng)用[3]。通過計(jì)算機(jī)作為輔助手段對藏藥材切片進(jìn)行識別鑒定，是當(dāng)前實(shí)現(xiàn)藏藥材切片快速鑒別的有效方法。

吳沖等[4]使用YOLO 算法實(shí)現(xiàn)中藥飲片的定位與檢出，使用ResNet50 的平均識別準(zhǔn)確度達(dá)到97%。王健慶等[5]使用GoogLeNet對100種常見中藥飲片進(jìn)行訓(xùn)練與識別，平均識別準(zhǔn)確率大于92%。陳仕妍等[6]利用中藥飲片圖像中顏色的種類和分布特征，構(gòu)建與尺度和旋轉(zhuǎn)無關(guān)的顏色匹配模板，對20種中藥飲片進(jìn)行識別，均可獲得較好的識別分類結(jié)果。劉加峰等[7]使用SSD模型建立中藥飲片圖像檢測識別系統(tǒng)，該系統(tǒng)對于3種中藥飲片（枸杞、甘草、陳皮）進(jìn)行識別驗(yàn)證，平均識別率高于80%。張誼等[8]使用ShuffleNet V2、ResNet50、MobileNet V2 等模型對12 種中藥飲片進(jìn)行識別，其中ShuffleNet V2 表現(xiàn)最佳，準(zhǔn)確率為91.4%。孫鑫等[9]使用VGG16網(wǎng)絡(luò)對自然場景下的桂枝、辛夷、菊花等50種中藥飲片圖像進(jìn)行識別，平均識別準(zhǔn)確率達(dá)到70%。陳雁等[10]使用對抗神經(jīng)網(wǎng)絡(luò)（GAN）對復(fù)雜背景下的60種中藥飲片進(jìn)行甄別，平均甄別精準(zhǔn)度最高達(dá)到85.9%。周麗媛等[11]使用帶有注意力機(jī)制的AlexNet網(wǎng)絡(luò)對復(fù)雜背景下的藏藥材切片進(jìn)行識別，識別準(zhǔn)確率達(dá)到86%。

現(xiàn)有的飲片自動識別方法為藏藥材切片圖像識別提供了重要參考，但是大部分都是針對理想環(huán)境（單一背景上多個(gè)中藥飲片散布排列）下拍攝的單個(gè)切片的圖像，導(dǎo)致在復(fù)雜背景（實(shí)際生活中的中藥飲片狀態(tài)，背景環(huán)境復(fù)雜、多個(gè)中藥飲片堆積）下拍攝的圖像上的識別效果會顯著下降。理想環(huán)境與復(fù)雜背景下拍攝的藏藥切片圖像對比如圖1所示。本文提出多特征融合結(jié)合深度學(xué)習(xí)方法的識別模型，在收集的32種藏藥材切片圖像數(shù)據(jù)集上識別準(zhǔn)確率達(dá)到91.68%，為中藥、藏藥切片的鑒別提供了新的方法和手段。

圖1 理想環(huán)境與復(fù)雜背景下拍攝的藏藥切片圖像對比圖

1 材料和設(shè)備

1.1 實(shí)驗(yàn)材料

通過查閱《中國藏藥材大全》本文選定了紅景天、藏天麻、藏菖蒲等32 種植物類藏藥材炮制后的根、莖切片作為研究對象，藥材名稱與圖像數(shù)量如表1所示。本文通過到拉薩街頭特產(chǎn)店實(shí)地拍攝以及使用python[12]在必應(yīng)搜索引擎、各大藏藥材網(wǎng)站獲取每種藏藥材切片的圖片。收集的藏藥材切片圖像經(jīng)過專業(yè)人員進(jìn)行了辨認(rèn)以確保原始數(shù)據(jù)集中的圖片都能正確對應(yīng)相應(yīng)的藏藥材，最后，通過圖像處理軟件將圖像大小統(tǒng)一調(diào)整為512×512像素。

表1 本文收集的復(fù)雜背景藏藥材切片圖像數(shù)據(jù)集信息

1.2 實(shí)驗(yàn)設(shè)備

本文方法進(jìn)行實(shí)驗(yàn)所用到的硬件部分包括iPhone11 相機(jī)（用于實(shí)地圖像拍攝）和GPU 工作站（包含InterRCoreTMi9-12900K 型中央處理器（CPU）和NVIDIA GeForce GTX 3090型顯卡，32G運(yùn)行內(nèi)存，1TB固態(tài)硬盤和8TB 容量的硬盤）。通過獲取藏藥材切片圖像構(gòu)建數(shù)據(jù)集，對藏藥材切片圖像處理，最終獲得藏藥材切片識別結(jié)果。

2 方法

2.1 數(shù)據(jù)集設(shè)置

本文收集了3610 張藏藥材切片圖像，共有32 種。圖1展示了部分藏藥材切片圖像。收集的數(shù)據(jù)集圖像具有藥材切片分辨特征相似度較高、同一種藥材切片形狀不一、圖像低質(zhì)等問題。為驗(yàn)證本文多特征融合結(jié)合深度學(xué)習(xí)模型的識別效果，單獨(dú)挑選480 張圖像建立了藏藥材切片圖像復(fù)雜測試集。判別特征高度相似、圖像環(huán)境顏色與切片切面顏色相近、切片大量堆疊等特點(diǎn)。圖2展示了部分復(fù)雜與簡單測試集的部分圖像。圖像數(shù)據(jù)集圖像按8∶2的比例分為訓(xùn)練集和測試集（簡單測試集）。

圖2 簡單測試集與復(fù)雜測試集示例圖像

2.2 圖像特征提取

藏藥材分布廣泛、種類繁多，藏藥材的生長地區(qū)、氣候的差異、加工方法的不同會導(dǎo)致藏材切片的顏色、形狀、紋理等特征有所不同，這些差異為藏藥材切片圖像分類識別提供了重要的依據(jù)。

2.2.1 顏色特征提取

圖像的顏色特征對大小、方向較不敏感且具有明顯、直觀、易于描述的物理特性[13]。顏色特征作為藏藥材切片種類識別的重要的要素，本文使用RGB（Red Green Blue）顏色特征方法對圖像的顏色特征進(jìn)行提取。在RGB 編碼中，每種顏色的強(qiáng)度分別用紅、綠、藍(lán)三個(gè)變量來表示。編碼后將RGB顏色空間轉(zhuǎn)換為HSI顏色空間進(jìn)行圖像特征向量提取，得到顏色特征向量并進(jìn)行歸一化處理。與RGB 模型相比，HSI 模型加入了飽和度與亮度、兩個(gè)特征參量，假設(shè)RGB 顏色空間中顏色分量的值分別為（R,G,B），（R,G,B）∈[0,1]，從RGB 顏色空間轉(zhuǎn)換到HSI 顏色空間的計(jì)算公式如下[14]：

2.2.2 改進(jìn)的HOG算法進(jìn)行形狀特征提取

HOG（Histogram of oriented gradient）算法[15]廣泛應(yīng)用于圖像的形狀特征提取。本文提出一種改進(jìn)的HOG 方法進(jìn)行形狀特征提取。具體地，本文將圖像進(jìn)行分塊處理，使提取的特征向量包含更多的信息。將圖像分為3×3 塊，讓相鄰的分塊區(qū)域有部分重疊。通過步長設(shè)置使重疊部分為每分塊的一半。形狀特征提取的具體方法為首先對圖像進(jìn)行歸一化處理，然后對彩色圖像進(jìn)行Gamma壓縮，降低陰影和光照變化的影響。再進(jìn)行梯度計(jì)算，對歸一化的彩色圖像進(jìn)行梯度計(jì)算，得到水平和垂直方向梯度分量Gx、Gy，并計(jì)算當(dāng)前像素梯度幅值G，計(jì)算公式如下[16]：

提取像素點(diǎn)的梯度值后對分塊后的9個(gè)小塊分別計(jì)算梯度直方圖并進(jìn)行向量歸一化，將歸一化后的9個(gè)分塊特征向量合成一個(gè)改進(jìn)的HOG特征向量。

2.2.3 LBP算法提取紋理特征

局部二值模式（Local binary patterns，LBP）最早由Ojala 等[17]提出，之后廣泛應(yīng)用于紋理特征提取任務(wù)。LBP算法能較為理想地提取圖像中大量堆疊的切片的紋理特征。本文使用LBP 算法對圖像進(jìn)行紋理特征分塊提取，充分提取利用圖像中切片切面的局部紋理特征。文中所用LBP算法公式[17]如下：

其中，gc為像素c 在局部鄰域中心點(diǎn)的灰度值；gp(p =0, 1, …,p- 1)表示表示距離中心點(diǎn)c 為R 的領(lǐng)域內(nèi)P個(gè)采樣像素的灰度值；s(gp-gc)為鄰域中的每個(gè)周圍像素分配的二項(xiàng)式權(quán)重2p，用于將局部鄰域的對比度信息轉(zhuǎn)換為LBP特征值。

2.3 圖像多特征融合

藏藥材切片種類繁多且相似度較高，使用單一的特征只能表達(dá)圖像某一特性，無法兼顧顏色、形狀和紋理多個(gè)特征。因此進(jìn)行多特征融合，會對圖像的特征描述更加全面[18]。本文針對RGB、HOG 和LBP 算法各自的特點(diǎn)和優(yōu)勢，根據(jù)藏藥材切片識別對切片顏色、邊緣輪廓和局部紋理信息的要求，通過融合RGB、HOG 和LBP 特征的方法提取藏藥材切片圖像特征，并結(jié)合深度學(xué)習(xí)模型進(jìn)行圖像識別，從而實(shí)現(xiàn)藏藥材切片圖像的自動識別。特征融合采用對不同特征賦不同權(quán)重的方法[19]，融合特征的整體權(quán)重為1，通過實(shí)驗(yàn)得出每個(gè)特征的最優(yōu)權(quán)重，多特征融合公式如下：

其中，F(xiàn) 代表融合特征，F(xiàn)RGB代表顏色特征，F(xiàn)IHOG代表形狀特征，F(xiàn)LBP代表紋理特征，a,b,c分別代表每個(gè)特征的權(quán)重系數(shù)。

2.4 注意力機(jī)制

注意力機(jī)制（Attention mechanism）是一種模仿人類注意力機(jī)制的計(jì)算模型，被廣泛應(yīng)用于深度學(xué)習(xí)中。其作用是為模型賦予對輸入數(shù)據(jù)的不同重要性的關(guān)注度，從而提升模型對于輸入信息的處理能力[20]。通過引入注意力機(jī)制，模型可以更加靈活地處理不同位置或特征之間的關(guān)系，提高模型的表現(xiàn)能力和解釋性[21]。本文構(gòu)建的藏藥材切片識別模型在神經(jīng)網(wǎng)絡(luò)部分應(yīng)用了注意力機(jī)制聚焦藏藥材切片的關(guān)鍵分辨特征區(qū)域獲得更為精準(zhǔn)的判別特征，進(jìn)而提升模型的切片圖像識別準(zhǔn)確率。

2.5 AlexNet

AlexNet 由Alex Krizhevsky 等人在2012 年提出[21]。AlexNet在圖像分類任務(wù)中引入了許多創(chuàng)新之處，包括使用了更深的網(wǎng)絡(luò)層數(shù)、大量的卷積層和池化層、非線性激活函數(shù)ReLU 等[22]。本文模型構(gòu)建中神經(jīng)網(wǎng)絡(luò)采用AlexNet網(wǎng)絡(luò)。AlexNet在圖像分類任務(wù)中引入了許多創(chuàng)新之處[23]，較深的網(wǎng)絡(luò)結(jié)構(gòu)使其能夠更好地捕捉圖像的高級特征，提高圖像分類性能；使用大尺寸濾波器有助于捕捉圖像中更全局和語義上更豐富的特征；采用ReLU 作為激活函數(shù)，具有線性和非線性特性，計(jì)算更加高效。

2.6 多特征融合結(jié)合深度學(xué)習(xí)模型

為使識別模型摒棄藏藥材切片圖像中的器具、人手等無效信息關(guān)注切片的特征信息，本文提出首先用多特征融合提取藏藥材切片圖像的底層特征，然后將其作為深度神經(jīng)網(wǎng)絡(luò)的輸入，進(jìn)一步學(xué)習(xí)深度特征表示。本文提出模型的骨干網(wǎng)絡(luò)為 AlexNet，并在網(wǎng)絡(luò)中使用注意力機(jī)制，增加注意力機(jī)制后模型會根據(jù)輸入數(shù)據(jù)的不同特征，動態(tài)地分配權(quán)重，以決定對不同位置或特征的關(guān)注程度。模型可以自動地學(xué)習(xí)并集中注意力于對當(dāng)前任務(wù)更為重要的信息部分。通過將注意力權(quán)重與輸入數(shù)據(jù)的特征進(jìn)行加權(quán)求和，可以產(chǎn)生新的表示或者加權(quán)的特征向量，用于后續(xù)的模型處理。本文提出的多特征融合結(jié)合深度學(xué)習(xí)模型結(jié)構(gòu)如圖3所示。首先將原始圖像分別進(jìn)行顏色特征、形狀特征、紋理特征提取，獲得圖像的底層特征后將其進(jìn)行特征融合。隨后將融合特征作為神經(jīng)網(wǎng)絡(luò)的輸入，通過注意力機(jī)制聚焦最具判別性特征輸出識別結(jié)果。

2.7 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)在自建的圖像數(shù)據(jù)集上進(jìn)行。在實(shí)驗(yàn)過程中學(xué)習(xí)率為0.001，權(quán)重衰減系數(shù)為0.0005，批尺寸為24，網(wǎng)絡(luò)迭代次數(shù)（Epoch）為250，使用交叉熵?fù)p失作為損失函數(shù)。在將圖像輸入具有注意力機(jī)制的AlexNet網(wǎng)絡(luò)中訓(xùn)練時(shí)，網(wǎng)絡(luò)通過自身學(xué)習(xí)確定注意力機(jī)制的權(quán)值。將原始圖像分別進(jìn)行單一特征提取后輸入融入注意力機(jī)制的AlexNet 網(wǎng)絡(luò)之后再將圖像進(jìn)行多特征融合后輸入融入注意力機(jī)制的AlexNet 網(wǎng)絡(luò)。最后在復(fù)雜測試集上分別用AlexNet 網(wǎng)絡(luò)、融入注意力機(jī)制的AlexNet 網(wǎng)絡(luò)、多特征融合結(jié)合AlexNet網(wǎng)絡(luò)進(jìn)行識別，獲得不同網(wǎng)絡(luò)的識別結(jié)果。

3 實(shí)驗(yàn)結(jié)果

3.1 消融實(shí)驗(yàn)

實(shí)驗(yàn)結(jié)果如圖4所示，總體看來，增加注意力機(jī)制可以提升識別模型的識別準(zhǔn)確率。使用本文多特征融合方法的準(zhǔn)確率最高，為91.68%。對圖像進(jìn)行特征提取后識別準(zhǔn)確率高于單一使用深度學(xué)習(xí)網(wǎng)絡(luò)。單一使用AlexNet 網(wǎng)絡(luò)的圖像識別準(zhǔn)確率為72.36%，而使用注意力機(jī)制后識別結(jié)果有所提升，為78.12%。對圖像進(jìn)行單一的顏色特征提取后使用注意力機(jī)制深度學(xué)習(xí)網(wǎng)絡(luò)模型識別準(zhǔn)確率為78.93%，與單一使用注意力機(jī)制后的深度學(xué)習(xí)網(wǎng)絡(luò)識別準(zhǔn)確率提升不大。通過分析，由于部分藏藥材切片的顏色相似度較高，導(dǎo)致使用單一的顏色特征準(zhǔn)確率提升不大。而使用單一的形狀或紋理特征紋理優(yōu)于使用增加注意力機(jī)制后網(wǎng)絡(luò)的進(jìn)行識別。

圖4 簡單測試集識別準(zhǔn)確率

表2展示了不同數(shù)據(jù)集上不同方法的圖像識別準(zhǔn)確率，與在簡單測試集的實(shí)驗(yàn)結(jié)果相比，多特征融合結(jié)合深度學(xué)習(xí)網(wǎng)絡(luò)模型對目標(biāo)圖像的識別性能更加穩(wěn)定，識別準(zhǔn)確率僅下降1%左右。實(shí)驗(yàn)結(jié)果證明多特征融合結(jié)合深度學(xué)習(xí)模型可以更好地提取復(fù)雜環(huán)境中目標(biāo)圖像的判別特征。

表2 不同數(shù)據(jù)集與方法實(shí)驗(yàn)結(jié)果

3.2 特征權(quán)重

通過實(shí)驗(yàn)對比不同權(quán)重下藏藥材切片圖像的識別準(zhǔn)確率，獲得特征融合的最優(yōu)特征權(quán)重，部分不同權(quán)重分配下的圖像識別準(zhǔn)確率如表3所示。

表3 不同權(quán)重分配與圖像識別準(zhǔn)確率

由表3可以看出，當(dāng)a=0.2、b=0.35、c=0.45時(shí)，復(fù)雜背景藏藥材切片圖像識別準(zhǔn)確率最高。RGB、IHOG和LBP 提取的特征單獨(dú)使用僅能體現(xiàn)圖像單一特征，而3個(gè)特征進(jìn)行不同的權(quán)重組合能夠更加全面地描述圖像特征。其中，當(dāng)RGB 特征權(quán)重值為0.2，IHOG 特征權(quán)重值為0.35，LBP 特征權(quán)重值為0.45 時(shí)為最優(yōu)權(quán)重，可以得出藏藥材切片圖像中紋理特征與形狀特征更能表達(dá)圖像的內(nèi)容信息。

3.3 原始HOG與改進(jìn)HOG方法對比

在最優(yōu)權(quán)重下分別使用原始HOG 與改進(jìn)HOG（IHOG）方法進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果在表2 中可以找到所示。由實(shí)驗(yàn)結(jié)果可以看出，改進(jìn)HOG 與原始HOG 方法相比，改進(jìn)HOG方法提取形狀特征與其他特征融合之后，復(fù)雜背景藏藥材切片圖像識別準(zhǔn)確率提高了2.85%。

3.4 對比實(shí)驗(yàn)

在自建數(shù)據(jù)集上將本文所提模型與現(xiàn)有藥材識別方法進(jìn)行對比實(shí)驗(yàn)（見表2）。張誼等[8]使用的ShuffleNet V2、MobileNet V2、ResNet50 模型在本文復(fù)雜背景數(shù)據(jù)集上表現(xiàn)不佳，識別準(zhǔn)確率分別為72.12%、68.64%、70.23%，下降較大；與孫鑫等[9]復(fù)雜背景中藥飲片研究所用的VGG16模型相比，在本文數(shù)據(jù)集上本文所提方法識別準(zhǔn)確率提高了21.98%；陳雁等[10]使用GAN網(wǎng)絡(luò)對本文數(shù)據(jù)集圖像識別的為72.15%。本文所提模型的識別準(zhǔn)確率為91.68%，為最優(yōu)。對比實(shí)驗(yàn)結(jié)果證明，本文提出的多特征融合結(jié)合深度學(xué)習(xí)方法能有效提升模型在復(fù)雜環(huán)境圖像識別中的可應(yīng)用性。

3.5 F_AlexNet_Att 在其他中藥飲片自動鑒別上的應(yīng)用

為了進(jìn)一步驗(yàn)證本文方法的有效性和擴(kuò)展應(yīng)用范圍，本文收集了川貝母、山楂、半夏、山藥、白術(shù)、烏梅、檀香、靈芝、牛蒡子、桑白皮、連翹、檳榔、石斛、桔梗、丹參、鹽杜仲、白鼓、金銀花、艾葉、茯苓20 種常見中藥飲片圖像使用本文方法進(jìn)行測試實(shí)驗(yàn)，所收集的圖像均經(jīng)過專業(yè)人員鑒定，確保了每種藥材圖像的準(zhǔn)確性。測試中每種中藥飲片選取100張復(fù)雜背景圖像進(jìn)行測試，識別結(jié)果如圖5所示。由實(shí)驗(yàn)結(jié)果可知，該方法能對川貝母、山楂及半夏等常見中藥飲片進(jìn)行準(zhǔn)確鑒別，說明該方法對其他中藥材鑒定也同樣具有可行性，應(yīng)用范圍較廣泛。

圖5 F_AlexNet_At對中藥飲片識別結(jié)果

4 討論

傳統(tǒng)依靠人工的中藥飲片的鑒別基于飲片形狀、大小、顏色、表面、斷面、質(zhì)地、氣、味等方面進(jìn)行，準(zhǔn)確率高卻費(fèi)時(shí)費(fèi)力。神經(jīng)網(wǎng)絡(luò)所具有的強(qiáng)大學(xué)習(xí)能力能夠?qū)σ欢l件下的中藥飲片圖像達(dá)到極高的識別效果。但是對藏藥材切片圖像來說，隨著切片種類增多，圖像背景復(fù)雜度增加等原因，會對藏藥材切片圖像的識別準(zhǔn)確率有所影響。本文提出的多特征融合結(jié)合深度學(xué)習(xí)模型具有廣泛的應(yīng)用前景，針對川貝母、山楂等視覺特征相差較大的常見中藥飲片識別準(zhǔn)確率達(dá)到98%，對于視覺特征差別不大的藏藥材切片圖像識別準(zhǔn)確率達(dá)到91.38%。由于不同種類切片高度相似的判別特征容易引起識別錯(cuò)誤，后續(xù)研究方向主要關(guān)于視覺特征高度相似的藏藥材切片和中藥飲片進(jìn)行識別的研究工作，期望獲得更高的識別準(zhǔn)確率。