Construction of classification model for oral medication in inpatient departments based on deep learning

WANG Xiyu， LI Nanxin， XIANG Fan， LI Yang， TANG Liangyou， XIANG Junlian， ZHANG Junran

College of Electrical Engineering， Sichuan University， Sichuan 610065 China

Corresponding Author "XIANG "Junlian， E?mail： 1256556311@qq. com; ZHANG "Junran， E?mail： zhangjunran@126.com

Abstract "Objective：To construct an oral medication classification model for inpatient pharmacies based on deep learning.Methods：Actual scenes were simulated，95 types of pill picture were collected to construct dataset，and pictures "in dataset were "preprocessed.Classification model for pills was constructed based on MobileNet V2 network，and Squeeze-and?excitation networks were embeded in the model to enhance the network's feature channel dependencies.Method of transfer learning was applied，using the pill dataset built by researchers to train and test the model，and the performance of the model was tested through the classification accuracy and the parameter quantity of the model.Results：The constructed model in this study demonstrates outstanding performance in classifying oral pill images collected in natural environments.Trained and tested on a self?built dataset comprising 95 categories and a total of 728 images，the "accuracy "of model classification was 95.8%.This outperforms MobileNet V2，ShuffleNet V2，and ResNet50 "by "11.6%，14.3%，and "11.3%，respectively.The amount of model parameters was 2.55 M，which was approximately 1 out of 10 of ResNet50.Conclusions：The model constructed in this paper better balances the complexity and classification accuracy of the model，and provides a technical route and effect "verification for the automatic pill classification system involved in pharmacies and other scenarios.It has certain theoretical and practical application value for improving the level of nursing automation in specific situations such as pharmacy dispensing and ward drug distribution.

Keywords """pharmacy；"oral medication；"image processing；"classification model；"deep learning；"MobileNet V2 network

摘要""目的：基于深度學習法構(gòu)建針對住院部的口服藥分類模型。方法：模擬實際應(yīng)用場景，采集95類藥丸圖片構(gòu)建數(shù)據(jù)集，并對其進行圖片預處理操作；以MobileNet V2網(wǎng)絡(luò)為基礎(chǔ)架構(gòu)建立藥丸分類模型，并在模型中嵌入注意力機制以增強網(wǎng)絡(luò)特征通道間的依賴關(guān)系；融合遷移學習的方法，利用自建藥丸數(shù)據(jù)集對模型進行訓練和測試，通過模型分類準確率和模型參數(shù)量指標檢測模型性能。結(jié)果：本研究構(gòu)建的模型在自然環(huán)境中采集的口服藥丸圖片分類方面表現(xiàn)卓越，通過使用包含95類藥丸、總計728張圖片的自建數(shù)據(jù)集進行訓練和測試，模型分類準確率為95.8%，分別比MobileNet V2、ShuffleNet V2、ResNet50高11.6%、14.3%、11.3%。模型參數(shù)量為2.55 M，約為ResNet50的1/10。結(jié)論：本研究構(gòu)建的模型可以較好地平衡模型的復雜度和分類準確率，為藥房等場景下涉及的藥丸自動分類系統(tǒng)提供技術(shù)路線和效果驗證，對于提升藥房發(fā)藥、病房分藥等具體情形的護理自動化水平具有一定的理論和實際應(yīng)用價值。

關(guān)鍵詞""藥房；口服藥；圖像處理；分類模型；深度學習；MobileNet V2網(wǎng)絡(luò)

doi：10.12102/j.issn.1009-6493.2024.06.002

住院部藥房主要負責院內(nèi)的藥品管理與供應(yīng)，需承擔全院住院病人含口服藥丸在內(nèi)的藥品調(diào)配、核對和發(fā)放工作^[1]。目前大多數(shù)醫(yī)院住院藥房依舊采用傳統(tǒng)的擺藥模式，即由醫(yī)師執(zhí)行病人醫(yī)囑，藥房藥劑師打印醫(yī)囑單，然后調(diào)配藥劑師配藥，另1名藥劑師或住院部護理人員核對后發(fā)藥^[2]。整個過程會占用大量人力，效率較低。同時，由于口服藥丸種類繁多，許多片劑具有相似的外觀，去掉包裝后難以區(qū)分，增加了藥劑師和護理人員核對藥品的難度^[3]，因此，一般情況下的分藥、發(fā)藥過程往往僅核對藥品數(shù)量而無法準確核對藥品種類，一旦發(fā)生用藥錯誤事件，可能對病人造成不可逆轉(zhuǎn)的嚴重影響，甚至導致死亡。此外，配藥過程中如未及時消毒藥杯和藥匙，或調(diào)配藥劑師違反操作規(guī)程接觸到藥丸，還可能會使藥丸受到不同程度的污染。研發(fā)住院部藥丸分類系統(tǒng)，實現(xiàn)識藥、分藥自動化以代替?zhèn)鹘y(tǒng)擺藥方式，能極大地降低藥房工作量，減少藥物污染和人為導致的用藥錯誤問題，提高用藥安全性，而建立一個能夠準確識別和分類藥丸的算法模型又是構(gòu)建藥丸分類系統(tǒng)的關(guān)鍵。當前計算機視覺技術(shù)發(fā)展日趨成熟，已廣泛應(yīng)用于人臉識別、車牌識別等領(lǐng)域，對于藥丸識別、分類任務(wù)而言，利用計算機視覺相關(guān)技術(shù)，相較于人工主觀經(jīng)驗判斷，能夠更好地避免由于勞累、注意力不集中等原因而造成的分藥錯誤。

1 "研究基礎(chǔ)

早期提出的利用計算機視覺技術(shù)實現(xiàn)藥丸分類通常是基于傳統(tǒng)機器學習的方法，即采用圖像處理技術(shù)提取藥丸的視覺特征后利用支持向量機等分類方法對藥丸進行分類。李帥^[4]通過傳統(tǒng)機器學習提取藥物特征，優(yōu)化基礎(chǔ)分類器對藥物進行分類，實現(xiàn)了藥房自動化的任務(wù)。Cordeiro等^[5]提出一種基于機器學習的藥丸圖像自動分類系統(tǒng)，使用圖像處理技術(shù)提取藥丸圖片的形狀和顏色特征作為分類標準，然后以支持向量機和多層感知器為分類器進行分類，最終取得良好效果。但以上方法依賴手工設(shè)計特征，識別效果受特征提取設(shè)計和分類器選擇影響，泛化能力差。將深度學習應(yīng)用于藥丸識別任務(wù)中，利用卷積網(wǎng)絡(luò)對二維圖像進行特征提取并分類，無須手工設(shè)計特征，具有較強的泛化性。但由于目前缺乏大規(guī)模藥丸圖片數(shù)據(jù)集，將深度學習應(yīng)用于藥丸識別任務(wù)中的研究仍然較少，只有少量方法被提出，主要分2種形式，1種是對藥丸外包裝圖片進行識別，如張震江等^[6]在藥品外包裝進行識別分類的任務(wù)中，利用LeNet深度學習框架設(shè)計了卷積網(wǎng)絡(luò)模型，對56種藥品約47萬張圖片進行分類，準確率達95.6%；施華宇等^[7]應(yīng)用深度學習技術(shù)研究了藥品包裝識別系統(tǒng)，完成對500種藥品的分類識別，訓練時驗證準確率為96.4%。另1種是針對無外包裝藥丸的識別，如王振亞等^[8]提出了基于改進EfficientNet網(wǎng)絡(luò)模型的藥片分類檢測方法，對9類藥片、共3 750張圖片進行分類檢測，準確率達98.93%；Swastika等^[9]提出一個基于多卷積的藥丸圖片識別模型，使用3個卷積網(wǎng)絡(luò)分別提取藥丸形狀、顏色和印記特征，集成網(wǎng)絡(luò)后進行識別，該網(wǎng)絡(luò)在8種藥丸、24 000張圖片上訓練，取得良好效果?？梢姡糜嬎銠C視覺和深度學習實現(xiàn)藥房藥丸自動分類具有技術(shù)可行性，但已有實驗仍然具有一定局限性，如藥房中需對多種無外包裝的藥丸分類，而已有研究中，無外包裝藥丸種類較少，每類樣本量較多；實驗中訓練使用的圖片大部分是在良好控制條件下拍攝，而在真實藥丸識別過程中通常會面臨較復雜的物理環(huán)境（如不同光照等），導致捕捉到的圖片質(zhì)量較差。故已有模型識別性能仍需提高。

本研究進一步探索設(shè)計更加符合醫(yī)院實際需求的模型，提出基于改進MobileNet V2^[10]模型進行遷移學習的藥丸分類識別系統(tǒng)。MobileNet V2具有參數(shù)少、模型尺寸小的特點，便于后期嵌入送藥機器人等設(shè)備使用；在MobileNet V2中引入通道注意力機制壓縮與激勵（squeeze?and?excitation，SE），SE注意力機制在處理復雜環(huán)境拍攝下的藥丸圖片時有利于幫助網(wǎng)絡(luò)自適應(yīng)地調(diào)整每個通道的權(quán)重，從而增強模型對于不同光照和角度變化的魯棒性，提高分類效果；由于藥丸種類較多且采集困難，導致每類藥丸的數(shù)據(jù)樣本量較小，因此，融合遷移學習的方法，將大規(guī)模數(shù)據(jù)集學習到的邊緣、紋理、顏色等圖片的通用特征遷移到藥丸模型中用于藥丸圖片分類，有利于解決模型訓練數(shù)據(jù)不充分的問題，使模型獲得更好的分類性能。

2 "研究方法

2.1 數(shù)據(jù)采集

2.1.1 數(shù)據(jù)來源

采集德陽市人民醫(yī)院住院部的無外包裝口服藥丸圖片構(gòu)建口服藥丸數(shù)據(jù)集，共采集728張圖片，涵蓋95種口服藥丸，每種藥丸4～25張圖片。為了確保數(shù)據(jù)的準確性和可靠性，制定藥丸納入及排除標準。納入標準：剝離硬包裝的固體劑型（除顆粒劑、粉劑），包括普通片劑（片劑、薄膜衣片、糖衣片、浸膏片、分散片、劃痕片等）、硬膠囊和軟膠囊（膠丸）；每種藥丸須存在1處及以上外觀差別（如顏色、形狀、有無印記或其他差距）。排除標準：受損、污染或其他原因造成明顯缺陷。

2.1.2 拍攝方法

使用藥物分類模型在實際場景中進行藥丸識別分類時往往會受到環(huán)境因素干擾，如光照強度、角度和顏色等，導致捕捉到的藥丸圖片出現(xiàn)陰影和模糊等問題，從而影響模型準確性。為提高模型在應(yīng)用場景（如住院部病房）中的判斷準確率，研究組采用更加貼近實際場景的方法構(gòu)建數(shù)據(jù)集，具體方法為：隨機將藥丸擺放在不同顏色背景板中的參考界面內(nèi)，采用攝影器材從不同光照強度和距離拍攝藥丸圖片。鑒于藥丸隨機擺放過程中可能出現(xiàn)疊放、側(cè)放等問題，采用多視圖、多角度的方法對藥丸圖片進行采集，以獲取更全面的藥丸信息。構(gòu)建的數(shù)據(jù)集可以更好地模擬實際場景，從而使訓練的模型具有更好的實用性。

2.1.3 圖片處理

2.1.3.1 圖片邊緣檢測

數(shù)據(jù)集中藥丸原始圖片尺寸不同且包含大量背景信息，背景可能成為影響識別準確率的噪聲源。因此，訓練網(wǎng)絡(luò)之前需對圖片進行裁剪操作，去除部分背景。鑒于隨機裁剪或中心裁剪方式會導致藥丸信息丟失，故先利用邊緣檢測方法檢測圖片中藥丸輪廓，在確保不丟失藥丸像素的情況下利用圖片處理技術(shù)統(tǒng)一裁剪圖片。此方法在去除大量背景信息的同時可以最大化地保留有價值的藥丸信息，最終達到減少計算量、提高識別準確率的目的。本研究采用Scharr算子檢測藥丸邊緣，Scharr算子是一種常用于邊緣檢測的方式，具體步驟為：1）將藥丸原圖轉(zhuǎn)化為灰度圖，對灰度圖進行雙邊濾波以去除部分背景噪聲及紋理；2）利用Scharr算子對生成的新像素灰度值做微分運算，選取適當?shù)拈撝凳顾幫柽吘壧庍_到極值從而檢測到藥丸輪廓；3）獲得藥丸在圖片中的粗略位置，找到最大矩形包圍框；4）根據(jù)矩形框位置對原始圖片進行裁剪（保留一些邊緣背景以保證能包含整個藥丸），最終得到藥丸圖片。

2.1.3.2 數(shù)據(jù)增廣

藥丸圖片數(shù)據(jù)集具有樣本量小、每類數(shù)據(jù)不平衡的特點，其中最大類別樣本數(shù)為25個。對圖片進行擴增可以幫助模型更好地學習數(shù)據(jù)特征，提高模型泛化能力，但數(shù)據(jù)擴增會增加模型訓練時間和計算資源消耗，因此需根據(jù)數(shù)據(jù)實際情況和任務(wù)要求確定數(shù)據(jù)擴增的方式和程度。鑒于藥丸分類模型具有輕量化、模型參數(shù)小的特點，將每種藥丸樣本擴增至25個即能滿足任務(wù)需求，且不會顯著增加模型計算量，有利于確保模型輕量化。

鑒于藥丸顏色、形狀對于圖片識別具有重要意義，故對圖片進行旋轉(zhuǎn)、平移等操作。將裁剪后的藥丸圖片按0.06或0.08的比例平移；以0.9～1.1的隨機因子縮放圖片，以增強模型對藥丸尺寸變化的魯棒性。這種數(shù)據(jù)擴增方式簡單易行，且能有效擴增數(shù)據(jù)樣本，更加適用于藥丸分類任務(wù)。

2.2 模型構(gòu)建

藥丸分類的算法結(jié)構(gòu)總框架見圖1。以MobileNet V2網(wǎng)絡(luò)為模型骨干網(wǎng)絡(luò)，模型中嵌入SE注意力機制，增強特征通道間的聯(lián)系。由于深度學習進行圖片識別分類任務(wù)需要大量的數(shù)據(jù)，故本研究采用遷移學習的方法幫助模型在有限的數(shù)據(jù)集中訓練。圖片數(shù)據(jù)送入網(wǎng)絡(luò)前利用邊緣檢測方法半自動識別圖片中的藥丸（需要手動調(diào)整參數(shù)），裁剪大部分藥丸以外的信息，使視覺特征提取器最大化提取有用特征。

2.3 關(guān)鍵技術(shù)

2.3.1 MobileNet V2

2.3.1.1 介紹

本研究藥丸圖片樣本較少，采用復雜網(wǎng)絡(luò)會導致過擬合，輕量級網(wǎng)絡(luò)更符合分類任務(wù)的需求；同時，本研究構(gòu)建的模型將嵌入機器人等移動設(shè)備中應(yīng)用，故需構(gòu)建尺寸小、精度高的模型。MobileNet V2是在MobileNet V1^[11]基礎(chǔ)上進行改進的卷積神經(jīng)網(wǎng)絡(luò)，沿用MobileNet V1的深度可分離卷積，減少了模型參數(shù)量，適合藥丸分類任務(wù)，其網(wǎng)絡(luò)結(jié)構(gòu)見表1。

2.3.1.2 主要創(chuàng)新之處

1）倒殘差結(jié)構(gòu)：當步長為1時，采用殘差連接方式，避免網(wǎng)絡(luò)深度增加后出現(xiàn)梯度消失問題。與ResNet網(wǎng)絡(luò)先降維、卷積再升維的結(jié)構(gòu)^[12]不同，MobileNet V2采用先升維、卷積再降維的模式，形成了一個倒殘差結(jié)構(gòu)，見圖2；2）線性瓶頸結(jié)構(gòu)：MobileNet V2的瓶頸結(jié)構(gòu)中，用線性激活函數(shù)代替最后1層點卷積的Relu激活函數(shù)。因瓶頸結(jié)構(gòu)中最后1層逐點卷積作用主要是降維，而在低維空間采用非線性的激活函數(shù)可能出現(xiàn)特征被破壞的情況，故采用線性激活函數(shù)更加利于信息的保留^[13]。

2.3.2 SE模塊

2.3.2.1 SE原理

提取圖片特征過程中加入注意力機制，能夠幫助網(wǎng)絡(luò)定位圖片的感興趣信息，忽略其他無關(guān)信息，提高網(wǎng)絡(luò)效率。SE是一個通道注意力機制，主要關(guān)注通道之間的關(guān)系，網(wǎng)絡(luò)中融合SE注意力，能夠自動搜集每個特征通道的重要性，加強有用特征并抑制不重要的特征^[14]。SE模塊結(jié)構(gòu)見圖3，其主要分為壓縮（squeeze）、激勵（excitation）、縮放（scale）3個步驟實現(xiàn)。1）壓縮：通過全局平均池化壓縮特征圖空間特征，特征圖維度從h×w×c變?yōu)?×1×c，通道數(shù)保持不變，獲得每個通道的全局感受野；2）激勵：通過兩個全連接層和非線性激活函數(shù)建立通道間相關(guān)性，對壓縮后的特征圖進行通道特征學習，得到通道注意力信息；3）縮放：特征圖通過Sigmoid激活函數(shù)獲得歸一化權(quán)重，然后與原始輸入h×w×c維度的特征圖逐通道相乘，最終得到具有通道注意力的特征圖。

2.3.2.2 嵌入SE模塊

MobileNet V2網(wǎng)絡(luò)特征提取并沒有考慮到通道間的依賴關(guān)系，故通過在模型中嵌入SE模塊建立藥丸圖片樣本通道間的聯(lián)系，具體做法為：經(jīng)網(wǎng)絡(luò)特征提取的藥丸特征圖共1 280個通道，將提取的藥丸特征圖送入SE模塊，對特征圖分別進行壓縮、激勵、縮放操作，依據(jù)1 280個通道的特征信息不同重要程度獲得不同的權(quán)重信息，然后將獲得的權(quán)重與提取的特征逐通道相乘獲得最終藥丸信息特征。

2.4 遷移學習

2.4.1 遷移學習理論

深度學習模型的訓練通常需要大量數(shù)據(jù)樣本訓練卷積神經(jīng)網(wǎng)絡(luò)以獲得可靠的模型。而某些數(shù)據(jù)本身具有數(shù)量少、采集困難等特點。太小的數(shù)據(jù)量會導致訓練模型泛化能力差，容易出現(xiàn)過擬合。遷移學習是指將一個領(lǐng)域訓練好的模型通過適當?shù)姆椒ㄕ{(diào)整到另一個新的領(lǐng)域中^[15]。在具有相關(guān)性的任務(wù)中，神經(jīng)網(wǎng)絡(luò)的淺層部分提取的特征具有相通性，而深層網(wǎng)絡(luò)提取的高級特征用于各自特定任務(wù)，利用遷移學習的方法，將已有大規(guī)模數(shù)據(jù)集訓練得到的低級特征遷移到新的網(wǎng)絡(luò)中，再利用小數(shù)據(jù)集訓練網(wǎng)絡(luò)，不僅可以減少由于數(shù)據(jù)量小而出現(xiàn)的過擬合問題，還能縮短模型訓練時間。

2.4.2 遷移學習策略

本研究利用ImageNet數(shù)據(jù)集訓練好的MobileNet V2模型進行遷移學習，方法見圖4，因模型中加入了SE模塊，無法直接使用訓練好的MobileNet V2預訓練模型，故僅選擇具有相同參數(shù)的部分進行遷移，而模型輸出層的全連接層和包含SE模塊的部分不做處理。由于ImageNet數(shù)據(jù)集和藥丸圖片樣本集差異較大，為使模型更加適應(yīng)藥丸分類任務(wù)，在進行權(quán)重遷移后未采用僅訓練模型分類器的方式，而是利用藥丸數(shù)據(jù)集重新訓練整個模型。本研究模型參數(shù)量級較小，重新訓練網(wǎng)絡(luò)計算量仍能控制在一定數(shù)量級。

3 "結(jié)果與分析

3.1 數(shù)據(jù)劃分

本研究使用的口服藥丸圖片數(shù)據(jù)集由德陽市人民醫(yī)院提供，涉及95類藥品，共728張圖片，其中80%作為訓練數(shù)據(jù)集，用于模型訓練和參數(shù)學習；20%作為測試數(shù)據(jù)集，用于測試模型準確率、評估模型性能。

3.2 實驗環(huán)境及相關(guān)參數(shù)

實驗環(huán)境及相關(guān)參數(shù)見表2。實驗采用Adam的優(yōu)化方法對模型進行訓練，超參數(shù)epoch設(shè)置為300，學習率設(shè)計為0.001。若訓練精度在5個epoch內(nèi)沒有降低，則學習率下降10%，當學習率到達0.000 001則不再下降。

3.3 評價標準

為評價提出的網(wǎng)絡(luò)模型對藥丸圖片的識別分類性能，對模型的分類準確率和模型參數(shù)量進行評估。Top?K Accuracy：即將類別數(shù)設(shè)置為所需分類的藥丸類別（本研究為95種），其中，Accuracy為準確率，表示全體樣本中預測正確的樣本比例；Top?1代表預測可能性最大的類別為藥丸正確類別的準確率，Top?5代表預測的前5個藥丸類別中有正確類別的準確率。一般而言，Top?K Accuracy值越大說明模型性能越好。Accuracy計算公式為ACC=（TP+TN）/（TP+FP+FN+TN），其中，TP為真陽性，TN為真陰性，F(xiàn)P為假陽性，F(xiàn)N為假陰性。模型參數(shù)量：即模型內(nèi)部總的參數(shù)量，用以衡量模型需要占取內(nèi)存大小，參數(shù)越大代表模型運行需要消耗的內(nèi)存越大，一般而言，達到相同準確率的情況下，模型參數(shù)越小越好。

3.4 對比實驗結(jié)果

為了驗證本研究提出的方法對藥丸識別分類的效果，選取ResNet50、ShuffleNet V2和原始MobileNet V2網(wǎng)絡(luò)在本研究的自建藥丸數(shù)據(jù)集進行實驗。ResNet50網(wǎng)絡(luò)被廣泛應(yīng)用于工程領(lǐng)域，具有較好的特征提取能力，在很多任務(wù)中表現(xiàn)出色^[16]；ShuffleNet V2是一款輕量型模型^[17]，其參數(shù)量大幅低于一般CNN模型架構(gòu)，而本研究評估模型性能指標為藥丸分類準確率和模型參數(shù)量，故選取ResNet50、ShuffleNet V2進行比較較為合適。仿真實驗結(jié)果見表3，其中，Top?5準確率顯示各個模型表現(xiàn)優(yōu)異，本研究算法達100.00%；Top?1準確率顯示，ResNet50、MobileNet V2、ShuffleNet V2得到的測試集精度分別為84.5%、84.2%、81.5%，本研究算法準確率達95.8%。

3.5 消融實驗結(jié)果

為了證明融合遷移學習的方法和嵌入SE模塊對模型的性能提升均有貢獻，進行消融實驗。1）僅采用遷移學習的方法進行實驗。2）僅嵌入SE模塊進行實驗。實驗中，主要以模型在測試集中的Top?1準確率為指標，結(jié)果顯示，融合遷移學習的方法和嵌入SE模塊均能提高模型準確率，改善模型性能，其中，遷移學習使模型準確率得到大幅度提升，與原模型相比提高了10.3%；SE模塊次之，使模型準確率提高了2.1%，而參數(shù)量僅增加了0.20 M。見表4。

4 "討論

4.1 對比實驗結(jié)果分析

從實驗結(jié)果可知，ResNet50模型分類準確率最高，但需要大量的內(nèi)存和計算資源，模型可移植性差；ShuffleNet V2模型參數(shù)量最小，但準確率也最低；MobileNet V2雖然是一種輕量級網(wǎng)絡(luò)，但訓練效果接近ResNet50。MobileNet V2網(wǎng)絡(luò)參數(shù)量約為ResNet50的1/10，比ShuffleNet V2略微增多，但準確率增高較多。本研究算法在MobileNet V2基礎(chǔ)上進行改進，其分類準確率較MobileNet V2提高了11.6%，明顯高于其他網(wǎng)絡(luò)。本研究算法分類準確率較ResNet50高11.3%，而總參數(shù)量僅為2.55 M，小于ResNet50。由此可見，在綜合考慮準確率和參數(shù)量的情況下，本研究算法具有最佳表現(xiàn)，其對現(xiàn)實環(huán)境中采集的藥丸圖片也能良好辨別，更加便于投入實際應(yīng)用。

4.2 消融實驗結(jié)果分析

遷移學習能帶來準確率提升，原因可能為：1）訓練模型時需考慮到拍攝環(huán)境因素對藥丸圖片特征的影響，本研究未納入足夠數(shù)據(jù)量以涵蓋環(huán)境引起的藥丸顏色、形狀、圖片模糊程度等變化因素，因此，模型分類準確率上升至84%左右后即使訓練輪次增加也難以再上升。由于MobileNet V2在ImageNet數(shù)據(jù)中預訓練得到的特征表示包括顏色和形狀信息，此時將MobileNet V2預訓練模型部分權(quán)重遷移至藥丸分類模型，相當于在藥丸數(shù)據(jù)訓練模型之前，模型已在大規(guī)模數(shù)據(jù)基礎(chǔ)上訓練并且得到了對顏色、形狀變化具有一定魯棒性的特征表示，而當再次使用現(xiàn)實環(huán)境拍攝的藥丸數(shù)據(jù)訓練模型時，模型分類錯誤情況大大減少，藥丸準確率大幅度上升。2）藥丸數(shù)據(jù)集中每類樣本數(shù)據(jù)量較少，導致分類器過度適應(yīng)訓練數(shù)據(jù)集及噪聲等，無法適應(yīng)新樣本，造成測試準確率無法上升。而模型通過遷移學習得到大量淺層通用的特征表示，將這些特征應(yīng)用于藥丸分類中，有利于提高模型的泛化能力。

嵌入SE模塊能提升準確率，原因可能為：1）藥丸顏色、紋理、形狀外觀特征是網(wǎng)絡(luò)分類的關(guān)鍵因素，受不同光照、拍攝角度、距離等環(huán)境因素影響，捕捉到的藥丸顏色、紋理、形狀存在差異，導致同類藥丸圖片差異增大、不同類別藥丸差異減小，從而造成分類錯誤。從顏色特征角度考慮，紅（R）、綠（G）、藍（B）的3個通道分別對應(yīng)藥丸的顏色信息，每個顏色通道對不同光照條件的響應(yīng)程度不同，而SE能判斷哪些顏色通道對識別特定藥丸更重要，哪些通道受光照影響較小，如在某個光照條件下，藥丸的R通道更重要，且在光照影響下變化最小，那么SE會自適應(yīng)地加大R通道的權(quán)重抑制其他通道，從而減輕整體顏色差異對模型造成的影響，最終提高分類準確率。同樣，SE會搜尋通道中具有區(qū)分度的形狀、紋理特征，更加關(guān)注對分類有利的特征，從而減小拍攝環(huán)境造成的影響。2）藥丸數(shù)據(jù)集具有種類多、每類樣本量少的特點，每類藥丸供網(wǎng)絡(luò)訓練的特征信息有限，隨著分類增加，網(wǎng)絡(luò)分類難度增大，影響模型識別能力。而SE能在網(wǎng)絡(luò)中建立藥丸類別間以及類別中各樣本通道間的聯(lián)系，使網(wǎng)絡(luò)挖掘到更多深層次的特征信息，并去除圖片噪聲帶來的影響，一定程度上提高了訓練效果。

可見，本研究涉及的改進均能給模型性能改進提供幫助。遷移學習和SE注意力機制較適合用于小樣本的藥丸分類任務(wù)，在有效提高藥丸分類準確率的同時兼顧模型體積，方便在未來嵌入實際藥丸自動分類系統(tǒng)中應(yīng)用。

5 "小結(jié)與展望

本研究從三級甲等醫(yī)院住院藥房的口服藥丸自動分類系統(tǒng)實際需求出發(fā)，通過建立口服藥丸圖片數(shù)據(jù)集，結(jié)合深度學習模型和圖像處理等計算機視覺技術(shù)，提出一個基于改進MobileNet V2 和遷移學習的口服藥丸識別分類模型。首先，從模型體積和分類準確率綜合考慮，選取MobileNet V2作為骨干網(wǎng)絡(luò)，以盡量減少藥丸模型框架體積。其次，MobileNet V2中嵌入SE模塊，在增加微量開銷的情況下可以使模型更加關(guān)注藥丸特征通道間的聯(lián)系，減少因環(huán)境造成的藥丸圖片顏色、形狀等差異而導致識別錯誤的情況。最后，遷移學習方法將ImageNet數(shù)據(jù)中訓練過的MobileNet V2部分權(quán)重遷移至藥丸模型，模型得到對顏色、形狀變化具有一定魯棒性的特征表示，使模型在樣本量有限的情況下可以應(yīng)對復雜拍攝環(huán)境的影響，并部分解決了由于樣本數(shù)據(jù)量有限導致的分類準確率無法得到提升的問題。另外，在數(shù)據(jù)預處理階段，鑒于采集到的藥丸在圖片中的位置不一問題，通過邊緣檢測的方法對藥丸圖片進行裁剪，有利于在不降低藥丸圖片像素的情況下去除大量背景信息，提高訓練效率。最終本研究建立的模型參數(shù)總量為2.55 M，在95種口服藥丸圖片分類任務(wù)中，對現(xiàn)實情況中拍攝的多類藥丸圖片Top?1分類準確率高達95.8%，滿足模型對樣本量有限且非受控條件下采集的數(shù)據(jù)保持高分類準確率的需求，實現(xiàn)了藥丸圖片分類的低計算資源消耗與較高準確率的雙重要求，為藥房、護理等醫(yī)院實際場景條件下涉及的藥丸自動分類系統(tǒng)提供了技術(shù)路線和效果驗證，對于提升我國藥房發(fā)藥、病房分藥等的自動化水平具有一定的理論和實際應(yīng)用價值。從醫(yī)學臨床應(yīng)用角度來看，本研究的藥丸分類識別模型仍需要進一步深入探究和完善：該模型的識別準確率受多個因素影響，包括圖片質(zhì)量、藥丸類別數(shù)目和每類樣本量等。由于藥房中藥丸種類繁多，對每類藥丸進行多張圖片采集需要耗費大量時間，從而限制了數(shù)據(jù)集的規(guī)模和質(zhì)量，一定程度上影響了模型的訓練效果。未來隨著藥丸種類和數(shù)量的增加，將進一步驗證本研究模型的性能，以使構(gòu)建的識別模型更加符合住院藥房實際需求。其次，該模型如需投入住院藥房中使用，為確保用藥安全，其準確率仍需進一步提高，而當前存在的分類錯誤通常發(fā)生在藥丸類間差距極小的情況下，針對易混淆的藥丸，單純的增加樣本數(shù)并不能有效提高分類準確率，因此未來需著重將易混淆藥丸的特征進行細化研究，使模型達到更高的準確率，確保用藥安全性。最后，將研究模型應(yīng)用于實際臨床分類時，需要結(jié)合藥丸圖片和臨床處方等文本信息，以提高分類準確率并實現(xiàn)個體化用藥建議。這樣設(shè)計的藥丸自動分類系統(tǒng)更符合醫(yī)院流程，增強了模型的實際應(yīng)用價值。這將有利于提高藥房工作效率和醫(yī)療質(zhì)量，減輕護士及藥劑師工作壓力，從而更好地服務(wù)病人。

參考文獻：

[1] "陳繼涢，葉巖榮，嚴大鵬.我院住院藥房全自動分包機拆零藥品安全管理[J].中國醫(yī)藥科學，2021，11（24）：18-21;33.

CHEN J Y，YE Y R，YAN D P.Safety management of dispensing drugs by automatic dispensing machine in inpatient pharmacy of our hospital[J].China Medicine and Pharmacy，2021，11（24）：18-21;33.

[2] "武娜，姚青霞，康曉娜.全程化藥學服務(wù)在醫(yī)院住院藥房的應(yīng)用現(xiàn)狀分析[J].中國衛(wèi)生產(chǎn)業(yè)，2020，17（9）：77-79.

WU N，YAO Q X，KANG X N.Analysis of application status of full-course pharmacy services in hospital pharmacy[J].China Health Industry，2020，17（9）：77-79.

[3] "趙潔清.住院藥房口服擺藥常見問題及建議[J].中國當代醫(yī)藥，2012，19（21）：195-196.

ZHAO J Q.Common problems and suggestions of oral dispensing in inpatient pharmacy[J].China Modern Medicine，2012，19（21）：195-196.

[4] "李帥.智慧藥房中藥品圖像分割與識別研究[D].西安：西安電子科技大學，2020.

LI S.Research on drug image segmentation and recognition in smart pharmacy[D].Xi'an：Xidian University，2020.

[5] "CORDEIRO L S，LIMA J S，ROCHA RIBEIRO A I，et al.Pill image classification using machine learning[G]//2019 8th Brazilian Conference on Intelligent Systems（BRACIS）.Salvador：IEEE，2019：556-561.

[6] "張震江，施華宇，辛海莉，等.深度學習技術(shù)輔助門診發(fā)藥實踐[J].中國數(shù)字醫(yī)學，2019，14（3）：56-58;107.

ZHANG Z J，SHI H Y，XIN H L，et al.Practice of deep learning technology to assist outpatient dispensing of drugs[J].China Digital Medicine，2019，14（3）：56-58;107.

[7] "施華宇，劉敏超，辛海莉，等.利用深度學習技術(shù)構(gòu)建藥品包裝識別系統(tǒng)方法研究[J].中國醫(yī)院，2019，23（10）：16-18.

SHI H Y，LIU M C，XIN H L，et al.Research on construction drug packaging identification system by deep learning[J].Chinese Hospitals，2019，23（10）：16-18.

[8] "王振亞，趙繼紅，王艷鵬，等.基于改進EfficientNet網(wǎng)絡(luò)的藥片檢測分類的研究[J].現(xiàn)代計算機，2021，27（28）：27-32.

WANG Z Y，ZHAO J H，WANG Y P，et al.Tablet detection and classification based on improved EfficientNet network[J].Modern Computer，2021，27（28）：27-32.

[9] "SWASTIKA W，PRILIANTI K，STEFANUS A，et al.Preliminary study of multi convolution neural network-based model to identify pills image using classification rules[G]//2019 International Seminar on Intelligent Technology and Its Applications（ISITIA）.Surabaya：IEEE，2020：376-380.

[10] "SANDLER M，HOWARD A，ZHU M L，et al.MobileNetV2：inverted residuals and linear bottlenecks[G]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：4510-4520.

[11] "HOWARD A G，ZHU M L，CHEN B，et al.MobileNets：efficient convolutional neural networks for mobile vision applications[EB/OL].[2023-04-10].https：//arxiv.org/abs/1704.04861.pdf.

[12] "HE K M，ZHANG X Y，REN S Q，et al.Deep residual learning for image recognition[G]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：770-778.

[13] "CHU J L， KRZY?AK A.Analysis of feature maps selection in supervised learning using convolutional neural networks[G]//Canadian Conference on Artificial Intelligence.Cham：Springer，2014：59-70.

[14] "HU J，SHEN L，SUN G.Squeeze-and-excitation networks[G]//Proceedings of the IEEE conference on computer vision and pattern recognition.Salt Lake City：IEEE，2018：7132-7141.

[15] "張凱，于航.基于深度學習的遙感圖像土地分類研究[J].計算機時代，2022（9）：108-110;114.

ZHANG K，YU H.Remote sensing image land classification using machine learning[J].Computer Era，2022（9）：108-110;114.

[16] "孫俊，朱偉棟，羅元秋，等.基于改進MobileNet-V2的田間農(nóng)作物葉片病害識別[J].農(nóng)業(yè)工程學報，2021，37（22）：161-169.

SUN J，ZHU W D，LUO Y Q，et al.Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2[J].Transactions of the Chinese Society of Agricultural Engineering，2021，37（22）：161-169.

[17] "MA N，ZHANG X，ZHENG H T，et al.ShuffleNet V2：practical guidelines for efficient cnn architecture design[G]//Proceedings of the European Conference on Computer vision（ECCV）.Munich：ECCV Association，2018：116-131.

（本文編輯"陳瓊）