王玉群,孟名柱

(南京醫(yī)科大學(xué)附屬常州第二人民醫(yī)院1.藥劑科;2.醫(yī)學(xué)影像科,常州 213164)

醫(yī)院門急診藥房藥品調(diào)配差錯的防控依然是當(dāng)前的熱點(diǎn)話題。調(diào)配差錯通常是指藥房調(diào)配的藥品與醫(yī)師處方內(nèi)容不一致,分內(nèi)差和外差2種情況。內(nèi)差為前臺核發(fā)藥師發(fā)現(xiàn)后臺藥師調(diào)配的處方有錯,在發(fā)給患者之前予以糾正的差錯,外差為前臺藥師沒有發(fā)現(xiàn)后臺藥師調(diào)配的處方有錯,發(fā)給患者之后發(fā)現(xiàn)的差錯[1-2]。降低內(nèi)差的發(fā)生率是提高門急診藥房藥品調(diào)配質(zhì)量與降低外差發(fā)生率的重要環(huán)節(jié),其不僅直接影響到患者用藥的安全性和有效性,而且是提升門急診藥學(xué)服務(wù)質(zhì)量的重要舉措。調(diào)配差錯的原因集中在人員因素和藥品因素兩方面。數(shù)據(jù)顯示,調(diào)配差錯中,拿錯藥品占調(diào)配差錯的比例高達(dá)63.39%[3]。隨著醫(yī)院信息化自動化建設(shè)逐步完善,藥品管理自動化及智慧門診藥房已成大醫(yī)院發(fā)展的必然方向[4-5]。

本文依據(jù)“你只看一次”第5版本(you only look once version 5,YOLO-V5)算法,開發(fā)能準(zhǔn)確識別門急診藥品包裝盒的YOLO-V5深度學(xué)習(xí)預(yù)測模型,以期能夠最大程度減少門急診藥房的藥品調(diào)配差錯的發(fā)生率,最終實(shí)現(xiàn)藥品調(diào)配“零差錯”。

1 資料與方法

1.1數(shù)據(jù)收集與處理 使用智能手機(jī)(華為Mate20)收集我院門診、急診藥房常用藥品包裝盒照片(.jpg格式)資料。通過多角度、不同距離進(jìn)行拍攝。照片拍攝時模擬藥房發(fā)藥過程,例如使用或不使用發(fā)藥框,發(fā)藥框內(nèi)擺放不同藥品種類和數(shù)量等。共拍攝照片2 560張,收集藥品種類136個。

1.2研究方法

1.2.1建立人工智能輔助藥師發(fā)藥系統(tǒng) 將基于YOLO-V5預(yù)測模型的人工智能輔助藥師發(fā)藥系統(tǒng)(智能輔助發(fā)藥系統(tǒng))與醫(yī)院醫(yī)囑信息平臺進(jìn)行對接,智能輔助發(fā)藥系統(tǒng)通過攝像頭獲取預(yù)發(fā)放的藥品信息,并與處方信息進(jìn)行核對,當(dāng)智能輔助發(fā)藥系統(tǒng)發(fā)現(xiàn)預(yù)發(fā)放的藥品信息與處方信息不一致時就會及時發(fā)出錯誤提示,藥師根據(jù)提示信息進(jìn)行糾錯后再進(jìn)行藥品發(fā)放。

1.2.2數(shù)據(jù)標(biāo)注 使用離線數(shù)據(jù)標(biāo)注工具(labelImg)對照片進(jìn)行分類標(biāo)注,標(biāo)注格式為YOLO格式。共標(biāo)注標(biāo)簽 7 482個。

1.2.3計(jì)算機(jī)環(huán)境配置 采用Windows 10企業(yè)版 64位操作系統(tǒng),處理器為酷睿i7 10700F,8核心16線程,GPU為NVIDIA GeForce RTX2060,顯存12GB。數(shù)據(jù)存儲硬盤為西部數(shù)據(jù)500G NVMe M.2高速固態(tài)硬盤。

1.2.4損失函數(shù)與交并比 交并比(intersection over union,IoU)為2個方框相交區(qū)域面積(S1)與相并部分面積(S2)的比值。計(jì)算IoU系列損失函數(shù)需要使用矩形框左上角、右下角的坐標(biāo),假設(shè)預(yù)測矩形框的左上角、右下角坐標(biāo)分別為(Xp1,Yp1)、(Xp2,Yp2),標(biāo)簽矩形框的左上角、右下角坐標(biāo)分別為(Xl1,Yl1)、(Xl2,Yl2),見圖1所示。

圖1 損失函數(shù)與交并比計(jì)算示意圖

S1=(min(Xp2,Xl2)-max(Xp1,Xl1))×

(min(Yp2,Yl2)-max(Yp1,Yl1))

(1)

(2)

(3)

lossIoU=1-IoU

(4)

S3=(max(Xp2,Xl2)-min(Xp1,Xl1))×

(max(Yp2,Yl2)-min(Yp1,Yl1))

(5)

IoU的取值范圍為0～1,當(dāng)2個矩形框完全沒有交集時,IoU為0,當(dāng)它們完全重合時IoU為1,即重合度越小,IoU越接近0,重合度越大IoU越接近1。本文采用GIoU算法,GIoU是在IoU的基礎(chǔ)上,把包圍矩形框A和矩形框B的最小矩形框(圖1C)的面積也加入到計(jì)算中。GIoU可按下式計(jì)算:

(6)

其中S1為A、B相交部分的面積(紅色區(qū)域)。其中S3為包圍A、B的最小矩形框的面積,S2為A、B相并區(qū)域的面積(藍(lán)色+紅色+灰色區(qū)域)。GIoU的取值范圍是-1～1,當(dāng)A、B完全沒有重疊區(qū)域時IoU為0,那么GIoU取負(fù)值,極端情況,當(dāng)A、B無重疊區(qū)域且距離無限遠(yuǎn)時,此時(S3-S2)/S3=1,那么GIoU取-1;另一個極端情況,當(dāng)A、B完全重疊時(S3-S2)/S3等于0,IoU為1,那么GIoU取1。因此,GIOU解決了當(dāng)A、B完全沒有重疊區(qū)域時IoU恒為0的問題。最后得到

GIoU損失值的計(jì)算公式為:

lossGIoU=1-GIoU

(7)

1.2.5YOLO-V5模型結(jié)構(gòu)及超參數(shù)設(shè)置 YOLO-V5可以根據(jù)模型的復(fù)雜度分為4個子模型,分別為YOLO-V5s、YOLO-V5m、YOLO-V5l和YOLO-V5x,見表1。

表1 YOLO-V5 4個子模型的比較

本文使用相同的數(shù)據(jù)集和相同的訓(xùn)練超參數(shù),對YOLO-V5的4個子模型的性能進(jìn)行比較研究。YOLO-V5的模型結(jié)構(gòu)(圖2)由體部和頭部組成。在體部由卷積模塊、C3x模塊和SPPF模塊對輸入圖像的特征進(jìn)行提取,然后再輸入模型頭部繼續(xù)運(yùn)算并進(jìn)行分類預(yù)測。YOLO-V5訓(xùn)練超參數(shù)設(shè)置見表2。深度學(xué)習(xí)程序運(yùn)行時關(guān)閉其他所有應(yīng)用程序。

表2 YOLO-V5的超參數(shù)設(shè)置

模型由體部和頭部組成,輸入圖像經(jīng)過不同模塊進(jìn)行特征提取及計(jì)算,最后輸出檢測結(jié)果。

1.2.6模型性能評價指標(biāo) 以下指標(biāo)用來衡量YOLO-V5模型的性能,分別為精確度(precision,Pr)、召回率(recall,Rc)和均值平均精確度(mean average precision,mAP),計(jì)算公式如下:

(8)

(9)

(10)

TP和TN分別表示模型正確識別的目標(biāo)圖像數(shù)量。FP和FN分別表示模型錯誤識別的目標(biāo)圖像數(shù)量。召回率指的是模型正確識別的圖像數(shù)占這個類別圖像的比例。平均精確度(average precision,AP)是某一類別的精確度-召回率曲線下的面積,表示精確度和召回率所包含的區(qū)域的雙軸映射[6]。mAP是各個類別的均值平均精確度,是檢測模型精確度的最常用參數(shù)。

2 結(jié)果

2.1智能輔助發(fā)藥系統(tǒng)的流程 智能輔助發(fā)藥系統(tǒng)由對接、信息獲取、信息識別與核對、錯誤信息報警、人工糾錯等步驟組成。在沒有錯誤信息報警的情況下,無需人工糾錯步驟。見圖3。

圖3 人工智能輔助藥師發(fā)藥系統(tǒng)流程圖

2.2模型的訓(xùn)練和驗(yàn)證結(jié)果 損失值均隨著訓(xùn)練輪回的增加而逐漸減低,Pr、Rc、mAP_0.5及mAP_0.5:0.95均隨著訓(xùn)練輪回的增加而逐漸增高(圖4)。4個模型在訓(xùn)練第300個輪回時Pr均達(dá)到1.00。YOLO-V5x模型的mAP_0.5為0.95,高于其他3個模型,說明YOLO-V5x模型精確度相對較高。YOLO-V5x模型精確度曲線圖和精確度-召回率(precision-recall,PR)曲線分別見圖5和圖6。YOLO-V5l和YOLO-V5x模型的mAP_0.5:0.95均0.85,高于YOLO-V5m(0.84)和YOLO-V5s(0.84)。YOLO-V5x的訓(xùn)練耗時、模型大小、單幅圖片檢測速度均高于其他3個模型(表3)。

表3 YOLO-V5 4個子模型比較

train/val/box_loss:訓(xùn)練集/驗(yàn)證集檢測框的損失值;train/val/obj_loss:訓(xùn)練集/驗(yàn)證集目標(biāo)檢測損失值;train/val/cls_loss:訓(xùn)練集/驗(yàn)證集目標(biāo)分類損失值。mAP_0.5:0.95:表示在不同IoU閾值(從0.5到0.95,步長0.05,即0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95)上的平均mAP。mAP_0.5:表示閾值為0.5的平均mAP。

藍(lán)色曲線為所有類別的平均值曲線。

藍(lán)色曲線為所有類別的平均值曲線。曲線下面積即為平均精確度。mAP_0.5注釋參照圖4。

2.3模型實(shí)例化檢測結(jié)果 為了進(jìn)一步測試YOLO-V5x模型泛化能力,選取3種不同包裝的氯吡格雷來對模型進(jìn)行實(shí)例化測試,分別為硫酸氫氯吡格雷片(波立維)每片75 mg、硫酸氫氯吡格雷片(帥信)每片75 mg和硫酸氫氯吡格雷片(帥泰)每片25 mg。這3種藥品通用名相同,商品名和規(guī)格不同,外包裝也非常相似,其中波立維和帥信顏色、圖案最相近,帥信和帥泰包裝盒大小相似。測試結(jié)果顯示模型對3種藥品全部檢測準(zhǔn)確并歸類正確(圖7)。

3種藥品全部準(zhǔn)確檢測。數(shù)字45～47為藥物類別,0.8和0.9為預(yù)測的置信度。

3 討論

在門急診藥學(xué)服務(wù)實(shí)踐中,會經(jīng)常遇到包裝相似的藥品和藥品名稱相同但廠家與包裝不同的藥品。對于這些藥品,通過人的視覺都是可以完全識別開來,但是人的視覺容易疲勞,尤其在日處方流量高峰期的時候,難免會產(chǎn)生調(diào)配差錯[7]。藥學(xué)服務(wù)的精細(xì)化管理[8],例如品管圈方法[9]已經(jīng)在一定程度上減少了調(diào)配差錯的發(fā)生。但是由于每個醫(yī)療單位的管理水平不一,品管圈最大功能的發(fā)揮還需要經(jīng)過時間的考驗(yàn)。

隨著計(jì)算機(jī)視覺領(lǐng)域的不斷發(fā)展,尤其是在深度學(xué)習(xí)技術(shù)的推動下,已經(jīng)出現(xiàn)了更加精確的深度學(xué)習(xí)解決方案來區(qū)分不同圖像之間的細(xì)微差別,從而為解決難以避免的藥品調(diào)配差錯提供了新的思路。YOLO-V5是集成目標(biāo)檢測和分類于一體的一步式神經(jīng)網(wǎng)絡(luò)模型,具有速度快、精確度高的特點(diǎn),已經(jīng)在工業(yè)檢測[10]、農(nóng)業(yè)檢測[11]以及醫(yī)學(xué)圖像檢測領(lǐng)域[6]有所研究。本研究使用YOLO-V5作為深度學(xué)習(xí)框架來對門急診藥房藥品包裝數(shù)據(jù)集進(jìn)行訓(xùn)練和驗(yàn)證,數(shù)據(jù)顯示4個模型在訓(xùn)練集中的Pr均達(dá)到1.00,mAP值在4個子模型中也相差不大。mAP_0.5最高的是YOLO-V5x模型(0.95),比YOLO-V5n模型(0.94)高0.01,這個差別可能會隨著數(shù)據(jù)量的增加以及訓(xùn)練輪回的增加而逐漸減小,還有待于進(jìn)一步研究。YOLO-V5x模型的訓(xùn)練耗時最長是其缺點(diǎn)之一,這個缺點(diǎn)可以通過提升計(jì)算機(jī)硬件的性能來彌補(bǔ)。雖然YOLO-V5s模型的精確度相對較低,但是在單幅圖片檢測速度方面要優(yōu)于YOLO-V5x。筆者挑選了3個通用名相同、外包裝盒也非常相似的藥品進(jìn)一步地對模型進(jìn)行實(shí)例化測試,結(jié)果YOLO-V5x模型對3種藥品均準(zhǔn)確率識別并進(jìn)行了分類,進(jìn)一步驗(yàn)證了YOLO-V5x模型具有較高的泛化能力。在門急診藥學(xué)服務(wù)實(shí)踐中,日處方流量高峰期會出現(xiàn)排長隊(duì)現(xiàn)象。本組數(shù)據(jù)顯示,YOLO-V5模型對單張圖像的最快檢測速度可達(dá)11 ms,最慢也有14 ms。這樣的檢測速度即使是在處方流量高峰期也不會影響藥品發(fā)放速度而導(dǎo)致高峰期排隊(duì)現(xiàn)象的加劇。

YOLO-V5對藥品包裝的分類檢測相對于其對醫(yī)學(xué)圖像(例如醫(yī)學(xué)影像圖像中腫瘤的檢測)的分類檢測不同,前者的任務(wù)更容易完成。首先,前者的數(shù)據(jù)比較容易獲取,而后者較難。藥品種類雖然眾多,但是門急診藥房的藥品品規(guī)數(shù)量還是有限的,這些藥品的包裝盒圖片資料很容易完全獲取。其次,同一類別的藥品(劑量相同)包裝盒大小、形態(tài)相對固定,這為深度學(xué)習(xí)模型高準(zhǔn)確率奠定了充分的基礎(chǔ)。最后,在門急診發(fā)藥窗口布置圖片獲取裝置也比較容易,只需要在合適的位置安裝捕捉藥品包裝盒信息的攝像頭就能完成。TING等[12]使用YOLO算法(具體版本未指定)對250種門診泡罩包裝藥品進(jìn)行深度學(xué)習(xí),其準(zhǔn)確率高于0.90。

本研究與其不同之處重點(diǎn)在于本研究采用的是藥品包裝盒數(shù)據(jù),而后者采用的是藥品的泡罩包裝。布置泡罩包裝藥品分類的深度學(xué)習(xí)任務(wù)較盒裝藥品包裝盒的難,因?yàn)榕菡职b藥物相似度更高,且需要檢測的目標(biāo)更小。

本研究的不足之處主要是數(shù)據(jù)的采集沒有包括門急診藥品的全部類別。更深入的研究需要采集門急診全部藥品的包裝盒資料,當(dāng)然這需要花費(fèi)更多的人力成本和時間成本。人工智能輔助臨床藥師發(fā)藥系統(tǒng)將有力地推動醫(yī)院藥學(xué)分級服務(wù)模式邁向一個新的高度[13]。

YOLO-V5深度學(xué)習(xí)模型能夠精準(zhǔn)識別門診藥品包裝盒信息,人工智能輔助藥師發(fā)藥系統(tǒng)的部署能夠輔助藥師減少藥品調(diào)配差錯,是最終實(shí)現(xiàn)藥品調(diào)配“零差錯”的可行方法。