李麗娟 李 超 李念琪

（1.成都九洲電子信息系統(tǒng)股份有限公司，四川 成都 610041；2.上海電力大學(xué)，上海 200090；3.復(fù)旦大學(xué)，上海 200433）

0 引言

靜脈輸注是患者接受治療的主要手段之一，為了提高輸液成品質(zhì)量，促進(jìn)合理用藥，保證患者用藥的安全性，通常由醫(yī)院靜脈用藥調(diào)配中心（以下簡稱“靜配中心”）統(tǒng)一負(fù)責(zé)全院患者靜脈輸液藥品的調(diào)配。在靜配中心，由于不同病患有不同的輸液藥品，因此要求醫(yī)護(hù)人員在配置輸液藥品前，必須認(rèn)真核查藥品清單以保證配藥的正確性，現(xiàn)階段主要通過人工手動“三查七對”來保證配藥的正確性[1]。由于輸液配藥的工作量極大，人工核對不僅會占用大量的護(hù)理資源、降低護(hù)理質(zhì)量，而且也會使醫(yī)護(hù)人員容易出現(xiàn)操作疲勞，在病員擁擠的情況下配藥出錯，造成醫(yī)療糾紛[2]。

為了規(guī)范醫(yī)護(hù)人員配藥的操作流程，降低藥品配置的出錯率，提高配藥工作質(zhì)量，靜配中心通常使用視頻監(jiān)控的方式，對醫(yī)護(hù)人員配藥操作全過程進(jìn)行記錄以備事后查詢，但是該方法不能滿足對配藥操作進(jìn)行實時監(jiān)測、智能核對和及時報警等需求。該文提出了一種基于視頻圖像目標(biāo)檢測的藥品外觀識別方法，通過使用圖像處理與神經(jīng)網(wǎng)絡(luò)技術(shù)實現(xiàn)對藥品品類的檢測與識別，并自動與處方/醫(yī)囑進(jìn)行核對，以達(dá)到輔助醫(yī)護(hù)人員準(zhǔn)確配置藥品的目的。

1 基于改進(jìn)YOLOv3的藥品外觀識別與檢測模型

當(dāng)前基于深度學(xué)習(xí)的主流圖像目標(biāo)檢測算法分為2 類[3]：1）基于區(qū)域的目標(biāo)檢測算法。例如Faster R-CNN、Mask R-CNN等雙階段目標(biāo)檢測模型。2）將檢測問題變?yōu)榛貧w問題的SSD、YOLO 等單階段目標(biāo)檢測模型。雙階段目標(biāo)檢測模型需要先提取圖像的候選區(qū)域，再基于候選區(qū)域做二次修正得到分類和位置坐標(biāo)，其監(jiān)測精度較高，但檢測速度較慢；而單階段目標(biāo)檢測模型僅需要一個網(wǎng)絡(luò)即可同時產(chǎn)生候選區(qū)域并預(yù)測出物體的類別和位置坐標(biāo)，其特點是提高了檢測速率，但目標(biāo)定位的準(zhǔn)確率略差于雙階段目標(biāo)檢測模型。

YOLOv3 是采用單階段結(jié)構(gòu)的目標(biāo)檢測模型，使用單個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，與之前的YOLO 版本相比，YOLOv3 通過調(diào)整特征提取網(wǎng)絡(luò)、利用多尺度特征進(jìn)行對象檢測以及使用邏輯回歸預(yù)測每個邊界框并進(jìn)行多標(biāo)簽分類等算法優(yōu)化，提升了平均精確度（mAP）及小物體的檢測效果。如果采用COCO AP50做評估指標(biāo)，那么YOLO3 的表現(xiàn)相當(dāng)驚人，在精確度相當(dāng)?shù)那闆r下，YOLOv3 的檢測速度是其他模型的3～4 倍。綜合考慮靜配中心工作流程及實時檢測需求，該文在針對靜配中心輸液藥品配置檢測中選用了基于YOLOv3 的目標(biāo)檢測模型。

該文在YOLOv3 網(wǎng)絡(luò)架構(gòu)中改進(jìn)了YOLOv3 模型中的先驗框部分，對先驗框進(jìn)行提取特征，在先驗框前對特征圖進(jìn)行預(yù)估算，對特征圖采取高斯建模，判斷特征圖是否達(dá)到自適應(yīng)閾值，該閾值為超參數(shù)，隨訓(xùn)練輪數(shù)進(jìn)行調(diào)整，在卷積層中采用一個N維列向量對輸出的卷積層進(jìn)行判斷，經(jīng)過迭代調(diào)整出一個合適的閾值。該文改進(jìn)的部分可以加快藥品檢測的速度，對不同類型的藥品進(jìn)行檢測時有較好的識別效果。

1.1 數(shù)據(jù)的采集與處理

在實際的靜脈注射中心的藥品配置環(huán)境中，存在藥品擺放、環(huán)境中光源干擾以及拍攝角度的問題，該文的數(shù)據(jù)集采用在排除干擾的環(huán)境中采集的一批數(shù)據(jù)如圖1（a）、圖1（b）所示，同時針對實際作業(yè)環(huán)境下的藥品采集的另一批數(shù)據(jù)如圖1（c）所示。

圖1 采集的藥品樣品

采集到數(shù)據(jù)集后，使用圖像數(shù)據(jù)標(biāo)注工具對數(shù)據(jù)進(jìn)行分類標(biāo)注，該文采集的藥品種類包括靜脈注射藥品中常見的注射袋、水針劑以及粉針劑。針對不同種類的藥品進(jìn)行單獨標(biāo)注，針對同種藥品的不同規(guī)格的藥品設(shè)計2 種標(biāo)注方式：1）針對藥品僅標(biāo)注名稱，按照名稱進(jìn)行識別，例如：200 mL 葡萄糖注射液、100 mL 葡萄糖注射液統(tǒng)一標(biāo)注為葡萄糖注射液。2）將不同規(guī)格的藥品分開標(biāo)注，例如將200 mL 葡萄糖注射液、100 mL 葡萄糖注射液標(biāo)注成2 個不同的類別，以便進(jìn)行精細(xì)識別。

1.2 檢測模型改進(jìn)

該文采用基于YOLOv3 的目標(biāo)檢測模型對藥品進(jìn)行檢測，在所檢測的藥品中，存在4 種較為明顯的種類劃分，即袋狀注射液、盒狀藥品、圓柱形粉針劑和透明玻璃瓶形的水針劑。實際環(huán)境下檢測的藥品存在注射袋液體大多透明、現(xiàn)場作業(yè)環(huán)境中存在大量反光以及同類型藥品形狀相似的問題，因此，通過藥品標(biāo)簽信息無法高效地獲取文本文字，使用輔助方法處理會增加檢測任務(wù)的復(fù)雜度，圖像拼接[4]手段也無法有效應(yīng)用到實際的工作環(huán)境中。該文在實驗中發(fā)現(xiàn)，直接采用目標(biāo)檢模模型訓(xùn)練數(shù)據(jù)，會因為部分藥品相似度太高而出現(xiàn)識別精確度低于該模型在通用數(shù)據(jù)集平均精確度的問題，同時也存在召回率較低、模型穩(wěn)定性較差的問題。

該文使用改進(jìn)版YOLOv3 目標(biāo)檢測模型對藥品進(jìn)行檢測，提取模型先驗框的特征，在先驗框前對特征圖進(jìn)行預(yù)估算，對特征圖采取高斯建模，判斷特征圖是否達(dá)到自適應(yīng)閾值，該閾值對超參數(shù)隨訓(xùn)練輪數(shù)進(jìn)行調(diào)整。在骨干網(wǎng)的輸出卷積層中采用一個列向量對輸出的卷積層進(jìn)行判斷，LT用來表示閾值損失（如公式（1）所示），經(jīng)過迭代調(diào)整出一個合適的閾值。YOLOv3 將圖片劃分成若干個網(wǎng)格，每個網(wǎng)格負(fù)責(zé)一塊區(qū)域的檢測，該文對局部網(wǎng)格的平均值與閾值進(jìn)行比較，大于閾值的先驗框繼續(xù)進(jìn)行檢測；其次是在先驗框中選定預(yù)測框后設(shè)置搜索算法，并分析區(qū)域內(nèi)的特征是否存在連續(xù)，針對體積較小的注射液的檢測，在先驗框中可能有多個區(qū)域存在粉針劑、水針劑這種小物體的特征，因此再將選中的先驗框劃分為若干小預(yù)測框進(jìn)行預(yù)測。對若干個較小預(yù)測框進(jìn)行篩選后，在預(yù)測框中找到較大的特征值，在較大的特征值中選擇位置坐標(biāo)最大值Xmax、Ymax和最小值Xmin、Ymin，重新調(diào)整目標(biāo)框為僅包含特征最大的幾個值的新目標(biāo)框，再進(jìn)行后序流程。

式中：LT為閾值損失；i為若干小預(yù)測框；Rd為先驗框；xi*、yi*為先驗框的若干位置預(yù)測。

該文所使用的YOLOv3 采用ResNet 網(wǎng)絡(luò)作為模型的骨干網(wǎng)，ResNet 增加了直連通道緩解網(wǎng)絡(luò)深度會導(dǎo)致出現(xiàn)退化的問題。為了提高識別的精度，使用了101 層的ResNet 來進(jìn)行模型訓(xùn)練。

2 實驗分析

該文藥品檢測模型的評價指標(biāo)為平均精確率AP，對損失函數(shù)采用批量梯度下降的方法，優(yōu)化深度學(xué)習(xí)模型的權(quán)重參數(shù)，最大程度地降低分類的錯誤率。訓(xùn)練過程中各項超參數(shù)配置如下：權(quán)值初始化采用正態(tài)隨機(jī)初始化方法，根據(jù)訓(xùn)練所使用GPU 的性能和內(nèi)存容量，選取批大小為16；學(xué)習(xí)率采用動態(tài)學(xué)習(xí)率。訓(xùn)練完成后，使用獨立的測試集損失函數(shù)進(jìn)行誤差評估。

2.1 實驗流程

該文提出在YOLOv3 的基礎(chǔ)上結(jié)合圖像增強(qiáng)、遷移學(xué)習(xí)進(jìn)行藥品檢測，該文使用的藥品檢測流程框架如圖2 所示。

圖2 藥品檢測流程框架圖

該文使用的數(shù)據(jù)集為在不同環(huán)境背景、不同拍攝角度以及不同擺放情況下靜脈注射藥品的多種類型圖像，共計3 637 張；使用pytorch 深度學(xué)習(xí)框架編寫代碼，基于detectron2 框架搭建目標(biāo)檢測模型。

2.2 模型訓(xùn)練方式與參數(shù)設(shè)定

實驗過程中使用Ubuntu 16.04 系統(tǒng)和NVIDIA Tesla V100顯卡訓(xùn)練YOLOv3 藥品檢測模型。

該文模型采用遷移學(xué)習(xí)方式，其過程涉及2 個階段：1）進(jìn)行模型預(yù)訓(xùn)練。使用COCO2017 數(shù)據(jù)集訓(xùn)練目標(biāo)檢測模型。小批量梯度下降法迭代40 000 次，學(xué)習(xí)率為0.001，動量設(shè)置為0.9，權(quán)重衰減率0.0001，批量大小Batchsize為16（Batchsize即一次訓(xùn)練選取的樣本數(shù)）。2）進(jìn)行數(shù)據(jù)集訓(xùn)練。經(jīng)過預(yù)訓(xùn)練后，使用藥品數(shù)據(jù)集訓(xùn)練目標(biāo)檢測模型，小批量梯度下降法迭代80 000 次，學(xué)習(xí)率大小為0.001，動量設(shè)置為0.9，權(quán)重衰減率為0.0001，Batchsize為16。

2.3 藥品檢測實驗結(jié)果分析

經(jīng)過訓(xùn)練后，該文設(shè)計的模型在測試集上的訓(xùn)練效果如圖3 所示。

圖3 YOLOv3 模型檢測藥品效果圖

該文在對藥品外觀進(jìn)行檢測時，使用以YOLOv3 為基礎(chǔ)的目標(biāo)檢測模型進(jìn)行檢測識別，該文對采集的數(shù)據(jù)集進(jìn)行測試時發(fā)現(xiàn)，當(dāng)使用的每種藥品只有一種規(guī)格時，其平均精度可以達(dá)到93.84%，但是采用每種藥品按照名稱和不同規(guī)格詳細(xì)劃分出多種標(biāo)簽的方法，其平均識別精度降低到了73.67%，低于YOLOv3 在COCO 數(shù)據(jù)集上的平均識別精度。該實驗所采集的藥品圖像是包含了多種不同類型的藥品（例如水針劑、粉針劑和注射液），實驗發(fā)現(xiàn)該文改進(jìn)的模型對具備明顯特征的藥品具有良好的識別能力，同時在分析實驗結(jié)果中發(fā)現(xiàn)，由于同種藥品不同規(guī)格的標(biāo)注標(biāo)簽不同，導(dǎo)致召回率高于使用每種藥品僅有一個的數(shù)據(jù)集的情況，即外觀相似度過高的藥品會對模型的識別能力產(chǎn)生較大的干擾，而具備相同外觀的不同規(guī)格的藥品會嚴(yán)重干擾模型的識別精度。由于無法有效分辨圖像中藥品的實際大小，因此該文改進(jìn)的模型對不同規(guī)格的藥品的識別能力略顯不足。

該文所選用的目標(biāo)檢測模型對不同類型的藥品具備良好的識別能力，可以方便快速地部署在生成環(huán)境中。在實際工作中，由于YOLOv3 相比于其他模型，其輕量級的結(jié)構(gòu)使參數(shù)遠(yuǎn)遠(yuǎn)少于二階段目標(biāo)檢測模型，因此能夠做到在生成環(huán)境中快速檢測出目標(biāo)，降低延遲，提高了實際運(yùn)行效率。

3 結(jié)論

藥物在臨床診療中具有重要地位，正確合理用藥是保證療效的基本前提，在嚴(yán)格遵守靜配中心操作流程的同時，也可以采用相應(yīng)技術(shù)手段進(jìn)行輔助確認(rèn)。該文對靜配中心中的藥品配置環(huán)節(jié)進(jìn)行實時監(jiān)測，能夠輔助醫(yī)療人員進(jìn)行藥品核對，降低因操作疲勞出現(xiàn)配藥差錯的概率。該文使用YOLOv3模型能夠精確識別藥品品類，可以實現(xiàn)在生產(chǎn)環(huán)境下高效快速識別藥品類別的目標(biāo)，能夠做到近似實時輔助監(jiān)測藥品配置，可以高效地輔助作業(yè)人員對藥品進(jìn)行核對。該文使用的模型在同種藥品不同規(guī)格的識別區(qū)分檢測上存在一定的不足，在后續(xù)的研究中，會圍繞該文采用的目標(biāo)檢測方法額外添加文本識別技術(shù)，采用藥品標(biāo)簽文本識別和目標(biāo)檢測結(jié)合的方式識別出藥品的具體種類和具體規(guī)格，實現(xiàn)對多種同類異類藥品標(biāo)簽的快速檢測。