王晨燁　陳樂庚

摘要：為提高藥瓶圓底的檢測精度，文中提出一種基于改進FCN的語義分割算法。該方法根據(jù)微量藥品數(shù)據(jù)集中藥瓶圓底的特征，將FCN的主干網(wǎng)絡由VGG-16替換為ResNet-50，并引入可變形卷積模塊，完成了對藥瓶圓底的分割。實驗結果表明，改進后算法的藥瓶圓底的分割精度有所提升，與其他主流算法相比較，也有著更高的檢測精度，泛化能力更強，更能適應各種場景。實驗數(shù)據(jù)和預測圖證實該方法可以有效提升藥瓶圓底檢測的準確性與泛化性。

關鍵詞：藥瓶圓底; FCN; 語義分割; ResNet-50;可變形卷積

中圖分類號：TP391? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）34-0023-03

1 概述

藥品是一種非常特殊的物質(zhì)，種類很多，狀態(tài)和用量要求也各不相同，若使用不恰當則會危及人的生命安全[1]。一些粉末狀藥品的質(zhì)量極小，在毫克量級甚至微克量級，傳統(tǒng)的稱重方法是使用電子秤得到重量，但這種方法不便捷，浪費人力，且成本較高。

近年來，基于深度學習的語義分割方法在圖像處理領域中取得了巨大的成功，深度學習方法利用網(wǎng)絡模型自動學習目標特征，具有較高的泛化能力和更強的魯棒性，可以有效提高目標檢測的準確率和效率。所以本文將使用深度學習方法進行藥瓶圓底的檢測，盡可能減小檢測誤差，為后續(xù)的微量藥品質(zhì)量計算做準備。

與傳統(tǒng)CNN相比，Jonathan Long等人[2]提出的FCN網(wǎng)絡有兩大明顯的優(yōu)勢：一是不需要所有的圖像具有相同的尺寸；二是可以避免重復存儲和計算卷積，省時省力。因此，本文考慮在FCN網(wǎng)絡的基礎上進行改進，將主干網(wǎng)部分換成ResNet-50[3-5]，利用其跳躍連接進行特征補償；引入DCNv2模塊[6]，使網(wǎng)絡可以更好地滿足藥瓶圓底分割的需要，提升檢測精度。

2 藥品圖像識別的基本原理

2.1 可變形卷積

在傳統(tǒng)CNN中，卷積核的感受野均為固定的形狀（正方形）?？勺冃尉矸e（Deformable Convolution Network，DCN） [7-8]是一種新型卷積，將其引入網(wǎng)絡，可以改變感受野的形狀，增強網(wǎng)絡模型適應物體幾何變化的能力。

可變形卷積DCNv1通過在每一個神經(jīng)元上疊加一個任意方向的偏移量Δp，如公式（1） 所示，令感受野進行自由變形，能夠較好地適應任意形狀的目標檢測，更加精準地提取目標的特征，如圖1所示。

DCNv1的卷積過程圖如圖2所示，經(jīng)過卷積后的offsetfield的尺寸與原圖尺寸大小相同，但通道數(shù)增加至2N個，這使得在任意位置進行卷積時，都能夠疊加一個offset。

可變形卷積DCNv2在DCNv1的基礎上增加了卷積數(shù)和權重系數(shù)，使網(wǎng)絡可以精準地辨別感興趣的區(qū)域，如公式（2） 所示。

2.2 算法

FCN網(wǎng)絡為編碼器-解碼器結構[9]，將FCN的原有編碼器VGG-16替換為ResNet-50，利用其跳躍連接將前層圖像的特征信息直接映射到后層，如圖3所示，有效彌補了因網(wǎng)絡層數(shù)加深造成特征信息損失的現(xiàn)象，更加精準地學習圖像中的目標特征，提升檢測精度。

如圖4所示，將微量藥品數(shù)據(jù)集和標簽集以Pascal數(shù)據(jù)集格式輸入網(wǎng)絡，并在Conv3_x、Conv4_x、Conv5_x三個階段中引入DCNv2模塊，增強網(wǎng)絡適應藥瓶圓底檢測的能力。在解碼器部分，網(wǎng)絡通過使用兩個3*3大小的卷積核進行解碼，并將得到的特征圖上采樣至Conv5_x輸出特征圖的尺寸后與之進行特征融合，再上采樣至源圖像大小，完成對藥瓶圓底的分割。

2.3 實驗與分析

2.3.1 實驗軟硬件配置

本文實驗在PyTorch框架上進行，實驗的硬件配置為Intel（R）Core（TM）i7-10875H CPU， NVIDIA GeForce RTX 2060 Ti GPU；軟件環(huán)境為Ubuntu操作系統(tǒng)，Cuda10.1，Cudnn7.6.3，Pytorch1.6.0，Python3.8。

根據(jù)實驗配置，設置batch_size=4。經(jīng)過多次調(diào)試和檢測，設置learning_rate=0.005，共迭代訓練20000次。

數(shù)據(jù)采集設備為vivo iQOO Neo5。采集的微量藥品為桂林暉昂生化藥業(yè)有限責任公司生產(chǎn)的昂達吩奇光敏抗菌粉劑。

2.3.2 圖像預處理

本文以昂達吩奇光敏抗菌粉劑為例，使用手機采集了一個微量藥品數(shù)據(jù)集，采集條件為紅光條件下，共有1308張圖片。首先將微量藥品數(shù)據(jù)集中圖片進行灰度化處理，并將圖片裁剪至[500，500，3]尺寸；其次，利用高斯濾波疊加雙邊濾波對數(shù)據(jù)集進行去噪聲處理，保護藥瓶圓底的邊緣信息；然后，使用標注軟件Labelme將圖像中藥瓶底部標記為glass，得到微量藥品的標簽集；最后，將微量藥品數(shù)據(jù)集制作成Pascal數(shù)據(jù)集格式，按照6：2：2的比例隨機分為782張訓練集、263張驗證集和263張測試集，并將訓練集投入網(wǎng)絡進行訓練。

2.3.3 藥瓶圓底檢測結果分析

在同數(shù)據(jù)集、同環(huán)境、網(wǎng)絡參數(shù)一致的情況下，將本文算法與deeplabv3、deeplabv3plus、FCN_Unet、pspnet、FCN等經(jīng)典語義分割算法進行檢測效果對比，以基于深度學習的語義分割方法的評價指標作為本文藥瓶圓底檢測的評價標準。通過訓練集數(shù)量為782的微量藥品圖片訓練20000次后，對驗證集中的263張微量藥品圖片進行藥瓶圓底檢測，得到幾種藥瓶圓底檢測算法的檢測精度，如表1所示，其中，batch_size=4。

由表1知，本文改進后的算法有效提高了藥瓶圓底檢測的平均交并比和準確率，但由于引入了DCNv2模塊，也相應地增加了一些計算量，使得檢測的實時性不具備優(yōu)勢。

藥瓶圓底的檢測效果圖如圖5所示。

由圖5可知，分別在有藥品瓶、空瓶、有光線干擾的有藥品瓶的三種情況下進行藥瓶圓底的檢測，由此可以看出，本文算法的檢測效果最好，魯棒性較強，可以較好地適應各種情景，能夠較精準地檢測出完整的藥瓶圓底。實驗結果表明，本文算法能夠更精準地完成對瓶底邊線的檢測，證明所提方法有效可行。

3 結束語

本文在FCN的基礎上通過ResNet-50的跳躍連接補償特征信息，并引入DCNv2模塊，提升網(wǎng)絡學習藥瓶圓底特征的能力，提高了藥瓶圓底檢測的精度。在微量藥品數(shù)據(jù)集下的實驗結果表明，本文改進的算法具有更好的分割優(yōu)越性，但由于引入DCNv2模塊增加了計算量，使得檢測的實時性不具備優(yōu)勢。本文的藥瓶圓底檢測實驗中，另一個不足之處在于，由于缺少專業(yè)的設備，這使得微量藥品數(shù)據(jù)集在采集時，由于光照條件、設備成像等細微差異，會影響到藥瓶圓底的檢測的精準度，從而影響到后續(xù)微量藥品質(zhì)量的計算。就目前的檢測結果而言，所提出的方法能夠?qū)崿F(xiàn)像素級別的藥瓶圓底語義分割，且泛化性較好，魯棒性較強。綜上，可以看出DCNv2在計算機視覺領域中具有巨大的作用，DCNv2有望在未來替代傳統(tǒng)卷積方式，全面提升圖像檢測的性能。

參考文獻：

[1] 黃柳.混淆藥品劑量引發(fā)的用藥不良事件思考[J].中國醫(yī)院院長，2021，17（1）：19-21.

[2] Long J，Shelhamer E，Darrell T.Fully convolutional networks for semantic segmentation[C]// Boston，MA，USA：2015 IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2015：3431-3440.

[3] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[J].CoRR，2015，abs/1512.03385.

[4] 肖建峰.基于FCN+ResNet的地表建筑物識別[J].現(xiàn)代計算機，2021，27（31）：66-71.

[5] 肖晨晨，陳樂庚，王書強.融合殘差和對抗網(wǎng)絡的跨模態(tài)PET圖像合成方法[J].計算機工程與應用，2022，58（1）：218-223.

[6] 周昆陽，鄭澤斌，向陽，等.基于改進YOLOv4的交通信號燈倒計時數(shù)字檢測與識別[J].電腦知識與技術，2022，18（4）：7-9，21.

[7] Dai J F，Qi H Z，Xiong Y W，et al.Deformable convolutional networks[C]// Venice，Italy：2017 IEEE International Conference on Computer Vision.IEEE，2017：764-773.

[8] Zhu X Z，Hu H，Lin S，et al.Deformable ConvNets V2：more deformable，better results[C]// Long Beach，CA，USA：2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.IEEE，2019：9300-9308.

[9] 蒙雙，陳樂庚，肖晨晨.基于改進OctConv的車道線檢測算法研究[J].計算機仿真，2021，38（5）：142-145，218.

【通聯(lián)編輯：唐一東】