許 會， 劉慧芳， 陸 昊， 車新生

(沈陽工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院， 沈陽 110870)

靜脈滴注類藥品配藥是醫(yī)用輸液的重要組成部分，現(xiàn)如今大部分靜脈配液還是由醫(yī)護(hù)人員人工完成，不可避免造成時間與人力資源上的浪費[1-2].嚴(yán)格執(zhí)行查對制度、遵守?zé)o菌操作規(guī)程是每一位醫(yī)護(hù)人員在配藥過程中必須遵守的準(zhǔn)則，但是長期配藥會對配藥人員肌肉骨骼產(chǎn)生損傷[3].藥瓶標(biāo)簽關(guān)鍵信息不便查找，配藥過程還是通過護(hù)士反復(fù)核查藥品名等信息，這些問題無疑給配藥工作人員帶來很大麻煩[4].目前針對藥瓶標(biāo)簽自動校驗的文獻(xiàn)[5]未能解決畸變校正問題，標(biāo)簽旋轉(zhuǎn)不同角度后校驗的匹配率會下降，損失了標(biāo)簽名稱等一部分重要信息；文獻(xiàn)[6]中字符識別的畸變字符校正算法側(cè)重于對字符的定位，沒有實現(xiàn)藥瓶標(biāo)簽的自動識別.鑒于上述情況，本文提出了基于全景拼接技術(shù)的藥瓶標(biāo)簽校驗方法.全景拼接技術(shù)[7]主要應(yīng)用于外場景、寬角度場景，應(yīng)用到靜脈滴注類藥瓶標(biāo)簽的識別需要先對藥瓶標(biāo)簽進(jìn)行畸變校正才能實現(xiàn)圖像的拼接.文獻(xiàn)[8]利用PDF417碼本身具有的列分割線特征對條碼分割后進(jìn)行局部校正，此方法利用透視變換算法，不能對扭曲劇烈的條碼進(jìn)行信息還原.本文標(biāo)簽字符分割、識別算法參考文獻(xiàn)[9]，本文設(shè)計算法可對有傾斜角度的藥瓶標(biāo)簽圖像進(jìn)行識別，并對發(fā)生畸變的圖像進(jìn)行校正.

1 藥瓶標(biāo)簽校驗算法設(shè)計

由于采集設(shè)備視角小，采集的圖像不能包含標(biāo)簽名稱等完整有效信息，鏡頭采集的藥瓶標(biāo)簽會發(fā)生畸變.本文主要從以下幾個方面進(jìn)行研究：

1) 藥瓶標(biāo)簽畸變校正算法設(shè)計；

2) 藥瓶名稱字符分割算法設(shè)計；

3) 藥瓶名稱識別算法設(shè)計.

1.1 藥瓶標(biāo)簽畸變校正算法設(shè)計

對于發(fā)生畸變的曲面藥瓶標(biāo)簽圖像，它們之間不是線性對應(yīng)關(guān)系，直接用于識別會引起偏差，故需要對采集的藥瓶標(biāo)簽圖像進(jìn)行畸變校正.本文畸變校正算法需要經(jīng)過圖像灰度化、Canny算法邊緣檢測、霍夫變換檢測垂直直線、圖像分割等圖像預(yù)處理操作，隨后使用柱面反投影算法對分割后的藥瓶標(biāo)簽進(jìn)行畸變校正.

1.1.1 柱面反投影算法原理

在同一視點O將圖像投影到柱面切平面上的原理圖如圖1所示.圖1a為柱面標(biāo)簽投影關(guān)系，柱面A′B′C′D′投影到切平面ABCD上；圖1b為柱面上任意一點P′投影到切平面x方向的映射關(guān)系.

首先建立理想的投影模型，圖1b假設(shè)圓柱面A′B′為半圓，焦距ON=R，中心點為O，曲面圖像上任意一點P′投影到平面圖像上的P點(x方向即由P′所對應(yīng)的弧長投影到平面PN的長度)，OP與ON間的夾角θ.柱面標(biāo)簽投影到切平面x方向映射關(guān)系表達(dá)式為

(1)

式中，x′為P′點對應(yīng)的弧長.

柱面切平面y方向與柱面y方向(即柱面標(biāo)簽?zāi)妇€方向)相同，得出柱面反投影表達(dá)式為

(2)

式中，y′為柱面的母線長.

在圖1b中，根據(jù)式(2)首先求出A′投影到平面時的x方向長度.在此OA′的長度可從圖像中獲得，令OA′等于弧長l，根據(jù)式(1)求出此段弧長所對應(yīng)的θ值，從而計算出變換后的邊界x值，遍歷圖像所有像素點得到變換后圖像的所有x值.變化后的平面圖像x方向?qū)挾葧黠@增加，從而出現(xiàn)像素的缺損，在柱面圖像中無法找到對應(yīng)的像素點，采用最近鄰插值對缺損的圖像進(jìn)行插值，從而在x方向畸變字符得到了非線性校正.

1.1.2 二次校正算法原理

圖2 二次校正模型Fig.2 Secondary correction model

根據(jù)圖2建立關(guān)系式為

(3)

(x，y)為弧面上任意一點的坐標(biāo)，變化后的坐標(biāo)為(x_t，y_t)，dOE和dOF大小由實驗圖像獲得.

1.2 藥瓶標(biāo)簽字符分割算法設(shè)計

通過SIFT圖像拼接后，解決了視角小等問題，得到了有完整藥品名標(biāo)簽圖像.通過圖像二值化、圖像形態(tài)學(xué)、圖像濾波等預(yù)處理提取標(biāo)簽藥品名圖像.藥品名是由一個或者多個連通域組成的，本文使用基于連通域的字符切分技術(shù)對藥品名字符進(jìn)行切分.

根據(jù)連通域?qū)D像進(jìn)行粗切分，再進(jìn)行連通域的合并和粘連字符連通域的切分，基于字符字型特點，連通域可能會有上下關(guān)系、左右關(guān)系、重疊關(guān)系等.圖3是存在重疊關(guān)系的連通域C(i)和C(j)，(Li，Ui)是連通域C(i)外接矩形的左上角坐標(biāo)，(Rj，Dj)是連通域C(j)外接矩形的右下角坐標(biāo).

圖3 連通域外接矩形的重疊關(guān)系Fig.3 Overlapping relationship of circumscribed rectangles outside connected domains

各標(biāo)記定義如下：

連通域的寬W(Ci)=Ri-Li；

連通域的高H(Ci)=Di-Ui；

連通域的寬高比Ratio(Ci)=W(Ci)/H(Ci)；

合并后的寬Uw(Ci，Cj)=max(Ri，Rj)-min(Li，Lj)；

合并后的高Uh(Ci，Cj)=max(Di，Dj)-min(Ui，Uj)；

合并后的寬高比

URatio(Ci，Cj)=Uw(Ci，Cj)/Uh(Ci，Cj)；

重疊的寬度

Ow(Ci，Cj)=W(Ci)+W(Cj)-Uw(Ci，Cj)；

重疊的高度

Oh(Ci，Cj)=H(Ci)+H(Cj)-Uh(Ci，Cj).

以上定義的連通域單位都是基于像素點個數(shù).定量化分析連通域的合并關(guān)系、粘連字符的重疊關(guān)系能夠得到正確的切分字符.此方法簡單快速，很好地滿足了本文藥瓶標(biāo)簽字符的分割要求.

1.3 藥瓶標(biāo)簽字符識別算法設(shè)計

對于藥瓶標(biāo)簽名稱切分字符的識別，設(shè)計了一種特征矩陣求取算法，以二值圖像像素為基礎(chǔ)，求出分割字符和模板字符的相似度矩陣，再求出特征矩陣的相似度來匹配圖像.特征矩陣的求法為選定單位面積、統(tǒng)計分割字符和模板字符的單位面積黑色像素點數(shù)、字符圖像的特征矩陣為黑色像素點的總和，特征矩陣的相似度依據(jù)余弦相似度原理來計算.假設(shè)n個分割字符圖像特征分別由m1，m2，…，mn來表示，n個模板字符特征分別由t1，t2，…，tn來表示，相似度的計算公式為

(4)

2 藥瓶標(biāo)簽校驗算法實現(xiàn)

2.1 藥瓶標(biāo)簽拼接算法實現(xiàn)

采集有重疊區(qū)域(重疊區(qū)域大于1/3)的3組不同角度的藥瓶標(biāo)簽圖像注射用奧美拉唑鈉如圖4所示.

圖4中定義3組圖分別為目標(biāo)1、目標(biāo)2、目標(biāo)3.圖5是采用霍夫變換對傾斜角度圖像進(jìn)行校正，目標(biāo)1校正角度為1°，目標(biāo)2校正角度為1°，目標(biāo)3校正角度為5°.

對3組圖預(yù)處理分割后，按照上述反投影算法對水平方向的畸變進(jìn)行校正，焦距設(shè)為像素矩陣列寬的1/2，即標(biāo)簽圖像校正中心在圖1b的O點處，結(jié)果如圖6所示.

圖4 鏡頭采集原圖Fig.4 Original images collected by camera

圖5 傾斜校正圖Fig.5 Images after tilt correction

圖6 柱面反投影圖Fig.6 Images after cylindrical reverse projection

從圖6可以看出標(biāo)簽邊緣壓縮的字符得到了校正，越是靠近邊緣拉伸越寬.對圖6采用二次校正模型進(jìn)行校正，結(jié)果如圖7所示.在圖7中dOF取圖像行寬的一半，dEF由圖像彎曲的程度計算得知.由圖7可見，圖像在y軸方向得到了校正，藥品標(biāo)簽名稱基本上在同一水平線上，利于后續(xù)藥品標(biāo)簽名的提取.

圖7 二次校正圖Fig.7 Images after secondary correction

經(jīng)過柱面反投影即一次校正，二次校正后對展開的圖像進(jìn)行拼接，目標(biāo)1校正圖和目標(biāo)3的校正圖相似，并且目標(biāo)1校正后的圖像彎曲度比目標(biāo)3的大，由于篇幅的限制，在此取更有代表性的目標(biāo)1校正圖與目標(biāo)2校正圖進(jìn)行拼接.本文從3個方面試驗校正算法對拼接的影響，組別1依次經(jīng)過一次校正后拼接，驗證了一次校正對拼接的影響，拼接后的二次校正是為了易于標(biāo)簽名稱的提取.同理組別2驗證了兩次校正對拼接影響，組別3驗證了拼接后的二次校正對標(biāo)簽提取識別的影響.

3個組別的圖像拼接結(jié)果如圖8所示，從圖8中可以看出，本文拼接算法能很好實現(xiàn)藥瓶標(biāo)簽的拼配，經(jīng)過兩次校正后再拼接的標(biāo)簽展平效果好于一次校正后拼接的藥瓶標(biāo)簽.

2.2 藥瓶標(biāo)簽校驗算法實現(xiàn)

分別從圖8a、b、c提取藥品名稱有效區(qū)域如圖9所示.

對圖9中經(jīng)過預(yù)處理的圖像進(jìn)行字符切分，藥品名字符分割圖如圖10所示.圖10中，藥品名字符得到正確切分.字符分割后需要與模板字符進(jìn)行匹配，需要提前做出模板字符庫，圖11為藥瓶標(biāo)簽注射用奧美拉唑鈉的部分模板庫圖像.

圖8 不同處理后的圖像拼接圖Fig.8 Stitched images after different processes

圖9 藥品名有效區(qū)域Fig.9 Effective area of medicine name

圖10 藥品名分割圖Fig.10 Segmented images of medicine name

圖11 模板字符Fig.11 Template characters

在此階段，分割字符和模板字符像素統(tǒng)一調(diào)整為42*24，選取單位面積大小為2*2.匹配過程包括讀取樣本模板庫，計算特征矩陣，計算相似度矩陣，若相似度矩陣最大值大于0.85，顯示識別結(jié)果.

在這個階段分割字符分別與所有模板字符進(jìn)行匹配，如分割字符“注”與模板中的字符“注”、“射”、“用”、“奧”、“美”、“拉”、“唑”、“鈉”依次匹配，計算出相似度矩陣最大值.其他字符依次進(jìn)行匹配，得到所有字符的相似度矩陣最大值，如表1所示.

表1 分割字符與模板字符匹配相似度矩陣最大值

Tab.1 Maximum similarity matrix values matching segmentation characters with template characters

字符相似度矩陣最大值組別1組別2組別3注0.92290.93040.9330射0.92850.95840.9634用0.87920.92910.9486奧0.90710.94410.9499美0.89830.94680.9556拉0.85600.91260.9242唑0.91070.93380.9598鈉0.92760.96700.9519

從表1中可以看出組別2和組別3的分割字符與模板字符匹配的相似度矩陣最大值大于組別1，組別3的識別率略大于組別2.

3 結(jié) 論

本文重點研究了曲面畸變校正問題，藥瓶標(biāo)簽經(jīng)過一次校正和二次校正展開了曲面圖像邊緣壓縮字符.經(jīng)過圖像拼接解決了視角小，缺失圖像重要信息等問題.經(jīng)過校正和拼接得到了包含完整藥瓶標(biāo)簽信息的平面展開圖像.通過一次校正和二次校正后拼接的圖像字符識別率高于一次校正后拼接的圖像，即曲面圖像展平效果越好，字符的識別率越高.