李帥，趙國(guó)棟，羅豐

（1.西安電子科技大學(xué) 電子工程學(xué)院，陜西 西安 710000；2.北京紅楓樹智能控制技術(shù)股份有限公司，北京100098）

隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展和藥房設(shè)備的自動(dòng)化水平不斷提高，為藥房自動(dòng)化設(shè)備裝上“眼睛”，即加入視覺(jué)處理技術(shù)，在進(jìn)一步提高自動(dòng)化水平和徹底解放藥劑師的雙手方面有著重要的意義。目前，為確保病患的用藥安全，自動(dòng)化藥房的最后核驗(yàn)步驟還是由藥劑師依據(jù)經(jīng)驗(yàn)親自來(lái)比對(duì)，所以搭建一個(gè)藥品識(shí)別平臺(tái)對(duì)提高藥房效率有著重要的意義，藥品圖像分割就是其中的關(guān)鍵一步。

目前常用的彩色圖像分割有兩種，即基于聚類進(jìn)行分割和基于區(qū)域進(jìn)行分割。基于聚類的算法有K 均值聚類和模糊C 均值（FCM）聚類，基于區(qū)域的算法有分水嶺分割和區(qū)域生長(zhǎng)算法。

1967 年，MACQUEEN［1］提出了K 均值聚類（K-means）為后面的聚類算法奠定了基礎(chǔ)，但該算法依賴出生點(diǎn)的選擇而且對(duì)異常點(diǎn)敏感。后來(lái)的學(xué)者對(duì)這做出了很多改進(jìn)，1973 年，DUNN［2］在K-means 的基礎(chǔ)上加入了隸屬度的概念，提出了模糊C 均值聚類（FCM）。2002 年，AHMED等［3］在聚類過(guò)程中加入了空間概念，提高了FCM的抗噪性能。2012 年，公茂果等人在FCM 加入了局部紋理信息的考慮，提高了分割效果。總體來(lái)說(shuō)，K 均值聚類通過(guò)計(jì)量樣本點(diǎn)之間的距離來(lái)評(píng)價(jià)兩個(gè)點(diǎn)的相似度，通過(guò)不斷的迭代調(diào)整聚類中心使每個(gè)簇里內(nèi)部相似度盡可能高、簇間相似度盡可能低。1991 年，VINCENT 等［4］提出的分水嶺算法是將圖像灰度值和地理拓?fù)淅碚撓嘟Y(jié)合，基本實(shí)現(xiàn)了對(duì)距離較近的目標(biāo)進(jìn)行分割，但容易產(chǎn)生過(guò)分割現(xiàn)象。后續(xù)學(xué)者對(duì)分水嶺算法做了改進(jìn)，2011 年，胡敏等［5］基于形態(tài)學(xué)處理為分水嶺分割提供了先驗(yàn)標(biāo)記信息，去掉了人機(jī)交互進(jìn)行標(biāo)記的必要。2013 年，陳麗芳等［6］對(duì)分割后的結(jié)果進(jìn)行處理，改善了過(guò)分割的現(xiàn)象。

基于區(qū)域的方法是目前分割算法應(yīng)用場(chǎng)合最多且分割性能較好的算法。區(qū)域生長(zhǎng)算法的基本原理就是選好一個(gè)生長(zhǎng)點(diǎn)，然后依據(jù)設(shè)定好的生長(zhǎng)準(zhǔn)則對(duì)周圍的像素點(diǎn)或者區(qū)域進(jìn)行聚合，最終生長(zhǎng)停止完成分割。區(qū)域分裂與合并法與生長(zhǎng)相反，首先把圖像不斷分成一個(gè)個(gè)子區(qū)域，再通過(guò)某一規(guī)則對(duì)分類的子區(qū)域進(jìn)行合并?；趨^(qū)域的方法的效果好壞就在于種子點(diǎn)的選定、生長(zhǎng)準(zhǔn)則的設(shè)計(jì)和結(jié)束生長(zhǎng)的條件。2014 年，曹彪［7］在將區(qū)域生長(zhǎng)算法應(yīng)用到了OCT 圖像上，結(jié)合OCT 圖像設(shè)置了種子點(diǎn)自動(dòng)選取算法并改進(jìn)了生長(zhǎng)準(zhǔn)則，提高了分割精度。2018 年，鄭又能等［8］應(yīng)用了最小二乘問(wèn)題來(lái)在水岸線分割場(chǎng)景下實(shí)現(xiàn)種子點(diǎn)的自動(dòng)選取。

1 藥品圖像預(yù)處理

預(yù)處理技術(shù)是整個(gè)圖像處理流程的開端，主要作用是提高圖像質(zhì)量方便后續(xù)的算法實(shí)現(xiàn)。一般來(lái)說(shuō)，預(yù)處理技術(shù)主要有圖像濾波和圖像增強(qiáng)。圖像濾波是為了消除圖像產(chǎn)生過(guò)程中的無(wú)法避免的外界干擾以及背景環(huán)境的問(wèn)題在圖像上產(chǎn)生的噪點(diǎn)，圖像增強(qiáng)是為了突出圖像某一方面的特性為后續(xù)的分割、識(shí)別等處理服務(wù)。

圖像濾波可以根據(jù)輸入輸出之間是否為線性劃分成線性濾波和非線性濾波兩種。線性濾波就是將對(duì)灰度值進(jìn)行加權(quán)和處理，如常見(jiàn)的有高斯濾波；非線性濾波是對(duì)灰度值進(jìn)行非線性處理，如常見(jiàn)的有中值濾波、雙邊濾波。高斯濾波就是用服從二維正態(tài)分布的卷積核與圖像作卷積計(jì)算，從而得到每個(gè)像素的值。本質(zhì)上是一種低通濾波，在每個(gè)像素值的計(jì)算過(guò)程中都加入了周圍像素的影響，這有一定的“平滑”效果，主要表現(xiàn)為圖像模糊，如圖2 所示。在實(shí)際使用中，一般將中值濾波用在椒鹽噪聲現(xiàn)象較為明顯的場(chǎng)合。雙邊濾波和高斯濾波同樣使用平均加權(quán)法，差異在于雙邊濾波既計(jì)算了像素間的歐氏距離，也加入了像素灰度的相似性計(jì)算，與高斯濾波相比，雙邊濾波可以更好的保存目標(biāo)對(duì)象的邊緣信息。

濾波效果比較見(jiàn)圖1～4。

圖1 原圖及其二值化

圖2 高斯濾波及其二值化

圖3 中值濾波及二值化

圖4 雙邊濾波及其二值化

由上面的圖像濾波及其二值圖可看出，高斯濾波和中值濾波在目標(biāo)邊緣處都出現(xiàn)和背景的粘連，為后面的分割工作增加了難度，雙邊濾波可以在降低背景干擾的情況下較好的保護(hù)目標(biāo)的邊緣，綜合考慮本次算法選擇雙邊濾波算法進(jìn)行濾波操作。

2 藥品分割分析

為了避免藥品光滑的表面出現(xiàn)反光導(dǎo)致藥品表面像素信息的損失，我們采取在較暗光照條件下進(jìn)行圖像采集。暗光照條件導(dǎo)致了圖像的信息集中在低值區(qū)域，我們采用gamma 校正的圖像的增強(qiáng)算法擴(kuò)寬了圖像的細(xì)節(jié)信息，豐富了圖像的特征。但藥品圖像在進(jìn)行目標(biāo)與背景的分割的時(shí)候主要有兩個(gè)問(wèn)題，一是部分顏色在轉(zhuǎn)換到灰度空間時(shí)灰度值較低，縮小了與背景環(huán)境的差別，二是基于膠囊藥品的特性，存在一個(gè)目標(biāo)的具有兩個(gè)顏色且在灰度圖中差異較大，往往只保留其中一部分。

問(wèn)題說(shuō)明見(jiàn)圖5～6。

圖5 原圖及灰度化結(jié)果一

圖6 原圖及灰度化結(jié)果二

除此之外，藥品在設(shè)備內(nèi)部會(huì)出現(xiàn)粘連現(xiàn)象，在保證藥品本身完整的基礎(chǔ)下將藥品之間較好的分割開，也是分割算法的難點(diǎn)。粘連效果見(jiàn)圖7。

圖7 藥品粘連

3 改進(jìn)區(qū)域生長(zhǎng)算法

區(qū)域生長(zhǎng)法就是依據(jù)事先選好的規(guī)則將一個(gè)像素點(diǎn)或者一個(gè)小塊領(lǐng)域不斷進(jìn)行聚合的過(guò)程?；镜乃惴ㄋ枷刖褪菑姆N子點(diǎn)（像素點(diǎn)或者小區(qū)域）開始，通過(guò)生長(zhǎng)準(zhǔn)則評(píng)判種子點(diǎn)和待生長(zhǎng)點(diǎn)是否為性質(zhì)相近來(lái)不斷的使區(qū)域擴(kuò)大，直到生長(zhǎng)停止。算法的效果好壞取決于種子點(diǎn)、生長(zhǎng)準(zhǔn)則和生長(zhǎng)停止的條件的選擇是否合適。

區(qū)域生長(zhǎng)的一般步驟如下：

（1）選擇好合適的種子點(diǎn)。

（2）通過(guò)生長(zhǎng)準(zhǔn)則將新的像素點(diǎn)合并。

（3）直到到達(dá)生長(zhǎng)停止的條件。

改進(jìn)的區(qū)域生長(zhǎng)算法的基本思想是先將樣本圖像與背景圖像作差分處理，然后對(duì)結(jié)果做低閾值二值化處理和連通域篩選，得到藥品的粗分割結(jié)果，針對(duì)膠囊上下部分區(qū)域特征差別較大，先將上下部分看成兩個(gè)區(qū)域。我們選取連通域的質(zhì)心和主軸方向的兩個(gè)點(diǎn)作為種子的生長(zhǎng)點(diǎn)，圖像二值化處理是將灰度圖的灰度值以某一固定值為閾值，將大于閾值的灰度值置255，小于閾值的灰度值置0，較少后續(xù)計(jì)算的運(yùn)算量，突出圖像中的輪廓特征。二值化的公式如式（1）：

式中，th 為閾值，g（i，j）為灰度圖中（i，j）位置的灰度值，b（i，j）為二值圖中對(duì)應(yīng)位置的值。二值化的方法有很多，但本文只是用二值化來(lái)篩選連通域，降低背景干擾同時(shí)預(yù)選ROI 區(qū)域，減少后續(xù)算法的運(yùn)算量，所以選擇了簡(jiǎn)單的固定閾值處理。

連通域篩選是在二值化圖像中，選擇出基本符合藥品目標(biāo)特征的連通域，將一下背景的噪點(diǎn)及條紋反光部分刪除，提高算法的運(yùn)行效率。通過(guò)測(cè)量連通域的面積和外接矩形的長(zhǎng)寬比，經(jīng)測(cè)量，本文采集的藥品圖像中目標(biāo)的連通域均遠(yuǎn)遠(yuǎn)大于500 像素值且外接矩形的長(zhǎng)寬比在1∶8 之間。

將得到的連通域擴(kuò)充得到的藥品的粗分割結(jié)果，標(biāo)記為ROI 區(qū)域，效果見(jiàn)圖8。

圖8 種子生長(zhǎng)點(diǎn)示意圖

考慮到藥品圖像大致有三種類型：純亮色、純暗色、雙色，我們使用基于Lab 顏色模型的色差來(lái)進(jìn)行生長(zhǎng)準(zhǔn)則的閾值，色差的度量值如下：

式中，?L為待生長(zhǎng)點(diǎn)與種子點(diǎn)在Lab 顏色模型中L 值上的差值，同理?a、?b為兩點(diǎn)在a 和b 值上的差值。我們?cè)O(shè)定生長(zhǎng)閾值th2，將待生長(zhǎng)點(diǎn)與種子點(diǎn)的色差值小于閾值時(shí)，此時(shí)認(rèn)為待生長(zhǎng)點(diǎn)和種子點(diǎn)屬于一個(gè)區(qū)域，對(duì)它進(jìn)行生長(zhǎng)標(biāo)記。重復(fù)色差計(jì)算，直至遍歷完所有未知點(diǎn)，完成目標(biāo)分割。分割結(jié)果即為集合O，則

只要待生長(zhǎng)點(diǎn)Ni，x滿足生長(zhǎng)條件R，與種子點(diǎn)的色差小于閾值，就將點(diǎn)Ni，x加入到集合O 中，即將種子點(diǎn)加入新的生長(zhǎng)區(qū)域中。

種子的生長(zhǎng)過(guò)程如圖9 所示，將得到的初始種子點(diǎn)設(shè)為S1，將其周圍的鄰域點(diǎn)設(shè)為P1-P8，對(duì)于鄰域點(diǎn)中滿足生長(zhǎng)準(zhǔn)則的點(diǎn)設(shè)為生長(zhǎng)點(diǎn)，加入到種子集合中。然后對(duì)新的種子點(diǎn)的鄰域進(jìn)行生長(zhǎng)準(zhǔn)則判斷，使得種子點(diǎn)集合不斷增加，目標(biāo)區(qū)域不斷擴(kuò)大。直到所有的未知點(diǎn)完成生長(zhǎng)，則區(qū)域生長(zhǎng)算法分割完成。

圖9 區(qū)域生長(zhǎng)過(guò)程圖

按照上述種子點(diǎn)的選擇方法和生長(zhǎng)準(zhǔn)則，對(duì)于某雙色膠囊樣本得到的結(jié)果如圖10 所示。

圖10 本文算法中間處理結(jié)果

由上述方法得到的膠囊圖像會(huì)出現(xiàn)上下兩部分分隔開，對(duì)于這種情況下的連通域需進(jìn)行合并處理。首先通過(guò)連通域形狀參數(shù)確認(rèn)膠囊的上部分和下部分，計(jì)算兩部分連通域的主軸線的斜率和距離。經(jīng)測(cè)試，同一個(gè)膠囊上下部分連通域主軸線的斜率大約在5 度以內(nèi)，距離差在30 個(gè)像素值內(nèi)，對(duì)于一個(gè)膠囊的連通域進(jìn)行閉運(yùn)算鏈接處理。

計(jì)算連通域的質(zhì)心和主軸方向通過(guò)圖像的幾何矩進(jìn)行計(jì)算。其中一階矩的公式如下：

式中，I（x，y） 為圖像（x，y）處的灰度值，當(dāng)圖像二值化后，m00就表示了圖像白色區(qū)域的面積。

二階矩：

其中，θ∈[-90o，90o]。

篩選連通域后合并的結(jié)果見(jiàn)圖11。

圖11 算法結(jié)果

算法步驟如下：

Step1：低閾值二值化圖像，確定藥品的出現(xiàn)區(qū)域，標(biāo)記ROI，完成粗分隔；

Strp2：判斷連通域形狀參數(shù)，篩選出單獨(dú)噪點(diǎn)、單藥、多藥連通域；

Strp3：?jiǎn)为?dú)噪點(diǎn)連通域置零，多藥連通域進(jìn)行標(biāo)記，使用開運(yùn)算，然后進(jìn)行單藥連通域處理；

Strp4：對(duì)于單藥連通域和多藥連通域的處理結(jié)果進(jìn)行本文區(qū)域生長(zhǎng)分割；

Strp5：對(duì)多藥連通域的分隔結(jié)果進(jìn)行形狀參數(shù)判斷，對(duì)同一膠囊的上下部分進(jìn)行合并。

算法流程見(jiàn)圖12。

圖12 本文算法流程圖

4 分割算法評(píng)價(jià)指標(biāo)

對(duì)于分割算法性能的評(píng)價(jià)一般有主觀和客觀兩種。其中，主觀評(píng)價(jià)指標(biāo)是指通過(guò)肉眼觀察，對(duì)比原圖來(lái)分析分割結(jié)果邊界是否清晰準(zhǔn)確，是否存在粘連以及錯(cuò)分的現(xiàn)象?？陀^評(píng)價(jià)就是通過(guò)選擇某一評(píng)價(jià)標(biāo)準(zhǔn)來(lái)對(duì)結(jié)果進(jìn)行計(jì)算測(cè)量，通過(guò)數(shù)字來(lái)表征來(lái)分割結(jié)果之間的差異。

本文采用兩種方法相結(jié)合的方式來(lái)對(duì)分割結(jié)果進(jìn)行評(píng)價(jià)。客觀評(píng)價(jià)指標(biāo)選擇的是差異實(shí)驗(yàn)法。設(shè)S 為本文改進(jìn)算法得到的藥品圖像，T 為手動(dòng)分割的藥品圖像，I 代表整張?zhí)霅?ài)你個(gè)，定義以下4 個(gè)參數(shù)：

上式中，TP 即本文算法正確分割區(qū)域，F(xiàn)P 為本文算法錯(cuò)誤分割區(qū)域；FN 為本文算法漏檢的目標(biāo)區(qū)域，TN 為正確的背景區(qū)域。Sensitivityy（敏感率）表征了目標(biāo)被分割到的概率，Accuracy（準(zhǔn)確率）表征了分割結(jié)果中不是目標(biāo)的概率。

我們從搜集到的圖像數(shù)據(jù)中隨機(jī)選擇10 幅圖像，分別用本文算法和手動(dòng)進(jìn)行分割，并用上式進(jìn)行計(jì)算，計(jì)算結(jié)果見(jiàn)表1。

表1 本文分割算法評(píng)價(jià)表

由上表中的Sensitivity 和Accuracy 這兩列的均值和均方差可以看出，本文改進(jìn)的算法對(duì)于藥品圖像有著很好的分割準(zhǔn)確度，同時(shí)各項(xiàng)數(shù)據(jù)的方差都較小，說(shuō)明本文算法有著較好的穩(wěn)定性。通過(guò)分析上表數(shù)據(jù)可以得出本文算法的分割結(jié)果和手動(dòng)分割的結(jié)果相似，相差甚小，說(shuō)明本文算法有著很高的準(zhǔn)確率。

5 分割算法性能比較

本文所使用的計(jì)算機(jī)處理器為Inter（R） Core（TM） i5-8300H CPU @ 2.30GHz 2.30GHz，內(nèi)存為8.0GB，軟件環(huán)境為微軟公司的Windows 10，仿真軟件為Visual Studio 2019，算法庫(kù)是Opencv 4.0。

通過(guò)對(duì)藥品圖像分析，我們發(fā)現(xiàn)處方結(jié)果圖大致有單藥片、單膠囊以及部分粘連這幾種情況，我們對(duì)這幾種情況進(jìn)行分別采集各十張，原圖為3 072×2 048 分辨率，大小為280 KB，采用K 均值聚類、FCM 聚類算法、分水嶺算法以及本文的區(qū)域生長(zhǎng)算法進(jìn)行了實(shí)驗(yàn)，部分結(jié)果見(jiàn)圖13～17。

圖13 藥品原圖

圖14 K 均值聚類結(jié)果

圖15 FCM 聚類結(jié)果

圖16 分水嶺分割結(jié)果

圖17 本文分割算法

觀察圖14 可知，K 均值聚類對(duì)于目標(biāo)單一的場(chǎng)景下表現(xiàn)較好，可以較為清楚的將藥品目標(biāo)與背景分隔開，尤其是對(duì)于藥片目標(biāo)，分割結(jié)果清楚準(zhǔn)確。但在有較多目標(biāo)的場(chǎng)景下，一方面對(duì)于膠囊目標(biāo)分割不完整，邊界部分缺失，一方面當(dāng)膠囊在藥片旁邊時(shí)容易被忽略，受膠囊表面光斑影響嚴(yán)重。

觀察圖15 可知，F(xiàn)CM 聚類算法在K 均值聚類算法中加入了軟間隔，同樣在藥品種類較為單一的情況下表現(xiàn)良好，但在多種藥品情況下會(huì)出現(xiàn)部分目標(biāo)邊界不完整甚至大部分缺失的問(wèn)題。

觀察圖16 可知，在手動(dòng)準(zhǔn)確的標(biāo)記的情況下分水嶺算法可以較好的藥品目標(biāo)從背景分離，邊界也較為清楚準(zhǔn)確，但這一方面依賴人工標(biāo)記提供的準(zhǔn)確的先驗(yàn)信息，另一方面在膠囊藥品標(biāo)記信息不準(zhǔn)確時(shí)會(huì)出現(xiàn)上下部分分離或者部分缺失的現(xiàn)象。

觀察圖17 可知，本文算法在中間過(guò)程無(wú)人為參與的情況下，對(duì)于膠囊目標(biāo)、藥片目標(biāo)以及混合情況、粘連情況都表現(xiàn)較好，目標(biāo)分割準(zhǔn)確，較少出現(xiàn)目標(biāo)缺失或目標(biāo)部分內(nèi)容缺失的情況出現(xiàn)，基本滿足了醫(yī)院調(diào)價(jià)環(huán)境下藥品分割算法的需要。

表2 為100 張測(cè)試圖各算法用時(shí)結(jié)果統(tǒng)計(jì)平均值。本文算法與常見(jiàn)分割算法評(píng)價(jià)結(jié)果見(jiàn)表3。

表2 各算法所用時(shí)間表 （s）

表3 各算法評(píng)價(jià)結(jié)果表

由上述結(jié)果可以看出，K 均值聚類和FCM 聚類算法性能相似，首先是費(fèi)時(shí)太久，算法收斂速度慢，而且對(duì)于膠囊的同物雙色的特性并沒(méi)有很好的識(shí)別性能，對(duì)于部分膠囊表面存在的反光光斑較敏感，分割精度較低，性能較差。

分水嶺分割算法與本文算法效果相近，都需要先對(duì)目標(biāo)進(jìn)行標(biāo)記，但分水嶺算法存在大量的梯度運(yùn)算，導(dǎo)致耗時(shí)較久，而且對(duì)于膠囊的上下部分沒(méi)有進(jìn)行處理，沒(méi)有將上下部分合并為一個(gè)目標(biāo)。

綜上所述，本文算法可以較好的對(duì)于醫(yī)院調(diào)劑環(huán)境下的藥品目標(biāo)進(jìn)行分割，提取出的目標(biāo)輪廓較為準(zhǔn)確清晰，而且區(qū)域生長(zhǎng)算法計(jì)算較為簡(jiǎn)單，節(jié)省時(shí)間。除此之外，本文算法對(duì)于膠囊的顏色分布特性進(jìn)行了處理，基于連通域的主軸線的距離和偏轉(zhuǎn)角度差來(lái)判斷膠囊的上下部分連通域，從而進(jìn)行合并。整體分割效果較好，而且耗時(shí)最短。

6 結(jié)束語(yǔ)

為了將醫(yī)院調(diào)劑環(huán)境下的藥品圖像更精確的分割出來(lái)，提出了一種改進(jìn)的區(qū)域生長(zhǎng)算法。首先對(duì)圖像進(jìn)行預(yù)處理，雙邊濾波降低背景干擾點(diǎn)和噪聲的影響，然后用改進(jìn)的區(qū)域生長(zhǎng)算法進(jìn)行藥品和藥品、藥品和背景之間的分割。本文算法使用連通域質(zhì)心及主軸線上的點(diǎn)作種子點(diǎn)，在不遺漏膠囊藥品上下部分的同時(shí)克服了生長(zhǎng)點(diǎn)需人工交互的缺點(diǎn)。生長(zhǎng)準(zhǔn)則采用色差來(lái)計(jì)算，較好的實(shí)現(xiàn)了藥品和背景的分割。對(duì)于膠囊藥品，設(shè)計(jì)了連通域合并規(guī)則，實(shí)現(xiàn)了膠囊藥品的完整分割。經(jīng)測(cè)試表明，本文算法在時(shí)間復(fù)雜度和分割效果上均優(yōu)于其他常見(jiàn)算法。