李鑫銘, 趙 磊, 邵寶民, 王 棟

(山東理工大學(xué) 計(jì)算機(jī)學(xué)院, 山東 淄博255000)

0 引 言

微生態(tài)下的菌種檢測(cè)是人體醫(yī)療學(xué)科的分支,研究發(fā)現(xiàn)人體內(nèi)分泌物中存在超過(guò)200 種微生物,其中不乏致病菌,或出現(xiàn)某種菌類數(shù)量失衡從而致病情況。 目前國(guó)內(nèi)普遍采用醫(yī)務(wù)人員肉眼進(jìn)行顯微鏡下觀察分析的方式,診斷患者是否患病,此種方式效率低下,且易因視覺(jué)疲勞,出現(xiàn)誤診、漏診等現(xiàn)象。

對(duì)于目標(biāo)檢測(cè)問(wèn)題,當(dāng)前可分為兩大類,傳統(tǒng)檢測(cè)算法諸如Rcnn,Fast-rcnn,Faster-rcnn［1-2］等一般分為3 個(gè)階段：(1)在給定圖像上選擇候選區(qū)域。(2)對(duì)區(qū)域進(jìn)行特征提取。(3)使用分類器進(jìn)行分類。 這類算法普遍耗時(shí)長(zhǎng),磁盤空間占用大,且算法冗余較多。 Yolo(包括Yolo,Yolov2,Yolov3［3-4］)算法不同于上面幾種算法,此類算法將檢測(cè)問(wèn)題作為回歸問(wèn)題處理,即給定圖像后,直接在圖像多個(gè)位置上預(yù)測(cè)出這個(gè)位置的邊框以及目標(biāo)類別。 因此,在檢測(cè)準(zhǔn)確率大致相同的情況下,減少了提取候選區(qū)域等步驟的冗余計(jì)算,大大提高了檢測(cè)速度。

針對(duì)此類菌類檢測(cè)問(wèn)題,熊應(yīng)平、王阿川等人(2016)曾采用濾波,分水嶺算法對(duì)松楊柵銹菌孢子進(jìn)行分割識(shí)別［5］,但其檢測(cè)背景較為簡(jiǎn)單,且檢測(cè)速度較慢。 鄭欣、田博、李晶晶(2018)等人曾采用Yolov2 模型對(duì)宮頸細(xì)胞簇團(tuán)進(jìn)行智能識(shí)別［6］,但其正確率(判斷類／實(shí)際類)只能達(dá)到90%左右,檢出率(檢出數(shù)目／實(shí)際數(shù)目)也有83%左右。 廖欣、鄭欣、鄒娟(2018)等提出基于神經(jīng)網(wǎng)絡(luò)集成模型的宮頸細(xì)胞病理計(jì)算機(jī)輔助診斷方法［7］,但其時(shí)間效率差,不能滿足患者實(shí)時(shí)診斷的需求。 因此提出采用基于darknet-53 網(wǎng)絡(luò)模型的Yolov3 算法與傳統(tǒng)形態(tài)學(xué)相結(jié)合,實(shí)現(xiàn)智能識(shí)別各種致病菌類的解決辦法。

由于顯微鏡下菌種的多樣性,且背景極為復(fù)雜,干擾因素多。 尤其是在100 倍顯微鏡下,采集圖像時(shí),由于焦點(diǎn)無(wú)法兼顧多個(gè)圖層,會(huì)出現(xiàn)景深問(wèn)題,導(dǎo)致分層圖像模糊,本文采用了一種比較快捷的景深融合方法成功解決了此問(wèn)題,又在yolov3 檢測(cè)基礎(chǔ)上加入傳統(tǒng)圖像處理方法,將整個(gè)檢測(cè)過(guò)程分為兩大部分,并取其交集。 在經(jīng)過(guò)1 530 張圖片測(cè)試后,在保證單張圖片測(cè)試時(shí)間在300 ms 左右的情況下,其準(zhǔn)確率達(dá)94.7%,檢出率達(dá)82.1%。 經(jīng)臨床數(shù)據(jù)證明,資深醫(yī)務(wù)人員對(duì)試片進(jìn)行人工篩選時(shí),準(zhǔn)確率在94%左右。 說(shuō)明此算法效果可以達(dá)到實(shí)際使用的精度需求。

1 技術(shù)介紹

1.1 YOLOv3 簡(jiǎn)介

Yolov3 采用了錨點(diǎn)機(jī)預(yù)測(cè)來(lái)更高效的預(yù)測(cè)不同尺度與寬高比的物體邊界框。 YOLO3 為每種FPN預(yù)測(cè)特征圖(13*13,26*26,52*52)設(shè)定3 種錨點(diǎn)框,總共聚類出9 種尺寸的錨點(diǎn)框。 錨點(diǎn)的設(shè)計(jì)方式使用K-means 聚類,得到9 個(gè)聚類中心,將其按照大小均分給3 個(gè)尺度。 尺度1： 在基礎(chǔ)網(wǎng)絡(luò)之后添加一些卷積層,再輸出錨點(diǎn)框信息。 尺度2： 從尺度1 中的倒數(shù)第二層的卷積層上采樣(x2),再與最后一個(gè)16*16 大小的特征圖相加,再次通過(guò)多個(gè)卷積后輸出錨點(diǎn)框信息,相比尺度1 增大兩倍。尺度3： 與尺度2 類似,使用了32*32 大小的特征圖進(jìn)行多個(gè)卷積輸出錨點(diǎn)框信息。

距離公式(1)定義如下：

Yolov3 在通過(guò)訓(xùn)練后,對(duì)每個(gè)預(yù)選框預(yù)測(cè)4 個(gè)坐標(biāo)值(tx,ty,tw,th)(其中tx,ty是預(yù)測(cè)的坐標(biāo)偏移值,tw,th是尺度縮放), 其預(yù)測(cè)過(guò)程與Faster-rcnn類似。 可通過(guò)公式(2)～公式(5)計(jì)算得到：

其中, Gx、Gy、Gw、Gh為是目標(biāo)真實(shí)框在feature map 的4 個(gè)坐標(biāo)。 Pw,Ph是預(yù)設(shè)的錨點(diǎn)框在feature map 上的寬和高,預(yù)選框預(yù)測(cè)流程如圖1 所示。

圖1 預(yù)選框預(yù)測(cè)流程圖Fig. 1 Pre-selection box prediction flowchart

對(duì)于預(yù)測(cè)預(yù)選框的Cell(一幅圖劃分成S×S 個(gè)網(wǎng)格cell),可以對(duì)邊框按圖1 所示進(jìn)行預(yù)測(cè)。

預(yù)測(cè)邊框時(shí)cx, cy為相對(duì)于左上角的位置,每個(gè)小格的長(zhǎng)度為1,圖1 中此時(shí)cx=1,cy=1。 tx和ty分別經(jīng)過(guò)sigmoid 函數(shù)處理,與cx, cy相加后得到預(yù)選框中心點(diǎn)bx,by。 tw,th分別與pw,ph作用后,最終得到預(yù)選框的寬和高bw,bh。 sigmod 函數(shù)公式(6)：

除去預(yù)選框位置的四個(gè)值外,每個(gè)網(wǎng)格還會(huì)預(yù)測(cè)一個(gè)框內(nèi)有無(wú)待測(cè)目標(biāo)的置信度,以及N 個(gè)待檢測(cè)類的特定置信度。

預(yù)測(cè)有無(wú)待測(cè)置信度定義為公式(7)：

其中,Pr(Object) ∈｛0,1｝.

此時(shí),將每個(gè)網(wǎng)格預(yù)測(cè)的種類信息和預(yù)選框區(qū)域預(yù)測(cè)的置信度信息相乘,得到每個(gè)預(yù)選框區(qū)域的特定類型置信度,公式(8)：

等式左邊第一項(xiàng)是每個(gè)網(wǎng)格預(yù)測(cè)的類別信息,第二、三項(xiàng)是每個(gè)預(yù)選框預(yù)測(cè)的置信度。 這個(gè)乘積即代表了預(yù)測(cè)的區(qū)域?qū)儆谀骋活惖母怕?也有該區(qū)域準(zhǔn)確度的信息。

關(guān)于損失函數(shù),Yolov3 使用均方和差作為loss函數(shù),由三部分組成：坐標(biāo)誤差、IOU 誤差(預(yù)選框與實(shí)際框的交并比)、和分類誤差,公式(9)。

對(duì)于每種loss 的貢獻(xiàn)率,Yolo 給coordErr 設(shè)置權(quán)重λcoord= 5。 在計(jì)算IOU 誤差時(shí),YOLO 使用λnoobj= 0.5 以修正IOUErr。 采用了將物體大小的信息項(xiàng)(寬和高)進(jìn)行求平方根的方法來(lái)改進(jìn)對(duì)于大物體誤差對(duì)檢測(cè)的影響應(yīng)小于小物體誤差對(duì)檢測(cè)的影響問(wèn)題。

綜上,Yolo 在訓(xùn)練過(guò)程中Loss 計(jì)算如公式(10)所示：

注：公式中1-2 行為對(duì)預(yù)測(cè)中心以及預(yù)測(cè)邊框?qū)捀咦鰮p失,第3-4 行分別為預(yù)測(cè)類別,第5 行為對(duì)預(yù)測(cè)置信度做損失。

1.2 形態(tài)學(xué)篩選

在檢測(cè)問(wèn)題中,傳統(tǒng)圖像處理技術(shù)應(yīng)用較少。目前多種深度學(xué)習(xí)檢測(cè)算法更多注重于圖像深層特征的提取與分類,而忽略了圖像直觀的內(nèi)容。 因此,在利用深度學(xué)習(xí)檢測(cè)算法的同時(shí),輔以形態(tài)學(xué)的條件進(jìn)一步篩選,可以有效提高檢測(cè)精度。 傳統(tǒng)圖像處理方法具有運(yùn)算速度快,圖像操作較為直觀等優(yōu)點(diǎn),尤為適合醫(yī)學(xué)范圍內(nèi)的實(shí)時(shí)檢測(cè),其缺點(diǎn)是精度較差。 而形態(tài)學(xué)與Yolov3 算法相結(jié)合,在保留時(shí)間效率的同時(shí)極大的提高了檢測(cè)精度。 針對(duì)孢子這種致病菌的檢測(cè),本文提出以加入濾波,灰度化,自適應(yīng)閾值劃分,輪廓提取等傳統(tǒng)圖像方法［10］,并針對(duì)孢子形狀對(duì)其進(jìn)行橢圓擬合,來(lái)對(duì)Yolov3 算法篩選出來(lái)的疑似區(qū)域進(jìn)行再確定。

根據(jù)得到的圖片特性,首先進(jìn)行灰度化,自適應(yīng)閾值劃分,圖像銳化等操作,采用Canny 算子對(duì)其進(jìn)行輪廓查找。 針對(duì)孢子的形狀,采用了基于最小二乘法橢圓擬合［11-12］的辦法來(lái)對(duì)孢子進(jìn)行準(zhǔn)確檢測(cè)。

已知橢圓方程

對(duì)于公式(11),方程中有5 個(gè)未知數(shù)分別為A,B,C,D,E,則最少需要采樣點(diǎn)為5,對(duì)采樣點(diǎn)進(jìn)行橢圓非標(biāo)準(zhǔn)方程擬合可得

其中,N 表示采樣點(diǎn)個(gè)數(shù)。 經(jīng)過(guò)多次測(cè)試并結(jié)合孢子圖像在圖片中的像素大小,其輪廓上的擬合點(diǎn)定為35-38 時(shí),擬合效果最好。

2 實(shí)驗(yàn)與測(cè)試

2.1 圖像集及其預(yù)處理

本文所用訓(xùn)練圖像數(shù)據(jù)集與測(cè)試集均為患者真實(shí)病例試片在100 倍顯微鏡下采集的,含有致病菌的視野,采集像素大小為1600*1200(后歸一化為608*608)。 得到清晰圖像如圖2 所示。

圖2 清晰孢子菌絲圖像Fig. 2 Clear spore hyphae image

其中,深色橢圓狀細(xì)菌為孢子,深色長(zhǎng)條形細(xì)菌為菌絲。 得到清晰的圖像后,再由專業(yè)醫(yī)務(wù)人員對(duì)圖像進(jìn)行標(biāo)注。

標(biāo)注好的圖像如圖3 所示：

2.2 實(shí)驗(yàn)

實(shí)驗(yàn)基本流程為：選取部分待測(cè)圖像(目前為50 000 張),在待測(cè)圖像中將識(shí)別目標(biāo)做好標(biāo)注,將其組成訓(xùn)練集放入網(wǎng)絡(luò)訓(xùn)練,得到模型。 再將要識(shí)別的圖像(圖像大小為1600*1200,共1 530 張)放入測(cè)試程序,調(diào)用訓(xùn)練好的模型進(jìn)行測(cè)試,得到模型初篩結(jié)果,并在原圖中標(biāo)出。 對(duì)該疑似區(qū)域進(jìn)行形態(tài)學(xué)的判斷,最終通過(guò)取交集的方法得到較為準(zhǔn)確的識(shí)別結(jié)果。 實(shí)驗(yàn)流程如圖4 所示。

(1)基于darknet 框架下yolov3 模型的初篩。測(cè)試過(guò)程：經(jīng)過(guò)模型訓(xùn)練后,將待測(cè)圖像導(dǎo)入進(jìn)模型網(wǎng)絡(luò),得到每個(gè)區(qū)域的特定類型置信度,設(shè)置閾值,濾掉得分低的區(qū)域,對(duì)保留的區(qū)域進(jìn)行NMS(Non-Maximum Suppression,非極大值抑制)處理［13］,得到Y(jié)olov3 的檢測(cè)結(jié)果。

(2)基于圖像形態(tài)學(xué)處理。 基于圖像形態(tài)學(xué)處理與識(shí)別的流程如圖5 所示。

圖5 形態(tài)學(xué)處理與識(shí)別流程Fig. 5 Morphological processing and identification flow

得到清晰的Yolov3 算法篩選過(guò)的疑似區(qū)域之后,對(duì)圖像進(jìn)行邊緣增強(qiáng)及銳化。 再根據(jù)孢子的色值做灰度化以及二值化分割,將孢子與淺色背景分割開來(lái),通過(guò)Canny 算子對(duì)其進(jìn)行輪廓提取。 得到清晰輪廓后,在輪廓上隨機(jī)取點(diǎn)進(jìn)行橢圓擬合,若擬合橢圓區(qū)域與二值化后孢子所在擬合橢圓的區(qū)域重疊部分超過(guò)95%以上,則可以大致判斷此區(qū)域內(nèi)的形狀大致為橢圓。 即該物體符合孢子的形狀特點(diǎn),可將其判定為孢子。 圖6 為桿菌做擬合情況,圖7為孢子擬合情況。

圖6 桿菌橢圓擬合Fig. 6 Bacterial ellipse fitting

圖7 孢子橢圓擬合Fig. 7 Spore ellipse fitting

由圖6,圖7 可以看到,桿菌形狀特征并不滿足篩選條件,可以輕松被篩選掉。 而細(xì)胞核較孢子大小要大,孢子在1600*1200 大小的圖片上時(shí),一般最小為45*45,且其長(zhǎng)寬比近似1 ∶1,而細(xì)胞核大小一般最大為20*30,長(zhǎng)寬比接近1 ∶1.5。 因此,此時(shí)將大小閾值設(shè)為30*30,長(zhǎng)寬比1 ∶1.3 時(shí)可以通過(guò)輪廓的旋轉(zhuǎn)矩形大小有效篩選掉細(xì)胞核與桿菌。

2.3 測(cè)試

為驗(yàn)證算法性能,只以孢子識(shí)別為例,在上文自制測(cè)試集中進(jìn)行了測(cè)試(置信度閾值設(shè)置為75%,高于此閾值時(shí)標(biāo)出)。 包括本綜合算法的時(shí)間性能,準(zhǔn)確率(判斷正確總數(shù)／進(jìn)行判斷總數(shù))與單純形態(tài)學(xué)算法,深度學(xué)習(xí)Faster-RCNN,SSD［14］,Yolov2等算法在GPU 運(yùn)行環(huán)境性能對(duì)比如表1 所示。

表1 孢子識(shí)別方法性能對(duì)比表Tab. 1 Spore identification method performance comparison table

由上表1 可見,單純采用圖像形態(tài)學(xué)進(jìn)行孢子檢測(cè)時(shí),在GPU 環(huán)境下檢測(cè)速度可達(dá)148 p／s-1,但其準(zhǔn)確率非常差,難以適應(yīng)微生態(tài)中復(fù)雜的背景圖像,在1 530 張測(cè)試圖片中只有69.91%的準(zhǔn)確率,召回率(檢測(cè)出目標(biāo)數(shù)目／所含目標(biāo)總數(shù))只有65.77%。而基于深度學(xué)習(xí)的Fast-rcnn 與Fasterrcnn,SSD,Yolov3 等算法采用卷積加權(quán)提取特征,并用不同分類器對(duì)其進(jìn)行分類識(shí)別的方法較傳統(tǒng)識(shí)別方法提升較大,具有一定可行性。 但Fast-rcnn,Faster-rcnn 等算法作為傳統(tǒng)two-stage 檢測(cè)算法,在GPU 環(huán)境下檢測(cè)速度分別只有0.61 p／s-1,8.36 p／s-1。關(guān)于準(zhǔn)確率,Faster-rcnn 雖然可以達(dá)到87%,較Fast-rcnn提升較大,但是也只有87.31%的準(zhǔn)確率與85.11%的召回率。 而作為檢測(cè)速度較快的SSD 與Yolov2 兩種算法,其速度分別可達(dá)31.33 p／s-1與94.43 p／s-1。雖然這兩種算法檢測(cè)速度較快,但其精度仍較實(shí)際需求差距很大。 Yolov3 在檢測(cè)速度與精度上都較上述算法有很大提升,但并不能滿足在實(shí)際臨床醫(yī)學(xué)中的精度與效率需求。 圖8 為采用Yolov2,Faster-rcnn,與本文算法對(duì)同一張圖的識(shí)別情況對(duì)比。

圖8 算法效果對(duì)比圖Fig. 8 Comparison of algorithm effects

由圖8 可以看出：精度方面,Yolov2 無(wú)論檢出率與召回率都遠(yuǎn)不及后面兩種算法,而Faster-rcnn 在實(shí)際測(cè)試時(shí)雖然檢測(cè)精度稍高,但是存在將細(xì)胞核誤檢的情況。 而本文算法則不存在此類情況,魯棒性很強(qiáng)。 因此,本文提出的Yolov3 與傳統(tǒng)圖像處理方式相結(jié)合的方法,不僅檢測(cè)速度與Yolov3 相近,其準(zhǔn)確率更是大大提升,完全可以達(dá)到實(shí)際臨床檢測(cè)的需求。

3 結(jié)束語(yǔ)

本文提出了一種將傳統(tǒng)圖像處理方法與深度學(xué)習(xí)算法Yolov3 相結(jié)合,應(yīng)用于臨床醫(yī)學(xué)檢驗(yàn)微生態(tài)下孢子等致病菌的方法。 針對(duì)孢子等致病菌識(shí)別的問(wèn)題,采用了Darknet-53 作為特征提取網(wǎng)絡(luò),并利用Yolov3 算法進(jìn)行疑似區(qū)域初篩,提取疑似區(qū)域,再利用孢子菌絲等菌類的形態(tài)學(xué)特點(diǎn)進(jìn)一步篩選,從而去除桿菌堆簇、細(xì)胞核、雜質(zhì)等造成的誤檢。 針對(duì)孢子識(shí)別精度可達(dá)94%以上,召回率82%以上。對(duì)于數(shù)據(jù)的前期處理階段,針對(duì)顯微鏡圖像出現(xiàn)的景深問(wèn)題,提出了一種簡(jiǎn)單的分割拼接方法,從而得到了高質(zhì)量的訓(xùn)練數(shù)據(jù)集,使模型訓(xùn)練精度大大提升。 但是此算法還存在一定的缺陷,在召回率上,跟Faster-rcnn 與Yolov3 有些差距,主要是因?yàn)楹Y選過(guò)程中條件增多后一些不規(guī)則目標(biāo)被篩除了,識(shí)別出來(lái)的多為典型目標(biāo),在此問(wèn)題上還需要繼續(xù)深入研究,目前暫定兩種解決方法來(lái)提高召回率。 第一種就是不斷增加訓(xùn)練數(shù)據(jù),目前50000 條訓(xùn)練數(shù)據(jù)還是偏少,需要標(biāo)注人員不斷進(jìn)行標(biāo)注工作來(lái)擴(kuò)充；第二種就是針對(duì)待測(cè)圖像修改網(wǎng)絡(luò)框架,適當(dāng)減少或增加特征提取網(wǎng)絡(luò)層數(shù)以及修改相關(guān)參數(shù),通過(guò)不斷實(shí)驗(yàn)繼續(xù)改進(jìn)識(shí)別結(jié)果。