卞景帥，盧家品，羅月童，張 敏

基于Faster-RCNN的結(jié)核桿菌自動檢測方法研究與應(yīng)用

卞景帥1，盧家品1，羅月童1，張 敏2

(1. 合肥工業(yè)大學(xué)可視化與協(xié)同計算研究室，安徽 合肥 230009；2. 合肥思潤生物科技有限公司，安徽 合肥 230601)

染色處理可使結(jié)核桿菌在顯微鏡拍攝的醫(yī)學(xué)圖像中顯現(xiàn)，醫(yī)生通過檢測圖像中的結(jié)核桿菌輔助診斷結(jié)核病。近年來卷積神經(jīng)網(wǎng)絡(luò)(CNN)在目標(biāo)檢測上取得了突破性進(jìn)展，但結(jié)核桿菌存在圖像上尺度小，構(gòu)造標(biāo)注數(shù)據(jù)難，不適用遷移學(xué)習(xí)等問題，使得基于CNN的目標(biāo)檢測方法在結(jié)核桿菌檢測方面尚存在一定的困難。為此，以Faster-RCNN目標(biāo)檢測算法為基礎(chǔ)，研究在醫(yī)學(xué)圖像上的結(jié)核桿菌檢測問題。針對結(jié)核桿菌尺度小，提出重疊子圖劃分策略；針對標(biāo)注數(shù)據(jù)構(gòu)造難，提出分塊、迭代標(biāo)注策略。實踐證明，該方法有較高的準(zhǔn)確度以及可接受的速度，已構(gòu)建了13 261個結(jié)核桿菌的訓(xùn)練數(shù)據(jù)，應(yīng)用于合作單位的醫(yī)療檢測產(chǎn)品，能滿足實際應(yīng)用需求。

小目標(biāo)檢測；醫(yī)學(xué)圖像；結(jié)核桿菌；CNN

據(jù)報道，我國肺結(jié)核的發(fā)病人數(shù)和死亡人數(shù)一直居甲乙類傳染病之首，我國也是全球22個結(jié)核病負(fù)擔(dān)最高的國家之一[1]，因此我國對高效的結(jié)核病檢測手段有迫切需求。檢測結(jié)核桿菌是診斷肺結(jié)核病的重要依據(jù)。對結(jié)核桿菌進(jìn)行染色，然后觀察確定其數(shù)量是進(jìn)行肺結(jié)核診斷的基本方法。傳統(tǒng)檢測由醫(yī)生通過顯微鏡觀察染色結(jié)核桿菌，存在工作量大、醫(yī)生容易疲勞，易漏檢等問題。因此通過特殊設(shè)備拍攝結(jié)核桿菌的染色圖像，基于目標(biāo)檢測技術(shù)自動檢測、統(tǒng)計結(jié)核桿菌的數(shù)量，進(jìn)而實現(xiàn)自動、智能診斷具有重要的應(yīng)用價值，是醫(yī)學(xué)檢測的重要發(fā)展方向，也正是本文所要研究的內(nèi)容。

目標(biāo)檢測(object detection)廣泛存在于人臉識別[2]、手勢識別[3]、自動駕駛等任務(wù)中，是機(jī)器視覺領(lǐng)域最基礎(chǔ)、最重要的技術(shù)之一。視覺檢測包括候選區(qū)域提取和目標(biāo)類別判別[4]2個步驟，其中目標(biāo)類別判斷是各種檢測方法之間的主要差別所在。在深度學(xué)習(xí)方法出現(xiàn)之前，研究人員構(gòu)造如HOG[5-6](histogram of oriented gradient)、LPB[7](local binary pattern)等特征，并使用規(guī)則匹配、支持向量機(jī)、人工神經(jīng)網(wǎng)絡(luò)等方法進(jìn)行分類識別。但人工構(gòu)造特征往往受目標(biāo)圖像的多變性等因素困擾，很多情況下檢測效果并不理想。結(jié)核桿菌，存在尺度小、形態(tài)多變等特點，基于傳統(tǒng)的檢測方法效果不理想，因此本文探索使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)進(jìn)行結(jié)核桿菌檢測。

Alexnet在ImageNet競賽上，將分類的錯誤率從26%降至15%，展示出CNN在圖像識別領(lǐng)域中的巨大優(yōu)勢[8]。此后CNN逐漸應(yīng)用于各種視覺識別領(lǐng)域中，其發(fā)展推動了目標(biāo)檢測技術(shù)的進(jìn)步。CNN的一個重要特點是通過訓(xùn)練能提取多層次特征[9]，無需人工設(shè)計特征，較為有效地避免了人工設(shè)計的特征對原始圖像表達(dá)得不完全的不足，同時實踐證明這一特性能取得更高的分類檢測準(zhǔn)確度。主流的目標(biāo)檢測技術(shù)有Faster-RCNN[10]、R-FCN(ResNet版本)[11]、SSD[12]、YOLOv2[13]。本文在分析結(jié)核桿菌檢測問題和各種檢測方法特點的基礎(chǔ)上，以Faster-RCNN為基礎(chǔ)開展結(jié)核桿菌的檢測方法研究。

1 結(jié)核桿菌圖像與檢測方法特點分析

診斷結(jié)核病時，需收集就診者的痰液并將其放入載玻片中，然后通過特定試劑對其染色，圖1(a)為使用顯微設(shè)備進(jìn)行拍攝制作出結(jié)核桿菌圖像。本文實驗所用結(jié)核桿菌圖像的分辨率為1920×1200，結(jié)核桿菌在圖像中呈現(xiàn)偏紫的顏色，如圖1(b)中圓圈所標(biāo)記的即為結(jié)核桿菌。

(a) 載玻片與拍攝設(shè)備

(b) 設(shè)備拍攝的圖像

圖1 待測圖像來源

通過對大量圖像的觀察及與領(lǐng)域?qū)＜业慕涣鳎疚目偨Y(jié)出結(jié)核桿菌在圖像中呈現(xiàn)如下特點：

(1) 尺度較小，且在一定范圍內(nèi)變化。對1 900張圖像的3 657個結(jié)核桿菌樣本進(jìn)行分析，發(fā)現(xiàn)其在圖像上的區(qū)域長度大多在40像素左右，最小為11像素，最大為135像素。其中最小11像素的結(jié)核桿菌相對于原始圖像1920×1200的分辨率而言過小。

(2) 結(jié)核桿菌形狀多變。圖2(a)展示了多種不同形態(tài)的結(jié)核桿菌，并未呈現(xiàn)出特別的規(guī)律。

(3) 部分結(jié)核桿菌與無結(jié)核桿菌的區(qū)域類似。圖2(b)為無結(jié)核桿菌的區(qū)域，觀察易得，圖2(a)的某些結(jié)核桿菌容易和圖2(b)部分區(qū)域混淆。

擬南芥中的BR合成與信號轉(zhuǎn)導(dǎo)相關(guān)研究已開展地較為深入，近年來在水稻(Oryza sativa L.)、大豆(Glycine max (L.) Merr.)等重要作物中的研究也取得了一定進(jìn)展[18-22]。目前針對油菜BR基因也開展了相關(guān)研究，有研究表明使用外源BR處理可以增加油菜單株籽粒產(chǎn)量[23]；施加外源油菜素內(nèi)脂(eBL)可以增加油菜幼苗根的細(xì)胞呼吸速率，增強(qiáng)抗逆性[24, 25]；甘藍(lán)型油菜(Brassica napus L.)過表達(dá)擬南芥的AtDWF4基因能夠提高油菜種子的產(chǎn)量，并增強(qiáng)油菜的抗逆性[26]。

(4) 顏色是重要特征，但形態(tài)也是判斷依據(jù)。結(jié)核桿菌會呈現(xiàn)紫色是檢測的重要依據(jù)，但醫(yī)生還會結(jié)合一些諸如形狀、背景等其他特征綜合判斷。

(a) 結(jié)核桿菌樣例

(b) 無結(jié)核桿菌區(qū)域樣例 圖2 結(jié)核桿菌圖像示例 因為結(jié)核桿菌圖像特征復(fù)雜多變，難以準(zhǔn)確刻畫，使得基于顏色、形態(tài)等特征的傳統(tǒng)檢測方法效果并不理想。而基于CNN的方法可以從樣本數(shù)據(jù)中學(xué)習(xí)特征，能提取出與數(shù)據(jù)更相符的特征，進(jìn)而獲得更高的檢測準(zhǔn)確度。 一是大力推動金融扶貧工作。充分發(fā)揮各金融機(jī)構(gòu)在政策、資金、資源上的優(yōu)勢，進(jìn)一步改善貧困地區(qū)金融服務(wù)水平，不斷增加貧困地區(qū)資金供給，加大貧困地區(qū)基礎(chǔ)設(shè)施建設(shè)、產(chǎn)業(yè)扶貧、易地扶貧搬遷等方面的投入。重點抓好扶貧小額信貸工作，及時籌集落實財政貼息資金和風(fēng)險補償資金，加強(qiáng)小額信貸審核、發(fā)放及監(jiān)管，特別是強(qiáng)化對戶貸企用資金的跟蹤監(jiān)管。妥善處理好對脫貧戶、錯評戶和死亡貧困戶的財政貼息及貸款收回工作，按要求及時啟動風(fēng)險補償機(jī)制，切實保證扶貧小額信貸風(fēng)險始終處于可控范圍。 基于ResNet[14]的目標(biāo)檢測算法是目前效果最好的方法，但其需要大量高質(zhì)量訓(xùn)練數(shù)據(jù)，構(gòu)建大量結(jié)核桿菌訓(xùn)練數(shù)據(jù)非常困難。遷移學(xué)習(xí)技術(shù)是解決訓(xùn)練數(shù)據(jù)不足的有效手段，但前提是需要遷移的源數(shù)據(jù)和目的域數(shù)據(jù)比較類似[15]，而結(jié)核桿菌圖像難以滿足該條件，因此本文未使用基于ResNet的檢測方法。VGG16[16]網(wǎng)絡(luò)的結(jié)構(gòu)相對簡單，不需要大量的訓(xùn)練數(shù)據(jù)即可達(dá)到較高的準(zhǔn)確度。文獻(xiàn)[17]指出在沒有預(yù)訓(xùn)練的情況下ResNet比VGG16的性能差很多，基于以上分析，選擇VGG16網(wǎng)絡(luò)更合適。SSD[12]和YOLO2[13]2種方法在小目標(biāo)的檢測上表現(xiàn)不佳。因此本文選擇小目標(biāo)檢測上表現(xiàn)相對較好的Faster-RCNN，作為基本的目標(biāo)檢測方法。 2 基于重疊子圖的肺結(jié)核桿菌檢測 2.1 Faster-RCNN簡介與分析 Faster-RCNN的基本結(jié)構(gòu)如圖3(a)所示，輸入圖像經(jīng)過底部CNN (conv layers)提取特征得到特征圖(feature map)，RPN (region proposal network)利用特征圖生成候選區(qū)域，用分類器(classifier)對RPN提取出的候選區(qū)域進(jìn)行分類，最后通過判斷候選區(qū)域中是否含有目標(biāo)實現(xiàn)目標(biāo)檢測。 (a) Faster-RCNN基本結(jié)構(gòu) (b) anchor結(jié)構(gòu) 圖3 Faster-RCNN結(jié)構(gòu)[10] 將Faster-RCNN直接應(yīng)用在肺結(jié)核圖像檢測上，表現(xiàn)較差，大部分結(jié)核桿菌均不能被識別出來。經(jīng)研究發(fā)現(xiàn)，F(xiàn)aster-RCNN的RPN使用名為錨(anchor)的結(jié)構(gòu)生成候選區(qū)域，該結(jié)構(gòu)如圖3(b)所示。輸入圖像經(jīng)過底部CNN以后，得到長寬為M×N的特征圖，其蘊含的信息是其對應(yīng)感受野(receptive field)的信息[10]。若將輸入圖像無重疊劃分成M×N個小格，則得到的特征圖上每個點的感受野為該點對應(yīng)的CNN覆蓋的輸入圖像的區(qū)域，感受野的中心點為劃分小格的中心。Faster-RCNN用預(yù)定義的k個固定大小的錨盒(anchor boxes)來決定使用某個中心點的感受野中的區(qū)域生成候選區(qū)域，再通過分類器判斷這些區(qū)域中哪些為候選區(qū)域。 圖4中粗線代表劃分格邊界，細(xì)框代表錨盒，粗線代表結(jié)核桿菌。當(dāng)定義的錨盒尺寸小于劃分格的尺寸，如圖4細(xì)框a，b所示，則錨盒與錨盒之間會出現(xiàn)一定的間隙，形成不檢測區(qū)域，造成漏檢目標(biāo)落入該區(qū)域。當(dāng)定義的錨盒尺寸大于劃分格的尺寸，如圖4中的細(xì)框c所示。則由于目標(biāo)過小，前景與背景的比例過小，造成誤判，從而造成漏識別。 圖4 錨盒與小目標(biāo)與漏識別 提高小目標(biāo)的識別準(zhǔn)確度有2種思路：①縮小劃分的小格尺寸。劃分小格的尺寸是由CNN的結(jié)構(gòu)所決定，因此通過改變神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來縮小劃分小格的尺寸，必然會導(dǎo)致網(wǎng)絡(luò)其他性能的改變。如何選擇最適合的劃分小格尺寸是一個復(fù)雜的最優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)問題。②用一定的方法(如高斯金字塔)來放大結(jié)核桿菌在輸入網(wǎng)絡(luò)圖像中的占比，通過犧牲速度來換取精度。本文選擇后一種思路。 2.2 基于重疊策略的子圖生成 本文考慮將大的原始的檢測圖片分成多個大小相等的子圖片，目的是為了便于后續(xù)的批處理。將原始圖像劃分成子圖時，易將某個結(jié)核桿菌被劃分到2個子圖中，將會對結(jié)果造成影響。已知結(jié)核桿菌區(qū)域的長度有上界，故采用重疊策略生成子圖，同時需考慮子圖的分辨率問題。分辨率過大，可能導(dǎo)致結(jié)核桿菌檢測不到；分辨率過小可能導(dǎo)致檢測結(jié)果無法滿足實時性要求。同時還需考慮到重疊區(qū)域，因此需要通過一定的方法來生子圖，解決該問題。 4.I give milk.I have a horn.I’m not a cow.Who am I? 圖5為有重疊區(qū)域的滑動窗口提取子圖過程。重疊區(qū)域的寬度略大于結(jié)核桿菌的最大尺寸，度量尺寸的基本單位為像素。Wr為原始圖像的寬；Hr為原始圖像的高；Srmax為結(jié)核桿菌的最大尺寸；R為生成子圖的行數(shù)；C為生成子圖的列數(shù)，Mw為滑動窗口橫向移動的步長；Mh為滑動窗口縱向移動的步長，計算如下 (1) (2) 度量尺寸的基本單位為像素，結(jié)果用進(jìn)一法取整。子圖的寬Ws和高Hs分別為 (3) (4) 則第i+1列第j+1行個子圖相對原圖的坐標(biāo)范圍可表示為 (5) 其中，。 徽章紋是廣彩中的典型代表，一般為皇族或貴族等上流社會人群把象征自己身份地位的徽章作為圖案，作為獨有的標(biāo)志定制廣彩瓷，顯示出符號特征與特殊性。圖3為景德鎮(zhèn)窯白胎，廣彩繪制的徽章紋盤，盤折沿、淺腹、圈足。盤沿以礬紅、金彩繪制花卉，盤壁以彩折枝花卉為地，開光部分紋折枝菊花圖案，盤心為奈威爾（Neufville）家族紋章。此徽章紋盤的邊飾為中式風(fēng)格，盤心為西式徽章，中西結(jié)合的組合方式是清代早期紋章瓷器的特征，乾隆之后邊飾紋樣同樣趨于西化。 圖5 生成子圖過程示意圖 在實際應(yīng)用中由原始圖像的分辨率確定Wr，Hr，由檢測目標(biāo)的最大尺寸確定Svmax，使用交叉驗證法根據(jù)檢測結(jié)果選擇最合適的R和C。該方法將復(fù)雜的子圖劃分問題簡化為R和C 2個超參數(shù)的選擇問題，極大地降低了問題的復(fù)雜性。該方法也可以推廣到其他類似的問題中。 應(yīng)用該方法的檢測軟件對子圖進(jìn)行檢測，得到的坐標(biāo)為子圖上的坐標(biāo)，需要將其還原為原圖中的坐標(biāo)。設(shè)對于第i+1列第j+1行個子圖，得到的檢測結(jié)果中的某個坐標(biāo)為(xs,ys)，則其在原始圖像上的坐標(biāo)(x,y)為 (6) 其中，。 由于采用了重疊策略生成子圖，得到的結(jié)果中必然會出現(xiàn)某些目標(biāo)有多個可能的位置區(qū)域。為了消除同一個目標(biāo)的多余位置區(qū)域，使用非極大值抑制算法(non-maximum suppression，NMS)[18]。NMS屬于同一類別目標(biāo)的多個重疊檢測結(jié)果，取其中未遍歷過的概率最大的那個結(jié)果，當(dāng)某一其他的檢測結(jié)果與概率最大的檢測結(jié)果的重疊面積大于一定的比例值，則刪除其結(jié)果，循環(huán)迭代至遍歷所有檢測結(jié)果，效果示意圖如圖6所示。 圖6 NMS效果示意圖 3 訓(xùn)練數(shù)據(jù)構(gòu)建策略 3.1 基于分塊采樣的快速標(biāo)注 在使用神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法之前，需要用一定的數(shù)據(jù)訓(xùn)練。以往的經(jīng)驗表明，神經(jīng)網(wǎng)絡(luò)檢測的準(zhǔn)確度依賴于大量、準(zhǔn)確的訓(xùn)練數(shù)據(jù)。結(jié)核桿菌由人工來完成檢測較為困難，需要長期從事該工作的專家來完成標(biāo)注，且收集大量標(biāo)注數(shù)據(jù)成本極高。人長期從事單調(diào)乏味的工作易疲勞，進(jìn)而使人工檢測的準(zhǔn)確度下降，導(dǎo)致收集準(zhǔn)確標(biāo)注數(shù)據(jù)存在一定的困難。而常用的解決數(shù)據(jù)量不足的方法—遷移學(xué)習(xí)中的預(yù)訓(xùn)練法[19]和交叉學(xué)習(xí)法[20]不適用于本問題。 針對本問題的特殊性，根據(jù)同一批生物樣本中結(jié)核桿菌取樣所得的圖像及背景有較大的相似性，本文認(rèn)為該相似性導(dǎo)致標(biāo)注工作存在很大的冗余，實際上使用更少的標(biāo)注數(shù)據(jù)就能達(dá)到近似的結(jié)果。運用局部性原理，將大量數(shù)據(jù)等分成若干小塊，只取每小塊數(shù)據(jù)的前部分進(jìn)行標(biāo)注作為訓(xùn)練集，即可達(dá)到用更少的數(shù)據(jù)取得和大量數(shù)據(jù)接近的結(jié)果。構(gòu)造數(shù)據(jù)的示意圖如圖7所示，紅色部分為需要標(biāo)注的數(shù)據(jù)，而藍(lán)色部分則為不需要標(biāo)注的數(shù)據(jù)。使用更少的數(shù)據(jù)獲得了和大量數(shù)據(jù)相當(dāng)?shù)慕Y(jié)核桿菌圖像分布律信息。合理運用此方法即可構(gòu)造蘊含更全面信息的數(shù)據(jù)集，進(jìn)而獲得更高的準(zhǔn)確度和泛化性，有效性將通過實驗進(jìn)行檢驗。 3、整體嬰兒車智能安全系統(tǒng)的邏輯框圖如下圖所示，本設(shè)計利用指紋和觸摸式傳感器對嬰兒車剎車系統(tǒng)進(jìn)行綜合控制，利用指紋識別對嬰兒車的安全帶進(jìn)行安全加固，利用太陽能電源監(jiān)控對嬰兒車智能安全系統(tǒng)進(jìn)行供電，用以加強(qiáng)嬰兒車的安全性以及防盜性。 圖7 基于分塊采樣的快速標(biāo)注 3.2 漸進(jìn)性訓(xùn)練數(shù)據(jù)優(yōu)化策略 肺結(jié)核桿菌檢測圖片標(biāo)注難度大，需要相關(guān)領(lǐng)域的專業(yè)知識，即使是專業(yè)人員，長時間從事枯燥的標(biāo)注工作也較易犯錯，出現(xiàn)漏標(biāo)情況，即使要求二次校驗，錯誤仍舊不可避免。少量的、隨機(jī)的漏標(biāo)對實驗結(jié)果影響不大，但如果漏標(biāo)的數(shù)據(jù)是具有某一特點的數(shù)據(jù)，則對檢測結(jié)果的影響很大。在實踐過程中發(fā)現(xiàn)，顏色較淡的和形狀較小的肺結(jié)核桿菌容易漏標(biāo)，導(dǎo)致訓(xùn)練好的檢測軟件無法檢測到這2類錯誤。針對該問題，本文采取如下漸進(jìn)標(biāo)注措施： (1) 使用訓(xùn)練好的模型進(jìn)行檢測，對未成功檢測的肺結(jié)核桿菌進(jìn)行人工分析； 據(jù)介紹，自3月起，中糧與黑龍江省牡丹江市寧安市共同推廣打造農(nóng)業(yè)綜合服務(wù)平臺。前期中糧8位小組成員4次赴寧安調(diào)研，歷時33天深入35個村、8個合作社、38個種植農(nóng)戶，實地考察、組織農(nóng)戶、訪談客戶，逐一落實合作社和土地面積。 儲存4個月后，低溫避光的熱榨與冷榨漢麻籽油顏色、透明度基本不變，設(shè)為對照油脂；室溫避光下熱榨油外觀顏色為深墨綠色，油脂透明，冷榨油外觀顏色為淺墨綠色，油脂透明，瓶口有部分油脂顏色發(fā)生變化；烘箱環(huán)境顏色變化不明顯，但有微濁現(xiàn)象，底部也有少量沉淀黏稠油脂；室內(nèi)環(huán)境油脂顏色變淺，均有微濁現(xiàn)象，底部也有少量沉淀黏稠油脂；室外環(huán)境油脂顏色變淺發(fā)亮，底部均有少量沉淀現(xiàn)象，底部也有少量沉淀黏稠油脂。 同時還需要結(jié)合農(nóng)村目前的經(jīng)濟(jì)狀況以及未來的發(fā)展方向，制定統(tǒng)一的報表時間，無論是哪一級統(tǒng)計部門，都要銜接好報表的時間和內(nèi)容，保證統(tǒng)計報表的質(zhì)量。 (2) 根據(jù)分析結(jié)果再人為構(gòu)造少量的此類樣本； (3) 將新構(gòu)建樣本加入訓(xùn)練集重新訓(xùn)練，更新模型； (4) 重復(fù)(1)~(3)過程直至檢測結(jié)果滿足要求。 4 實驗結(jié)果 4.1 子圖的劃分及分塊采樣 實驗采用LabelImg[21]對原始數(shù)據(jù)進(jìn)行標(biāo)注。標(biāo)注訓(xùn)練數(shù)據(jù)時，可直接在原圖上完成。劃分子圖時，子圖的范圍由式(5)確定。分割子圖采用超參數(shù)R=3, C=4。 在訓(xùn)練時，直接舍棄超出圖片范圍的結(jié)核桿菌樣本。由于肺結(jié)核桿菌樣本有最大范圍，所以在某張子圖中丟棄的目標(biāo)標(biāo)注會完全包含在下一張子圖中。在訓(xùn)練過程中不會漏訓(xùn)標(biāo)注樣本，但有可能不能識別位于圖像邊界的不完整的結(jié)核桿菌，這一點在實際應(yīng)用中可以接受。若有檢測邊界病菌的需求，可用一些簡單的方法對訓(xùn)練過程做一定的約束。不含結(jié)核桿菌的子圖不參與訓(xùn)練。由于在計算子圖的大小時采用了進(jìn)一法，邊界區(qū)的子圖可能會與原子圖大小不一致，不利于批處理。對于邊界情況，將截取框向內(nèi)移位，以保證所有子圖大小一致。在測試時分別對每張子圖進(jìn)行檢測，所得結(jié)果根據(jù)式(6)轉(zhuǎn)換為原圖的結(jié)果，再用NMS消除多余重復(fù)結(jié)果。 分塊采取每200個數(shù)據(jù)分成一個數(shù)據(jù)塊，取前50個數(shù)據(jù)作為訓(xùn)練集，后150個數(shù)據(jù)作為驗證集。對于不足200個數(shù)據(jù)的數(shù)據(jù)塊，按1:3的比例劃分訓(xùn)練集和測試集。 4.2 實驗結(jié)果與分析 本文提出的方法在Linux系統(tǒng)下，用caffe實現(xiàn)CNN，用python實現(xiàn)訓(xùn)練程序的編寫。實驗使用I7-7700K CPU，Titan X GPU，32 GB內(nèi)存的計算機(jī)。為驗證本文各部分提出方法的有效性，設(shè)置不同情況進(jìn)行多組測試。測試結(jié)果見表1。 表1 實驗結(jié)果 情況分割子圖漸進(jìn)標(biāo)注分塊采樣訓(xùn)練集數(shù)目測試集數(shù)目準(zhǔn)確率運行時間(ms) 情況1×××4 2015000.58884 情況2√××4 2015000.803600 情況3√√×4 2015000.863600 情況4√√×1 1853 5260.762600 情況5√√√1 1853 5260.853600 情況6√√√4 2015000.893600 情況1和情況2結(jié)果對比，可以看出將原始圖片分割成多個子圖可以有效解決小目標(biāo)識別問題。相應(yīng)的代價是運行速度的大幅下降。為滿足實際應(yīng)用的需要，要求結(jié)核桿菌檢測軟件在2 s以內(nèi)處理完一張圖片。從實驗結(jié)果可看出，本文提出的方法，滿足該要求。情況2和情況3對比，可以發(fā)現(xiàn)用漸進(jìn)策略構(gòu)造難識別樣本來解決初始標(biāo)注質(zhì)量不高的問題是有效的。生物醫(yī)學(xué)領(lǐng)域樣本標(biāo)注十分困難，即使是該領(lǐng)域的專家，也無法做到不漏標(biāo)。而目標(biāo)檢測的精準(zhǔn)度十分依賴于標(biāo)注樣本的質(zhì)量，因此需要漸進(jìn)地進(jìn)行標(biāo)注。情況4和情況3表明要達(dá)到較高的檢測精度需要大量的數(shù)據(jù)。情況5在情況4的基礎(chǔ)上采用了分塊采樣法構(gòu)造訓(xùn)練集，其余數(shù)據(jù)作為測試集。結(jié)果準(zhǔn)確度有很大的提升，證明了分塊采樣法能有效降低所需訓(xùn)練數(shù)據(jù)量，提升數(shù)據(jù)蘊含信息的全面性。在實際應(yīng)用中，采用分塊采樣法構(gòu)造訓(xùn)練數(shù)據(jù)，可以極大地減少標(biāo)注數(shù)據(jù)的工作量，有助于達(dá)到更高的準(zhǔn)確度。分塊采樣法的核心思想是局部性原理，對于不滿足這一條件的應(yīng)用場景，其效果會相應(yīng)地降低。情況6則是綜合各種方法后達(dá)到的最終精度。 (3)防治工程坡體巖體工程地質(zhì)特征。強(qiáng)風(fēng)化片麻巖黏聚力0 MPa，內(nèi)摩擦角35°，容重21 kN/m3，承載力特征值為300 kPa。根據(jù)取樣試驗，強(qiáng)風(fēng)化片麻巖天然單軸抗壓強(qiáng)度為28.6～38.2 MPa，飽和抗壓強(qiáng)度為19.1 MPa；中風(fēng)化片麻巖天然單軸抗壓強(qiáng)度為109.0～113.0 MPa，飽和抗壓強(qiáng)度為92.3 MPa。 本文提出的方法的最終檢測效果如圖8所示。圖8(a)是本問題的一個檢測難點，2個目標(biāo)較小切與背景顏色相似，圖8(b)是小目標(biāo)的放大圖。該檢測結(jié)果表明，本方法可以較好地檢測出小目標(biāo)。圖8(c)則是另一個檢測難點，即樣本染色程度較輕，不易識別，但本文方法仍能較好地完成檢測。圖8(d)左則是圖8(c)結(jié)核桿菌檢測結(jié)果的放大圖，右側(cè)則是來自其他檢測圖中顏色較淡樣本的檢測結(jié)果。本研究開始時采用傳統(tǒng)圖像處理方法，無法解決這2類結(jié)核桿菌的識別問題。如果通過設(shè)定相應(yīng)閾值檢測出這2類樣本，則會極大地增加誤檢率。即使是人工檢測，也容易漏檢，通過使用本文方法，能較好地檢測出來。但目前本文方法漏識別的樣本仍集中在特別小的目標(biāo)和顏色很淡的樣本中。 圖8(e)和圖8(f)則是本方法對于含有較多結(jié)核桿菌圖的檢測效果，證明了本方法對于各類結(jié)核桿菌均有較好的檢測效果。圖9則是本方法誤檢的樣本，這2個檢測出來的目標(biāo)是將細(xì)胞的邊緣效應(yīng)誤判成了結(jié)核桿菌。但由于這類結(jié)果極少，且實際應(yīng)用中對誤判的容忍程度較高，不影響實際使用。 (a) 檢測較小目標(biāo)結(jié)果(b) 小目標(biāo)放大結(jié)果 (c) 檢測顔色較淡目標(biāo)結(jié)果(d) 淡目標(biāo)放大結(jié)果 (e) 多目標(biāo)檢測(f) 多目標(biāo)檢測 圖8 最終檢測效果 圖9 邊緣效應(yīng)導(dǎo)致的誤檢 5 總結(jié)與展望 結(jié)核桿菌的檢測是典型的小目標(biāo)、無明顯特征的目標(biāo)檢測問題。傳統(tǒng)的圖像檢測方法無法有效解決該問題。而基于CNN的目標(biāo)檢測方法雖能在一定程度上解決這一問題，卻又要面對標(biāo)注數(shù)據(jù)難的問題。本文分析了基于CNN的目標(biāo)檢測方法，提出了采用VGG16結(jié)構(gòu)的Faster-RCNN技術(shù)作為基礎(chǔ)的目標(biāo)檢測技術(shù)，并采用重疊子圖解決小目標(biāo)檢測問題。由于遷移學(xué)習(xí)不適用于本問題，本文提出采用分塊采樣和漸進(jìn)標(biāo)注解決獲取大量、準(zhǔn)確標(biāo)注數(shù)據(jù)難的問題。綜合多種方法的優(yōu)勢最終解決了傳統(tǒng)圖像檢測技術(shù)不易處理的結(jié)核桿菌檢測問題，并集成至相關(guān)單位的醫(yī)療檢測產(chǎn)品。本文方法有助于提高醫(yī)生診斷結(jié)核病的準(zhǔn)確度，有利于疾病的早發(fā)現(xiàn)，早治療。本文在解決問題過程中提出的相關(guān)方法易于應(yīng)用到類似的場景，為解決類似問題提供一定的思路。 基于CNN的目標(biāo)檢測方法在小目標(biāo)檢測問題上乏力的根本原因是錨結(jié)構(gòu)。如果能改進(jìn)這一機(jī)制，或者提出更加有效的候選區(qū)域提取方法，則能從根本上解決小目標(biāo)檢測問題，得到更具通用性的目標(biāo)檢測方法，提高程序的運行速度。另外醫(yī)學(xué)圖像領(lǐng)域?qū)τ趫D像中病毒或細(xì)菌的判斷標(biāo)準(zhǔn)有人類已知和未知標(biāo)準(zhǔn)。而基于有監(jiān)督的人工標(biāo)注數(shù)據(jù)的檢測算法，只能學(xué)習(xí)和利用人類已知的知識來檢測結(jié)核桿菌，方法很難超越人檢病毒的極限準(zhǔn)確度。但由于人長時間從事某項工作容易疲勞準(zhǔn)確度下降，本方法仍具有較高的研究應(yīng)用價值。而研究出能利用未知的知識來診斷疾病的機(jī)器學(xué)習(xí)算法，超越人的檢測能力，是未來的研究方向。 參考文獻(xiàn) [1] World Health Organization. Global tuberculosis report 2017 [EB/OL]. [2018-05-20]. https://www.who.int/tb/publications/2017/en/. [2] JAFRI R, ARABNIA H R. A survey of face recognition techniques [J]. Journal of Information Processing Systems, 2009, 5(2): 41-68. [3] RAUTARAY S S, AGRAWAL A. Vision based hand gesture recognition for human computer interaction: a survey [J]. Artificial Intelligence Review, 2015, 43(1): 1-54. [4] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2014: 580-587. [5] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection [C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). New York: IEEE Press, 2005: 886-893. [6] FELZENSZWALB F, GIRSHICK B, MCALLESTER D, et al. Object detection with discriminatively trained part-based models [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1627-1645. [7] 董恩增, 魏魁祥, 于曉, 等. 一種融入PCA的LBP特征降維車型識別算法[J]. 計算機(jī)工程與科學(xué), 2017, 39(2): 359-363. [8] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks [J]. Communications of the ACM, 2017, 60(6): 84-90. [9] LECUN Y, BENGIO Y, HINTON G. Deep learning [J]. Nature, 2015, 521(7553): 436-444. [10] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. [11] DAI J F, LI Y, HE K M, et al. R-FCN: Object detection via region-based fully convolutional networks [C]//Advances in Neural Information Processing Systems. Cambridge: MIT Press 2016: 379-387. [12] LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single shot MultiBox detector [C]//European Conference on Computer Vision – ECCV 2016. Heidelberg: Springer, 2016: 21-37. [13] REDMON J, FARHADI A. YOLO9000: Better, faster, stronger [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017:6517-6525. [14] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 770-778. [15] PAN S J, YANG Q. A survey on transfer learning [J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345-1359. [16] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. (2014-09-04) [2018-05-03]. https://arxiv.org/abs/1409.1556. [17] SHEN Z Q, LIU Z, LI J G, et al. DSOD: Learning deeply supervised object detectors from scratch [C]//2017 IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2017:1937-1945. [18] NEUBECK A, VAN GOOL L. Efficient non-maximum suppression [C]//ICPR'06 Proceedings of the 18th International Conference on Pattern Recognition. Washington, DC: IEEE Computer Society Press, 2006: 850-855. [19] DONAHUE J, JIA Y Q, VINYALS O, et al. DeCAF: A deep convolutional activation feature for generic visual recognition [C]//Proceedings of the 31st International Conference on International Conference on Machine Learning. New York: ACM Press, 2014: 647-655. [20] MISRA I, SHRIVASTAVA A, GUPTA A, et al. Cross-stitch networks for multi-task learning [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society Press, 2016: 3994-4003. [21] Tzutalin. LabelImg: A graphical image annotation tool [EB/OL]. (2017-09-03) [2018-05-03]. https://github.com/tzutalin/labelImg. Research and Application of Faster-RCNN Based M. Tuberculosis Detection Method BIAN Jing-shuai1, LU Jia-pin1, LUO Yue-tong1, ZHANG Min2 (1. Visualization & Cooperative Computing, Hefei University of Technology, Hefei Anhui 230009, China; 2. Hefei Sirun Biological Technology Co. Ltd, Hefei Anhui 230601, China) Abstract: Through sputum-smear staining, mycobacterium tuberculosis can be shown on microscope image, which makes it possible to detect M. tuberculosis on the image for facilitating tuberculosis diagnosis. On the microscope image, M. tuberculosis is characterized with diverse color saturation, various shape, and undistinguishable appearance confused with background, which make it a great challenge for traditional object detection methods. As convolutional neural networks (CNN) has achieved great success in object detection recently, we study CNN-based method, for instance, Faster-RCNN for M. tuberculosis detection. Nevertheless, there are still some problems with CNN-based tuberculosis detection: a) Size of M. tuberculosis on image is too small, b) Constructing enough accurate labeled data is difficult, and c) Transfer learning does not work for tuberculosis detection. All of those make it hard to apply CNN-based method to M. tuberculosis detection directly. To overcome these problems, we adopt two strategies. We present overlapping sub-image partition strategy for the small-size problem caused by anchor structure which is component of prevalent CNN-based object-detection method. The partition strategy overlappingly partition raw image into sub-images as per a formula presented by us. After partitioning, the proportion of M. tuberculosis on input image of model have been increased, that improving detecting accurate but reducing detecting speed. According to practice, we deem it acceptable. By cooperating with the co-author, 13 261 labeled data of M. tuberculosis have been constructed. Through a series of experiments, it has proved that our method is effective not only in improving detecting accurate and generalization of the model, but also in reducing necessary labeled data. The methods have been integrated into medical inspection products and confirmed to satisfy practical application requirements. Keywords: small target detection; medical image; M. Tuberculosis; convolutional neural networks 中圖分類號：TP 391 DOI：10.11996/JG.j.2095-302X.2019030608 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-302X(2019)03-0608-08 收稿日期：2018-07-02； 定稿日期：2018-07-17 第一作者：卞景帥(1992-)，男，安徽阜陽人，碩士研究生。主要研究方向圖像處理與模式識別。E-mail：bianjingshuai@163.com 通信作者：羅月童(1978-)，男，安徽合肥人，教授，博士，碩士生導(dǎo)師。主要研究方向為數(shù)據(jù)可視化、可視分析、計算機(jī)圖形學(xué)。 E-mail：ytluo@hfut.edu.cn