曾招鑫 ，劉 俊

（1.武漢科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，武漢430065；2.智能信息處理與實(shí)時(shí)工業(yè)系統(tǒng)湖北省重點(diǎn)實(shí)驗(yàn)室（武漢科技大學(xué)），武漢430065）

（?通信作者電子郵箱493952184@qq.com）

0 引言

秀麗隱桿線蟲（Caenorhabditis elegans，C.elegans）是一種被廣泛研究的蠕蟲，如今已成為許多不同生物領(lǐng)域的公認(rèn)模式生物，是發(fā)育生物學(xué)、神經(jīng)生物學(xué)、衰老生物學(xué)、基因功能研究的熱點(diǎn)［1］。它是第一個(gè)被完整測(cè)序的多細(xì)胞真核生物，在其近2萬(wàn)個(gè)蛋白編碼基因中，有60%～80%與人類基因同源，已被用于多種人類疾病的研究和藥物篩選［2］，包括腫瘤、帕金森氏癥［3］、老年癡呆、糖尿病、多囊腎病等，和其他模式生物相比，線蟲由于壽命短、突變體多使其在衰老和壽命研究方面具有顯著的優(yōu)勢(shì)和特色。在秀麗隱桿線蟲相關(guān)領(lǐng)域研究中，需要測(cè)量大量候選樣本在不同環(huán)境下的生理變化，為基因研究、人類疾病研究和藥物篩選品種提供科學(xué)依據(jù)。線蟲體態(tài)是線蟲的本質(zhì)特征，其形態(tài)與線蟲的健康壽命直接相關(guān)，所以為了研究秀麗隱桿線蟲需要對(duì)其形態(tài)分割，以便于特征提取及量化分析。

經(jīng)濟(jì)高速發(fā)展的今天，人類的生命健康永遠(yuǎn)是科技關(guān)注的焦點(diǎn)。研究線蟲有助于研究特定基因在許多細(xì)胞途徑中的作用，影響著未來(lái)醫(yī)學(xué)和科學(xué)的發(fā)展，秀麗隱桿線蟲在培育研究中的生理變化大部分由研究員的視覺(jué)判斷作為數(shù)據(jù)而缺乏量化標(biāo)準(zhǔn)。為了通過(guò)計(jì)算機(jī)視覺(jué)實(shí)現(xiàn)高通量、全自動(dòng)定量評(píng)估的目標(biāo)，首要步驟是從顯微圖像中分割秀麗隱桿線蟲，為了使研究人員更加精確地觀察顯微鏡下的線蟲，利用機(jī)器視覺(jué)和人工智能技術(shù)實(shí)現(xiàn)顯微圖像上的自動(dòng)分割具有重要意義。

傳統(tǒng)圖像目標(biāo)分割如閾值分割算法［4］利用圖像的灰度特征，認(rèn)為圖像中灰度特征相近的像素屬于同一類，這個(gè)灰度特征通常是指像素的灰度值。通過(guò)一個(gè)或幾個(gè)閾值將圖像中的像素點(diǎn)按灰度值分為幾個(gè)類，從而實(shí)現(xiàn)對(duì)圖像的分割。而顯微圖像的線蟲環(huán)境復(fù)雜，常常有灰度相近的附著物與其相連，為此選擇合適的閾值能將其完整分割具有很大難度。而基于深度形態(tài)學(xué)分割算法［5］利用一個(gè)具有一定形態(tài)的結(jié)構(gòu)元素作為探針來(lái)收集圖像中幾何結(jié)構(gòu)和形狀的信息，并對(duì)圖像中的特定形狀進(jìn)行度量和提取。算法的特點(diǎn)是能將圖像中復(fù)雜的幾何結(jié)構(gòu)進(jìn)行分解，剔除不相關(guān)結(jié)構(gòu)，提取有用的信息，實(shí)現(xiàn)圖像分割的效果，但在處理線蟲分割上，活體線蟲的體態(tài)具有不固定性，此方法也很難執(zhí)行。Liu等［6］運(yùn)用形態(tài)學(xué)結(jié)合支持向量機(jī)（Support Vector Machine，SVM）的方法進(jìn)行線蟲分割，但他們需要對(duì)線蟲進(jìn)行明場(chǎng)和熒光處理增加了大量的前置工作，而且對(duì)焦不佳和復(fù)雜環(huán)境下的線蟲的圖像會(huì)大大影響算法的準(zhǔn)確度。

近年來(lái)深度學(xué)習(xí)在圖像識(shí)別、分割領(lǐng)域取得了很好的效果［7］，深度學(xué)習(xí)方法通過(guò)多層網(wǎng)絡(luò)直接對(duì)圖像卷積和池化操作來(lái)提取圖像本質(zhì)特征，在圖像識(shí)別、分割領(lǐng)域有突出的優(yōu)勢(shì)，并取得了突破性進(jìn)展，深度學(xué)習(xí)的發(fā)展，特別是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［8］的出現(xiàn)，為圖像特征提取帶來(lái)全新的解決方法。2014年，Girshick等［9］在國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議（Conference on Computer Vision and Pattern Recognition，CVPR）大會(huì)上提出了區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Region-Convolutional Neural Network，R-CNN），其候選區(qū)域使用Selective Search方法提取，送到模型中提取特征用于分類，該網(wǎng)絡(luò)在全連接層前加了一個(gè)空間金字塔池化（Spatial Pyramid Pooling，SPP）［10］層，使得該網(wǎng)絡(luò)在全連接層輸入不需要?dú)w一化圖像尺寸，從而提取的特征有更好的尺度不變性，降低了過(guò)擬合的可能。2015年Girshick等和Ren等又相繼提出了快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Fast Region-Convolutional Neural Networks，F(xiàn)ast R-CNN）［11］和更快的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster Region-Convolutional Neural Network，F(xiàn)aster R-CNN）［12］，F(xiàn)aster R-CNN則用區(qū)域生成網(wǎng)絡(luò)（Region Proposal Network，RPN）層取代了Selective Search，從而使網(wǎng)絡(luò)能端到端地學(xué)習(xí)特征，通過(guò)池化全局特征映射加速處理過(guò)程提高了準(zhǔn)確率和檢測(cè)速度。再之后2017年He等［13］在Faster R-CNN添加了Mask分支并提出了感興趣區(qū)域（Region of Interest，RoI）Align，推出掩模區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Mask Region-Convolutional Neural Networks，Mask R-CNN），使得實(shí)例分割上升至前所未有的高度，并取得了COCO2016挑戰(zhàn)賽冠軍，也使Mask-RCNN成為CVPR2017最佳論文。近兩年目標(biāo)檢測(cè)、分割方法在速度和準(zhǔn)確率不斷取得新的突破。本文在深度學(xué)習(xí)模型Mask RCNN基礎(chǔ)上，通過(guò)改進(jìn)多級(jí)特征池化，結(jié)合大幅度softmax損失（Large-Margin Softmax Loss，LMSL）算法［14］、改進(jìn)的非極大值抑制、添加全鏈接融合分支等方法進(jìn)一步提高分割精度。實(shí)驗(yàn)結(jié)果表明，設(shè)計(jì)的算法和改進(jìn)網(wǎng)絡(luò)能夠解決Mask R-CNN對(duì)線蟲頭尾分割不精確、線蟲體分割不平滑和漏檢等問(wèn)題，有效實(shí)現(xiàn)對(duì)顯微圖像下秀麗隱桿線蟲的精確分割。

1 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)和分割框架

1.1 深度學(xué)習(xí)分割模型

Mask R-CNN是He基于以往的Faster R-CNN架構(gòu)提出的新的卷積網(wǎng)絡(luò)，該方法可以有效檢測(cè)目標(biāo)，同時(shí)完成了高質(zhì)量的語(yǔ)義分割。借鑒Faster R-CNN的思想，Mask R-CNN繼承了Faster R-CNN的RPN部分，并增加一個(gè)支路Mask分支，但作為同樣繼承于Faster R-CNN的FCIS（Fully Convolutional Instance-aware Semantic segmentation）［15］，不同點(diǎn)是 FCIS 對(duì)預(yù)測(cè)Mask和分類的參數(shù)是共享的，而Mask R-CNN是將預(yù)測(cè)Mask和分類的參數(shù)單獨(dú)分開(kāi)，兩個(gè)任務(wù)各自有獨(dú)立的可訓(xùn)練參數(shù)，互不干擾。對(duì)于這一點(diǎn)，He在文獻(xiàn)［13］里作了比較，結(jié)果顯示對(duì)于預(yù)測(cè)Mask和分類如果使用共享的特征圖對(duì)于某些重疊的目標(biāo)可能會(huì)出現(xiàn)問(wèn)題，并在基礎(chǔ)特征網(wǎng)絡(luò)之后又加入了全卷積的Mask分割子網(wǎng)，由原來(lái)的分類、回歸檢測(cè)任務(wù)，變成了分類、回歸、分割檢測(cè)任務(wù)。針對(duì)CNN在達(dá)到一定深度后網(wǎng)絡(luò)梯度消失的問(wèn)題，He等提出了殘差網(wǎng)絡(luò)（Residual Neural Network，ResNet）［16］，與 Mask R-CNN、ResNet 與VGGNet（Visual Geometry Group Network）［17］、GoogleNet［18］等網(wǎng)絡(luò)相比，擁有更深的網(wǎng)絡(luò)結(jié)構(gòu)，可達(dá)到150層，學(xué)習(xí)到的特征也更加深層抽象，分類能力也更強(qiáng)。同時(shí)引入了RoIAlign取代了Faster R-CNN所使用的RoI-Pooling，這是因?yàn)樵瓐D在經(jīng)過(guò)多次卷積池化后，所產(chǎn)生的特征圖的尺度會(huì)呈指數(shù)下降，因?yàn)樵瓐D下采樣到特征時(shí)RoIPooling Layer的四舍五入取整操作導(dǎo)致其發(fā)生偏移。在得到特征圖后，需要經(jīng)過(guò)一個(gè)全連接層，所以必須將特征圖轉(zhuǎn)換為K*K的固定維度大小的全連接層輸入，在特征圖分塊時(shí)又采用了取整操作。這種取整操作（被稱為quantization）對(duì)RoI分類影響不大，可是對(duì)逐像素的預(yù)測(cè)目標(biāo)是有害的，因?yàn)閷?duì)每個(gè)RoI取得的特征并沒(méi)有與RoI對(duì)齊。因此，Mask R-CNN對(duì)RoI Pooling作了改進(jìn)并提出了RoI Align。RoI Align的主要?jiǎng)?chuàng)新點(diǎn)是，針對(duì)下采樣后兩次量化造成的區(qū)域不匹配問(wèn)題，使用雙線性插值取代取整操作從而更精確地找到每個(gè)塊對(duì)應(yīng)的特征?？偟膩?lái)說(shuō)，RoIAlign的作用主要就是剔除了RoIPooling的取整操作，并且使得為每個(gè)RoI取得的特征能夠更好地對(duì)齊原圖上的RoI區(qū)域。

1.2 損失函數(shù)

損失函數(shù)（Loss function）是用來(lái)估量模型的預(yù)測(cè)值f（x）與真實(shí)值Y的不一致程度，它是一個(gè)非負(fù)實(shí)值函數(shù)，通常用L（Y，f（x））來(lái)表示，損失函數(shù)越小，模型的魯棒性越好。損失函數(shù)是經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)的核心部分，也是結(jié)構(gòu)風(fēng)險(xiǎn)函數(shù)的重要組成部分。Mask R-CNN采用了多任務(wù)的損失函數(shù)，每個(gè)RoI區(qū)域的損失函數(shù)包含三部分：bounding box的分類損失值、bounding box位置回歸損失值和Mask部分的損失值，其中bounding box的分類損失值和位置回歸損失值同F(xiàn)aster RCNN類似，其損失函數(shù)為：L=Lcls+Lbox+Lmask。每個(gè)RoI區(qū)域會(huì)生成一個(gè)m*m*numclass的特征層，特征層中的每個(gè)值為二進(jìn)制掩碼，為0或者為1。根據(jù)當(dāng)前RoI區(qū)域預(yù)測(cè)的分類，含有K*m*m維度的輸出，K代表類別的數(shù)量，m*m是提取的ROI圖像的大小。Lmask被定義為平均二值交叉熵?fù)p失函數(shù)（average binary cross-entropy loss）［19］，其分割層會(huì)輸出 channel為K的Mask，每個(gè)Mask對(duì)應(yīng)一個(gè)類別，利用sigmoid函數(shù)［20］進(jìn)行二分類，判斷是否是這個(gè)類別，然后在計(jì)算loss時(shí)，假如RoI對(duì)應(yīng)的ground-truth的類別是Ki，則計(jì)算Ki對(duì)應(yīng)的loss，其他的Mask對(duì)這個(gè)loss沒(méi)有貢獻(xiàn)計(jì)算，這樣的定義會(huì)使得網(wǎng)絡(luò)對(duì)每個(gè)類別都會(huì)生成獨(dú)立Mask，不需要區(qū)分每一個(gè)像素屬于哪一類，只需要去區(qū)別在這個(gè)類中此像素點(diǎn)是屬于前景或者背景，然后計(jì)算該m*m區(qū)域的平均二值交叉損失熵。最后可以通過(guò)與閾值0.5作比較輸出二值Mask，將分類的任務(wù)交給專業(yè)的classification分支，這樣避免了類間的競(jìng)爭(zhēng)。由于本文基于秀麗隱桿線蟲的分割研究，像素的類別只分為線蟲的本體和背景，故本文K=1。平均二值交叉熵?fù)p失如式（1）所示：

其中：概率分布p（代表真實(shí)概率）和q（代表模型概率）用來(lái)度量信息量；yi為標(biāo)簽類別，取值為0、1，0代表此點(diǎn)為背景樣本，1代表此點(diǎn)為線蟲體樣本；yi'為模型預(yù)測(cè)概率，模型通過(guò)卷積池化提取的特征經(jīng)過(guò)全連接層計(jì)算相應(yīng)樣本點(diǎn)的特征值，根據(jù)sigmoid函數(shù)計(jì)算預(yù)測(cè)概率。sigmoid函數(shù)計(jì)算如式（2）：

2 本文方法

2.1 基于Mask-RCNN的改進(jìn)網(wǎng)絡(luò)

由于傳統(tǒng)的圖像分割方法無(wú)法完成秀麗隱桿線蟲的分割，本文采用Mask R-CNN為基礎(chǔ)的目標(biāo)檢測(cè)、語(yǔ)義分割模型。本文目標(biāo)檢測(cè)、分割測(cè)模型的框架由兩個(gè)階段組成，首先用卷積和池化自動(dòng)提取目標(biāo)自動(dòng)提取秀麗隱桿線蟲本質(zhì)特征，本文使用ResNet34、ResNet50、ResNet101作為backbone進(jìn)行對(duì)比實(shí)驗(yàn)，低級(jí)特征圖和高級(jí)特征圖由ResNet不同階段的卷積得到，卷積過(guò)程由圖1所示，網(wǎng)絡(luò)參數(shù)如表1所示。

圖1 卷積過(guò)程圖示Fig.1 Schematic diagramof convolution process

然后利用這些特征進(jìn)行目標(biāo)檢測(cè)、分割。在此基礎(chǔ)上，本文對(duì)Mask R-CNN模型結(jié)構(gòu)進(jìn)行了改進(jìn)，通過(guò)增加多級(jí)特征池化，每個(gè)proposal利用金字塔所有層的特征，避免了proposal的隨意分配。原始FPN中的每個(gè)proposal根據(jù)其大小分配給不同的特征層，將較小的proposal分配給低級(jí)特征層，將較大的proposal分配給高級(jí)特征層，都是基于單層特征。但這樣可能不夠好，原因如下：一是按照大小來(lái)分配本身有缺陷，大小相近的proposal可能分配到相鄰的層；二是特征的重要程度可能與層級(jí)沒(méi)什么關(guān)系，比如高級(jí)語(yǔ)義特征能捕獲更豐富的上下文信息，允許小型proposal訪問(wèn)這些特征可以更好地利用上下文進(jìn)行預(yù)測(cè)。同樣，低級(jí)特征包含許多精細(xì)細(xì)節(jié)如紋理、邊緣特征等和高定位信息，讓大型proposal訪問(wèn)可以使特征定位更加準(zhǔn)確。這金字塔上4個(gè)灰色區(qū)域?qū)?yīng)的是同一個(gè)proposal（圖1中RoI_1～RoI_4），通過(guò)RoI Align使不同層的proposal映射成固定大小進(jìn)行融合，融合操作采取SUM操作，將4個(gè)特征圖同坐標(biāo)點(diǎn)的值相加，記pn為多級(jí)特征池化的特征圖，pi為低高級(jí)特征圖，這樣帶來(lái)的好處是每個(gè)proposal聚合了多層的信息，對(duì)分類及定位更加有利，從而提升檢測(cè)、分割精度。本文使用的秀麗隱桿線蟲檢測(cè)、分割的網(wǎng)絡(luò)框架如圖2所示。

表1 ResNet結(jié)構(gòu)Tab.1 ResNet architecture

2.2 LMSL損失算法

經(jīng)過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，原模型經(jīng)過(guò)訓(xùn)練后模型預(yù)測(cè)樣本的能力較差，測(cè)試集不能很好擬合正確樣本，在邊緣的預(yù)測(cè)上差異性較大，而通過(guò)觀察模型訓(xùn)練細(xì)節(jié)發(fā)現(xiàn)，在模型訓(xùn)練200個(gè)epoch后loss已經(jīng)降至為很小的數(shù)值且趨于平滑產(chǎn)生了梯度消失，查找原因發(fā)現(xiàn)這是因?yàn)楫?dāng)訓(xùn)練好一個(gè)模型之后，模型為所有的誤標(biāo)簽都分配了很小的概率；然而實(shí)際上對(duì)于不同的錯(cuò)誤標(biāo)簽，其被分配的概率仍然可能存在數(shù)個(gè)量級(jí)的懸殊差距。這個(gè)差距，在這里直接就被忽略了，但這其實(shí)是一部分有用的信息。為此本文將Lmask采用LMSL放大用于拉大類間距離，為那部分被忽略信息賦予更大的權(quán)重，增強(qiáng)Softmax損失函數(shù)的判別能力。

原始的Softmax loss非常優(yōu)雅、簡(jiǎn)潔，被廣泛用于分類問(wèn)題。Softmax loss公式［21］如式（3）：

圖2 秀麗隱桿線蟲檢測(cè)、分割的網(wǎng)絡(luò)框架Fig.2 Network framework for detection and segmentation of C.elegans

假設(shè)X屬于線蟲體，本文是要區(qū)分X這個(gè)點(diǎn)是屬于背景還是屬于前景，那么Softmax希望：‖‖W1||x||cosθ1＞‖‖W2||x||cosθ2(0≤θ1≤πk)，因?yàn)閗是正整數(shù)，cos函數(shù)在0～π范圍又是單調(diào)遞減的，所以coskx要小于cosx，k值越大則學(xué)習(xí)的難度也越大，因此通過(guò)這種方式定義損失會(huì)使得模型學(xué)到類間距離更大的、類內(nèi)距離更小的特征。因此可修改得到式（5）：

本文實(shí)驗(yàn)使用的loss函數(shù)L為：L=Lcls+Lbox+LLS。

2.3 全連接融合分支

全連接（Fully connected，F(xiàn)c）層和多層感知機(jī)（Multi-Layer Perceptron，MLP）被廣泛應(yīng)用于實(shí)例分割［22］中，用于生成候選區(qū)域和預(yù)測(cè)Mask。有工作顯示FPN同樣也能夠預(yù)測(cè)逐像素的Mask，Mask R-CNN使用了一個(gè)小型的FPN應(yīng)用于池化后特征網(wǎng)格用于預(yù)測(cè)對(duì)應(yīng)的Mask。但是Fc層與FPN相比具有不同的屬性：FPN給出了像素級(jí)預(yù)測(cè)，這是基于局部感受野和共享的核參數(shù)；與此相反，F(xiàn)c層是位置敏感的，因?yàn)閷?duì)于不同空間位置的預(yù)測(cè)都是通過(guò)一組可變參數(shù)實(shí)現(xiàn)的［23］，故認(rèn)為Fc層具有適應(yīng)不同空間位置的能力。同時(shí)Fc層對(duì)于每個(gè)空間位置預(yù)測(cè)是基于整個(gè)候選區(qū)域的全局信息，這對(duì)于區(qū)分不同實(shí)例和識(shí)別屬于同一對(duì)象的分離部分很有效?？紤]到Fc層和卷積層之間的不同特性，本文將這兩種層的預(yù)測(cè)結(jié)果融合以達(dá)到更好的預(yù)測(cè)效果，具體如圖3所示。

本文主要是在原來(lái)的Mask支路（圖3上面那條支路，也就是傳統(tǒng)的FCN結(jié)構(gòu)）上增加了圖3下面那條支路作融合。

主分支是4個(gè)連續(xù)的卷積和1個(gè)反卷積，每個(gè)卷積層核大小為3×3，通道數(shù)為256，后面再接一個(gè)上采樣2倍的反卷積。這是用于預(yù)測(cè)每個(gè)類別Mask的二進(jìn)制像素值。使用一個(gè)短路徑從Conv2連接到Fc層，中間經(jīng)過(guò)兩個(gè)卷積層conv4_fc，Conv5，為了降低計(jì)算成本和運(yùn)行速度，Conv5、Conv6通道數(shù)設(shè)置為128。Mask大小設(shè)置為28×28。Fc層產(chǎn)生784×1×1的向量，故變形（reshape）成和FPN預(yù)測(cè)的Mask同樣的空間尺寸，再和FPN的輸出相加得到最終預(yù)測(cè)。

圖3 全連接融合分支Fig.3 Fully connected fusion branch

2.4 Soft-NMS算法

由于傳統(tǒng)的非極大值抑制（NMS）方法是基于分類分?jǐn)?shù)進(jìn)行的，只有最高分?jǐn)?shù)的預(yù)測(cè)框能留下來(lái)，但是大多數(shù)情況下交并比（Intersection Over Union，IOU）和分類分?jǐn)?shù)不是強(qiáng)相關(guān)，很多分類標(biāo)簽置信度高的框的位置都不是很準(zhǔn)，而且本文研究對(duì)象是秀麗隱桿線蟲檢測(cè)、分割，蟲體由研究人員用光學(xué)顯微鏡拍攝，數(shù)據(jù)集中存在多條線蟲交疊的現(xiàn)象，由于線蟲重疊輸出多個(gè)框中存在某些另一個(gè)線蟲的框，但是也不小心被NMS去掉了。這個(gè)問(wèn)題的解法最終是要落在“將某個(gè)候選框刪掉”這一步驟上，本文需要找到一種方法，更小心刪掉，而不是暴力地把所有不是最高分的框刪掉，于是對(duì)于與最高分框overlap大于閾值t的框，通過(guò)將它的置信度降低，可以使多一些框被保留下來(lái)，從而一定程度上避免overlap的情況出現(xiàn)。

如果是傳統(tǒng)的NMS操作，那么當(dāng)和最高分框的IOU值大于閾值t，那么就從中去除該候選框，將分?jǐn)?shù)直接設(shè)為0，NMS算法可以用式（6）表示：

其中：M為得分最高的框，bi為待處理框。如果是Soft-NMS，則對(duì)于bi也是先計(jì)算它和M的IOU，然后該IOU值作為函數(shù)f的輸入，最后和bi的Si相乘作為最后該bi的分值。Soft-NMS算法可以由式（7）表示：

這樣同一個(gè)物體周圍的框有很多，每次選擇分?jǐn)?shù)最高的框，抑制其周圍的框，bi與M的IOU越大，抑制的程度越大。一般來(lái)說(shuō)，表示同一個(gè)物體的框的IOU是會(huì)比另一個(gè)物體的框的IOU大，因此，這樣就會(huì)將其他物體的框保留下來(lái)，而同一個(gè)物體的框被去掉，從而提高候選框的準(zhǔn)確率，減少線蟲的錯(cuò)誤檢測(cè)。

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置及數(shù)據(jù)

本實(shí)驗(yàn)采用的是64位Ubuntu操作系統(tǒng)，硬件配置為I7 8700K處理器，GPU型號(hào)為NVIDIA GeForce GTX 1080TI，顯存為11 GB。本文的數(shù)據(jù)集是通過(guò)光學(xué)顯微鏡下拍攝得到的活體線蟲圖像，拍攝得到400張樣本，但是一般而言，比較成功的神經(jīng)網(wǎng)絡(luò)需要大量的參數(shù)，而使得這些參數(shù)可以正確工作則需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練。由于線蟲的圖像需要專業(yè)人員進(jìn)行玻片處理，大批量采集較為困難，所以本文對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)［24］，即利用已有的數(shù)據(jù)比如翻轉(zhuǎn)、平移、旋轉(zhuǎn)和添加椒鹽噪聲，創(chuàng)造出更多的數(shù)據(jù)來(lái)使得神經(jīng)網(wǎng)絡(luò)具有更好的泛化效果，增加噪聲數(shù)據(jù)，提升模型的魯棒性。經(jīng)過(guò)數(shù)據(jù)增強(qiáng)操作，將其劃分為2 800張訓(xùn)練集，200張測(cè)試集進(jìn)行訓(xùn)練。使用Labelme軟件制作訓(xùn)練數(shù)據(jù)集，標(biāo)注時(shí)，線蟲標(biāo)注為一個(gè)獨(dú)立的連通域，標(biāo)注完一張圖像后得到一個(gè)對(duì)應(yīng)json文件。解析json文件，提取中位深度為24位的label標(biāo)簽圖像，再將24位label圖像轉(zhuǎn)換為8位的label.png圖像，完成一幅圖像數(shù)據(jù)的標(biāo)注，Labelme標(biāo)注如圖4所示。

圖4 Labelme標(biāo)注結(jié)果Fig.4 Labelingresultsof Labelme

本實(shí)驗(yàn)參數(shù)設(shè)置如下：圖像輸入網(wǎng)絡(luò)進(jìn)行變形（reshape）至固定尺度，IMAGE_MIN_DIM設(shè)置為 800，IMAGE_MAX_DIM設(shè)置為1 024，對(duì)尺度較少的維度進(jìn)行填充（padding）。GPU每次讀取圖像IMAGES_PER_GPU設(shè)置為1。使用GPU運(yùn)算。批量訓(xùn)練的方法將數(shù)據(jù)集數(shù)據(jù)分為多個(gè)批次，每個(gè)批次訓(xùn)練系數(shù)為128，隨著迭代次數(shù)的增加，損失數(shù)值逐漸收斂，訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率趨于穩(wěn)定，調(diào)整動(dòng)量因子參數(shù)為0.85，正則化權(quán)重衰減系數(shù)為0.000 1，網(wǎng)絡(luò)權(quán)重參數(shù)的基礎(chǔ)學(xué)習(xí)率為0.001。圖5為訓(xùn)練狀態(tài)曲線。由圖5可見(jiàn)，實(shí)驗(yàn)迭代5 000次達(dá)到最優(yōu)狀態(tài)，模型的平均損失值loss基本穩(wěn)定在0.06附近，并趨于穩(wěn)定。

圖5 本文方法的訓(xùn)練曲線Fig.5 Trainingcurveof theproposed method

3.2 實(shí)驗(yàn)步驟

本文實(shí)驗(yàn)基于如下步驟，如圖6所示。

1）從采集的圖像數(shù)據(jù)中抽取訓(xùn)練集，且驗(yàn)證集與訓(xùn)練集無(wú)交叉重復(fù)數(shù)據(jù)。

2）使用Labelme對(duì)訓(xùn)練集圖像進(jìn)行標(biāo)注，對(duì)應(yīng)標(biāo)簽圖像，完成訓(xùn)練、測(cè)試集的制作。

3）將制作好的數(shù)據(jù)集輸入改進(jìn)后網(wǎng)絡(luò)，通過(guò)多級(jí)特征融合和結(jié)合LMSL改進(jìn)損失算法訓(xùn)練250個(gè)epoch得到訓(xùn)練模型。

4）使用訓(xùn)練得到模型（權(quán)重文件）進(jìn)行驗(yàn)證樣本分割，得出分割結(jié)果。

5）采用AP（Average Precision）、AP50指標(biāo)評(píng)價(jià)模型的分割結(jié)果。

6）根據(jù)實(shí)驗(yàn)結(jié)果調(diào)節(jié)參數(shù)，如果損失下降太慢則適當(dāng)增加學(xué)習(xí)率，如果損失處于一個(gè)波動(dòng)狀態(tài)，則減小學(xué)習(xí)率使其自動(dòng)尋找全局最優(yōu)。

圖6 實(shí)驗(yàn)步驟Fig.6 Experimental procedure

3.3 結(jié)果分析

本文利用標(biāo)準(zhǔn)COCO指標(biāo)來(lái)評(píng)估結(jié)果，包括AP、AP50。檢測(cè)是否正確需要設(shè)定一個(gè)閾值，這里AP50表示IOU的閾值設(shè)置為0.50。AP表示IOU的閾值設(shè)置為0.50至0.95，步長(zhǎng)為0.05。IOU公式為：

其中：P代表預(yù)測(cè)值，gt代表真值（ground truth），即當(dāng)預(yù)測(cè)值與真實(shí)值的IOU值大于這個(gè)閾值時(shí)，該預(yù)測(cè)框才被認(rèn)定為真陽(yáng)性（True Positive，TP），反之就是假陽(yáng)性（False Positive，F(xiàn)P），AP公式為：

同時(shí)使用網(wǎng)絡(luò)分割速度來(lái)評(píng)估網(wǎng)絡(luò)的分割性能。實(shí)驗(yàn)結(jié)果如表2和表3所示。

表2 本文方法與原始方法的AP性能對(duì)比Tab.2 Comparison of APperformancebetween theproposed method and the original method

已訓(xùn)練的改進(jìn)模型在200幅測(cè)試集上的分割結(jié)果用評(píng)價(jià)指標(biāo) AP、AP50分析，如表 2所示，其中，ResNet34-FPN+Mask R-CNN效果最差，經(jīng)過(guò)網(wǎng)絡(luò)加深效果可以得到提升。改進(jìn)后網(wǎng)絡(luò)+ResNet-101-FPN效果最好，AP提升3.4個(gè)百分點(diǎn)，AP50提升4.3個(gè)百分點(diǎn)。mIOU相比OTSU算法［25］分割提升約17個(gè)百分點(diǎn)，實(shí)驗(yàn)證明深度神經(jīng)網(wǎng)絡(luò)在秀麗隱桿線蟲分割中具有巨大優(yōu)勢(shì)。

表3 本文方法消融實(shí)驗(yàn)結(jié)果(mIOU)Tab.3 Resultsof ablation experiments(mIOU)

3.4 效果對(duì)比

改進(jìn)后模型對(duì)分割不同的形態(tài)的秀麗隱桿線蟲有較好的分割性能。如圖7所示，THRESH_OTSU優(yōu)化算法作為傳統(tǒng)分割方法，它的缺點(diǎn)是無(wú)法將圖像中的附著物如線蟲鞭毛、外壁細(xì)胞泡分開(kāi)，同時(shí)線蟲中較為透明的邊界線無(wú)法識(shí)別，在光線較差的情況下效果較差。而原Mask R-CNN在分割線蟲上頭尾容易缺失，細(xì)小的尖端無(wú)法分割出來(lái)，分割邊緣也不夠平滑，不能貼合線蟲體，在多條線蟲堆疊情況下容易出現(xiàn)漏檢，個(gè)別蟲體分割不完整，出現(xiàn)斷層?？梢钥闯鼋?jīng)過(guò)算法改進(jìn)很大程度上改善了以上缺點(diǎn)，使分割精細(xì)程度大大提升，更加接近于GT（Ground truth）。

圖7 實(shí)驗(yàn)效果對(duì)比Fig.7 Comparison of experimental results

4 結(jié)語(yǔ)

本文以Mask R-CNN網(wǎng)絡(luò)框架為基礎(chǔ)，建立針對(duì)顯微圖像下的秀麗隱桿線蟲檢測(cè)分割的端到端的精確分割網(wǎng)絡(luò)，為了提高秀麗隱桿線蟲分割精度，平滑線蟲頭、尾身和體邊緣信息，減少漏檢誤檢。本文通過(guò)多級(jí)特征池化，結(jié)合LMSL損失算法、改進(jìn)的非極大值抑制、添加全鏈接融合分支等方法來(lái)改進(jìn)分割效果。實(shí)驗(yàn)結(jié)果表明，本方法在顯微圖像線蟲分割中速度更快、精度更高，證明了本文提出線蟲分割方法的有效性，為實(shí)現(xiàn)計(jì)算機(jī)高通量、全自動(dòng)定量評(píng)估線蟲目標(biāo)奠定基礎(chǔ)。