董高君，許樂樂，馬忠松，于 歌

(1. 中國科學(xué)院空間應(yīng)用工程與技術(shù)中心太空應(yīng)用重點(diǎn)實(shí)驗(yàn)室， 北京100049； 2. 中國科學(xué)院大學(xué)， 北京100049)

1 引言

航天器上通常搭載多種類型空間科學(xué)載荷設(shè)備，以開展多樣的空間科學(xué)實(shí)驗(yàn)。 基于實(shí)驗(yàn)產(chǎn)生的海量圖像數(shù)據(jù)，研究人員開展了表型分析相關(guān)研究，比如提取圖像中實(shí)驗(yàn)對象的表型特征，包括形態(tài)、尺度、面積、體積、生長曲線等，以及時了解實(shí)驗(yàn)對象在太空的狀態(tài)，保障實(shí)驗(yàn)的順利開展。圖像分割技術(shù)可以實(shí)現(xiàn)對圖像中目標(biāo)的精細(xì)識別，為后續(xù)研究工作的開展奠定基礎(chǔ)，因此成為科學(xué)實(shí)驗(yàn)表型分析的重要技術(shù)手段。 對于空間科學(xué)實(shí)驗(yàn)中的細(xì)胞圖像，面對復(fù)雜場景，比如光照不均、實(shí)驗(yàn)對象互相交疊等問題，傳統(tǒng)的基于閾值、顏色等的統(tǒng)計分析方法無法取得較好的分割精度。

近年來，深度學(xué)習(xí)技術(shù)在計算機(jī)視覺領(lǐng)域蓬勃發(fā)展，為復(fù)雜場景下的細(xì)胞圖像分割引領(lǐng)了新的技術(shù)方向。 張文秀等使用經(jīng)典語義分割網(wǎng)絡(luò)U-Net實(shí)現(xiàn)細(xì)胞的分割，并結(jié)合殘差塊和注意力機(jī)制，提取更多的細(xì)胞細(xì)節(jié)信息，減緩亮度不均勻、對比度較低的模型干擾；細(xì)化網(wǎng)絡(luò)RefineNet基于U-Net 模型提出了改進(jìn)的語義分割模型，在編碼-解碼結(jié)構(gòu)的基礎(chǔ)上添加了殘差卷積單元以及多分辨率融合模塊，使之在細(xì)胞分割任務(wù)中具有更良好的性能；全卷積網(wǎng)絡(luò)(Fully Convolutional Networks，F(xiàn)CN)作為常用的語義分割模型，使用反卷積的方法將高維特征圖上采樣至原始大小。 上述方法主要實(shí)現(xiàn)對細(xì)胞圖像的像素級語義分割，無法區(qū)分緊密相鄰的細(xì)胞實(shí)例。

由于語義分割不能區(qū)分同一類別的不同實(shí)例，目前研究人員已經(jīng)提出了許多實(shí)例分割算法，包括基于分割的方法和基于檢測的方法。 基于分割的方法通常先進(jìn)行語義分割，然后采用聚類等方法得到不同的實(shí)例目標(biāo)。 深度掩碼DeepMask就是在目視圖像生成器(Visual Geometry Group，VGG)的基礎(chǔ)上發(fā)展出來的基于分割的方法，該網(wǎng)絡(luò)使用VGG 提取圖像特征之后，添加了2 個分支用于產(chǎn)生分割掩碼和產(chǎn)生估計掩碼分?jǐn)?shù)值，以達(dá)到實(shí)例分割的目的；基于檢測的方法通常先基于目標(biāo)檢測技術(shù)，檢測圖像中感興趣的目標(biāo)，然后對這些目標(biāo)進(jìn)行二值分割，得到實(shí)例分割結(jié)果。 而遞歸卷積神經(jīng)網(wǎng)絡(luò)(Recurrent Convolutional Neural Networks，R-CNN)是一種常用的基于檢測的目標(biāo)檢測和圖像分割的方法，該方法先利用選擇性搜索算法生成目標(biāo)候選區(qū)域，然后用支持向量機(jī)(Support Vector Machine，SVM)進(jìn)行類別識別；Fast R-CNN 在此基礎(chǔ)上進(jìn)行了一些改進(jìn)，最后類別的判斷和邊框的回歸也用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)實(shí)現(xiàn)；Faster R-CNN 在Fast R-CNN 上做了一些調(diào)整，生成候選區(qū)域的部分也直接改為用CNN 實(shí)現(xiàn)，即區(qū)域建議生成網(wǎng)絡(luò)(Region Proposal Network，RPN) 和感興趣區(qū)域池化(Region of Interest Pooling，RoI Pooling)。

Mask R-CNN是基于Faster R-CNN提出的一種經(jīng)典實(shí)例分割算法，可以區(qū)分圖像中不同的實(shí)例對象，該方法在原有邊界框預(yù)測分支的基礎(chǔ)上提出增加掩碼預(yù)測分支來完成對每個實(shí)例的精細(xì)分割，并將RoI Pooling 改為用RoI Align 提升候選區(qū)域和特征圖匹配的準(zhǔn)確度，該算法在多種任務(wù)場景，例如醫(yī)學(xué)、室內(nèi)場景等取得了令人滿意的結(jié)果；路徑聚合網(wǎng)絡(luò)(Path Aggregation Network，PANet)是基于Mask R-CNN 的雙路徑增強(qiáng)實(shí)例分割網(wǎng)絡(luò)，基于特征金字塔引入自下而上的外觀增強(qiáng)結(jié)構(gòu)，將低層特征的細(xì)節(jié)信息添加至高層特征，再進(jìn)行多尺度特征的細(xì)節(jié)特征增強(qiáng)；混合任務(wù)級聯(lián)(Hybrid Task Cascade，HTC)充分利用Mask R-CNN 中邊框檢測分支和掩碼預(yù)測分支間的互惠關(guān)系，交替執(zhí)行2 個任務(wù)分支，以提升實(shí)例分割精度；混合掩碼網(wǎng)絡(luò)BlendMask通過預(yù)測位置敏感實(shí)例特征和注意力特征圖來實(shí)現(xiàn)實(shí)例分割；掩碼分?jǐn)?shù)遞歸卷積神經(jīng)網(wǎng)絡(luò)(Mask Scoring R-CNN， MS R-CNN)基 于Mask RCNN，提出掩碼IoU 預(yù)測分支來評估掩碼預(yù)測分支的掩碼得分值，改善實(shí)例分割質(zhì)量。 以上方法在實(shí)例分割任務(wù)中取得了良好的成績，但在復(fù)雜場景(如背景噪聲干擾，透明實(shí)例交疊等)下的目標(biāo)實(shí)例分割中仍面臨挑戰(zhàn)。 Mask R-CNN 雖然是眾多分割方法的基礎(chǔ)框架，但是其在特征提取過程中，沒有充分融合高層語義結(jié)構(gòu)信息和低層細(xì)節(jié)外觀信息，從而無法有效處理復(fù)雜場景(如光照不均、背景雜亂等)情況下的實(shí)例分割任務(wù)。

本文針對空間科學(xué)實(shí)驗(yàn)中細(xì)胞圖像的分割任務(wù)，提出一種基于Mask R-CNN 的實(shí)例分割新算法，以解決上述噪聲干擾及實(shí)例交疊問題，可稱之為基于密集特征金字塔的實(shí)例分割算法(Dense Feature Pyramid Mask，DFP-Mask)，適用于對復(fù)雜場景下細(xì)胞圖像進(jìn)行精確的實(shí)例分割。 該方法在多尺度特征自頂向下的信息傳輸過程中以密集連接的方式控制特征圖間的信息傳遞，將高層語義結(jié)構(gòu)信息傳遞至所有低層特征，改善低層特征的語義理解能力，同時抑制背景噪聲。 通過實(shí)驗(yàn)定量比較和視覺比較，從準(zhǔn)確率、召回率等指標(biāo)驗(yàn)證方法的提升效果和有效性。

2 基于密集特征金字塔的實(shí)例分割

2.1 網(wǎng)絡(luò)架構(gòu)

圖1 展示了基于Mask R-CNN 的DFP-Mask網(wǎng)絡(luò)架構(gòu)。 該架構(gòu)首先由殘差網(wǎng)絡(luò)(Residual Network，ResNet)網(wǎng)絡(luò)初步提取圖像特征圖，圖2(b)中C2～C5 表示ResNet-101中conv2～conv5的最后殘差塊的輸出。 DFP 模塊通過密集連接將C2～C5 的多尺度特征融合，用于后續(xù)產(chǎn)生和匹配候選框。 然后區(qū)域候選網(wǎng)絡(luò)RPN 產(chǎn)生大量實(shí)例的錨框anchor，用非極大值抑制法NMS 選取概率最大的2000 個錨框作為感興趣區(qū)域候選框(RoI)。 使用RoI Align 的方法將候選框與該框?qū)?yīng)的特征圖(圖2(b)中P2 ～P6 的輸出)匹配，分別用于實(shí)例的掩碼生成和候選框的回歸。 最后合并輸出實(shí)例分割的結(jié)果。

2.2 密集特征金字塔

在DFP-Mask 中，用于提取多尺度特征的網(wǎng)絡(luò)由特征金字塔網(wǎng)絡(luò)(Feature Pyramid Networks，F(xiàn)PN)替換為密集特征金字塔DFP。 在FPN 中，P2～P4 分別由上一級特征圖上采樣，并與同一級的C2～C4 相加獲得，P5 由C5 直接傳入，P6 由P5 下采樣直接獲得，如圖2(a)所示。

圖1 DFP-Mask 網(wǎng)絡(luò)架構(gòu)Fig.1 Architecture of DFP-Mask

由于FPN 的不同層級之間的特征信息無法相互融合。 而在C2 ～C5 中，較高層的特征圖(如C5)包含更多的語義結(jié)構(gòu)信息，而較低層的特征圖(如C2)包含更多的細(xì)節(jié)外觀信息，同時含有更多的背景噪聲。 為了充分融合多尺度特征的語義結(jié)構(gòu)和細(xì)節(jié)外觀信息，將C2 ～C5 傳輸至DFP 中獲得多尺度特征P2 ～P6。 具體來說，對P5 特征圖進(jìn)行下采樣，進(jìn)一步獲得包含更多上下文信息的P6 特征圖。

在DFP 自頂向下(P6 ～P2)的信息傳輸過程中，高層特征與所有低層特征進(jìn)行密集連接，將較小的特征圖進(jìn)行線性差值，擴(kuò)展到與相應(yīng)的特征圖同樣大小，再相加。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure

例如，P4 除了與P5 上采樣得到的特征圖相加外，也將P6 線性插值到與P4 一樣大小并相加。 其他層的特征圖同理。 以此將其豐富的語義結(jié)構(gòu)信息傳遞至所有低層特征，同時抑制噪聲干擾，提升每層特征的上下文理解能力，改善復(fù)雜背景下的目標(biāo)識別精度。

2.3 基于密集特征金字塔的實(shí)例分割

密集特征金字塔生成的特征圖包涵多個尺度圖像信息，有利于提高后續(xù)錨框的生成和匹配的準(zhǔn)確性。

經(jīng)過DFP 中自上而下的特征圖緊密連接操作，得到P2～P6 的多尺度語義增強(qiáng)特征。 這些特征圖被輸入到區(qū)域候選網(wǎng)絡(luò)RPN 中，獲取可能包含對象實(shí)例的感興趣區(qū)域RoI。 最后，對于每個RoI，基于Mask R-CNN 的掩碼預(yù)測分支(Mask)和邊界框預(yù)測分支(Bounding-box)分別預(yù)測實(shí)例掩碼、類別和邊界框位置，以獲取最終的實(shí)例分割結(jié)果。 網(wǎng)絡(luò)架構(gòu)的分割表現(xiàn)詳見實(shí)驗(yàn)部分。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

本文采用的細(xì)胞數(shù)據(jù)集來自中國載人航天工程天舟一號小鼠肝卵圓細(xì)胞培養(yǎng)皿，包含200 張圖像。 每張圖像中細(xì)胞實(shí)例數(shù)目為10 到60 個，多個細(xì)胞間存在重疊遮擋現(xiàn)象和背景噪聲。 細(xì)胞圖像大小為1280×1024 像素，真實(shí)實(shí)例分割圖像通過人工標(biāo)注獲得(每個細(xì)胞標(biāo)注為不同顏色)。數(shù)據(jù)集以7 ∶2 ∶1的比例隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測試集，訓(xùn)練集包括140 張圖像，驗(yàn)證集包括40 張圖像，測試集包括20 張圖像。

3.2 實(shí)驗(yàn)設(shè)置

實(shí) 驗(yàn) 中 基 于 Keras 2.1.3 和 TensorFlow 1.13.1 深度學(xué)習(xí)框架進(jìn)行網(wǎng)絡(luò)構(gòu)建，采用1 塊NVIDIA Tesla K80 GPU 進(jìn)行網(wǎng)絡(luò)訓(xùn)練和實(shí)例分割推斷。

由于細(xì)胞數(shù)據(jù)集中圖像數(shù)量有限，采用COCO(Common Objects in Context)數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重進(jìn)行網(wǎng)絡(luò)初始化，并對細(xì)胞數(shù)據(jù)集執(zhí)行3 個階段的訓(xùn)練過程。 網(wǎng)絡(luò)參數(shù)更新采用動量為0.9 的隨機(jī)梯度下降方法。 其中，階段1 訓(xùn)練網(wǎng)絡(luò)的頭部，包括RPN、邊界框預(yù)測分支和掩碼預(yù)測分支，此階段的訓(xùn)練持續(xù)40 個epoch，且學(xué)習(xí)率為0.001；階段2 訓(xùn)練ResNet 的C3 特征圖及更高層的網(wǎng)絡(luò)，此階段迭代80 個epoch，并且采用0.001 的學(xué)習(xí)率；階段3 微調(diào)網(wǎng)絡(luò)的所有層，此階段采用0.01 的學(xué)習(xí)率并重復(fù)40 個epoch。 訓(xùn)練過程中采用0.0001 的權(quán)重衰減來防止過擬合。此外，使用batch 為4 的小批量進(jìn)行梯度更新。

4 結(jié)果

為了驗(yàn)證DFP-Mask 算法的有效性，對Mask R-CNN 算法和本文DFP-Mask 算法進(jìn)行對比。

4.1 評估指標(biāo)

使用precision，recall 和F1 分?jǐn)?shù)評估像素級別的分割結(jié)果，precision 表示準(zhǔn)確率，recall 表示召回率，F(xiàn)1-score 是同時兼顧了準(zhǔn)確率和召回率的指標(biāo)。 使用COCO 數(shù)據(jù)集的標(biāo)準(zhǔn)度量指標(biāo)平均精確率mAP來定量評估細(xì)胞圖像的分割結(jié)果。 定義如式(1)～(3)所示：

其中，TP 為正確的分為正類的個數(shù)；FP 為錯誤的分為正類的個數(shù)；FN 為錯誤的分為負(fù)類的個數(shù)；t 表示mask IoU 閾值(10 個IoU 閾值，即0.50，0.55，0.60，……，0.95)。 對于多個類別，mAP 為所有類別AP 的平均值，如式(4) ～(5)所示：

其中，n表示閾值個數(shù)，c 表示實(shí)例類別，n表示類別數(shù)。

4.2 定量比較結(jié)果

針對DFP-Mask 和Mask R-CNN 模型比較了不同的評估指標(biāo)，結(jié)果如表1 所示。 數(shù)據(jù)表明：DFP-Mask 比Mask R-CNN 能夠得到更好的分割結(jié)果。 DFP-Mask 在 precision 指標(biāo)上提高了2.03%，在recall 指標(biāo)上提高了3.77%，在mAP 指標(biāo)上提高了1%。 以上結(jié)果，尤其是mAP 指標(biāo)的提升，表明本文提出的DFP-Mask 算法在細(xì)胞分割中具有較大的應(yīng)用前景。

4.3 視覺比較結(jié)果

為進(jìn)一步驗(yàn)證算法的分割性能，比較Mask R-CNN 和DFP-Mask 的視覺分割結(jié)果(圖3)。 圖3(a)中原始圖像中細(xì)胞實(shí)例間的交疊遮擋使得對實(shí)例的準(zhǔn)確分割有一定困難。 在Mask R-CNN中，因?yàn)镕PN 自頂向下的特征傳遞過程中沒有充分利用高層語義結(jié)構(gòu)信息，使得低層特征的語義理解能力提升有限，因而在細(xì)胞交疊位置的分割結(jié)果存在部分空缺(圖3(c)中的紅色箭頭處)，而DFP-Mask 中DFP 采用密集連接的方式將高層特征的語義信息傳遞至所有低層特征，極大地提升了低層特征的語義理解能力，從而獲得了更好的分割結(jié)果(圖3(d))。

表1 定量評估結(jié)果Table 1 Quantitative evaluation results /%

5 討論

本文驗(yàn)證了在噪聲干擾及實(shí)例交疊情況下DFP-Mask 能夠得到較好的實(shí)例分割結(jié)果。 通過密集特征金字塔網(wǎng)絡(luò)提取多尺度特征，增強(qiáng)了每層特征的語義結(jié)構(gòu)信息，提升了提取特征的抗噪聲干擾能力，因此對于空間科學(xué)實(shí)驗(yàn)等復(fù)雜場景也具有較大的應(yīng)用潛力，比如背景雜亂、噪聲干擾以及實(shí)例交疊情況下的圖像分割等。 基于實(shí)例分割結(jié)果，可以得到每一個實(shí)驗(yàn)對象，比如單個細(xì)胞。 進(jìn)一步可針對單個實(shí)驗(yàn)對象，通過統(tǒng)計分析的方法提取其周長、面積、體積、圓度等表型量，了解單個實(shí)驗(yàn)對象的生長發(fā)育情況。 為利于后續(xù)實(shí)驗(yàn)對象的分析，DFP-Mask 可以進(jìn)一步添加邊緣檢測分支，用于提高實(shí)例邊緣的分割準(zhǔn)確度，細(xì)化邊緣細(xì)節(jié)信息，從而為空間科學(xué)實(shí)驗(yàn)提供有效的分析工具。

DFP-Mask 除了用于細(xì)胞圖像外，還可用于空間植物圖像的表型特征提取，比如在水稻、擬南芥等的培養(yǎng)過程中，采集的圖像也會存在光照不均、培養(yǎng)箱背景干擾、培養(yǎng)箱上倒影干擾等復(fù)雜場景情況，采用DFP-Mask 可以增強(qiáng)實(shí)驗(yàn)對象的語義結(jié)構(gòu)信息，同時降低噪聲干擾，提高實(shí)例分割結(jié)果，進(jìn)而提高實(shí)驗(yàn)對象表型特征提取的有效性。

6 結(jié)論

1)本文基于空間科學(xué)實(shí)驗(yàn)中的細(xì)胞圖像，提出一種基于密集特征金字塔的實(shí)例分割模型(DFP-Mask)來解決復(fù)雜場景下的細(xì)胞分割難題。在DFP-Mask 中，采用了自上而下的密集連接方式(DFP)提取多尺度特征，以提升多尺度特征的語義理解能力并同時抑制背景干擾。

2)在天舟一號小鼠肝卵圓細(xì)胞數(shù)據(jù)集上的定量評估和視覺分割結(jié)果均表明，DFP-Mask 在復(fù)雜場景情況下的實(shí)例分割能力優(yōu)于Mask R-CNN。

3)DFP-Mask 算法可進(jìn)一步提取空間科學(xué)實(shí)驗(yàn)對象的表型特征，包括數(shù)量、形態(tài)、體積等。

4)本文DFP-Mask 算法將為空間科學(xué)實(shí)驗(yàn)及醫(yī)學(xué)實(shí)驗(yàn)的智能分析提供一種新的技術(shù)手段，如在有雜質(zhì)干擾情況下細(xì)胞或植物的分割等。

致謝：感謝中國載人航天工程提供的天舟一號細(xì)胞圖像數(shù)據(jù)。

圖3 視覺分割結(jié)果Fig.3 Visual segmentation results