袁紅杰，楊艷，張東，楊雙，2

1.武漢大學(xué)物理科學(xué)與技術(shù)學(xué)院，湖北 武漢 430072；2.桂林航天工業(yè)學(xué)院電子信息與自動(dòng)化學(xué)院，廣西 桂林 541004

前言

1869年，Ashwonh［1］對(duì)1 例癌癥死亡患者進(jìn)行尸檢時(shí)發(fā)現(xiàn)其外周血存在類似腫瘤的細(xì)胞，首次提出了循環(huán)腫瘤細(xì)胞（Circulating Tumor Cells,CTC）的概念。CTC 是指由癌灶組織細(xì)胞脫離原發(fā)灶或轉(zhuǎn)移灶釋放進(jìn)入外周血液循環(huán)的腫瘤細(xì)胞，存在于外周血中的各類腫瘤細(xì)胞的統(tǒng)稱［2］。CTC 的檢測(cè)可有效地應(yīng)用在許多方面，包括化療藥物的快速評(píng)估、個(gè)體化治療的耐藥性檢測(cè)、腫瘤復(fù)發(fā)的監(jiān)測(cè)以及腫瘤新藥物開(kāi)發(fā)等［3］。近年來(lái)的研究表明腦膠質(zhì)瘤CTC 可以作為腦膠質(zhì)瘤診斷的特異性分子標(biāo)志物，并在評(píng)估放化療療效、鑒別腫瘤復(fù)發(fā)和假性進(jìn)展、篩選分子靶向藥物等方面具有極大的潛在臨床價(jià)值。2020年，Qi 等［4］首次使用基于濾孔過(guò)濾的分離技術(shù)對(duì)腦膠質(zhì)瘤CTC 成功進(jìn)行染色熒光標(biāo)記。該標(biāo)記技術(shù)優(yōu)點(diǎn)頗多，但對(duì)于標(biāo)記結(jié)果的判讀卻流程繁瑣，其染色標(biāo)記后的識(shí)別主要依賴于醫(yī)師的專業(yè)經(jīng)驗(yàn)，需要在顯微鏡下識(shí)別CTC 的同時(shí)手動(dòng)畫出細(xì)胞核細(xì)胞質(zhì)的區(qū)域。此類方法需要醫(yī)師操作時(shí)注意力高度集中，且對(duì)邊界模糊的CTC 識(shí)別率低。為了更好地輔助醫(yī)師，利用計(jì)算機(jī)學(xué)方法自動(dòng)識(shí)別、分離、計(jì)算出CTC細(xì)胞核、細(xì)胞質(zhì)區(qū)域面積成為當(dāng)前研究的首要任務(wù)。

目前醫(yī)學(xué)圖像分割算法研究可以分為兩個(gè)大類。第一類是基于概率統(tǒng)計(jì)學(xué)的傳統(tǒng)算法，例如閾值分割法、基于區(qū)域的分割法、基于邊緣的分割方法、基于形態(tài)學(xué)的分割方法等，這類算法的魯棒性和泛化性較差且分割結(jié)果極易受到噪聲干擾［5］。第二類是近些年較主流的基于機(jī)器學(xué)習(xí)的方法，例如監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等，這些算法均需要搭建合適的神經(jīng)網(wǎng)絡(luò)框架，投入大量的數(shù)據(jù)，學(xué)習(xí)數(shù)據(jù)的共有特征，再通過(guò)優(yōu)化自身網(wǎng)絡(luò)參數(shù)來(lái)減小預(yù)測(cè)值和實(shí)際值的差距，以達(dá)到分割新數(shù)據(jù)的目的［6-11］。2015年，Ronneberger 等［12］提出U-Net 網(wǎng)絡(luò)架構(gòu)，該架構(gòu)是基于Encoder-Decoder 的經(jīng)典思想，很好地解決了醫(yī)學(xué)圖像分割任務(wù)中因數(shù)據(jù)集收集困難導(dǎo)致的分割精度較差的難題。2018年，Woo 等［13］提出卷積塊的注意力機(jī)制模塊，該模塊是在通道和空間維度上進(jìn)行重點(diǎn)提取，使得神經(jīng)網(wǎng)絡(luò)更集中于目標(biāo)物體識(shí)別，提高分割準(zhǔn)確率。

1 方法

專業(yè)醫(yī)師對(duì)CTC 進(jìn)行識(shí)別需要按照以下步驟：第一步需要在DAPI染色（藍(lán)色）層面，確定細(xì)胞核位置，并且細(xì)胞核大小需要大于濾孔直徑且無(wú)分葉；第二步需要在STEAM 染色（綠色）層面，確定細(xì)胞核周圍胞質(zhì)表達(dá)目標(biāo)抗原的區(qū)域（即CTC 細(xì)胞質(zhì)綠染區(qū)域）；第三步在CD45染色（紅色）層面，確定CTC是否表達(dá)白細(xì)胞抗原（即紅染區(qū)域），如果細(xì)胞紅染、綠染面積比大于0.3，則認(rèn)為是白細(xì)胞，予以排除，不計(jì)入CTC。按照以上要求，如果利用傳統(tǒng)算法方式分割CTC，需要按照上述3 步依次進(jìn)行，流程復(fù)雜且分割效果極易受到噪聲干擾。因此，本研究選擇機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)分割CTC［14］。按照常規(guī)思維，分割細(xì)胞質(zhì)、細(xì)胞核屬于兩個(gè)分割任務(wù)，需要搭建兩個(gè)獨(dú)立的網(wǎng)絡(luò)分割。本研究基于數(shù)據(jù)特點(diǎn)選擇使用混合訓(xùn)練的方法，一次投入3通道的混合數(shù)據(jù)，網(wǎng)絡(luò)直接輸出2通道預(yù)測(cè)分割圖。

1.1 算法流程

針對(duì)圖像質(zhì)量參差不齊的腦膠質(zhì)瘤CTC 免疫熒光圖像，將根據(jù)原始數(shù)據(jù)的特點(diǎn)搭建合適的網(wǎng)絡(luò)架構(gòu)以滿足最終的分割需求。本研究整體算法流程大致可以分為3個(gè)步驟：（1）數(shù)據(jù)集制作，包含圖像預(yù)處理、標(biāo)簽制作、數(shù)據(jù)集增強(qiáng)等操作［15］；（2）搭建基于注意力機(jī)制的分割網(wǎng)絡(luò)，并選擇合適的損失函數(shù)；（3）投入測(cè)試數(shù)據(jù)集，分析預(yù)測(cè)結(jié)果。整體流程如圖1所示。

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

設(shè)計(jì)的網(wǎng)絡(luò)構(gòu)架如圖2所示，該網(wǎng)絡(luò)架構(gòu)主要由兩個(gè)部分構(gòu)成，分別為左邊的Encoder 部分和右邊的Decoder 部分，也就是比較經(jīng)典的編碼-解碼模型［16］。該網(wǎng)絡(luò)主要由卷積模塊、卷積塊注意力機(jī)制（Convolutional Block Attention Module,CBAM）模塊、下/上采樣模塊、計(jì)數(shù)模塊構(gòu)成，同層編碼器的輸出聯(lián)結(jié)前一層的上采樣輸出作為解碼器卷積模塊的輸入，以防止隨著網(wǎng)絡(luò)深度的增加輸入特征丟失。網(wǎng)絡(luò)的輸入為3 通道的混合圖片（DAPI藍(lán)色、STEAM 綠色、CD45紅色），而輸出為2通道的二值圖片（即細(xì)胞核、細(xì)胞質(zhì)的預(yù)測(cè)分割圖）。

圖2 多監(jiān)督注意力機(jī)制神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Figure 2 Structure of neural network-based multi-level supervision and attention mechanism

卷積模塊（Convolutional Block,Conv Block）如圖3所示，包含兩個(gè)部分，它們均是由卷積函數(shù)、批標(biāo)準(zhǔn)化函數(shù)、Dropout 函數(shù)、線性整流激活Relu 函數(shù)構(gòu)成［17-20］。其中卷積核選擇為3，步長(zhǎng)為1，為反射填充，Dropout的比例為0.3。

圖3 卷積模塊Figure 3 Convolutional block

CBAM 模塊結(jié)構(gòu)如圖4a 所示，主要包含兩個(gè)部分：第一部分為通道注意力機(jī)制［21］；第二部分為空間注意力機(jī)制［22］。CBAM 模塊中的兩部分串行處理能夠很好地幫助網(wǎng)絡(luò)學(xué)習(xí)輸入特征的空間和通道維度的權(quán)重分布。輸入特征圖F（Shape 為H×W×C）通過(guò)通道注意力模塊Channel Attention Module，得到1×1×C 的通道注意力特征圖Mc。再將Mc 和原始特征圖F 做矩陣乘法，生成Fc（Shape 為H×W×C）。Fc再通過(guò)空間注意力模塊Spatial Attention Module，得到H×W×1 的空間注意力特征Ms。再將Ms 和特征圖Fc 做矩陣乘法，生成F'（Shape為H×W×C）。通道注意力機(jī)制結(jié)構(gòu)如圖4b 所示。主要是將輸入的特征圖F 分別經(jīng)過(guò)高為H 和寬為W 的全局最大池化（Global max pooling）和全局平均池化（Global average pooling），分別得到1 個(gè)1×1×C 的特征圖，接著，再將它們分別送入獨(dú)立、隱藏層為1 的全連接神經(jīng)網(wǎng)絡(luò)（Multilayer Perceptron,MLP）［23］，其中激活函數(shù)設(shè)置均為Relu。下一步將MLP 輸出的特征進(jìn)行基于以通道維度為基準(zhǔn)的矩陣加法操作。最后，將混合后的特征矩陣投入Sigmoid 函數(shù)激活，生成最終的Channel attention feature，即Mc?？臻g注意力機(jī)制結(jié)構(gòu)如圖4c所示。主要是將輸入的特征圖Fc首先做一個(gè)基于通道維度為基準(zhǔn)的Global max pooling 和Global average pooling，分別得到1 個(gè)Shape 為H×W×1 的特征圖，然后將這2個(gè)特征圖做通道拼接操作。再經(jīng)過(guò)一個(gè)卷積核為7、步長(zhǎng)為1的卷積操作，并把通道維數(shù)降為1，Shape 即為H×W×1。投入Sigmoid 函數(shù)激活生成Spatial attention feature，即Ms。

圖4 卷積塊注意力機(jī)制模塊Figure 4 Convolutional block attention module

下采樣（DownSample Block）和上采樣（UpSample Block）模塊的作用是使特征圖升維或降維以滿足網(wǎng)絡(luò)在不同尺度下的特征提取和傳播［24］。下采樣模塊由一個(gè)步長(zhǎng)為2的卷積函數(shù)、批標(biāo)準(zhǔn)化函數(shù)、Relu 激活函數(shù)構(gòu)成。上采樣模塊為插值函數(shù)、批標(biāo)準(zhǔn)化函數(shù)、Relu激活函數(shù)構(gòu)成。

計(jì)數(shù)模塊（Counting Number Block,CN Block），其結(jié)構(gòu)如圖5所示。輸入特征分別經(jīng)過(guò)全局Global max pooling、Global average pooling得兩個(gè)1×1×C的特征矩陣，兩特征矩陣做矩陣加法，再通過(guò)Relu激活函數(shù)和隱藏層為1的MLP，得到分割目標(biāo)個(gè)數(shù)的預(yù)測(cè)輸出。

圖5 計(jì)數(shù)模塊Figure 5 Counting number block

1.3 損失函數(shù)

損失函數(shù)是評(píng)判預(yù)測(cè)值和目標(biāo)值之間差距程度的函數(shù)，選擇一個(gè)合適的目標(biāo)函數(shù)有助于網(wǎng)絡(luò)模型預(yù)測(cè)效果、魯棒性和收斂速度的提升，同時(shí)防止在反向傳播時(shí)梯度消失和梯度爆炸問(wèn)題。本研究提出自定義Loss 作為損失函數(shù)，本文Loss 主要由兩部分構(gòu)成，Loss 表達(dá)式如式（1）所示。第一部分為l1（Dice Loss），如式（2）所示，主要目的是最大化目標(biāo)矩陣和預(yù)測(cè)矩陣之間的交并比；第二部分為l2（Cross Entropy Loss,交叉熵?fù)p失函數(shù)），如式（3）所示，主要幫助網(wǎng)絡(luò)向預(yù)測(cè)正確目標(biāo)個(gè)數(shù)的方向收斂。

其中，P表示預(yù)測(cè)矩陣，T表示真實(shí)值矩陣，n為預(yù)測(cè)類別個(gè)數(shù)，Ti為目標(biāo)個(gè)數(shù)為i的真實(shí)概率，Pi為目標(biāo)個(gè)數(shù)為i的預(yù)測(cè)概率?？梢钥吹皆趲缀醪挥迷黾幽Ｐ蛷?fù)雜度的情況下，使用混合自定義Loss 函數(shù)，能在更多維度去監(jiān)督模型的學(xué)習(xí)以提升模型的擬合能力。

2 實(shí)驗(yàn)與結(jié)果

本研究所有網(wǎng)絡(luò)框架的運(yùn)行環(huán)境均為Anaconda3-2021.11-Linux-x86_64，均使用Pytorch 網(wǎng)絡(luò)框架（其中Cuda 版本為10.2、Python 版本為3.8.12），均使用同一組自制訓(xùn)練/測(cè)試數(shù)據(jù)集（其中訓(xùn)練集與測(cè)試集比為10：1）。數(shù)據(jù)集的原始圖片尺寸為720×720，為了滿足網(wǎng)絡(luò)的輸入輸出尺寸要求，均壓縮至256×256 的尺寸（使用INTER_AREA 插值方式，即像素區(qū)域關(guān)系重新采樣）。所有實(shí)驗(yàn)網(wǎng)絡(luò)均使用適應(yīng)性較強(qiáng)的Adam 優(yōu)化器進(jìn)行網(wǎng)絡(luò)優(yōu)化，其中動(dòng)量值、衰減參數(shù)、學(xué)習(xí)率等參數(shù)均選擇默認(rèn)值［25］。所有網(wǎng)絡(luò)均訓(xùn)練2 000輪，并保存訓(xùn)練過(guò)程最優(yōu)模型。

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用Qi 等［4］提供的基于濾孔過(guò)濾技術(shù)拍攝的CTC 熒光染色圖。數(shù)據(jù)集制作：第一步需要對(duì)DAPI藍(lán)色、STEAM 綠色、CD45 紅色原圖進(jìn)行合并，分別選擇其B、G、R 通道數(shù)據(jù)置于混合B、G、R 圖片的3通道中；第二步針對(duì)綠色和藍(lán)色的圖片進(jìn)行人工標(biāo)注，標(biāo)出細(xì)胞核和細(xì)胞質(zhì)的面積。由于原圖亮度、對(duì)比度不一致，大部分?jǐn)?shù)據(jù)難以憑肉眼分辨邊界，需要對(duì)原圖進(jìn)行自適應(yīng)的亮度和對(duì)比度增強(qiáng)。接著在Qi 團(tuán)隊(duì)專業(yè)醫(yī)師的指導(dǎo)下對(duì)改善后的圖像進(jìn)行標(biāo)注，生成目標(biāo)和背景的二值圖。由于網(wǎng)絡(luò)輸入長(zhǎng)寬比為1：1（原圖為4：3），為防止輸入長(zhǎng)寬比壓縮不一致，需要對(duì)原圖進(jìn)行裁減，流程圖如圖6所示。完成上述操作后對(duì)二值圖進(jìn)行歸一化生成值為0、1 的標(biāo)簽矩陣，共生成189 組數(shù)據(jù)。由于數(shù)據(jù)量較小，需要對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)以擴(kuò)充數(shù)據(jù)集來(lái)滿足訓(xùn)練需求。為了防止數(shù)據(jù)集中每張圖片目標(biāo)個(gè)數(shù)和目標(biāo)大小不一致對(duì)訓(xùn)練結(jié)果產(chǎn)生負(fù)面影響，本文采用分組增強(qiáng)數(shù)據(jù)集的方式進(jìn)行數(shù)據(jù)擴(kuò)充。按照分割目標(biāo)為1 個(gè)和多個(gè)的標(biāo)準(zhǔn)把數(shù)據(jù)分為A、B 兩組。A 組包含139張，B 組包含50 張。為了使測(cè)試集和訓(xùn)練集中的原始數(shù)據(jù)占比一致，通過(guò)計(jì)算，本文選擇從A、B 兩組分別隨機(jī)取出15、5 張，分別擴(kuò)充至30 張，組成60 張的測(cè)試數(shù)據(jù)。將A，B每組剩余部分分別擴(kuò)充至300張，總數(shù)600 張作為訓(xùn)練數(shù)據(jù)。數(shù)據(jù)增強(qiáng)的方式為對(duì)圖像隨機(jī)進(jìn)行旋轉(zhuǎn)、縮放、裁減、亮度修改、對(duì)比度修改等混合方式，盡量減少人工干預(yù)對(duì)數(shù)據(jù)集擴(kuò)充的影響。

圖6 數(shù)據(jù)集處理流程圖Figure 6 Dataset processing flowchart

2.2 評(píng)價(jià)指標(biāo)

為了客觀分析算法模型的預(yù)測(cè)性能，選擇召回率（Recall）、精確率（Precision）以及Dice 系數(shù)3 類評(píng)價(jià)指標(biāo)來(lái)衡量分割出的細(xì)胞核、細(xì)胞質(zhì)和實(shí)際人為標(biāo)注區(qū)域的差異。計(jì)算公式如式（4）～（6）所示：

其中，真陽(yáng)性（True Positives,TP）為預(yù)測(cè)正樣本，實(shí)際為正樣本；假陽(yáng)性（False Positives,FP）為預(yù)測(cè)正樣本，實(shí)際為負(fù)樣本；真陰性（True Negatives,TN）為預(yù)測(cè)負(fù)樣本，實(shí)際為負(fù)樣本；假陰性（False Negatives,FN）為預(yù)測(cè)負(fù)樣本，實(shí)際為正樣本。

2.3 實(shí)驗(yàn)結(jié)果與分析

為了定量分析本文算法模型，實(shí)驗(yàn)對(duì)比了U-Net模型和U-Net+Diceloss 模型，分別預(yù)測(cè)、計(jì)算、對(duì)比3類指標(biāo)的平均值，結(jié)果如表1、表2所示。在分割CTC細(xì)胞核、細(xì)胞質(zhì)任務(wù)上，可以看到本研究算法在對(duì)比U-Net+Diceloss 模型方面，可以在不犧牲預(yù)測(cè)精確率的情況下，在召回率和Dice 系數(shù)方面均有明顯提升：細(xì)胞核分割方面，分別提升4.40%、2.51%；細(xì)胞質(zhì)分割方面，分別提升5.59%、3.17%。而對(duì)比U-Net 模型，可以看到本研究算法3 項(xiàng)指標(biāo)均有明顯提高，細(xì)胞核分割方面，分別提升10.04%、1.02%、7.13%；細(xì)胞質(zhì)分割方面，分別提升8.85%、0.51%、7.38%。

表1 細(xì)胞核分割對(duì)比定量表現(xiàn)（%）Table 1 Quantitative results of different algorithms for nucleus segmentation(%)

表2 細(xì)胞質(zhì)分割對(duì)比定量表現(xiàn)（%）Table 2 Quantitative results of different algorithms for cytoplasm segmentation(%)

為定性分析本文算法優(yōu)勢(shì)，對(duì)比人工標(biāo)注、U-Net和本文算法分割結(jié)果圖，可以看出當(dāng)針對(duì)單個(gè)目標(biāo)的分割，兩者表現(xiàn)不分上下，如圖7a 所示。而在分割亮度、對(duì)比度較差的圖片時(shí)，U-Net 只找到部分目標(biāo)區(qū)域，而本文算法可以找到全部區(qū)域且分割效果較優(yōu)，如圖7b所示。而針對(duì)多目標(biāo)分割的任務(wù)，在對(duì)比度較低的條件下，本文算法依然能夠找到多個(gè)分割目標(biāo)，表現(xiàn)也明顯優(yōu)于U-Net，如圖7c所示。

圖7 預(yù)測(cè)分割圖Figure 7 Predicted segmentation

3 結(jié)語(yǔ)

本研究提出一種基于多監(jiān)督注意力機(jī)制神經(jīng)網(wǎng)絡(luò)的腦膠質(zhì)瘤CTC 細(xì)胞核、細(xì)胞質(zhì)分割算法，解決了人工分割腦膠質(zhì)瘤CTC 免疫熒光圖像的邊界分辨困難、操作流程復(fù)雜等問(wèn)題。針對(duì)數(shù)據(jù)樣本分割目標(biāo)個(gè)數(shù)不一致的問(wèn)題，本研究選擇按比例增強(qiáng)數(shù)據(jù)，配平數(shù)據(jù)比。針對(duì)網(wǎng)絡(luò)算法方面，首先提出混合訓(xùn)練的方式，只需一個(gè)網(wǎng)絡(luò)模型，一次輸入混合圖片，網(wǎng)絡(luò)直接預(yù)測(cè)細(xì)胞核、細(xì)胞質(zhì)的分割圖，縮減訓(xùn)練流程；其次提出一種混合Loss，最大化分割區(qū)域與目標(biāo)區(qū)域的交并比，并訓(xùn)練網(wǎng)絡(luò)向預(yù)測(cè)正確目標(biāo)個(gè)數(shù)的方向收斂；最后，本研究加入CBAM 注意力機(jī)制模塊，使得網(wǎng)絡(luò)能在空間、通道層面重點(diǎn)學(xué)習(xí)數(shù)據(jù)特征。通過(guò)在同等條件下與U-Net算法的對(duì)比，確定本研究的算法優(yōu)勢(shì)，為后續(xù)計(jì)算腦膠質(zhì)瘤CTC 細(xì)胞核質(zhì)比用于評(píng)估放化療療效、鑒別腫瘤復(fù)發(fā)和假性進(jìn)展、篩選分子靶向藥物等方面提供幫助。