董 陽，潘海為*，崔倩娜，邊曉菲，滕 騰，王邦菊

（1.哈爾濱工程大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，哈爾濱 150001；2.華中農(nóng)業(yè)大學(xué)理學(xué)院，武漢 430000）

0 引言

腦腫瘤是最常見的腫瘤之一，其年發(fā)生率占全身腫瘤的1%～3%，多發(fā)病于青中年群體，治療致殘率、致死率以及術(shù)后復(fù)發(fā)率高，對(duì)人類健康存在重大威脅。神經(jīng)膠質(zhì)瘤是一種最常見的原發(fā)性腦惡性腫瘤，具有不同的侵襲性，其中：高級(jí)膠質(zhì)瘤是低分化膠質(zhì)瘤，屬于惡性腫瘤，患者預(yù)后較差；而低級(jí)膠質(zhì)瘤的分化良好，雖不屬于良性腫瘤，但預(yù)后較好［1］。

醫(yī)學(xué)圖像分割在研究和臨床實(shí)踐中起著重要作用，并且對(duì)于諸如疾病診斷、治療計(jì)劃、指導(dǎo)和手術(shù)等任務(wù)是必需的。研究人員已經(jīng)為醫(yī)學(xué)圖像分割開發(fā)了各種自動(dòng)化和半自動(dòng)化方法［2］。腦腫瘤分割是醫(yī)學(xué)圖像分割任務(wù)中的一大難點(diǎn)。膠質(zhì)瘤有著預(yù)后不同和組織學(xué)不同的子區(qū)域，包括整體腫瘤（Whole Tumor，WT）、腫瘤核心（Tumor Core，TC）和增強(qiáng)瘤（Enhancing Tumor，ET）。WT描述了病灶整體范圍，包括腫瘤核心區(qū)域和腫瘤周圍水腫區(qū)域；TC 描述需要切除的大部分瘤體，它包括壞疽區(qū)域、增強(qiáng)腫瘤核心和非增強(qiáng)腫瘤核心。這些子區(qū)域根據(jù)多模態(tài)磁共振（Magnetic Resonance，MR）掃描散布的不同強(qiáng)度分布所描述，例如WT 通過Flair 模態(tài)的高強(qiáng)度信號(hào)描述，TC 在T1ce 模態(tài)中，壞疽和非增強(qiáng)瘤區(qū)域較T1模態(tài)強(qiáng)度低，ET 區(qū)域則較T1 模態(tài)強(qiáng)度高。這反映了不同的腫瘤生物學(xué)特性。腦腫瘤不同子區(qū)域的標(biāo)注如圖1 所示。由于膠質(zhì)瘤磁共振成像（MR Imaging，MRI）表型高度異質(zhì)，其分割具有很大的挑戰(zhàn)性［3］。

圖1 神經(jīng)膠質(zhì)瘤的各個(gè)子區(qū)域Fig.1 Sub-regions of glioma

在過去的幾年中，基于深度學(xué)習(xí)的語義分割方法一直提供最新的性能。更具體地說，這些技術(shù)已成功地應(yīng)用于醫(yī)學(xué)圖像分類、分割和檢測任務(wù)。自2012 年以來，已經(jīng)提出了幾種深度卷積神經(jīng)網(wǎng)絡(luò)模型，如AlexNet、VGG（Visual Geometry Group Network）、GoogLeNet、殘差網(wǎng)絡(luò)（Residual Network，ResNet）、密集連接卷積網(wǎng)絡(luò)（Densely Connected Convolutional Network，DenseNet）等。其中AlexNet 由Krizhevsky 等［4］提出，利用兩塊GPU 進(jìn)行計(jì)算，大幅提高了運(yùn)算效率，證明了網(wǎng)絡(luò)深度對(duì)網(wǎng)絡(luò)性能存在影響，并提出了dropout 防止過擬合，但其結(jié)構(gòu)復(fù)雜，且被指出局部相依歸一化作用不大；VGG 由Visual Geometry Group［5］提出，其網(wǎng)絡(luò)結(jié)構(gòu)簡單，因而VGG16被廣泛應(yīng)用，但它使用了更多參數(shù)，耗費(fèi)大量計(jì)算資源；GoogLeNet 由Szegedy 等［6］提出，它的大小比AlexNet和VGG 小很多，參數(shù)也遠(yuǎn)少于這兩者，而從實(shí)驗(yàn)結(jié)果看，它的性能卻更優(yōu)越，采用了模塊化結(jié)構(gòu)，方便了后續(xù)升級(jí)；ResNet 由He 等［7］提出，它主要針對(duì)因?qū)訑?shù)加深導(dǎo)致的過擬合與梯度爆炸等問題，而且結(jié)構(gòu)簡潔高效；DenseNet 是由Huang 等［8］提出的，它的思想與ResNet 一致，但它建立的是前面所有層與后面層的密集連接，并且通過通道級(jí)的特征連接實(shí)現(xiàn)了特征復(fù)用，使得其擁有著更優(yōu)越的性能?；谏疃葘W(xué)習(xí)的方法能夠?yàn)榉诸悺⒎指畹热蝿?wù)提供優(yōu)越性能的主要原因如下：首先，激活函數(shù)解決了網(wǎng)絡(luò)的訓(xùn)練問題；其次，dropout 有利于規(guī)范網(wǎng)絡(luò)；第三，有幾種有效的優(yōu)化技術(shù)可以用于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。計(jì)算機(jī)輔助治療可以獲得更快和更好的判斷，以確保同時(shí)對(duì)大量患者進(jìn)行更好的治療；此外，無須人工干預(yù)的高效自動(dòng)處理能夠減少人為錯(cuò)誤，并減少總體時(shí)間和成本。由于手動(dòng)分割方法的緩慢過程和繁瑣的性質(zhì)，因此迫切需要無須人工干預(yù)即可快速、準(zhǔn)確地進(jìn)行分割的計(jì)算機(jī)算法。深度神經(jīng)網(wǎng)絡(luò)不僅有著很高的準(zhǔn)確性，而且由于隨時(shí)可用的GPU 加速計(jì)算例程，因此能夠以快速有效的方式提供結(jié)果。到目前為止，已經(jīng)創(chuàng)建了許多baseline 神經(jīng)網(wǎng)絡(luò)模型并針對(duì)各種分割應(yīng)用進(jìn)行了驗(yàn)證；然而由于分割任務(wù)中像素級(jí)注釋的獲取工作量較大，因此注釋數(shù)據(jù)的稀缺性在語義分割中變得更具挑戰(zhàn)性。在很多情況下，由于數(shù)據(jù)稀缺性等原因，無法獲取到大量的訓(xùn)練標(biāo)簽（通常是數(shù)千個(gè)），因?yàn)閷?duì)數(shù)據(jù)集進(jìn)行標(biāo)記需要這個(gè)領(lǐng)域的專家，花費(fèi)高昂且需要大量的精力與時(shí)間。

小樣本學(xué)習(xí)（few-shot learning）是近年來新興的研究主題，受傳統(tǒng)深度學(xué)習(xí)方法需要大量數(shù)據(jù)這一事實(shí)的推動(dòng)。小樣本學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種特殊情況，它的確切目標(biāo)是在數(shù)據(jù)集提供的有限監(jiān)督信息下獲得良好的學(xué)習(xí)性能。小樣本學(xué)習(xí)利用先驗(yàn)知識(shí)可以完成有限監(jiān)督信息的新任務(wù)，模仿了人類通過泛化和類比從很少的示例中獲取知識(shí)的能力，被視為真正的人工智能的試驗(yàn)臺(tái)。它可以幫助減輕收集大規(guī)模監(jiān)督信息的負(fù)擔(dān)，能夠減少費(fèi)力的數(shù)據(jù)收集和訓(xùn)練過程高昂的計(jì)算代價(jià)。小樣本學(xué)習(xí)適用于人類很容易理解的應(yīng)用，從而像人類一樣充分學(xué)習(xí)［9］。應(yīng)用小樣本學(xué)習(xí)可以有效解決醫(yī)學(xué)圖像分割中由于帶監(jiān)督信息的數(shù)據(jù)量不足導(dǎo)致的過擬合問題，并且對(duì)于不同模態(tài)呈現(xiàn)的類別可以很好地泛化。目前已提出的小樣本分割（few-shot segmentation）方法有基于注意力的多上下文引導(dǎo)網(wǎng)絡(luò)（Attention-based Multi-Context Guiding network，A-MCG）、原型校準(zhǔn)網(wǎng)絡(luò)（Prototype Alignment Network，PANet）、不可知類分割網(wǎng)絡(luò)（Class-Agnostic Segmentation Network，CANet）等，這些方法在通用數(shù)據(jù)集上取得了不錯(cuò)的效果。但由于腦瘤圖像需要多模態(tài)特征結(jié)合才能獲得完整分割，儀器差異、腫瘤類型、疾病狀態(tài)等因素也會(huì)導(dǎo)致同一病人在同一部位的腦MRI 可能存在很大差異，并且由于腫瘤在圖像中占比很小，存在類別不平衡問題，因而現(xiàn)有方法直接用于腦腫瘤圖像數(shù)據(jù)集的效果并不好。

針對(duì)上述問題，本文根據(jù)深度學(xué)習(xí)和小樣本學(xué)習(xí)理論提出基于U-net 的原型網(wǎng)絡(luò)（Prototype network based on U-net，PU-net）模型，來執(zhí)行多模態(tài)腦腫瘤MRI分割任務(wù)。

本文的主要工作如下：提出了一種有效的小樣本分割模型，可以用于腦腫瘤多模態(tài)MRI 的分割；采用基于U-net 改進(jìn)的特征提取器，利用少量訓(xùn)練數(shù)據(jù)就可以很好地提取特征；整體基于原型網(wǎng)絡(luò)，可以用度量學(xué)習(xí)的方法利用少量監(jiān)督信息完成新類別的分割。

1 相關(guān)工作

1.1 語義分割

語義分割是為圖像的每個(gè)像素標(biāo)記語義類標(biāo)簽的任務(wù)，目標(biāo)是對(duì)各像素進(jìn)行分類。在早期，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）只用于分類任務(wù)，由卷積層和完全連接層組成。后來CNN 被首次用于分割任務(wù)時(shí)，Long 等［10］提出了全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN），大大提高了分割性能。FCN 的最大貢獻(xiàn)在于建立了一個(gè)全是卷積層的網(wǎng)絡(luò)，可接受任意大小的輸入并產(chǎn)生有效輸出?？斩淳矸e［11］也被廣泛應(yīng)用，能在不損失空間分辨率的情況下擴(kuò)大感受野。后來針對(duì)醫(yī)學(xué)圖像分割，Ronneberger等［12］提出了U-net 模型，極大推動(dòng)了醫(yī)學(xué)圖像分割的研究進(jìn)程。U-net 由全卷積網(wǎng)絡(luò)拓展而來，分為收縮路徑和擴(kuò)張路徑，可同時(shí)獲取低級(jí)語義信息和高級(jí)語義信息，能用少量數(shù)據(jù)訓(xùn)練模型，且分割準(zhǔn)確率高、速度快，因而本文采用基于U-net進(jìn)行改進(jìn)的方法來提取特征。

1.2 小樣本學(xué)習(xí)

小樣本學(xué)習(xí)的模型大致可以分為三類：基于模型、基于度量和基于優(yōu)化。其中基于模型方法旨在通過模型結(jié)構(gòu)的設(shè)計(jì)快速在少量樣本上更新參數(shù)，直接建立輸入x和預(yù)測值P的映射函數(shù)；基于度量方法通過將支持集和查詢集中樣本投影到嵌入空間，計(jì)算它們的距離，借助最近鄰的思想完成分類；基于優(yōu)化方法認(rèn)為普通的梯度下降方法難以在小樣本情況下擬合，因此通過調(diào)整優(yōu)化方法來完成小樣本分類的任務(wù)［13］。Snell 等［14］提出了一種原型網(wǎng)絡(luò)，可以用一個(gè)特征向量，即原型（Prototype）代表每個(gè)類別。這種結(jié)構(gòu)簡單有效，能減小數(shù)據(jù)過少導(dǎo)致的過擬合影響，因而本文的整體結(jié)構(gòu)根據(jù)原型網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)。

1.3 小樣本分割

近年來小樣本分割逐漸受到關(guān)注。Shaban等［15］首先提出了包含條件分支和分割分支的小樣本分割模型OSLSM（One-Shot Learning for Semantic Segmentation），該模型從支持集生成一組參數(shù)，然后將其用于調(diào)整查詢集的分割過程，這種雙分支結(jié)構(gòu)后被各小樣本分割模型廣泛使用。Siam 等［16］為了獲得更好的原型提出了自適應(yīng)掩膜代理模型AMP（Adaptive Masked Proxies for few-shot segmentation），在任務(wù)流中不斷更新各個(gè)類別的原型。Zhang 等［17］提出使用掩膜平均池化的相似性指導(dǎo)單樣本分割模型SG-one（Similarity Guidance for Oneshot segmentation），能從支持集中更好地提取目標(biāo)特征向量，采用余弦相似度來度量支持集與查詢集特征向量之間的距離，指導(dǎo)查詢集分割。Dong 等［18］首次將N-wayk-shot 的語義分割問題進(jìn)行了公式化，利用原型網(wǎng)絡(luò)實(shí)現(xiàn)了分割。Hu等［19］提出了基于注意力的多上下引導(dǎo)網(wǎng)絡(luò)（A-MCG），在傳統(tǒng)雙分支的基礎(chǔ)上添加了特征融合分支，能夠做到在支持分支和查詢分支之間進(jìn)行多尺度的特征融合，同時(shí)添加了空間注意力機(jī)制，能夠在多尺度中突出上下文信息，增強(qiáng)自監(jiān)督能力。Wang 等［20］提出了原型對(duì)齊正則化的PANet，充分利用了支持集知識(shí)學(xué)習(xí)原型，將每個(gè)像素與學(xué)習(xí)到的原型進(jìn)行匹配來對(duì)查詢圖像進(jìn)行分割。受此啟發(fā)，本文采用對(duì)各個(gè)空間位置進(jìn)行分類的方法，相當(dāng)于使用用于分類任務(wù)的原型網(wǎng)絡(luò)進(jìn)行密集預(yù)測，能夠通過度量學(xué)習(xí)直接獲取分割，并根據(jù)腦腫瘤圖像數(shù)據(jù)的特點(diǎn)進(jìn)行結(jié)構(gòu)設(shè)計(jì)。

2 基于PU-net的腦瘤圖像分割方法

2.1 問題描述

本文的目標(biāo)是針對(duì)多模態(tài)腦腫瘤MRI 建立一個(gè)模型，該模型可以快速學(xué)習(xí)腦腫瘤各分割類別的特征，并利用少量帶有新類別掩膜（mask）的腦瘤圖像進(jìn)行分割［21］。本文采用下述方式對(duì)模型進(jìn)行訓(xùn)練與測試。首先在數(shù)據(jù)集上構(gòu)建訓(xùn)練集Dtrain和測試集Dtest，兩個(gè)集合中圖像的分割類別不同，如訓(xùn)練集分割的類別是腫瘤整體和腫瘤核心，測試集分割的類別是增強(qiáng)瘤，訓(xùn)練集和測試集的分割類別可以輪換。訓(xùn)練集與測試集分別包含各自的episodes，每個(gè)episode都包含支持集S和查詢集Q，且都會(huì)實(shí)例化N-wayK-shot分割任務(wù)。同一episode的支持集和查詢集具有相同的N個(gè)類，支持集的每個(gè)語義類別中有K個(gè)圖像-掩膜對(duì)。模型首先從支持集中提取有關(guān)各類的知識(shí)，然后將學(xué)習(xí)到的知識(shí)應(yīng)用于對(duì)查詢集Qi進(jìn)行分割。由于各個(gè)episode 包含不同的語義類別，因此模型經(jīng)過訓(xùn)練可以很好地泛化。訓(xùn)練的目標(biāo)是最小化像素級(jí)的交叉熵?fù)p失。從訓(xùn)練集獲得分割模型后，在測試集上評(píng)估其小樣本分割性能，對(duì)每個(gè)測試episode，在查詢集上對(duì)分割模型進(jìn)行評(píng)估。

2.2 PU-net模型框架

PU-net旨在為嵌入空間中的每個(gè)語義類別學(xué)習(xí)原型表示形式，再利用原型直接對(duì)圖像進(jìn)行分割。PU-net 的框架結(jié)構(gòu)與2-way 1-shot任務(wù)的數(shù)據(jù)流如圖2所示。支持集與查詢集中的圖像均為四通道灰度圖像，各通道為同一病人在同一空間位置的各模態(tài)MRI切片。

圖2 PU-net整體框架與2-way 1-shot任務(wù)的數(shù)據(jù)流Fig.2 Overall framework of PU-net and data flow of 2-way 1-shot task

1）原型提取層。該層的特征提取器為fθ，其結(jié)構(gòu)基于Unet 進(jìn)行設(shè)計(jì)，具體結(jié)構(gòu)如3.3 節(jié)所述。輸入是與各類掩膜融合的支持集腦瘤圖像，融合方法是逐元素相乘，目的是為了提取感興趣區(qū)域，可以避免類別不平衡對(duì)原型提取帶來的影響。對(duì)提取的特征圖進(jìn)行全局平均池化（Golbal Average Pooling，GAP）操作可以得到特征向量。假設(shè)Sc是支持集S中分割類別為c的子集，則類c的原型pc可通過下列公式計(jì)算：

其中：（xi，yi）是圖像掩膜對(duì)；yi是各分割類別掩膜是各類對(duì)應(yīng)的背景類掩膜。

2）圖像分割層。該層的特征提取器是gφ，選取與fθ相同的結(jié)構(gòu)，以保證輸出特征圖通道數(shù)與fθ相一致。向gφ輸入查詢集圖像，得到查詢特征圖，利用原型提取層獲取的原型對(duì)gφ提取的特征圖的每個(gè)空間位置計(jì)算相似度，進(jìn)而計(jì)算出每個(gè)像素屬于各個(gè)類別的概率，得到各類概率圖，從而執(zhí)行像素級(jí)分類任務(wù)，完成分割。將分割結(jié)果與查詢圖像的真實(shí)分割掩膜進(jìn)行比較，通過權(quán)重交叉熵計(jì)算像素級(jí)分類損失，即分割損失，利用減小損失函數(shù)對(duì)特征提取器gφ進(jìn)行優(yōu)化，從而更好地提取查詢特征，獲取更好的分割結(jié)果。具體過程如3.4 節(jié)所述。

3）原型優(yōu)化層。將圖像分割層得到的概率圖作為掩膜與查詢集圖像融合，仍采用逐元素相乘的方法進(jìn)行融合操作。將融合后的查詢圖像輸入到fθ能夠得到新的查詢特征圖，經(jīng)過平均池化層后可以獲取各類的校驗(yàn)特征向量，利用校驗(yàn)特征向量與已有的原型計(jì)算相似度，從而可以計(jì)算圖像級(jí)的分類損失，通過最小化損失對(duì)fθ進(jìn)行優(yōu)化，可以促使原型提取層提取更好的原型，進(jìn)而輔助圖像分割層獲得更好的分割。

2.3 特征提取器

PU-net 使用的特征提取器fθ與gφ均根據(jù)U-net 進(jìn)行設(shè)計(jì)，分為收縮路徑和擴(kuò)張路徑兩部分，并且有連接兩部分的跳躍連接結(jié)構(gòu)，執(zhí)行concatenation 級(jí)聯(lián)操作，使得其可以結(jié)合深層信息和淺層信息，如圖3所示。

特征提取網(wǎng)絡(luò)共26層卷積層，9個(gè)卷積塊，每個(gè)卷積塊中包含兩層卷積層，其中每層卷積層的卷積核的大小為3×3，步長為1。隨后緊跟一個(gè)批規(guī)范化（Batch Normalization，BN）層和非線性激活ReLU（Rectified Linear Unit）層。每個(gè)卷積層對(duì)輸入進(jìn)行零填充操作，保證卷積操作后特征圖尺寸不會(huì)發(fā)生變化，避免級(jí)聯(lián)操作時(shí)因裁剪導(dǎo)致的信息損失。輸入圖像通道數(shù)為4，各通道是各模態(tài)相同位置的切片。經(jīng)過第一個(gè)卷積塊后，特征圖通道數(shù)為64。收縮路徑包含4 個(gè)卷積塊和4次下采樣，使用卷積層和ReLU 層來代替最大池化層，卷積層使用步長為2的2×2卷積核進(jìn)行卷積，相對(duì)于最大池化操作可以減少下采樣過程中損失的信息。每個(gè)卷積塊都會(huì)使特征圖的通道數(shù)翻倍，最終特征圖通道數(shù)為1 024。擴(kuò)張路徑包含4個(gè)卷積塊和4 次上采樣，通過最近鄰插值放大分辨率，隨后緊跟卷積層、BN 層、ReLU 層以完成上采樣操作。每個(gè)卷積塊都會(huì)使特征圖通道數(shù)減半，最終輸出大小與輸入圖像一致、通道數(shù)為64的特征圖。

圖3 特征提取器結(jié)構(gòu)Fig.3 Structure of feature extractor

2.4 度量學(xué)習(xí)

本文采用度量學(xué)習(xí)的方法學(xué)習(xí)最佳原型與分割圖像。通過原型提取層獲得原型后，可以計(jì)算出查詢圖像每個(gè)空間位置與各類原型的距離。由于整個(gè)腫瘤、腫瘤核心、增強(qiáng)瘤三個(gè)分割類別存在交集，故對(duì)上述距離應(yīng)用sigmoid 激活函數(shù)，得到每個(gè)像素屬于各個(gè)類別的概率，進(jìn)而得到各類的概率圖。查詢圖像xq在空間位置（m，n）處屬于類c概率計(jì)算過程如下：

其中，d（·，·）是距離度量函數(shù)，本文使用余弦距離進(jìn)行度量。各類概率圖在相同位置進(jìn)行比較，該像素屬于值最大的類，由此得出預(yù)測的分割掩膜。根據(jù)度量學(xué)習(xí)得到的概率圖，可以計(jì)算分割損失：

其中：H和W是查詢圖片xq的高和寬是指示函數(shù)，（m，n）位置像素類別為c時(shí)值為1，否則為0。α是自適應(yīng)權(quán)重，能夠緩解圖像分割類別不平衡，計(jì)算公式為：

其中：r是超參數(shù)，設(shè)置為1.02，目標(biāo)類別c的像素所占比例越大，其權(quán)值越小，減小了背景類對(duì)損失函數(shù)的影響。

原型優(yōu)化層將查詢圖像xq與圖像分割層得到的各類概率圖融合，輸入到fθ得到特征圖，再經(jīng)過平均池化層得到各類的校驗(yàn)特征向量，進(jìn)而可以計(jì)算出各類特征向量與原型之間的距離，應(yīng)用softmax激活函數(shù)可以得出：

它表示了與c類概率圖融合的查詢圖像在圖像級(jí)別被分類為c類的概率，其中yc表示c類的概率圖，共有包括背景類在內(nèi)的N+1個(gè)類別。進(jìn)而可以得到原型校驗(yàn)損失：

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集與預(yù)處理

本文使用的是BraTS 2018 數(shù)據(jù)集，分為膠質(zhì)母細(xì)胞瘤（Glioblastoma，GBM）和低級(jí)神經(jīng)膠質(zhì)瘤（Low Grade Glioma，LGG），包含F(xiàn)LAIR、T1、T1ce、T2 四個(gè)模態(tài)的三維MR 圖像以及一個(gè)GT 分割掩膜圖像，每個(gè)模態(tài)的MRI 圖像大小為240×240×155。在BraTS18 中，曾被使用的數(shù)據(jù)僅包括BraTS12-13的圖像和注釋，這些圖像與注釋在過去已被臨床專家進(jìn)行過了手動(dòng)注釋；BraTS14-16 中來自TCIA 的數(shù)據(jù)已被丟棄，原因是它們的描述混合了術(shù)前和術(shù)后的掃描，并且在BraTS12-13中排名靠前算法的分割結(jié)果注釋了它們的GT標(biāo)簽；新加入的數(shù)據(jù)是完整的原始TCIA 神經(jīng)膠質(zhì)瘤集合，它們由專業(yè)醫(yī)生進(jìn)行放射學(xué)評(píng)估?？偟膩碚f，BraTS18 數(shù)據(jù)集包括BraTS13 的數(shù)據(jù)、來自CBICA的數(shù)據(jù)以及來自TCIA的數(shù)據(jù)。預(yù)處理主要分為如下三部分：對(duì)各模態(tài)圖像進(jìn)行標(biāo)準(zhǔn)化處理；對(duì)各模態(tài)圖像及GT數(shù)據(jù)進(jìn)行裁剪；對(duì)各模態(tài)圖像及GT數(shù)據(jù)進(jìn)行切片處理，丟棄無病灶切片，最后合并各模態(tài)切片。訓(xùn)練集由BraTS13與CBICA 的數(shù)據(jù)組成，共118例掃描數(shù)據(jù)，經(jīng)預(yù)處理后的切片數(shù)據(jù)共有7 658 個(gè)；測試集使用TCIA 神經(jīng)膠質(zhì)瘤集合，共167例掃描數(shù)據(jù)，經(jīng)預(yù)處理后的切片數(shù)據(jù)共有11 265個(gè)。

首先數(shù)據(jù)集中四個(gè)模態(tài)的序列對(duì)比度不同，故采用Z-Score 方式對(duì)各模態(tài)圖像進(jìn)行標(biāo)準(zhǔn)化，即將各個(gè)模態(tài)的數(shù)據(jù)標(biāo)準(zhǔn)化為零均值和單位標(biāo)準(zhǔn)差，GT 數(shù)據(jù)屬于多標(biāo)簽二值掩膜，故不需要進(jìn)行標(biāo)準(zhǔn)化，而其他各模態(tài)數(shù)據(jù)除了黑色背景以外的區(qū)域都要進(jìn)行標(biāo)準(zhǔn)化。裁剪的目的是擴(kuò)大腫瘤區(qū)域占比，避免數(shù)據(jù)類別不平衡，各模態(tài)數(shù)據(jù)裁剪至160 × 160 × 155。最后是切片與合并處理。由于本文提出的是2D 網(wǎng)絡(luò)模型，所以需要進(jìn)行切片以得到2D 數(shù)據(jù)。一個(gè)三維圖像中有大量不包含病灶的切片，這些切片可以直接舍棄，這也可以緩解類別不均衡問題。針對(duì)多模態(tài)特點(diǎn)，將各個(gè)模態(tài)的切片組合成多通道，最終可得到160 × 160 × 4 的圖像；GT 數(shù)據(jù)是多標(biāo)簽的，其中默認(rèn)元素值為0、1、2、4，0 是背景，1是壞疽，2是浮腫，4是增強(qiáng)腫瘤。將GT數(shù)據(jù)分為三個(gè)通道，每個(gè)通道作為一個(gè)分割區(qū)域的掩膜數(shù)據(jù)，整體腫瘤WT 的掩膜1、2、4標(biāo)簽位置處值為1，腫瘤核心TC的掩膜1、4標(biāo)簽位置值為1，增強(qiáng)瘤ET 的掩膜4 標(biāo)簽位置處值為1，其余位置全部為0。

3.2 評(píng)價(jià)指標(biāo)

為了定量評(píng)估模型的分割性能，本文采用下列5 個(gè)指標(biāo)進(jìn)行評(píng)價(jià)：

1）Dice 系數(shù)，也稱作Dice 相似系數(shù)（Dice Similarity Coefficient，DSC）。用于計(jì)算兩個(gè)樣本相似程度，是一種幾何相似度度量的指標(biāo)。

2）陽性預(yù)測率（Positive Prediction Value，PPV），又名精確率，是預(yù)測出的所有陽性樣例中真陽性所占比例。

其中：TP、TN、FP、FN分別代表真陽性、真陰性、偽陽性、偽陰性。

3）靈敏度（SEnsitivity，SE），即召回率。指所有陽性樣例中預(yù)測出真陽性的樣例所占比例，計(jì)算公式如下：

4）豪斯多夫距離（Hausdorff Distance）。用來衡量兩個(gè)點(diǎn)集之間的距離，式（11）為點(diǎn)集A到點(diǎn)集B的豪斯多夫距離h（A，B），同理可得h（B，A），兩者之間較大的值為雙向豪斯多夫距離，它度量了兩個(gè)點(diǎn)集之間的最大不匹配程度。

5）平均交并比（mean Intersection Over Union，mIOU）。用于計(jì)算預(yù)測值和真實(shí)值兩個(gè)集合的交集與并集的比值。

3.3 分割結(jié)果

為了驗(yàn)證本文提出的PU-net 的有效性，利用TCIA（the Cancer Imaging Archive）神經(jīng)膠質(zhì)瘤切片數(shù)據(jù)構(gòu)建測試樣本，測試了該模型在各類分割區(qū)域的平均分割精度，如圖4 所示?？梢钥闯?，利用該模型得到的分割結(jié)果與GT圖像比較接近。

圖4 模型分割結(jié)果對(duì)比Fig.4 Comparison of model segmentation results

為了驗(yàn)證PU-net在多模態(tài)腦腫瘤MRI分割問題上有效果提升，首先計(jì)算出其在測試集上各腫瘤分割子區(qū)域的各項(xiàng)指標(biāo)，再選取兩個(gè)最近提出的、效果較好的小樣本分割模型進(jìn)行對(duì)比：基于注意力機(jī)制的多重上下文引導(dǎo)網(wǎng)絡(luò)A-MCG 和原型對(duì)齊網(wǎng)絡(luò)PANet。采用1-way 5-shot 進(jìn)行定量評(píng)估，PU-net 在各個(gè)腫瘤分割區(qū)域WT、TC、ET 的平均各項(xiàng)指標(biāo)對(duì)比如表1所示。

表1 各個(gè)腫瘤子區(qū)域分割結(jié)果對(duì)比Tab.1 Comparison of segmentation result of tumor sub-regions

如表1 所示，增強(qiáng)瘤ET 區(qū)域相對(duì)于整個(gè)腫瘤WT 區(qū)域和腫瘤核心TC區(qū)域的分割精度較低，可能的原因是增強(qiáng)瘤區(qū)域的結(jié)構(gòu)分布較為復(fù)雜，相較于整個(gè)腫瘤區(qū)域與健康腦白質(zhì)、腦灰質(zhì)的邊界以及腫瘤核心區(qū)域與水腫區(qū)域的邊界來說，腫瘤核心區(qū)域內(nèi)增強(qiáng)瘤與壞疽區(qū)域、非增強(qiáng)瘤區(qū)域的邊界更加難以區(qū)分。

為了驗(yàn)證PU-net的性能確實(shí)相較之前的小樣本分割模型有所提升，使用A-MCG 和PANet 進(jìn)行對(duì)比實(shí)驗(yàn)。PU-net 與其他兩個(gè)模型的分割結(jié)果對(duì)比如表2所示。

表2 不同模型的腫瘤子區(qū)域分割結(jié)果對(duì)比Tab.2 Comparison of segmentation result of different models for tumor sub-regions segmentation

由表2 可知，本文提出的模型PU-net 除了召回率略低于PANet，其他各項(xiàng)精度均明顯高于A-MCG 和PANet，這說明PU-net在多模態(tài)腦腫瘤MRI的小樣本分割任務(wù)中具有更好的性能。然而，本文的方法是針對(duì)帶標(biāo)簽數(shù)據(jù)較少的情況，與腦腫瘤分割比賽中排名靠前的算法相比，本文模型的分割精度仍有一定差距，這說明在數(shù)據(jù)量充足的情況下，小樣本分割方法的分割精度有待提升。

4 結(jié)語

本文針對(duì)多模態(tài)腦腫瘤MRI 分割任務(wù)，根據(jù)帶標(biāo)注的多模態(tài)腦腫瘤MRI 難以獲取的實(shí)際情況，提出了用小樣本分割來解決的方案，并設(shè)計(jì)了一種原型網(wǎng)絡(luò)結(jié)構(gòu)PU-net。實(shí)驗(yàn)結(jié)果表明，該模型在腦瘤分割任務(wù)的性能較A-MCG 網(wǎng)絡(luò)有很大優(yōu)勢，實(shí)驗(yàn)結(jié)果略優(yōu)于PANet。這兩個(gè)小樣本分割網(wǎng)絡(luò)模型的分割結(jié)果沒有展現(xiàn)出與在通用數(shù)據(jù)集上一樣好的性能，而且本文提出的PU-net的精度較數(shù)據(jù)充足的完全監(jiān)督學(xué)習(xí)方法仍有一定差距，但其具有利用少量樣本即可進(jìn)行泛化的優(yōu)勢，稍加改進(jìn)也可用于檢測任務(wù)，如果對(duì)精度進(jìn)一步提升則能大大增加實(shí)用價(jià)值。針對(duì)存在的問題，后續(xù)工作將圍繞優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)與將各個(gè)模態(tài)的相關(guān)特征進(jìn)一步融合來進(jìn)行，以實(shí)現(xiàn)更高精度的腦腫瘤小樣本分割算法。