宋杰 肖亮 練智超

復(fù)雜背景病理圖像個(gè)體細(xì)胞分割是在成千上萬(wàn)個(gè)體細(xì)胞匯集的圖像中逐個(gè)分割出具有相對(duì)完整邊界的細(xì)胞,為后續(xù)細(xì)胞形態(tài)計(jì)算和病理特征提供定量分析.傳統(tǒng)的病理切片分割方法,需要經(jīng)過(guò)專門(mén)訓(xùn)練的病理醫(yī)師在圖像中逐個(gè)尋找感興趣區(qū)域(Regions of interest,RoI),而后根據(jù)專業(yè)知識(shí)分析診斷.一張病理切片通常包含成百上千個(gè)細(xì)胞或細(xì)胞核,這給醫(yī)師帶來(lái)很大的工作負(fù)擔(dān),疲勞閱片現(xiàn)象時(shí)有發(fā)生[1].雖然目前已有很多病理細(xì)胞圖像處理方法,但這些方法大多只關(guān)注于特定類型或單一器官的細(xì)胞或細(xì)胞核分割.因此,臨床和醫(yī)學(xué)研究迫切需要能夠進(jìn)行多個(gè)器官和疾病狀態(tài)的細(xì)胞核病理圖像高精度分割方法[2].然而,如圖1所示,個(gè)體分割具有如下挑戰(zhàn):一方面,對(duì)于病理狀態(tài)(例如增生或某種癌癥亞型)圖像而言,由于細(xì)胞核增大,并呈現(xiàn)染質(zhì)濃集貼邊,即核內(nèi)染質(zhì)較淺,而邊緣附近染質(zhì)較深;而著色較深的核仁也大量出現(xiàn)在核內(nèi).另一方面,由于病理圖像中往往細(xì)胞密度高、細(xì)胞間出現(xiàn)重疊和成團(tuán)等突出問(wèn)題,加劇了個(gè)體細(xì)胞分割的難度.目前方法體系主要分兩類:傳統(tǒng)基于人工特征的圖像分割方法和基于表示特征學(xué)習(xí)的圖像分割方法.

圖1 病理細(xì)胞核圖像分割的挑戰(zhàn)與人工分割結(jié)果Fig.1 Challenges in nuclear segmentation and associated ground truth

傳統(tǒng)圖像分割方法包括:水平集方法、圖論方法和分水嶺方法等.水平集算法是目前比較流行的分割方法.其基本模型包括兩類:基于邊緣的水平集模型[3]和基于區(qū)域的水平集模型[4].近年來(lái),基于后者,很多改進(jìn)的方法[5]被提出來(lái)廣泛應(yīng)用于病理圖像的細(xì)胞分割中.在現(xiàn)有方法中,基于圖論的分割方法是病理圖像分析中應(yīng)用最為廣泛的技術(shù)之一.最常用算法是最小割算法[6],除了主流的圖割方法,其他類型的圖模型也已經(jīng)應(yīng)用到個(gè)體細(xì)胞核的分割,例如屬性關(guān)系圖模型[7].另一類基于圖像分析的代表性方法是分水嶺算法,分水嶺算法通常期望目標(biāo)細(xì)胞核內(nèi)灰度分布均勻,并且目標(biāo)與背景具有明顯灰度或顏色差異.圖像中的噪聲、目標(biāo)內(nèi)部灰度變化,都會(huì)產(chǎn)生過(guò)度分割的現(xiàn)象.為此,人們提出若干標(biāo)記控制的分水嶺及其變種算法[8?10].傳統(tǒng)圖像分割方法為了得到精確的個(gè)體分割結(jié)果,通常需要分析RoI特有屬性來(lái)設(shè)計(jì)額外的后處理步驟,從而導(dǎo)致算法可遷移性較差.

雖然深度學(xué)習(xí)方法能較好地處理病理圖像細(xì)胞核表觀多樣性的分割問(wèn)題,但由于網(wǎng)絡(luò)架構(gòu)、網(wǎng)絡(luò)復(fù)雜性以及超參數(shù)的影響,使其分割性能受到限制.針對(duì)病理圖像細(xì)胞核表觀多樣性的分割問(wèn)題及深度神經(jīng)網(wǎng)絡(luò)的局限性,國(guó)內(nèi)外研究者提出了系列具有較小參數(shù)規(guī)模的快速淺層分割學(xué)習(xí)模型.與現(xiàn)有深度學(xué)習(xí)模型相比,淺層學(xué)習(xí)模型無(wú)需非線性激活和后向傳播計(jì)算,且學(xué)習(xí)模型參數(shù)規(guī)模較小.傳統(tǒng)淺層分割學(xué)習(xí)方法[11?12]為了得到密集預(yù)測(cè)結(jié)果,通常使用像素周圍的一個(gè)圖像塊作為模型的輸入用于訓(xùn)練和預(yù)測(cè).由于只能提取一些局部的特征,從而導(dǎo)致分割的性能受到限制.而基于卷積操作的淺層學(xué)習(xí)模型[13?18]則是從抽象的特征中恢復(fù)出每個(gè)像素所屬的類別,從而可以實(shí)現(xiàn)比傳統(tǒng)模型更加精確的分割結(jié)果.然而,這類淺層分割學(xué)習(xí)模型沒(méi)有充分考慮像素間的局部依賴關(guān)系,因此對(duì)圖像細(xì)節(jié)特征快速捕獲和緊致表達(dá)能力有待加強(qiáng).此外,在傳統(tǒng)集成決策樹(shù)學(xué)習(xí)算法中最先學(xué)習(xí)得到的一兩棵樹(shù)對(duì)預(yù)測(cè)結(jié)果的影響最為顯著,這使得整個(gè)模塊對(duì)這些樹(shù)所做出的決策過(guò)于敏感,容易產(chǎn)生過(guò)擬合現(xiàn)象.

為了解決這些問(wèn)題,本文的主要貢獻(xiàn)是:

1)提出了級(jí)聯(lián)稀疏卷積與決策樹(shù)集成(Cascade sparse convolution and decision tree ensemble,CscDTE)學(xué)習(xí)模型,該模型沒(méi)有非線性激活和后向傳播計(jì)算,且學(xué)習(xí)模型參數(shù)規(guī)模較小,其特征學(xué)習(xí)過(guò)程具有一種替代深度神經(jīng)網(wǎng)絡(luò)的新型學(xué)習(xí)機(jī)制;

2)采取多層稀疏可分離卷積特征學(xué)習(xí)捕獲圖像上下文特征;采取秩-1張量分解[19]的可分離卷積加速特征學(xué)習(xí)過(guò)程;

3)建立集成決策樹(shù)學(xué)習(xí)的正則化回歸模型,采取局部二階近似逼近優(yōu)化決策樹(shù),提高分類回歸泛化性能;

4)在乳腺、前列腺、腎臟、胃和膀胱等多組病理圖像的分割實(shí)驗(yàn)表明該模型優(yōu)于目前CNN2、CNN3和U-Net等深度學(xué)習(xí)方法,對(duì)于病理圖像分割具有較好應(yīng)用前景.

1 相關(guān)工作

1.1 淺層特征學(xué)習(xí)方法

淺層特征學(xué)習(xí)分割方法中代表性方法包括稀疏編碼方法[11,13]以及多層稀疏卷積特征學(xué)習(xí)方法[15?18].相比標(biāo)準(zhǔn)的卷積濾波器組來(lái)說(shuō),稀疏可分離卷積濾波器組能夠在不影響其性能的情況下大大降低計(jì)算復(fù)雜度.例如Sironi等[13?15]通過(guò)學(xué)習(xí)一組可分離卷積濾波器有效提取圖像中曲線狀奇異邊緣結(jié)構(gòu).具體地,稀疏卷積濾波器學(xué)習(xí)方法是利用一組樣本,通過(guò)利用稀疏編碼方法[20?21]學(xué)習(xí)J個(gè)卷積濾波器

1.2 深層特征學(xué)習(xí)方法

隨著深度學(xué)習(xí)的興起,研究者提出了系列深層特征表示學(xué)習(xí)的病理圖像分割方法[23?27].代表性網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks,CNN)[24?25]和全卷積網(wǎng)絡(luò)(Fully convolutional network,FCN)[26?27].深度學(xué)習(xí)方法為解決細(xì)胞核表觀多樣性的圖像分割問(wèn)題提供了有效途徑.通常,CNN網(wǎng)絡(luò)在卷積層之后會(huì)接上若干個(gè)全連接層,將卷積層產(chǎn)生的特征圖映射成一個(gè)固定長(zhǎng)度的特征向量,以實(shí)現(xiàn)圖像級(jí)的分割任務(wù)[28](見(jiàn)圖2).例如,Xing 等[24]針對(duì)組織病理細(xì)胞核圖像,構(gòu)建了兩個(gè)卷積—池化層對(duì)和兩個(gè)全連接層構(gòu)成的CNN2模型,實(shí)現(xiàn)了端到端的模型訓(xùn)練,進(jìn)而對(duì)測(cè)試圖像的細(xì)胞核進(jìn)行分割.在此基礎(chǔ)上,Kumar等[25]提出了更深的CNN3模型,實(shí)現(xiàn)了更廣泛病理圖像的分割.與CNN不同,FCN可以接受任意尺寸的輸入圖像,采用反卷積層對(duì)最后卷積層的特征圖進(jìn)行上采樣,使它恢復(fù)到輸入圖像相同的尺寸,從而可實(shí)現(xiàn)逐像素預(yù)測(cè),并可保留原始輸入圖像的空間信息,最后在上采樣的特征圖上進(jìn)行逐像素分類[29],完成像素級(jí)的分割.例如,Zhang 等[26]通過(guò)結(jié)合FCN和基于圖論的方法,提出了一種宮頸癌細(xì)胞核分割新方法.最近,Ronneberger等訓(xùn)練了一種特殊的UNet網(wǎng)絡(luò)結(jié)構(gòu)[27](見(jiàn)圖3),通過(guò)在收縮路徑上捕獲全局特征和在擴(kuò)展路徑上實(shí)現(xiàn)精確定位,較好解決了復(fù)雜神經(jīng)元結(jié)構(gòu)的分割問(wèn)題.然而,深度學(xué)習(xí)方法需要較大規(guī)模的訓(xùn)練數(shù)據(jù)集以經(jīng)驗(yàn)擬合深層網(wǎng)絡(luò)參數(shù).

圖2 用于病理圖像分割的CNN體系結(jié)構(gòu)Fig.2 The CNN-style architecture for pathology image segmentation

圖3 用于病理圖像分割的U-Net體系結(jié)構(gòu)Fig.3 The U-Net-style architecture for pathology image segmentation

目前,Zhou等提出了一種多粒度級(jí)聯(lián)森林方法,稱為gcForest[12].這是一種采取非神經(jīng)網(wǎng)絡(luò),而采取決策樹(shù)集成的方法,性能較之深度神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的競(jìng)爭(zhēng)力.深度神經(jīng)網(wǎng)絡(luò)需要花大力氣調(diào)參,相比之下,gcForest方法更容易訓(xùn)練得多.實(shí)際上,在幾乎完全一樣的超參數(shù)設(shè)置下,gcForest在處理不同領(lǐng)域的不同數(shù)據(jù)時(shí),也能達(dá)到極佳的性能.

2 本文方法

針對(duì)病理圖像細(xì)胞核表觀多樣性的分割問(wèn)題以及深度神經(jīng)網(wǎng)絡(luò)的局限性,本文提出了一種復(fù)雜病理細(xì)胞核分割的級(jí)聯(lián)稀疏卷積與決策樹(shù)集成(CscDTE)學(xué)習(xí)模型,如圖4所示.假設(shè)(m,y)表示訓(xùn)練樣本集,其中,是從輸入圖像I提取的特征圖集,f1是第一層學(xué)習(xí)得到的卷積濾波器組,y是嘗試預(yù)測(cè)的目標(biāo).CscDTE框架旨在漸進(jìn)地提供一種非線性模型φh(m)擬合數(shù)據(jù)樣本,其中,h表示模型參數(shù).

2.1 稀疏可分離卷積特征學(xué)習(xí)

一般而言,fj是滿秩的,當(dāng)卷積較大圖像時(shí),計(jì)算耗時(shí).如果將這些卷積濾波器堆疊成一個(gè)三維張量Z∈Rd×d×J,其中,Z的第j個(gè)切片對(duì)應(yīng)第j個(gè)卷積濾波器fj,可發(fā)現(xiàn)該張量存在大量冗余特征.為此,為了學(xué)習(xí)可分離核,本文進(jìn)一步引入低秩張量分解技術(shù)[19],利用一組秩為1(秩-1)張量的線性組合來(lái)近似Z,從而實(shí)現(xiàn)可分離卷積核,加速特征計(jì)算.該方法基于如下假設(shè):一個(gè)秩為R的濾波器fj總能由一組秩-1可分離核:線性表示:為標(biāo)量權(quán)重.此時(shí)所有的fj共享同一組秩-1可分離核,只有權(quán)重系數(shù)因不同的fj而改變,且R

其中,ar和br均是長(zhǎng)度為d的向量,cr是一個(gè)長(zhǎng)度為J的向量,符號(hào)?表示張量積.式(2)的求解可通過(guò)使用共軛梯度下降法[30]來(lái)實(shí)現(xiàn).如圖5所示,可分離核kr可由典范多元分解(Canonical polyadic decomposit ion,CPD)成分ar和br給出,即kr=ar?br.用于重構(gòu)卷積濾波器fj的權(quán)重則由向量cr的第j個(gè)成分給出.為了捕獲不同類型的圖像特征,本文相應(yīng)學(xué)習(xí)多個(gè)可分離核組.歸于可分離卷積核的學(xué)習(xí)機(jī)制,每個(gè)kr都能分解成一個(gè)水平濾波器和一個(gè)垂直濾波器.因此,為了獲得m,首先使用對(duì)圖像I進(jìn)行快速卷積,生成一組可分離特征圖.然后,針對(duì)每個(gè)像素位置,將這些R維向量映射到一個(gè)J維向量.這等價(jià)于在可分離特征圖上應(yīng)用J個(gè)空間維度為1×1的濾波器[31].

這樣,基于秩-1張量分解學(xué)習(xí)機(jī)制,本文實(shí)現(xiàn)了病理細(xì)胞核的多尺度方向分布式抽象特征的分層抽取.模型的每層始于稀疏可分離卷積核組的訓(xùn)練及相應(yīng)卷積特征圖的計(jì)算.然后以卷積特征作為樣本輸入,通過(guò)集成決策樹(shù)學(xué)習(xí)的正則化回歸模塊生成得分圖預(yù)測(cè)結(jié)果,如圖4所示.

2.2 集成決策樹(shù)學(xué)習(xí)的正則化回歸模型

圖4 兩層CscDTE學(xué)習(xí)模型示例Fig.4 Example of two-layer CscDTE architecture

圖5 基于張量分解技術(shù)學(xué)習(xí)一組秩-1可分離核Fig.5 Tensor decomposition for learning rank-1 separable kernels

令fi=f(xi,I)∈RJ表示輸入圖像I中像素點(diǎn)xi對(duì)應(yīng)的特征向量,則從給定的樣本集(m,y)中隨機(jī)采樣N對(duì)訓(xùn)練樣本集CscDTE框架中的集成決策樹(shù)學(xué)習(xí)模塊的目標(biāo)是學(xué)習(xí)M棵既有預(yù)測(cè)能力又相對(duì)簡(jiǎn)單的決策樹(shù)(見(jiàn)圖6):并使用這M棵決策樹(shù)的組合來(lái)預(yù)測(cè)每層的輸出:

其中,第l層第m棵決策樹(shù)(·)定義如下:

2.3 局部二階近似優(yōu)化

圖6 CscDTE框架中的集成決策樹(shù)學(xué)習(xí)模塊的訓(xùn)練過(guò)程Fig.6 Flowchart of the training procedure for the decision tree ensemble learning module of CscDTE framework

2.4 CscDTE學(xué)習(xí)模型

所構(gòu)建的CscDTE框架由L?1個(gè)隱層和1個(gè)最終輸出層構(gòu)成,且每層包含一個(gè)稀疏可分離卷積模塊和一個(gè)集成決策樹(shù)學(xué)習(xí)的正則化回歸模塊.不妨將第l層的輸出定義為φl(shuí)=[φl(shuí),1,φl(shuí),2,···,φl(shuí),n]T,其中,n為圖像的像素個(gè)數(shù).CscDTE模型將模塊對(duì)進(jìn)行堆疊,這樣上層集成決策樹(shù)學(xué)習(xí)模塊的得分圖輸出為下層稀疏可分離卷積模塊的輸入.對(duì)于給定參數(shù)集合hl,CscDTE模型的前向生成過(guò)程為:

其中,nl表示從第l層輸出結(jié)果φl(shuí)提取的特征圖集,且作為第l+1層集成決策樹(shù)學(xué)習(xí)模塊φl(shuí)+1(·)的輸入.

如圖7 所示,由于低級(jí)圖像表觀特征占主導(dǎo)作用,較淺層對(duì)背景雜斑和細(xì)胞核內(nèi)不均勻的染質(zhì)較為敏感.因此,本文進(jìn)一步引入高級(jí)上下文特征[35].具體地,從得分圖中訓(xùn)練一組新的稀疏可分離卷積核并獲取新的上下文卷積特征圖集nl.為了實(shí)現(xiàn)更好的預(yù)測(cè),采用級(jí)聯(lián)卷積特征[m,nl]代替nl作為新層集成決策樹(shù)學(xué)習(xí)模塊的樣本輸入.重復(fù)這一過(guò)程L次,最終獲得一個(gè)最大程度近似目標(biāo)區(qū)域的輸出(見(jiàn)圖7(c)).同時(shí),由于卷積特征的級(jí)聯(lián)將產(chǎn)生分布式冗余特征,為此,本文采取了如下兩個(gè)策略:1)在每層訓(xùn)練之前,從輸入樣本中隨機(jī)采樣新的像素位置以構(gòu)建新的訓(xùn)練集;2)隨機(jī)采樣這些像素對(duì)應(yīng)的卷積特征.

圖7 基于本文提出的CscDTE模型的分割改進(jìn)Fig.7 Improvement obtained by our CscDTE model

3 實(shí)驗(yàn)結(jié)果及分析

本節(jié)首先介紹用于測(cè)試分割方法的病理圖像數(shù)據(jù)集,并在此基礎(chǔ)上,給出所提出的CscDTE模型的最優(yōu)超參數(shù)設(shè)置.然后,我們描述評(píng)估指標(biāo),并對(duì)比標(biāo)記控制的分水嶺分割方法[10]、CNN 2[24]、CNN3[25]、U-Net技術(shù)[27]以及CscDTE模型的分割性能及參數(shù)規(guī)模.

3.1 數(shù)據(jù)集與最優(yōu)超參數(shù)設(shè)置

癌癥基因組圖譜(The cancer genome atlas,TCGA)是被廣泛用于細(xì)胞核分割的病理數(shù)據(jù)集,因?yàn)樗采w了多家醫(yī)院、多位病人、不同器官以及疾病狀態(tài)信息.為了最大化細(xì)胞核表觀多樣性,本文使用Kumar等采集并標(biāo)注的TCGA全切片圖像(Whole slide images,WSIs)集[25]作為算法的驗(yàn)證和比較.其中,每張圖像大小為1 000×1 000.為了便于算法的驗(yàn)證和比較,采用Kumar等的方法將整個(gè)數(shù)據(jù)集拆分成三個(gè)部分.第一部分用于訓(xùn)練和驗(yàn)證,對(duì)應(yīng)12位病人,3個(gè)器官,包括4 張乳腺病理細(xì)胞核圖像、4張前列腺病理細(xì)胞核以及4 張腎臟病理細(xì)胞核圖像,總共有11 460個(gè)細(xì)胞核.因此,不管是基于圖像塊級(jí)分類的分割方法還是基于像素級(jí)分類的分割方法,即使不對(duì)數(shù)據(jù)進(jìn)行擴(kuò)充,這個(gè)數(shù)目也足以使它們訓(xùn)練出相應(yīng)的學(xué)習(xí)系統(tǒng),并產(chǎn)生預(yù)測(cè)的分割結(jié)果.第二部分用于相同器官的測(cè)試,對(duì)應(yīng)不同病人,相同三個(gè)器官,圖像總數(shù)為6幅.大多數(shù)已有的細(xì)胞核分割學(xué)習(xí)算法只局限于同一器官的訓(xùn)練與測(cè)試,因此,這一部分能夠?qū)δＰ偷姆夯芰M(jìn)行有效的評(píng)估.第三部分用于更具挑戰(zhàn)性的不同器官的測(cè)試,對(duì)應(yīng)2個(gè)器官,包括2 張胃病理細(xì)胞核圖像和2張膀胱病理細(xì)胞核圖像.

為了進(jìn)一步驗(yàn)證本文方法的有效性,本文也采用腎細(xì)胞癌(KIdney renal cell carcinoma,KIRC)病理數(shù)據(jù)集[36]來(lái)訓(xùn)練相應(yīng)CscDTE模型,并分析分割性能.來(lái)自TCGA數(shù)據(jù)門(mén)戶網(wǎng)站的KIRC病理數(shù)據(jù)集包含了不同類型的WSIs,涵蓋了一定范圍的KIRC 病理分級(jí).實(shí)驗(yàn)中,18 幅圖像用于訓(xùn)練,20 幅圖像用于測(cè)試,且平均每幅圖像具有96個(gè)細(xì)胞核,大小為400×400.

基于驗(yàn)證集中的樣本,采用留一交叉驗(yàn)證方法[37]來(lái)確定CscDTE模型關(guān)鍵超參數(shù)的最優(yōu)值,包括訓(xùn)練樣本數(shù)量、集成決策樹(shù)學(xué)習(xí)模塊尺寸、CscDTE模型尺寸以及稀疏可分離卷積濾波器尺寸和數(shù)目.表1列出了在TCGA WSIs病理數(shù)據(jù)集上所提出CscDTE模型的最優(yōu)超參數(shù)值.在訓(xùn)練過(guò)程中,隨機(jī)采樣四分之一的像素位置用于集成決策樹(shù)學(xué)習(xí)模塊的訓(xùn)練,在計(jì)算每棵樹(shù)的響應(yīng)之后,進(jìn)而使用所有的位置樣本來(lái)學(xué)習(xí)式(3)中的權(quán)重

3.2 分割比較

為了與深度學(xué)習(xí)技術(shù)進(jìn)行對(duì)比,本文研究了三種不同的網(wǎng)絡(luò)體系:CNN2[24]、CNN3[25]和U-Net[27],并在NVIDIA GeForce GTX 1080 Ti?圖形處理單元上使用Tensorflow 框架訓(xùn)練所有的網(wǎng)絡(luò)模型.

表2和表3分別給出了用于復(fù)雜TCGA WSIs病理圖像分割的CNN2和CNN3體系結(jié)構(gòu),包括連續(xù)的卷積—池化層對(duì)以及若干個(gè)全連接層.最后一層是Softmax層,旨在基于學(xué)習(xí)到的特征預(yù)測(cè)輸入圖像塊屬于每一類的概率.Xing 等[24]采取兩個(gè)卷積層和兩個(gè)全連接層,而Kumar等[25]則采取三個(gè)卷積層和兩個(gè)全連接層,因?yàn)榧尤敫嗟膶硬⒉粫?huì)顯著提高網(wǎng)絡(luò)的分割精確度,反而會(huì)增加計(jì)算時(shí)間.為了獲得最好的分割性能,經(jīng)驗(yàn)設(shè)置其他的超參數(shù)值,包括卷積層中的濾波器尺寸和數(shù)量、隱層節(jié)點(diǎn)數(shù)目、以及輸入輸出尺寸等.圖3給出了用于復(fù)雜TCGA WSIs病理圖像分割的U-Net體系結(jié)構(gòu)[27].該體系結(jié)構(gòu)由編碼器和解碼器組成.編碼器包含由修正線性單元(Rectified linear unit,ReLU)實(shí)現(xiàn)的填充卷積操作,共兩層.每?jī)蓚€(gè)卷積層之后,有一個(gè)步長(zhǎng)為2的最大池化操作.每次最大池化層下采樣之后,特征通道數(shù)加倍.在解碼器中,每?jī)蓚€(gè)卷積層之前,有一個(gè) 2×2 的上采樣操作,且其輸出與來(lái)自相應(yīng)編碼器部分的特征相結(jié)合.最后兩層分別是1×1卷積操作和像素級(jí)Softmax 輸出,其中,1×1卷積層用于將特征圖的通道數(shù)降至所需的類別數(shù).在本文的U-Net網(wǎng)絡(luò)實(shí)現(xiàn)中,代替數(shù)據(jù)擴(kuò)充,只是隨機(jī)提取了圖像塊,不過(guò)仍然實(shí)現(xiàn)了令人滿意的分割性能.本文使用Tensorflow深度學(xué)習(xí)框架在TCGA WSIs病理數(shù)據(jù)集的所有樣本上對(duì)CNN2、CNN3和U-Net網(wǎng)絡(luò)均訓(xùn)練了95次(Epochs).針對(duì)每個(gè)網(wǎng)絡(luò),分別從12幅訓(xùn)練圖像和3幅驗(yàn)證圖像中提取了158 400個(gè)圖像塊和32 000個(gè)圖像塊用于訓(xùn)練和驗(yàn)證,其中包括相等數(shù)目的以細(xì)胞核像素為中心的正樣本塊和以非細(xì)胞核像素為中心的負(fù)樣本塊.另外,基于TCGA WSIs病理數(shù)據(jù)集,比較實(shí)驗(yàn)分析了標(biāo)記控制的分水嶺分割方法[10].

圖8和圖9顯示了在5個(gè)器官和疾病狀態(tài)下,病理細(xì)胞核圖像的分割算法對(duì)比.圖8和圖9中第(a)～ (g)列分別是原始圖像、人工分割結(jié)果、CscDTE模型分割結(jié)果、U-Net網(wǎng)絡(luò)分割結(jié)果、CNN3網(wǎng)絡(luò)分割結(jié)果、CNN2網(wǎng)絡(luò)分割結(jié)果和標(biāo)記控制的分水嶺分割結(jié)果.需要注意的是,考慮到不同類型病理圖像顏色的異質(zhì)性,在分割模型訓(xùn)練之前,將原始圖像從RGB顏色空間轉(zhuǎn)換到CIE LUV 均勻顏色空間并作線性歸一化.可以看出,所提出CscDTE模型能有效應(yīng)對(duì)細(xì)胞核大小、形狀和方向的變化,并最大程度地檢測(cè)正確細(xì)胞核的數(shù)目.另外,針對(duì)存在染色質(zhì)稀疏、重疊和復(fù)雜背景雜斑的情形,例如,部分前列腺病理圖像和膀胱病理圖像,CscDTE模型也表現(xiàn)出了良好的魯棒性(見(jiàn)圖10).相比之下,雖然U-Net通過(guò)融入上下文信息能較好地避免復(fù)雜背景雜斑的干擾,但由于網(wǎng)絡(luò)深度的影響,仍然對(duì)染色質(zhì)稀疏的細(xì)胞核內(nèi)細(xì)節(jié)不夠敏感.CNN2利用各向同性區(qū)域生長(zhǎng)從網(wǎng)絡(luò)輸出中獲取細(xì)胞核種子標(biāo)記,因而易受細(xì)胞核形狀的影響,尤其是帶分割目標(biāo)存在重疊和成團(tuán)的情況,產(chǎn)生欠分割的現(xiàn)象.CNN3使用各向異性區(qū)域生長(zhǎng)代替CNN2中的各向同行區(qū)域生長(zhǎng),雖然增加了對(duì)重疊、成團(tuán)分割的魯棒性,但其受限于圖像塊級(jí)的分類.由于只能提取局部特征,導(dǎo)致其分割精度相比于CscDTE模型較低.作為傳統(tǒng)圖像分析的方法,分水嶺在分割灰度均勻的孤立細(xì)胞核時(shí),表現(xiàn)得相當(dāng)優(yōu)異,例如圖8中的腎臟細(xì)胞核分割.然而,對(duì)于Kumar病理數(shù)據(jù)中復(fù)雜背景圖像,其分割性能遭受大幅度的下降.提出的CscDTE模型在訓(xùn)練和預(yù)測(cè)時(shí)間上也優(yōu)于基于CNN和FCN的體系結(jié)構(gòu),訓(xùn)練所有的細(xì)胞核僅花費(fèi)了兩個(gè)小時(shí)左右.

表1 提出的CscDTE模型的最優(yōu)參數(shù)值.像素位置樣本總數(shù)為800 000Table 1 The optimal hyper-parameter values of our CscDTE model.The total number of pixel samples is 800 000

表2 用于病理圖像分割的CNN2體系結(jié)構(gòu)Table 2 The CNN2 architecture for pathology image segmentation

表3 用于病理圖像分割的CNN3體系結(jié)構(gòu)Table 3 The CNN3 architecture for pathology image segmentation

圖8 Kumar 病理細(xì)胞核相同器官圖像的分割比較Fig.8 Comparative segmentation results on the Kumar same-organs testing pathology images

圖9 Kumar 病理細(xì)胞核不同器官圖像的分割比較Fig.9 Comparative segmentation results on the Kumar different-organs testing pathology images

圖10 不同算法在具有重疊、形狀及大小不規(guī)則的病理圖像上的輪廓可視化分割結(jié)果圖Fig.10 Visualizing segmented contours of different algorithms on the pathology image with shape and color variations and overlapping regions

圖11顯示了通過(guò)使用KIRC數(shù)據(jù)集對(duì)比細(xì)胞核分割算法的可視化結(jié)果.圖中第1,5、2,6、3,7和4,8行分別是原始圖像、人工分割結(jié)果、本文方法分割結(jié)果以及U-Net網(wǎng)絡(luò)分割結(jié)果.提出的Csc DTE模型提供了一種定義復(fù)雜形式假設(shè)φ(·)的級(jí)聯(lián)方式,并使用其最優(yōu)參數(shù)擬合病理數(shù)據(jù).本文方法使得模型在訓(xùn)練過(guò)程中能夠獲取足夠多的上下文信息.如圖11所示,相比U-Net,CscDTE模型驅(qū)動(dòng)的擬合重構(gòu)能夠起到信號(hào)正則化的作用.因此,即使當(dāng)細(xì)胞核出現(xiàn)密集重疊以及形狀、大小等變化時(shí),提出的分割方法也仍然有效.

3.3 定量分析

為了定量評(píng)估分割算法的性能,本文分別使用Jaccard相似性系數(shù)、精確率、F1分?jǐn)?shù)和平均邊緣距離(ABD1ABD是基于像素級(jí)邊緣的評(píng)價(jià)方法,表示自動(dòng)分割與人工分割目標(biāo)邊緣間的平均距離,且漏分割和誤分割會(huì)造成ABD值過(guò)大.)三個(gè)指標(biāo)來(lái)比較算法輸出的掩模P與Ground Truth 掩模R,計(jì)算如下

圖11 本文方法與U-Net方法在KIRC數(shù)據(jù)集上的分割比較Fig.11 Comparative segmentation using ours and U-Net on the KIRC dataset

表4 本文方法與其他方法在Kumar 病理數(shù)據(jù)集上的分割性能(均值)比較Table 4 Performance comparison of other methods with our CscDTE(For each metric,the mean are listed)

表5 本文方法與其他方法在Kumar 病理數(shù)據(jù)集上的分割性能(標(biāo)準(zhǔn)差)比較Table 5 Performance comparison of other methods with our CscDTE (For each metric,the standard deviation are listed)

其中,PB和RB分別對(duì)應(yīng)P和R的邊緣.表4和表5給出了在TCGA WSIs病理數(shù)據(jù)集上不同算法實(shí)現(xiàn)的定量分割結(jié)果.可以看出,相比其他方法,提出的CscDTE模型在不同器官圖像和整個(gè)數(shù)據(jù)集上對(duì)三個(gè)指標(biāo)值的改進(jìn)明顯.由于本文方法更加有效地級(jí)聯(lián)低級(jí)圖像表觀特征和高級(jí)上下文特征,并結(jié)合集成決策樹(shù)學(xué)習(xí)模塊的使用,提出方法在Jaccard 相似性系數(shù)和F1分?jǐn)?shù)整體值上分別超出表現(xiàn)最好的U-Net和CNN3方法4.4 %和2.7 %,同時(shí)在平均邊緣距離值上相比U-Net減少了大約4.8個(gè)像素.另外,定量分割結(jié)果也反映出U-Net和CNN3在相同器官和不同器官測(cè)試方面均強(qiáng)于CNN2,而在前列腺病理細(xì)胞核圖像上,所提出方法略遜于U-Net和CNN3.需要注意的是:1)雖然標(biāo)記控制的分水嶺分割算法在相同器官測(cè)試上,超過(guò)CNN2的性能,但它們的分割精度較差,造成了大量的誤分割結(jié)果;2)本文算法無(wú)需非線性激活和后向傳播計(jì)算,雖然性能較之深度神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的競(jìng)爭(zhēng)力,但由于端到端訓(xùn)練的簡(jiǎn)易性,因而當(dāng)染質(zhì)稀疏較為嚴(yán)重時(shí),分割結(jié)果會(huì)有較大差異.為了便于模型的顯著性差異分析,本文進(jìn)一步采用雙樣本t-檢驗(yàn)統(tǒng)計(jì)指標(biāo)[38]來(lái)對(duì)不同方法進(jìn)行比較.基于F1分?jǐn)?shù),雖然提出的CscDTE模型在整個(gè)Kumar數(shù)據(jù)集上與U-Net模型、CNN3模型、CNN2模型、分水嶺模型之間沒(méi)有顯著性差異發(fā)生的概率(p值)分別為0.491、0.493、0.197、0.110,但在不同器官圖像上卻有本質(zhì)區(qū)別,概率分別為0.001、0.141、0.018、0.021.表6給出了本文方法和U-Net方法在KIRC測(cè)試圖像上的各指標(biāo)均值和標(biāo)準(zhǔn)差.可以看出,CscDTE模型的分割性能明顯優(yōu)于表現(xiàn)最好的UNet模型,且具有更好的可靠性.

對(duì)于逐像素分割任務(wù)而言,學(xué)習(xí)模型的參數(shù)規(guī)模是另一個(gè)重要的性能評(píng)估指標(biāo).學(xué)習(xí)模型中帶參數(shù)的層主要有卷積層、批歸一化層以及全連接層等,而激活函數(shù)、池化層和上采樣層旨在提供一種非線性變換,無(wú)需學(xué)習(xí).本文采取秩-1可分離卷積核代替卷積濾波器,且無(wú)需全連接層特征映射,參數(shù)規(guī)模較之傳統(tǒng)深度學(xué)習(xí)方法較小,如表7 所示.

4 結(jié)論及后續(xù)工作

本文提出了一個(gè)級(jí)聯(lián)稀疏卷積與決策樹(shù)集成學(xué)習(xí)(CscDTE)的細(xì)胞核分割模型.常用的分水嶺分割方法和深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)算法初始化和病理圖像數(shù)據(jù)的多樣性較為敏感.與之相比,CscDTE模型具有四個(gè)方面的優(yōu)勢(shì):

1)為了實(shí)現(xiàn)魯棒特征的提取和CscDTE模型算法的加速,基于秩-1張量分解學(xué)習(xí)機(jī)制,CscDTE模型在各層引入稀疏可分離卷積模塊,分層抽取細(xì)胞核的多尺度方向分布式抽象特征;

2)為了提升模型的分割性能,充分考慮像素間的關(guān)系,CscDTE模型使用級(jí)聯(lián)卷積特征作為樣本輸入,迭代有監(jiān)督地訓(xùn)練集成決策樹(shù)模塊直到收斂;

3)為了增強(qiáng)集成決策樹(shù)模塊對(duì)數(shù)據(jù)復(fù)雜性和可變性的自適應(yīng)能力,Csc DTE模型采取隨機(jī)采樣、樹(shù)剪枝以及正則化回歸機(jī)制提升逐像素分布式特征集成回歸分類能力;

4)不同器官和疾病狀態(tài)的復(fù)雜病理數(shù)據(jù)集上的大量試驗(yàn)表明了所提出的CscDTE方法相比于已有最先進(jìn)技術(shù)的優(yōu)越性.

表6 本文方法與U-Net在KIRC數(shù)據(jù)集上的分割性能(均值,標(biāo)準(zhǔn)差)比較Table 6 Performance comparison of U-Net with our CscDTE(For each metric,the mean and standard deviation are listed)

表7 不同算法在病理數(shù)據(jù)集上的參數(shù)規(guī)模Table 7 Number of parameters of different algorithms on the pathology dataset

在現(xiàn)有框架的基礎(chǔ)上,將利用更先進(jìn)的預(yù)測(cè)模型對(duì)集成決策樹(shù)學(xué)習(xí)模塊進(jìn)行替換,以實(shí)現(xiàn)更好的分割性能;將結(jié)合語(yǔ)義分割,在應(yīng)用層面對(duì)CscDTE其進(jìn)行拓展;將探索管狀顯微結(jié)構(gòu)的提取與重構(gòu),例如血管、神經(jīng)突等,并拓展至三維醫(yī)學(xué)圖像應(yīng)用.