吳宇靂, 李淵強(qiáng)

(南京理工大學(xué) 理學(xué)院，南京 210094)

0 引 言

在各種疾病檢查方法中，病理診斷一直是最可靠的診斷方式。該診斷方式主要是根據(jù)顯微鏡下所觀察到的病變組織細(xì)胞結(jié)構(gòu)做出診斷，相比于臨床上根據(jù)超聲、CT影像所作出的診斷分析更加準(zhǔn)確和客觀。由于各種癌癥病變的根本原因在于細(xì)胞核中遺傳物質(zhì)的改變，導(dǎo)致癌變后的細(xì)胞和癌變前的正常細(xì)胞在形狀大小上有了明顯的差異，所以病理圖像中細(xì)胞核的精準(zhǔn)分割是病理診斷的基礎(chǔ)性工作。所幸的是，細(xì)胞核可以通過(guò)特定染色而呈現(xiàn)出來(lái)，使得病理圖像中細(xì)胞核的精準(zhǔn)分割這個(gè)目標(biāo)得以實(shí)現(xiàn)[1]。

形變模型是目前細(xì)胞核精準(zhǔn)分割的流行方法，包括CV模型、GAC模型和Snake模型及其變種模型，其思想是極小化由輪廓曲線(xiàn)所定義的能量泛函，從而使得初始化邊緣輪廓向目標(biāo)邊界演變進(jìn)化。Qi等[2]提出了基于GAC模型的細(xì)胞分割模型，并通過(guò)增加約束項(xiàng)使得兩個(gè)相鄰細(xì)胞的輪廓曲線(xiàn)不會(huì)互相合并;Lu等[3]則將形狀先驗(yàn)約束引進(jìn)了距離正則化水平集模型上，為宮頸重疊細(xì)胞的分割提供了一個(gè)解決思路;Kong等[4]先是獲取形狀先驗(yàn)信息，然后將其和水平集模型結(jié)合起來(lái)，并添加稀疏性約束對(duì)細(xì)胞核進(jìn)行分割;近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)模型在大量視覺(jué)領(lǐng)域的應(yīng)用問(wèn)題中達(dá)到甚至超越了人類(lèi)水平，所以該模型逐漸成為大量圖像應(yīng)用問(wèn)題的首要選擇；Sirinukunwattana等[5]根據(jù)卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)結(jié)腸腺癌病理圖像中的細(xì)胞核進(jìn)行檢測(cè)；Xing等[6]則是先通過(guò)卷積神經(jīng)網(wǎng)絡(luò)模型得到分割結(jié)果概率圖，然后利用稀疏形狀模型和局部形變模型在病理圖像中分割細(xì)胞核。

本文首先使用保持結(jié)構(gòu)的基于稀疏非負(fù)矩陣分解的方法對(duì)病理圖像做顏色分布?xì)w一化，然后結(jié)合全卷積網(wǎng)絡(luò)框架(Fully Convolutional Network, FCN)[7]和高分辨率網(wǎng)絡(luò)框架(High Resolution Network， HRN)[8]的特點(diǎn)，提出一種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)病理圖像中的細(xì)胞核進(jìn)行自動(dòng)精準(zhǔn)地分割。所提出的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)2017年MICCAI(Medical Image Computing and Computer Assisted Intervention)病理數(shù)字圖像分割比賽數(shù)據(jù)集中4種不同癌癥病變的病理圖像的細(xì)胞核進(jìn)行分割，并分析比較每種病理圖像中細(xì)胞核的分割情況。

1 病理圖像顏色歸一化

MICCAI數(shù)據(jù)集由4種不同癌癥病變的病理圖像組成，包括非小細(xì)胞肺癌(NSCLC)、頭頸部鱗狀細(xì)胞癌(HNSCC)、多形性膠質(zhì)母細(xì)胞癌(GBM)和低級(jí)別膠質(zhì)瘤(LGG)。每種癌癥病變各8張病理圖像，每張圖像的空間尺寸大小為500×500或600×600，且每張圖像都配備有專(zhuān)業(yè)醫(yī)師勾勒的細(xì)胞核邊界圖，稱(chēng)為分割金標(biāo)準(zhǔn)。

在染色過(guò)程中，由于染色手法和染色時(shí)間等因素，造成不同的病理圖像呈現(xiàn)出不同的顏色分布，為細(xì)胞核的精準(zhǔn)分割帶來(lái)了極大的困難。所以在利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)細(xì)胞核進(jìn)行分割之前，首先需要對(duì)每張病理圖像做顏色歸一化。所采用的顏色歸一化方法是保持結(jié)構(gòu)的基于稀疏非負(fù)矩陣分解的顏色歸一化方法[9]。

首先根據(jù)Beer-Lambert定律將給定的RGB圖像轉(zhuǎn)化成光密度圖像:

I=I0exp(WH)

其中I為原始病理圖像，而I0為入射光強(qiáng)度，W∈Rm×r表示染料顏色矩陣，其每一列代表顏色基，r為染色劑種類(lèi)數(shù)，H∈Rm×n為染色密度矩陣。然后，通過(guò)增加對(duì)染色混合系數(shù)Hj的稀疏正則化提出了改進(jìn)的代價(jià)函數(shù)，代價(jià)函數(shù)為

(1)

其中，V為原始圖像的光密度圖，λ為稀疏正則項(xiàng)系數(shù)，j=1,2,…,r為染劑指標(biāo)。在式(1)中對(duì)W的限制條件是為了防止產(chǎn)生多個(gè)類(lèi)似(W/α,αH)的解。式(1)根據(jù)交替迭代的算法求解W和H，即固定一組參數(shù)的情況下求解另一組參數(shù)。這樣，一張圖像可以被分解成兩個(gè)矩陣相乘的形式。

對(duì)整個(gè)數(shù)據(jù)集做顏色歸一化操作時(shí)，首先從數(shù)據(jù)集中隨機(jī)選取一張病理圖像T，然后將其余病理圖像的顏色分布?xì)w一化成圖像T的顏色分布。具體地，對(duì)待處理圖像S做如下分解:

T=WTHT,S=WSHS

然后結(jié)合S的染色密度矩陣和T的染料顏色矩陣，

(a) 原病理圖像1 (b) 歸一化后圖像1(a)Original pathological (b)Normalized pathological image 1 image 1

(c) 原病理圖像2 (d) 歸一化后圖像2(c) Original pathological (d) Normalized pathological image 2 image 2

2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)模型是一個(gè)多層級(jí)的計(jì)算模型，通過(guò)在輸入圖像上反復(fù)使用線(xiàn)性卷積運(yùn)算和非線(xiàn)性激活運(yùn)算，將表示圖像中目標(biāo)物體的特征逐步提取出來(lái)，且其含有語(yǔ)義信息的高級(jí)抽象特征是通過(guò)低級(jí)特征如邊緣、角點(diǎn)特征等逐步整合形成的[10]。卷積神經(jīng)網(wǎng)絡(luò)的卷積層、池化層或和殘差層等算子都遵守以下計(jì)算公式:

Xl+1=h(Xl)+f(Wl,l+1*Xl+b)

其中Xl+1,Xl分別表示第L層的輸出特征圖和輸入特征圖;Wl,l+1表示該層的卷積核，b表示偏置項(xiàng)，而*表示卷積運(yùn)算；f表示非線(xiàn)性激活函數(shù)，而h在卷積層和池化層中是零算子，即其函數(shù)值一直為0，而在殘差層則是恒等算子。卷積層是卷積神經(jīng)網(wǎng)絡(luò)的基本部件，該層的計(jì)算過(guò)程可以用4個(gè)參數(shù)K,F,P,S完全表達(dá)，其中K是卷積核個(gè)數(shù)，F(xiàn)是卷積核空間尺寸大小，P是輸入特征圖的補(bǔ)零數(shù)，而S是卷積核在各個(gè)空間維度上的移動(dòng)步長(zhǎng)。

自FCN框架提出之后，卷積神經(jīng)網(wǎng)絡(luò)得以全卷積化，從而可以應(yīng)用于圖像語(yǔ)義分割任務(wù)中。但在FCN網(wǎng)絡(luò)框架中由于過(guò)多下采樣算子(如池化層作用或步長(zhǎng)大于1的卷積層作用)的存在，使得大量圖像信息在前向傳播過(guò)程中被強(qiáng)制丟失。這些信息不僅僅包括圖像中背景和噪聲的信息，還包含目標(biāo)物體的特征信息。因此，HRN框架是繼FCN框架之后的一個(gè)必然嘗試。在HRN框架中，網(wǎng)絡(luò)不采取任何下采樣算子，所以圖像數(shù)據(jù)的分辨率在前向計(jì)算過(guò)程中保持不變。但深層神經(jīng)元在輸入層局部感受野的尺寸大小是卷積神經(jīng)網(wǎng)絡(luò)性能卓越的必要保證，所以HRN框架利用擴(kuò)張卷積擴(kuò)大卷積核的作用區(qū)域，從而擴(kuò)大深層神經(jīng)元的局部感受野。擴(kuò)張卷積完全由擴(kuò)張率d所定義，設(shè)卷積核W的空間尺寸大小為F×F，擴(kuò)張后的卷積核為V。W中任意兩個(gè)元素的相對(duì)位置在V中保持不變，而根據(jù)預(yù)設(shè)的擴(kuò)張率d，其相鄰兩個(gè)元素在水平或垂直方向上相距d-1個(gè)單位，且每個(gè)單位上的值都是0。

圖2 對(duì)F=3的卷積核以擴(kuò)張率d=2進(jìn)行擴(kuò)張F(tuán)ig.2 An example to expand 3×3 convolution kernel with dilation rate d=2.

3 分割卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

在HRN框架中，需要保證深層神經(jīng)元在輸入層的局部感受野的尺度大小，僅使用擴(kuò)張卷積需要堆疊大量的卷積層，這往往會(huì)導(dǎo)致梯度彌散現(xiàn)象的發(fā)生。為了克服這個(gè)問(wèn)題，在使用殘差連接輔助梯度信息后向傳播的同時(shí)，仍然需要少量的下采樣算子。而且，下采樣算子可以丟棄輸入圖像中的背景信息和噪聲信息，所以我們提出的分割卷積神經(jīng)網(wǎng)絡(luò)包含且僅包含一個(gè)下采樣算子，該下采樣算子是步長(zhǎng)為2的卷積層作用，實(shí)現(xiàn)了特征圖空間維度的減半。相對(duì)應(yīng)地，需要使用一個(gè)由轉(zhuǎn)置卷積算子定義的上采樣操作，將特征圖的空間尺寸大小恢復(fù)原圖大小。

在本文中，分割卷積網(wǎng)絡(luò)輸入圖像的空間尺寸大小是200×200，在經(jīng)過(guò)一個(gè)參數(shù)為(K,F,P,S)=(16,5,2,1)的卷積層conv1作用之后，就根據(jù)參數(shù)為(32,3,1,2)的卷積層conv2作用進(jìn)行特征圖空間尺寸的下采樣。之后conv2的輸出特征圖將經(jīng)過(guò)連續(xù)7個(gè)殘差層res1～7的作用，其中每個(gè)殘差層包含兩個(gè)卷積層作用，參數(shù)都是(32,3,1,1)，并且每個(gè)殘差層各配備一個(gè)擴(kuò)張率。這7個(gè)殘差的擴(kuò)張率分別為(1,1,1,2,4,8,16)。之后，res7的輸出特征圖將通過(guò)轉(zhuǎn)置卷積的作用進(jìn)行上采樣，并與conv1的輸出特征圖做逐位加和，所得到的輸出特征圖將通過(guò)3個(gè)卷積層的作用得到分割結(jié)果概率圖，這3個(gè)卷積層的參數(shù)分別是(16,5,2,1),(8,3,1,1)和(2,1,0,1)。分割卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其參數(shù)在表1中詳細(xì)給出。

表1 分割卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Table 1 Structure of segmented convolutional network

4 實(shí)驗(yàn)與分析

在MICCAI數(shù)據(jù)集上驗(yàn)證了所搭建的分割卷積神經(jīng)網(wǎng)絡(luò)。對(duì)4類(lèi)不同的癌癥病理圖像，每類(lèi)各選取7張病理圖像進(jìn)行訓(xùn)練，且各留下1張尺寸大小為600×600的圖像用于測(cè)試網(wǎng)絡(luò)的分割性能。對(duì)每張訓(xùn)練圖像，根據(jù)步長(zhǎng)30在各個(gè)空間維度上進(jìn)行游走并裁剪尺寸大小為200×200的圖像塊作為網(wǎng)絡(luò)的輸入。對(duì)500×500的歸一化病理圖像，可裁剪100張輸入圖像；而對(duì)于600×600大小的歸一化病理圖像，可裁剪169張輸入圖像。最終，共有訓(xùn)練圖像3 940張，并且需要對(duì)分割金標(biāo)準(zhǔn)做同樣的操作。

對(duì)4類(lèi)癌癥的測(cè)試圖像，根據(jù)步長(zhǎng)200在兩個(gè)空間維度上進(jìn)行游走并裁剪圖像塊。由于每張測(cè)試圖像的大小為600×600，所以剛好可以得到9張輸入圖像，從而分割網(wǎng)絡(luò)對(duì)測(cè)試圖像的量化指標(biāo)值就是網(wǎng)絡(luò)在這9張輸入圖像上的量化指標(biāo)值的平均值。在實(shí)驗(yàn)中，我們使用ddice作為主要量化指標(biāo)，并以ddiceLoss=1-ddice作為網(wǎng)絡(luò)訓(xùn)練的誤差函數(shù)，而其他量化指標(biāo)分別是查準(zhǔn)率(pprecision)和查全率(rrecall)。表2詳細(xì)給出了分割卷積網(wǎng)絡(luò)在4類(lèi)病例圖像上的分割情況。

表2 4種病理圖像分割結(jié)果比較Table 2 Comparison of segmentation results of four kinds of pathological images

分割卷積神經(jīng)網(wǎng)絡(luò)在整個(gè)數(shù)據(jù)集上的平均ddice分?jǐn)?shù)是0.848，平均查全率是0.813，平均查準(zhǔn)率是0.893。圖3中展示的是HNSCC測(cè)試圖像，而圖4給出了網(wǎng)絡(luò)在HNSCC測(cè)試圖像上的分割結(jié)果和分割金標(biāo)準(zhǔn)的對(duì)比。其中灰色區(qū)域表示分割金標(biāo)準(zhǔn)，而黑線(xiàn)表示分割結(jié)果。

圖3 HNSCC原病理圖像Fig.3 Original pathological image of HNSCC

圖4 HNSCC分割金標(biāo)準(zhǔn)和分割結(jié)果對(duì)比Fig.4 Comparison of ground-truth and segmentation result of HNSCC

5 結(jié)束語(yǔ)

細(xì)胞核的精準(zhǔn)分割是病理診斷的基礎(chǔ)工作，有十分重要的應(yīng)用價(jià)值和研究?jī)r(jià)值。由于染色過(guò)程造成的病理圖像顏色分布的差異，我們首先使用保持結(jié)構(gòu)的基于稀疏非負(fù)矩陣分解的方法對(duì)所有病理圖像進(jìn)行顏色分布?xì)w一化，避免直接在原病理圖像中分割細(xì)胞核會(huì)碰到的困難。然后以歸一化后的圖像數(shù)據(jù)作為網(wǎng)絡(luò)輸入，利用所提出的分割卷積神經(jīng)網(wǎng)絡(luò)對(duì)細(xì)胞核進(jìn)行自動(dòng)精準(zhǔn)地分割。該分割卷積網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合了FCN框架和HRN框架的特點(diǎn)，通過(guò)減少下采樣算子的使用，使得圖像信息在前向計(jì)算過(guò)程中不過(guò)分丟失，并使用擴(kuò)張卷積算子擴(kuò)大深層神經(jīng)元在輸入層的局部感受野尺度大小，保證卷積網(wǎng)絡(luò)的分割性能。

所采用的分割方案在2017年MICCAI病理數(shù)字圖像分割數(shù)據(jù)集中達(dá)到0.848的平均dice分?jǐn)?shù)。實(shí)驗(yàn)表明，融合全卷積網(wǎng)絡(luò)框架和高分辨率網(wǎng)絡(luò)框架的卷積神經(jīng)網(wǎng)絡(luò)在病理圖像中實(shí)現(xiàn)了細(xì)胞核的自動(dòng)精準(zhǔn)地分割，可以有效減輕影像醫(yī)師的工作負(fù)擔(dān)。另一方面，深度學(xué)習(xí)方法的性能主要依賴(lài)于訓(xùn)練數(shù)據(jù)量的大小，而病理圖像數(shù)據(jù)集屬于小數(shù)據(jù)集。如何在小數(shù)據(jù)集中更好地應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)模型，進(jìn)一步提升病理圖像中細(xì)胞核的分割精度，是未來(lái)需要持續(xù)研究的工作。