李孟歆 徐 睿 張?zhí)旎?陳 莉 郝佳麗

1(沈陽(yáng)建筑大學(xué)信息與控制工程學(xué)院 沈陽(yáng) 110168)

2(沈陽(yáng)建筑大學(xué)建筑設(shè)計(jì)研究院 沈陽(yáng) 110015)

1 引 言

眼睛作為人感知世界的重要組成部分，與我們的工作、學(xué)習(xí)、生活密切相關(guān)。但一些疾病常常會(huì)導(dǎo)致眼部并發(fā)癥，嚴(yán)重的甚至?xí)斐墒鳎虼送ㄟ^(guò)分析視網(wǎng)膜圖像輔助醫(yī)生來(lái)進(jìn)行眼部早期診斷和監(jiān)測(cè)具有重要意義。例如，糖尿病視網(wǎng)膜病變(Diabetic Retinopathy，DR)是由糖尿病引起的微血管眼部并發(fā)癥。這種疾病依照嚴(yán)重程度分為 2 型 4 期[1]，其中 1～3 期是癥狀較輕的非增殖型，表現(xiàn)為視網(wǎng)膜內(nèi)出現(xiàn)微動(dòng)脈瘤、血點(diǎn)血斑、硬性和軟性溢出物；而 4 期是增殖型，癥狀表現(xiàn)為新生血管、玻璃體出血、乃至視網(wǎng)膜脫落，由該病引起的致盲風(fēng)險(xiǎn)是非糖尿病患者的 25 倍[2]。為了更充分地了解和保護(hù)眼睛，從 20 世紀(jì)開(kāi)始，視網(wǎng)膜血管分割的研究就成為了醫(yī)學(xué)圖像分割的熱點(diǎn)。

考慮到視網(wǎng)膜圖像的部分血管細(xì)微，且邊界模糊，依靠醫(yī)生人工分割的傳統(tǒng)方法費(fèi)時(shí)費(fèi)力，所以許多學(xué)者從多個(gè)方向?qū)σ暰W(wǎng)膜血管進(jìn)行了分割。主要可分為監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)兩類(lèi)：(1)監(jiān)督學(xué)習(xí)是依靠人工標(biāo)記的血管分割圖像訓(xùn)練模型，隨后利用訓(xùn)練好的模型進(jìn)行分割。早期，監(jiān)督學(xué)習(xí)包括基于支持向量機(jī)[3]、隨機(jī)森林模型[4]、高斯混合模型(Gaussian Mixture Model，GMM)[5]等分類(lèi)器的血管分割方法。近幾年，隨著人工智能的興起，通過(guò)基于深度學(xué)習(xí)的方法進(jìn)行視網(wǎng)膜血管分割成為熱點(diǎn)。例如，卓鐘爍等[6]提出基于多尺度的卷積神經(jīng)網(wǎng)絡(luò)視網(wǎng)膜血管分割，對(duì)同一層卷積層設(shè)計(jì)不同尺寸卷積核多尺度提取特征，同時(shí)拼接淺層和深層的信息進(jìn)行特征融合，以此來(lái)提高分割精度。除此之外，還有許多基于 U-Net 改進(jìn)后用于醫(yī)學(xué)圖像處理的方法[7]。(2)無(wú)監(jiān)督學(xué)習(xí)的方法是指在不設(shè)置標(biāo)簽、沒(méi)有人工標(biāo)注的情況下進(jìn)行圖像分割。例如，早年 Chaudhuri 等[8]研究視網(wǎng)膜血管特性，專(zhuān)門(mén)設(shè)計(jì)了分割視網(wǎng)膜血管的二維高斯匹配濾波器。Yin 等[9]提出一種血管跟蹤的方法，通過(guò)利用血管的連續(xù)性特征以及統(tǒng)計(jì)局部灰度信息擬合血管結(jié)構(gòu)，再應(yīng)用貝葉斯方法識(shí)別血管結(jié)構(gòu)，該方法對(duì)于血管邊緣有較高的貼合性。許言兵等[10]首先借用自適應(yīng)簡(jiǎn)單線(xiàn)性迭代聚類(lèi)(Adaptive Simple Linear Iterative Clustering，ASLIC)進(jìn)行超像素分割，再依靠仿射傳播聚類(lèi)分別聚類(lèi)血管和背景，達(dá)到分割血管的目的。

但無(wú)監(jiān)督學(xué)習(xí)易受噪聲影響，而監(jiān)督學(xué)習(xí)的方法對(duì)細(xì)小血管分割性能較差，且基于卷積神經(jīng)網(wǎng)絡(luò)的方法由于卷積和池化帶來(lái)的信息丟失，容易出現(xiàn)邊緣細(xì)節(jié)粗糙等問(wèn)題。針對(duì)這些缺陷，本文提出一種結(jié)合生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)和超像素分割的視網(wǎng)膜血管分割方法。該方法利用 GAN 較準(zhǔn)確的分割結(jié)果和超像素分割時(shí)較好的邊緣貼合效果，通過(guò)將 GAN 的血管輸出結(jié)果映射到超像素圖上對(duì)像素塊進(jìn)行分類(lèi)，以達(dá)到分割的效果。

2 視網(wǎng)膜血管分割

2.1 預(yù)處理

為了使分割的效果更好，需要對(duì)視網(wǎng)膜圖像進(jìn)行預(yù)處理[11]。首先提取視網(wǎng)膜血管的綠色通道，之后利用限制對(duì)比度自適應(yīng)直方圖均衡算法(Contrast Limited Adaptive Histogram Equalization，CLAHE)和基于 Retinex 的去霧算法，增強(qiáng)視網(wǎng)膜血管結(jié)構(gòu)，最后使用 BM3D 對(duì)圖像平滑去噪，結(jié)果如圖 1 所示。

2.2 基于 GAN 的視網(wǎng)膜血管分割

2.2.1 SegAN

生成對(duì)抗網(wǎng)絡(luò)是 Goodfellow[12]于 2014 年提出的一種用于生成新模型的神經(jīng)網(wǎng)絡(luò)框架，由于其在生成圖像方面的出色性能，被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)的各個(gè)領(lǐng)域中。在此基礎(chǔ)上，2017 年 Xue 等[13]提出了首個(gè)用于醫(yī)學(xué)圖像分割的對(duì)抗網(wǎng)絡(luò) SegAN，以腦部磁共振成像(MRI)影像為模板進(jìn)行腦腫瘤的圖像分割。

SegAN 是一個(gè)端到端的網(wǎng)絡(luò)結(jié)構(gòu)，主要由分割器(Segmentor)和評(píng)估器(Critic)兩個(gè)網(wǎng)絡(luò)模型組成。Segmentor 網(wǎng)絡(luò)模型是一個(gè)全卷積的編解碼網(wǎng)絡(luò)結(jié)構(gòu)，利用 4×4 的卷積核以 2 個(gè) Stride 進(jìn)行下采樣，3×3 的卷積核進(jìn)行上采樣，同時(shí)參考 U-Net 網(wǎng)絡(luò)在編碼器和解碼器之間添加跳躍結(jié)構(gòu)。Critic 網(wǎng)絡(luò)模型與 Segmentor 網(wǎng)絡(luò)解碼器結(jié)構(gòu)相似，但它的輸入由 2 部分組成，第 1 個(gè)輸入是原始圖經(jīng)過(guò) Segmentor 的輸出作為掩膜后得到的圖像，第 2 個(gè)輸入是原始圖利用專(zhuān)家分割的圖像進(jìn)行掩膜后得到的圖像。Critic 網(wǎng)絡(luò)通過(guò)計(jì)算每個(gè)卷積層輸出特征圖像的 L1損失，來(lái)獲得不同分辨率像素之間的特征關(guān)系。依靠 Segmentor 與 Critic 網(wǎng)絡(luò)間的相互對(duì)抗，分別固定輪流訓(xùn)練，使得對(duì) Critic 取得最大損失，而對(duì) Segmentor 取得最小損失。其中 L1損失如公式(1)所示：

圖 1 圖像預(yù)處理Fig. 1 Image pre-process

2.2.2 改進(jìn)的 SegAN

感受野表示的是網(wǎng)絡(luò)內(nèi)神經(jīng)元對(duì)原圖像感知范圍的大小。由于傳統(tǒng)的卷積核較小且緊密，所以感受野也較小。擴(kuò)大卷積核，雖然能擴(kuò)大感受野，但會(huì)造成參數(shù)的倍增。為解決該問(wèn)題，Chen 等[14]提出一種通過(guò)在卷積核參數(shù)之間填充 0 來(lái)擴(kuò)大圖像感受野的空洞卷積，由于不增加參數(shù)數(shù)量，所以在獲取更多細(xì)節(jié)的同時(shí)，不會(huì)提升計(jì)算復(fù)雜性。 空洞空間金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)最早在 DeepLab v2 中被提出，主要是用于多尺度特征的學(xué)習(xí)，隨后在 DeepLab v3 中進(jìn)行了改進(jìn)，改進(jìn)后的 ASPP 模塊如圖 2 所示。其結(jié)構(gòu)可以分為：(1)3×3 的空洞卷積，空洞率分別是 0、6、12、18；(2)全局平均池化層(Image Pooling)。之后將這 5 個(gè)輸出進(jìn)行連接，利用一個(gè) 1×1 的卷積層減少通道數(shù)。ASPP 模塊采用不同空洞比率的并行空洞卷積，對(duì)圖像進(jìn)行多尺度的特征提取，通過(guò)特征融合可以得到多尺度信息。

圖 2 DeepLab v3 中的 ASPP 結(jié)構(gòu)Fig. 2 ASPP structure of DeepLab v3

為了提升對(duì)眼部圖像中細(xì)小分支血管的分割精度，本文在傳統(tǒng) SegAN 模型基礎(chǔ)上進(jìn)行了改進(jìn)，提出一種包含 ASPP 模塊的 SegAN 網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖 3 所示。具體地，在 Segmentor 的編碼器和解碼器之間增加一個(gè) ASPP 模塊，通過(guò)并行的 4 個(gè)空洞卷積以及平均池化后，再經(jīng)過(guò) 1 個(gè)通道數(shù)為 1 024 的 1×1 卷積層，之后進(jìn)行解碼，Critic 部分則沒(méi)有做改動(dòng)。

圖 3 改進(jìn)的 SegAN 網(wǎng)絡(luò)結(jié)構(gòu)Fig. 3 The network structure of the improved SegAN

利用改進(jìn)后的 SegAN 得到的視網(wǎng)膜血管分割結(jié)果如圖 4 所示。可以看到，利用 GAN 進(jìn)行視網(wǎng)膜圖像的血管分割，對(duì)于血管末梢和分支的分割效果較好，但同時(shí)也存在少量的噪聲以及分支之間存在空隙等問(wèn)題。

圖 4 基于 SegAN 的視網(wǎng)膜血管分割結(jié)果Fig. 4 Retinal vessel segmentation result based on SegAN

2.3 線(xiàn)性譜聚類(lèi)超像素分割

超像素分割是指將具有相似紋理、顏色、亮度的像素點(diǎn)，聚合在一起形成像素塊進(jìn)行圖像分割的方法。線(xiàn)性譜聚類(lèi)(Linear Spectral Clustering，LSC)超像素分割算法在 2017 年由陳建生等[15]提出。該算法通過(guò)研究加權(quán) K-means 和 Ncuts 間的一致關(guān)系，使像素點(diǎn) m、n 同時(shí)具有 K-means 和 Ncuts 的特點(diǎn)，即相似度 W(m,n)同時(shí)滿(mǎn)足公式(3)～(4)：

加權(quán) K-means 的目標(biāo)函數(shù) Fkm和 Ncuts 的目標(biāo)函數(shù) FNcuts是等價(jià)的，此時(shí)的等價(jià)函數(shù)如公式(5)所示。再利用設(shè)計(jì)的核函數(shù) φ(m) 將像素值映射到十維特征空間，此時(shí)每個(gè)點(diǎn)都是多維向量，將這些像素點(diǎn)進(jìn)行聚類(lèi)即可達(dá)到分割效果。需要注意的是，由于經(jīng)過(guò)預(yù)處理后得到的視網(wǎng)膜血管圖像是灰度圖像，所以 LSC 中 l、a、b 的數(shù)值改為采用灰度值 g 進(jìn)行計(jì)算，其公式如(6)～(7)所示：

3 結(jié)合超像素和 GAN 的血管分割方法

由 SegAN 處理的視網(wǎng)膜圖像，有著較高的分割精度，但由于卷積操作，圖像的輪廓信息不可避免地會(huì)有所丟失。而 LSC 超像素分割算法有著邊緣貼合性高、連通性好、輪廓清晰的優(yōu)點(diǎn)，從圖 5 結(jié)果可以看到，即使是血管的末端與背景也有明顯的分割線(xiàn)，血管末梢的邊緣輪廓也較為清晰。所以，結(jié)合超像素分割較好的細(xì)節(jié)效果來(lái)對(duì) SegAN 的分割效果進(jìn)行優(yōu)化。

圖 5 超像素分割圖Fig. 5 Superpixel segmentaion chart

無(wú)論是 SegAN 還是 LSC 超像素分割，都是對(duì)原視網(wǎng)膜圖像進(jìn)行處理，輸出結(jié)果也與原始圖像大小一致。因此這里采用映射的方法，在 LSC 進(jìn)行圖像分割時(shí)，將 SegAN 的血管分割圖像同時(shí)輸入，對(duì)種子點(diǎn)進(jìn)行判別。如果該像素塊種子點(diǎn)對(duì)應(yīng)的 SegAN 輸出圖像上是白色的血管圖像，那么該像素塊輸出白色，反之，該像素塊輸出黑色背景圖像。具體流程為：(1)對(duì)原始圖像進(jìn)行預(yù)處理；(2)利用增加空洞卷積的 SegAN 對(duì)視網(wǎng)膜圖像進(jìn)行分割；(3)設(shè)置種子點(diǎn)數(shù)量 N，對(duì)預(yù)處理后的圖像進(jìn)行 LSC 超像素分割，得到 N 個(gè)像素塊，每個(gè)像素塊會(huì)標(biāo)記相同的標(biāo)簽 L(N)；(4)將 SegAN 輸出的黑白圖像映射到超像素分割圖像上，通過(guò)種子點(diǎn)對(duì)同標(biāo)簽的像素塊進(jìn)行分類(lèi)，輸出完成圖像。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境

本文所用實(shí)驗(yàn)材料為國(guó)際上公開(kāi)的視網(wǎng)膜圖像數(shù)據(jù)集 DRIVE。該數(shù)據(jù)集中有 40 張像素大小為 584×565 的眼底視網(wǎng)膜圖像以及 2 位專(zhuān)家的真實(shí)分割圖?；?SegAN 的視網(wǎng)膜血管分割是在 Win10 系統(tǒng) Tensorflow 框架下實(shí)現(xiàn)，硬件配置為 Inteli7-9700 CPU 和 NVIDIA RTX 2060S。圖像預(yù)處理及其他后續(xù)操作都是在 MATLAB R2016b 上進(jìn)行。

4.2 評(píng)價(jià)指標(biāo)

為了更客觀(guān)地評(píng)價(jià)本文方法對(duì)視網(wǎng)膜血管分割的效果，采用 3 個(gè)評(píng)價(jià)指標(biāo)：準(zhǔn)確度(Accuracy，Acc)，用于衡量正確分類(lèi)的像素?cái)?shù)目占總像素?cái)?shù)目的比例；靈敏度(Sensitivity，Se)，用于衡量正確分割的血管圖像像素?cái)?shù)目占實(shí)際血管像素?cái)?shù)目的比例；特異性(Specificity，Sp)，用于衡量正確分割的非血管圖像像素?cái)?shù)目占非血管像素?cái)?shù)目的比例。其公式如(8)～(10)所示：

4.3 實(shí)驗(yàn)結(jié)果與分析

采用 GAN 和超像素分割的方法進(jìn)行視網(wǎng)膜血管分割結(jié)果如圖 6 所示。圖 6(a)為 DRIVE數(shù)據(jù)庫(kù)測(cè)試集原圖；圖 6(b)為基于改進(jìn)后的 SegAN 的血管分割結(jié)果；圖 6(c)為本文結(jié)果；圖 6(d)為真實(shí)數(shù)據(jù)。

表 1 關(guān)系示意圖Table 1 Relation diagram

從圖 6 可以明顯看出，結(jié)合超像素方法的血管分割在邊緣紋理上都有著較好的分割效果，對(duì)于一些血管分支的不連續(xù)性，也通過(guò)像素塊連接了起來(lái)，血管的整體輪廓更好；對(duì)于一些 GAN 分割出現(xiàn)的噪聲，也因?yàn)橄∈柚苯颖荒ㄈ?。但同時(shí)也發(fā)現(xiàn)，該方法過(guò)于依賴(lài) GAN 的分割效果，由于少量分支血管與主干距離空隙過(guò)大，未能映射到種子點(diǎn)，無(wú)法徹底解決不連續(xù)性的問(wèn)題，并且極少量的極細(xì)血管分支在預(yù)處理后被模糊化，導(dǎo)致超像素分割時(shí)被忽略抹去。

表 2 列出了近幾年利用 DRIVE 的分割效果指標(biāo)，以及本文方法的性能指標(biāo)。從表 2 可以看出，本文方法在保證分割準(zhǔn)確度的情況下，能夠更好地提取血管部分。結(jié)合超像素方法后，本文方法在靈敏度和準(zhǔn)確度方面有了一定程度的提高，但由于超像素分割對(duì)于極少量極細(xì)血管的忽略，影響了視神經(jīng)密集處的像素塊分類(lèi)效果。而在特異性方面，與 GAN 方法相比，本文方法并沒(méi)有體現(xiàn)出優(yōu)勢(shì)。

表 2 不同方法在 DRIVE 上的評(píng)價(jià)結(jié)果Table 2 Segmentation evaluation of different methods on DRIVE

需要注意的是，經(jīng)反復(fù)實(shí)驗(yàn)驗(yàn)證，本文方法僅適用于處理正常的視網(wǎng)膜圖像，或者普通的非增殖型糖尿病視網(wǎng)膜病變圖像。對(duì)于血點(diǎn)血斑、硬性和軟性溢出物過(guò)多的非增殖型或者病情更嚴(yán)重的增殖型糖尿病視網(wǎng)膜病變圖像，當(dāng)病變組織處于血管上時(shí)，LSC 算法的邊緣紋理貼合效果較差，分割結(jié)果并不理想。

5 結(jié) 語(yǔ)

本文提出一種新的視網(wǎng)膜血管分割方法。首先改進(jìn) SegAN，融入 ASPP 模塊后擴(kuò)大了網(wǎng)絡(luò)的感受野，以便捕獲多尺度圖像信息。之后利用改進(jìn)的 SegAN 對(duì)血管進(jìn)行提取，得到了具有較高準(zhǔn)確度的分割圖像。借用線(xiàn)性譜聚類(lèi)超像素邊緣貼合性高、計(jì)算速度快、分割效果好的優(yōu)點(diǎn)，將 SegAN 的分割結(jié)果映射到超像素分割圖上，對(duì)像素塊進(jìn)行分類(lèi)。實(shí)驗(yàn)證明該方法對(duì)于血管的提取與分割有著較好的效果。對(duì)于增殖型糖尿病視網(wǎng)膜病變圖像，以及普通視網(wǎng)膜圖像中少量細(xì)血管分支不連續(xù)性問(wèn)題則需要進(jìn)一步的研究。

圖 6 分割結(jié)果Fig. 6 Segmentation result