曾興暉, 許祥叢， 李 曉， 王茗祎， 鐘俊平， 熊紅蓮*

(1. 佛山科學(xué)技術(shù)學(xué)院機(jī)電工程與自動(dòng)化學(xué)院， 佛山 528225； 2. 佛山科學(xué)技術(shù)學(xué)院物理與光電工程學(xué)院， 佛山 528225)

光學(xué)相干層析成像(Optical Coherence Tomography，OCT)視網(wǎng)膜圖像的定性評(píng)估可以為臨床決策提供關(guān)鍵信息，包括眼部疾病的分類和檢測(cè)信息[1-2]. 量化OCT視網(wǎng)膜數(shù)據(jù)對(duì)于診斷眼科疾病、研究眼睛形態(tài)的變化非常重要[3-4],能幫助眼科醫(yī)生發(fā)現(xiàn)早期疾病、跟蹤疾病進(jìn)展和監(jiān)測(cè)治療效果[5-6]. 視網(wǎng)膜層分割是OCT圖像分析中的一項(xiàng)基礎(chǔ)性工作，開發(fā)可靠的OCT視網(wǎng)膜圖像分割方法一直是研究與視網(wǎng)膜層厚度相關(guān)疾病的重點(diǎn). 將OCT視網(wǎng)膜圖像分成10個(gè)區(qū)域，大多數(shù)自動(dòng)分割方法關(guān)注的焦點(diǎn)是區(qū)域間的9條邊界. 從眼睛內(nèi)部向外，這10個(gè)區(qū)域包括：玻璃體、視網(wǎng)膜神經(jīng)纖維層(RNFL)、神經(jīng)節(jié)細(xì)胞層和內(nèi)叢狀層(GCL+IPL)、內(nèi)核層(INL)、外叢狀層(OPL)、外核層(ONL)、內(nèi)段(IS)、外段(OS)、視網(wǎng)膜色素上皮層(RPE)、脈絡(luò)膜.

為了快速準(zhǔn)確地得到OCT視網(wǎng)膜圖像分層結(jié)果，視網(wǎng)膜層的自動(dòng)分割技術(shù)已被廣泛研究[7-13]. 水平集方法[7-8,13]在獲得拓?fù)浣Y(jié)構(gòu)正確的視網(wǎng)膜層分割技術(shù)中效果顯著，但是水平集方法計(jì)算耗時(shí)較長(zhǎng)，分層結(jié)果的運(yùn)行時(shí)間往往需要幾個(gè)小時(shí). 基于圖像搜索的方法[9，10]也已被廣泛應(yīng)用于視網(wǎng)膜圖像的分割. 最新技術(shù)使用機(jī)器學(xué)習(xí)[12，14-15]的方式(如隨機(jī)森林[12])進(jìn)行像素級(jí)的標(biāo)記分類，并使用圖像搜索方法來(lái)提取分層結(jié)果. 雖然這些方法已經(jīng)表現(xiàn)出顯著的優(yōu)點(diǎn)，但是受到手動(dòng)選擇特征和模型參數(shù)的限制，面對(duì)不同采集環(huán)境下的數(shù)據(jù)時(shí)需要重新選擇合適的特征和參數(shù).

近年來(lái)，深度學(xué)習(xí)在醫(yī)學(xué)影像的分割任務(wù)中取得了一定的進(jìn)展. FANG等[11]針對(duì)OCT視網(wǎng)膜圖像中9條邊界的自動(dòng)分割問題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)和圖像搜索(Graphical Search，簡(jiǎn)稱CNN-GS)的方法. 該方法采用CHIU等[10]基于圖論的OCT視網(wǎng)膜分割方法，但用CNN代替了邊緣檢測(cè)的步驟. FANG使用深度網(wǎng)絡(luò)預(yù)測(cè)給定圖像塊中心像素的類別，利用圖像搜索對(duì)預(yù)測(cè)的類別信息進(jìn)行邊界提取操作，該方法對(duì)每個(gè)像素位置都選定固定大小的窗口，預(yù)測(cè)單張視網(wǎng)膜圖的結(jié)果就需要對(duì)上萬(wàn)個(gè)圖像塊進(jìn)行計(jì)算，這樣產(chǎn)生了計(jì)算冗余，使結(jié)果預(yù)測(cè)十分費(fèi)時(shí). 本文使用RAU-net對(duì)視網(wǎng)膜層進(jìn)行分割，只需要將單張視網(wǎng)膜圖像剪切為20個(gè)圖像塊并進(jìn)行預(yù)測(cè)，就能得到單張圖的視網(wǎng)膜層分割結(jié)果. 再采用圖像搜索方法對(duì)分割的邊界進(jìn)行優(yōu)化，可以快速準(zhǔn)確地提取視網(wǎng)膜層的9條邊界.

1 研究方法

提出的方法主要分為三部分：首先是對(duì)視網(wǎng)膜圖像進(jìn)行預(yù)處理，剪切為128 px×128 px的圖像塊；然后利用RAU-net實(shí)現(xiàn)對(duì)視網(wǎng)膜層的分割；最后運(yùn)用Dijkstra方法[16]進(jìn)行邊界優(yōu)化，最終得到分層結(jié)果. 具體流程如圖1所示.

圖1 算法流程圖

1.1 預(yù)處理

采用AURA(Automated Retinal Analysis Tools)工具包對(duì)OCT視網(wǎng)膜圖像(784 px×1 024 px,128幀)進(jìn)行強(qiáng)度歸一化和壓平處理[12]：首先以視網(wǎng)膜層的BM(Bruch’s Membrane)邊界為基準(zhǔn)壓平圖像，并將每張B-scan圖像剪切為128 px×1 024 px大小的圖像塊，保留需要分割的視網(wǎng)膜部分，去除脈絡(luò)膜和玻璃體部分；然后從每張B-scan圖像中提取20個(gè)水平重疊大小為128 px×128 px的圖像塊用于訓(xùn)練. 在測(cè)試中，將輸出的分割結(jié)果按輸入圖像塊在原圖像的位置重建為完整的視網(wǎng)膜分割圖像.

1.2 殘差網(wǎng)絡(luò)和注意力機(jī)制結(jié)合的分割網(wǎng)絡(luò)

1.2.1 殘差網(wǎng)絡(luò) 為了使模型學(xué)習(xí)更多視網(wǎng)膜層的抽象特征，一般采用更深層次的網(wǎng)絡(luò)來(lái)學(xué)習(xí)高級(jí)特征，但更深的網(wǎng)絡(luò)往往會(huì)帶來(lái)梯度消失或者梯度爆炸的問題. HE等[15]提出了殘差網(wǎng)絡(luò)(Resnet)，通過(guò)引入殘差塊(Residual Block)構(gòu)建深層網(wǎng)絡(luò)，這在很大程度上消除了深層體系結(jié)構(gòu)中存在的梯度消失和爆炸的問題. 如圖2所示，殘差塊以x為輸入項(xiàng)，H(x)為輸出項(xiàng)，其中F(x)為殘差映射函數(shù). 當(dāng)構(gòu)建深層網(wǎng)絡(luò)時(shí)，模型難以直接擬合實(shí)際映射H(x),殘差網(wǎng)絡(luò)通過(guò)引入快捷連接將問題轉(zhuǎn)換為擬合殘差映射函數(shù)F(x),此時(shí)實(shí)際映射H(x)表示為H(x)=F(x)+x.

圖2 殘差塊結(jié)構(gòu)

在極端情況下，如果單位映射是最優(yōu)的，那么將殘差構(gòu)建為0,比通過(guò)非線性層來(lái)擬合單位映射更容易，即此時(shí)F(x)=0,用一個(gè)恒等映射函數(shù)H(x)=x表示一組堆疊網(wǎng)絡(luò)層的最佳解映射，模型只需最小化殘差函數(shù)F(x)=H(x)-x來(lái)逼近實(shí)際映射，以解決網(wǎng)絡(luò)層堆疊的性能退化問題.

假設(shè)現(xiàn)有L個(gè)殘差塊進(jìn)行堆疊連接，以x(l)表示第l個(gè)殘差塊的輸入項(xiàng). 可推導(dǎo)第L個(gè)殘差塊的輸出項(xiàng)為：

(1)

由式(1)可知，殘差網(wǎng)絡(luò)的特征是各層殘差特征的累加，保證了l+1層比l層擁有更多的特征信息.

1.2.2 注意力機(jī)制 注意力機(jī)制(Attention Mechanism)的實(shí)質(zhì)是計(jì)算注意力的概率分布，對(duì)重要的特征分配更多的注意力,突出關(guān)鍵特征對(duì)結(jié)果的影響，常用于時(shí)間序列分析相關(guān)的深度學(xué)習(xí)模型中[17]. 在U-net中編碼器用于提取圖像特征，對(duì)提取的特征圖進(jìn)行上采樣，生成分割圖像. 在U-net的解碼器端引入注意力門(Attention Gate,AG)[18]，對(duì)編碼器中通過(guò)跳躍連接(Skip Connection)傳播得到的重要特征進(jìn)行增強(qiáng)處理，并抑制無(wú)關(guān)的特征. 注意力門模塊是一種柔性注意力機(jī)制的應(yīng)用，具體的內(nèi)部結(jié)構(gòu)如圖3所示.

若采用尿沉渣分析儀和尿干化學(xué)分析儀聯(lián)合方法,對(duì)尿液紅細(xì)胞進(jìn)行檢測(cè)時(shí),結(jié)果均提示為陰性,則提示光學(xué)顯微鏡鏡檢結(jié)果是正常;若前一檢測(cè)儀結(jié)果為陰性而后一檢測(cè)儀結(jié)果呈陽(yáng)性時(shí),究其原因,可能是尿液中含有肌紅蛋白、某些不耐熱的酶等,如果紅細(xì)胞處于PH環(huán)境中或不同滲透壓而造成的溶血;若前一檢測(cè)儀結(jié)果為陽(yáng)性而后一檢測(cè)儀結(jié)果呈陰性時(shí),那么可能是由于晶體匯集、類酵母菌和細(xì)菌的干擾,其中最為常見的是結(jié)晶干擾。

圖3 注意力門的結(jié)構(gòu)

注意力門的輸入項(xiàng)是門控信號(hào)g和特征映射x. 在U-net[14]結(jié)構(gòu)上，將跳躍連接的特征信息作為輸入項(xiàng)x，將解碼器中上采樣后的特征信息作為門控信號(hào)g. 模塊的構(gòu)成包括線性變換Wg、Wx和ψ，偏置為bg和bψ，激活函數(shù)為Relu和Sigmoid，其中線性變換通過(guò)1×1通道的卷積實(shí)現(xiàn)，線性變換Wg和Wx的結(jié)果通過(guò)相加的方式結(jié)合，其目標(biāo)是對(duì)每個(gè)像素矢量xi計(jì)算注意力系數(shù)αi[0,1]：

(2)

使用三線性插值進(jìn)行網(wǎng)格重采樣后得到注意力系數(shù)α. 注意力門模塊的輸出項(xiàng)為輸入項(xiàng)特征x和注意力系數(shù)α的乘積.

1.2.3 網(wǎng)絡(luò)結(jié)構(gòu) 本模型使用U-net為基本框架[14]，在此基礎(chǔ)上結(jié)合殘差網(wǎng)絡(luò)和注意力機(jī)制，因此該網(wǎng)絡(luò)模型稱為殘差和注意力U-net(Residual and Attention U-net，RAU-net). 如圖4所示，與U-net類似，該網(wǎng)絡(luò)結(jié)構(gòu)包含編碼和解碼兩部分，在編碼部分輸入OCT視網(wǎng)膜圖像并提取特征，解碼部分使用特征圖和語(yǔ)義信息來(lái)生成預(yù)測(cè)圖像作為分割結(jié)果.

圖4 RAU-net結(jié)構(gòu)

與傳統(tǒng)U-net框架不同，RAU-net使用殘差塊結(jié)構(gòu)進(jìn)行特征提取[19]，采用[3×3]卷積層、激活函數(shù)Relu來(lái)構(gòu)建殘差塊. 在編碼與解碼部分跳躍連接處加入注意力門. 在編碼部分，第一個(gè)殘差塊處理后的通道數(shù)是32，將網(wǎng)絡(luò)的編碼中每個(gè)殘差塊處理后的通道數(shù)加倍，使用[2×2]最大池化(Maxpooling)和[2×2]上采樣將數(shù)據(jù)在不同尺度之間轉(zhuǎn)換. 殘差塊的結(jié)構(gòu)有助于解決梯度問題，能夠在加深網(wǎng)絡(luò)層次、提取高維度特征的同時(shí)抑制梯度問題的出現(xiàn). 通過(guò)結(jié)合殘差塊結(jié)構(gòu)和注意力門結(jié)構(gòu)，RAU-net可以獲得更高級(jí)的特征，以及模型更加關(guān)注于視網(wǎng)膜層重要特征的分割. 該模型的輸入項(xiàng)是大小為128 px×128 px的OCT視網(wǎng)膜切塊圖像，輸出項(xiàng)是8個(gè)大小為128 px×128 px的概率圖，分別表示7個(gè)視網(wǎng)膜層和背景(玻璃體和脈絡(luò)膜)的預(yù)測(cè)結(jié)果.

1.3 邊界優(yōu)化

首先通過(guò)RAU-net分割得到視網(wǎng)膜層的分層結(jié)果，然后對(duì)結(jié)果進(jìn)行拓?fù)湫Ｕ?，再由校正的結(jié)果確定9條邊界的感興趣區(qū)域(Region of Interest,ROI)，最后應(yīng)用Dijkstra方法優(yōu)化視網(wǎng)膜層的9條邊界.

由于層邊界具有連續(xù)性，因此可通過(guò)拓?fù)湫Ｕl(fā)現(xiàn)異常區(qū)域并將其清除，然后由線性插值對(duì)邊界上的點(diǎn)擬合出容忍邊界，限制2條邊界之間的層越界，有效保證了圖像搜索結(jié)果的魯棒性. 最后由Dijkstra算法確定最小加權(quán)路徑[16]，即視網(wǎng)膜層的分層邊界. 視網(wǎng)膜B-scan模擬(圖5)將視網(wǎng)膜圖表示為節(jié)點(diǎn)圖并進(jìn)行權(quán)重分配[10]. 以視網(wǎng)膜層分割后的9條邊界作為基準(zhǔn)線，通過(guò)上下拓寬2 px來(lái)確定搜索區(qū)域，尋找最優(yōu)邊界.

圖5 節(jié)點(diǎn)圖分割過(guò)程

1.4 實(shí)驗(yàn)數(shù)據(jù)集

研究數(shù)據(jù)來(lái)自佛山科學(xué)技術(shù)學(xué)院光電技術(shù)實(shí)驗(yàn)室的數(shù)據(jù)庫(kù)，采集于15 名受試者的視網(wǎng)膜OCT數(shù)據(jù). 所用采集儀器為眼底斷層掃描系統(tǒng)(3D OCT-1 Maestro，日本拓普康). 每一組視網(wǎng)膜OCT數(shù)據(jù)包含128張B-scan圖，且每張圖的尺寸為2.3 mm×6 mm，包含784 px×1 024 px.

1.5 評(píng)價(jià)標(biāo)準(zhǔn)

使用平均絕對(duì)誤差(Mean Absolute Error，MAE)和均方根誤差(Root Mean Square Error，RMSE)來(lái)評(píng)價(jià)算法在測(cè)試數(shù)據(jù)上的結(jié)果. 將P定義為預(yù)測(cè)結(jié)果，G定義為實(shí)際值，計(jì)算公式如下：

(3)

(4)

2 結(jié)果與討論

2.1 準(zhǔn)確率與損失函數(shù)

本文模型基于keras框架，使用Adagrad方法優(yōu)化權(quán)值和偏置，達(dá)到最高的準(zhǔn)確率和最小的損失函數(shù)值. 使用交叉熵?fù)p失函數(shù)計(jì)算損失函數(shù)值. 模型的準(zhǔn)確率及損失函數(shù)曲線如圖6所示. RAU-net模型表現(xiàn)出較高的準(zhǔn)確性，準(zhǔn)確率達(dá)到了98.39%.

圖6 準(zhǔn)確率和損失函數(shù)曲線

2.2 RAU-net分割結(jié)果的分析

基于RAU-net的視網(wǎng)膜層分割過(guò)程(圖7A)，將RAU-net得到的分割結(jié)果進(jìn)行拼接,得到完整的B-scan分割圖(圖7B)，不同層之間用不同顏色表示. 圖7B中校正前第二層可見明顯的紅色斑塊,這是由于高反射偽影或散斑噪聲的影響產(chǎn)生誤差而導(dǎo)致的異常點(diǎn). 通過(guò)層之間的拓?fù)潢P(guān)系，對(duì)異常點(diǎn)進(jìn)行定位并清除(圖7B). 這有效保證了圖像搜索結(jié)果的魯棒性.

圖7 視網(wǎng)膜分割

2.3 ROI區(qū)域搜索的結(jié)果

為了提高分層邊界的精度，根據(jù)RAU-net的分割結(jié)果確定了含有9條邊界的ROI區(qū)域(圖8)，在該區(qū)域內(nèi)搜索最優(yōu)邊界，可得到更精準(zhǔn)的視網(wǎng)膜邊界. 另外，所劃定的ROI區(qū)域較小，有助于提高搜索效率.

圖8 9條邊界的ROI區(qū)域

2.4 定性與定量分析

對(duì)比研究FANG的方法[11](圖9A、B)與本文方法(圖9C、D)在視網(wǎng)膜上的分層結(jié)果可知：本文的分層結(jié)果與實(shí)際分層結(jié)果更加貼合，尤其針對(duì)存在血管陰影的視網(wǎng)膜圖(如圖9B中與圖9D中血管造成的陰影位置)，F(xiàn)ANG的方法把血管陰影的邊界當(dāng)作了視網(wǎng)膜層的邊界. 這是由于FANG采取邊界分類，且所采用的網(wǎng)絡(luò)深度太淺，導(dǎo)致學(xué)習(xí)到的特征信息有限，將血管的邊界誤判為視網(wǎng)膜層的邊界. 而RAU-net針對(duì)視網(wǎng)膜層做分割，網(wǎng)絡(luò)能夠更好地理解每個(gè)視網(wǎng)膜層的區(qū)域性. RAU-net應(yīng)用殘差塊加深了網(wǎng)絡(luò)的深度，提取高維特征的同時(shí)避免梯度問題，能提取視網(wǎng)膜圖像中更高級(jí)的特征. 而注意力門結(jié)構(gòu)的突出有利于分割重要特征，減少無(wú)關(guān)特征信息的干擾，從而消除了血管陰影對(duì)分層的影響.

圖9 本文與FANG的方法[11]分割的結(jié)果

將RAU-net+Dijkstra方法與FANG采用的CNN-GS方法在視網(wǎng)膜自動(dòng)分層的準(zhǔn)確性和效率上進(jìn)行比較(表1).

表1 2種方法的像素級(jí)評(píng)估

與FANG的方法相比，本文方法表現(xiàn)出了更高的準(zhǔn)確性. ILM、RNFL-GCL、INL-OPL、OPL-ONL、ELM、IS-OS、OS-RPE、BM的均方根誤差均小于2，只有IPL-INL邊界的均方根誤差達(dá)到了2.127 3，而FANG的方法均方根誤差達(dá)到了4.163 2. 這是由于RAU-net和Dijkstra法相結(jié)合，得到了更多的視網(wǎng)膜邊界特征，提高了自動(dòng)分層的精確度，使誤差明顯降低. 由實(shí)驗(yàn)可知，F(xiàn)ANG的方法分層處理每張B-scan圖像需10 min，而本文方法僅需4 s. 這在實(shí)際應(yīng)用中可以顯著提高醫(yī)療診斷效率.

3 結(jié)論

針對(duì)OCT視網(wǎng)膜圖像的自動(dòng)分層成像，提出了一種基于RAU-net與圖像搜索結(jié)合的快速分層方法，快速、精確地完成視網(wǎng)膜的分層成像. 結(jié)果表明：本文的實(shí)驗(yàn)結(jié)果在精確度上表現(xiàn)優(yōu)秀，且速度快. 研究結(jié)果為OCT視網(wǎng)膜圖像邊界的分割提供了一種新的思路，為臨床診斷治療提供了一種高效的定量參考方法.