方楊 胡建明 陳葛
摘? 要:糖尿病性視網(wǎng)膜病變、青光眼病變等視網(wǎng)膜疾病是目前高致盲眼病,其病理特征表現(xiàn)為層狀組織結(jié)構(gòu)的異常,因此具有高精度、高魯棒性的視網(wǎng)膜層分割技術(shù)是視網(wǎng)膜疾病篩查的重要依據(jù)。通過(guò)對(duì)四種經(jīng)典分層模型實(shí)現(xiàn)原理和發(fā)展歷程的詳細(xì)闡述,對(duì)比分析出各種分層模型的固有特性,介紹了自動(dòng)分層技術(shù)的最新研究進(jìn)展以及眼科領(lǐng)域應(yīng)用。直觀地展示了自動(dòng)分層技術(shù)與人工智能相結(jié)合的發(fā)展趨勢(shì),為視網(wǎng)膜層狀結(jié)構(gòu)分割技術(shù)的深入研究和實(shí)用化提供參考。
關(guān)鍵詞:視網(wǎng)膜層分割技術(shù);經(jīng)典分層模型;眼科應(yīng)用;人工智能
中圖分類號(hào):TP391? ? ? ?文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):2096-4706(2020)24-0023-07
A Review of Automatic Slicing Techniques for Retinal Optical Coherence Tomography
FANG Yang1,HU Jianming1,CHEN Ge1,2
(1.College of Physics and Electronic Engineering,Chongqing Normal University,Chongqing? 401331,China;
2.School of Physics,University of Electronic Science and Technology of China,Chengdu? 610054,China)
Abstract:Diabetic retinopathy,glaucoma and other retinal diseases are currently high blinding diseases,whose pathological characteristics are abnormal layered tissue structure. Therefore,retinal layer segmentation technology with high accuracy and high robustness is an important basis for retinal disease screening. Based on the elaboration of the realization principle and development history of four classical hierarchical models,the inherent characteristics of each stratification model are compared and analyzed,and the latest research progress of automatic layering technology and its application in ophthalmology are introduced. The development trend of the combination of automatic layering technology and artificial intelligence is an intuitive demonstration,which provides a reference for the further research and practical application of retinal layered structure segmentation technology.
Keywords:retinal layer segmentation technology;classical hierarchical model;ophthalmic application;artificial intelligence
0? 引? 言
隨著醫(yī)學(xué)影像技術(shù)的發(fā)展,眼組織成像設(shè)備逐漸誕生了眼科超聲診斷、眼底鏡、檢眼鏡以及光學(xué)相干層析成像(Optical Coherence Tomography,OCT)。OCT具有無(wú)損傷、非接觸、高靈敏度、高分辨率、實(shí)時(shí)性好以及能夠?qū)ν该?、渾濁、?qiáng)散射介質(zhì)成像等優(yōu)勢(shì)[1],目前已經(jīng)在臨床診療與科學(xué)研究方面得到了廣泛的應(yīng)用,其應(yīng)用領(lǐng)域包含眼科、牙科、皮膚科等,1991年,美國(guó)麻省理工學(xué)院的Huang等首次成功地將OCT應(yīng)用于眼組織成像[2],推動(dòng)了OCT技術(shù)在眼科領(lǐng)域的發(fā)展。
眼底視網(wǎng)膜組織結(jié)構(gòu)不均勻,各組織層對(duì)光的吸收和散射強(qiáng)度不同,導(dǎo)致視網(wǎng)膜OCT圖像呈現(xiàn)明暗交替的現(xiàn)象,清晰地反映各視網(wǎng)膜層的細(xì)致結(jié)構(gòu)和各類視網(wǎng)膜病變特征。視網(wǎng)膜層結(jié)構(gòu)和層厚度的準(zhǔn)確度量是許多研究和輔助疾病初步診斷的關(guān)鍵,然而人工提取耗時(shí)、主觀,限制了它在大規(guī)模研究中的實(shí)用性[3],因此對(duì)眼底視網(wǎng)膜層自動(dòng)分層尤為重要,眼科醫(yī)生能夠借助眼底視網(wǎng)膜OCT圖像的層間分割和視網(wǎng)膜層厚度的準(zhǔn)確度量情況實(shí)現(xiàn)篩查和診斷糖尿病性視網(wǎng)膜病變、青光眼、老年性黃斑病變和中心漿液脈絡(luò)膜視網(wǎng)膜病變等高致盲眼科疾病。1995年,Hee等首次實(shí)現(xiàn)眼底視網(wǎng)膜OCT圖像的層間分割功能,完成了對(duì)整個(gè)視網(wǎng)膜和神經(jīng)纖維層的分層和厚度的測(cè)量功能[4]。
二十多年來(lái),國(guó)內(nèi)外相關(guān)專家和優(yōu)秀學(xué)者在視網(wǎng)膜分割領(lǐng)域不斷探索和研究,使得視網(wǎng)膜OCT圖像分層技術(shù)從最初的1至2層分割逐漸過(guò)渡到3至7層分割,再到9至10層,然而,視網(wǎng)膜層狀結(jié)構(gòu)的分割準(zhǔn)確性,病理部分分割輪廓與實(shí)際輪廓擬合效果有待提升。隨著人工智能(AI)的發(fā)展,自動(dòng)分層與AI相結(jié)合進(jìn)行疾病輔助篩查,自動(dòng)分層高魯棒性、高準(zhǔn)確性變得尤為重要,因此本文主要是對(duì)視網(wǎng)膜光學(xué)相干層析圖像的自動(dòng)分層算法進(jìn)行歸納總結(jié),通過(guò)四種經(jīng)典算法模型的實(shí)驗(yàn)原理、研究現(xiàn)狀、眼科應(yīng)用以及各種分層模型的優(yōu)缺點(diǎn)進(jìn)行詳細(xì)分析,希望通過(guò)討論,為視網(wǎng)膜層狀結(jié)構(gòu)的最優(yōu)分割提供算法參考,能夠?yàn)獒t(yī)學(xué)影像處理提供算法技術(shù)參考。
1? 原理及發(fā)展歷程
OCT是一種基于低相干光干涉原理進(jìn)行成像的技術(shù),本文介紹的眼底視網(wǎng)膜頻域OCT圖像是采用近紅外寬帶光源通過(guò)邁克爾遜干涉儀將光束分為兩束,一束通過(guò)參考臂中參考鏡返回參考光,另一束通過(guò)樣品臂返回樣品光,兩束光由于具有相近的光程差進(jìn)而發(fā)生干涉現(xiàn)象,得到所測(cè)樣品臂中樣品的深度信息,將返回的眼睛深度信息的干涉信號(hào)傳送到光譜儀或光電檢測(cè)器,經(jīng)過(guò)上位機(jī)處理后提取出樣品的有用信息,然后結(jié)合機(jī)械掃描結(jié)果實(shí)現(xiàn)對(duì)樣品的層析成像。其原理如圖1所示。
視網(wǎng)膜OCT圖像自動(dòng)分層技術(shù)是對(duì)采集的OCT圖像進(jìn)行預(yù)處理,消除圖片中產(chǎn)生的雜散噪聲;然后,對(duì)灰度不同的各層或灰度相近的幾層使用不同的算法實(shí)現(xiàn)視網(wǎng)膜圖像的層間分割;接著,對(duì)各層邊界分割的結(jié)果進(jìn)行校正分析并計(jì)算視網(wǎng)膜的厚度;最后,將得到的各視網(wǎng)膜層邊界輪廓和厚度信息結(jié)合醫(yī)學(xué)知識(shí)進(jìn)行病理推斷。
1995年,Hee根據(jù)OCT圖像中明顯灰度變化特征首次成功實(shí)現(xiàn)了視網(wǎng)膜邊界分割,得到視網(wǎng)膜中神經(jīng)纖維層的邊界[4];2010年,Lu等采用改進(jìn)后的邊緣活動(dòng)輪廓檢測(cè)算子,獲得了5條視網(wǎng)膜邊界[5];2015年,Tian根據(jù)圖搜索最短路徑的算法,開(kāi)發(fā)了一套全自動(dòng)視網(wǎng)膜分割系統(tǒng)[6];2018年,劉云采用基于全卷積神經(jīng)網(wǎng)絡(luò)結(jié)合圖論的方法,實(shí)現(xiàn)了對(duì)各層邊界精確分割的效果[7];2018年,Abhay等人提出了基于卷積神經(jīng)網(wǎng)絡(luò)的視網(wǎng)膜層分割,成功完成50例試驗(yàn)者的黃斑變性疾病篩查[8];2019年,陳明惠等提出了一種改進(jìn)遺傳算法和最佳熵法相結(jié)合的方法,最終能夠快速準(zhǔn)確提取黃斑水腫區(qū)域輪廓信息[9];2020年,陳安通等提出基于卷積神經(jīng)網(wǎng)絡(luò)的嚙齒動(dòng)物眼睛視網(wǎng)膜層的訓(xùn)練策略進(jìn)行比較,從而得到有效加快培訓(xùn)速度能提升分割精度[10];2020年,中山大學(xué)公開(kāi)了一種于深度學(xué)習(xí)的視網(wǎng)膜層和積液區(qū)域的層分割方法及系統(tǒng),最終得到清晰的視網(wǎng)膜輪廓[11]。
通過(guò)近幾年內(nèi)國(guó)內(nèi)外研究趨勢(shì)可知,視網(wǎng)膜層間分割技術(shù)主要使用圖像邊界像素強(qiáng)度信息結(jié)合非線性函數(shù)模型、曲線輪廓擬合、訓(xùn)練神經(jīng)網(wǎng)絡(luò)、最短路徑搜索等方式,分割結(jié)果精準(zhǔn),但很少能夠解決十層視網(wǎng)膜的準(zhǔn)確分割。
2? 經(jīng)典分割模型原理及發(fā)展現(xiàn)狀
2.1? 基于邊緣像素特征模型
基于邊緣灰度變化的方法是對(duì)采集的OCT圖像進(jìn)行灰度轉(zhuǎn)換,確定濾波模型、對(duì)濾波后圖像進(jìn)行增強(qiáng)或銳化等預(yù)處理操作得到包含圖像灰度信息的二維矩陣;根據(jù)二維矩陣灰度信息得到明暗相間邊界,根據(jù)明暗條紋獲得動(dòng)態(tài)變化閾值,根據(jù)邊緣灰度強(qiáng)弱逐列進(jìn)行強(qiáng)度峰值圖像檢測(cè),找到相近峰值信息進(jìn)行連通域擬合得到圖像邊界。
賀琪欲等人根據(jù)A-scan圖像信息設(shè)置可變閾值進(jìn)行逐層分割邊界分割[12];Miura等人通過(guò)灰度變化算法,獲得了視網(wǎng)膜的輪廓信息[13];Ishikawa等人采用自適應(yīng)閾值技術(shù),得到了4層視網(wǎng)膜邊界并對(duì)正常人與青光眼患者在NFL層厚度測(cè)量結(jié)果進(jìn)行對(duì)比分析[14]。
2020年,Maryam應(yīng)用邊緣特征模型成功實(shí)現(xiàn)層間分割,原理:通過(guò)構(gòu)造一個(gè)包含多個(gè)參考圖像之間關(guān)系的稀疏矩陣庫(kù),構(gòu)造庫(kù),稀疏性去噪,插值的方法對(duì)低質(zhì)量的缺失信息進(jìn)行預(yù)測(cè)。圖像中相鄰像素的強(qiáng)度值的平均值算法為[15]:
avei,j=? ? ? ? ? ? ? ? ? ? ? ? ? ?(1)
其中,Zi,j為單個(gè)像素點(diǎn)所在的位置,avei,j為相鄰Zi,j的平均強(qiáng)度值,Xa,b為Za,b的強(qiáng)度值,Gi,j為相鄰Zi,j的集合, 為環(huán)繞Zi,j的方形窗口。
該方案實(shí)現(xiàn)了10條邊界的分割,由于初始圖像層與層之間對(duì)比度不高,導(dǎo)致最終的分割輪廓不太準(zhǔn)確。分割效果圖如圖2所示。
綜上,根據(jù)灰度強(qiáng)度變化特性查找邊緣輪廓算法原理簡(jiǎn)單,操作便捷,能快速分割出高對(duì)比度區(qū)域等優(yōu)勢(shì),但由于視網(wǎng)膜圖像的層間對(duì)比度普遍較低以及血管信息影響會(huì)抑制灰度分割的層數(shù)和邊界的準(zhǔn)確性,所以單獨(dú)的使用灰度信息分割很難實(shí)現(xiàn)十層分割效果,該模型適用于區(qū)域內(nèi)對(duì)比度高的邊緣,該模型目前主要是結(jié)合稀疏性3D去噪,提升圖像對(duì)比度,進(jìn)而根據(jù)邊緣像素強(qiáng)度值實(shí)現(xiàn)視網(wǎng)膜層分割。
2.2? 基于活動(dòng)輪廓模型
結(jié)合了物理學(xué)能量方程、幾何特征和逼近理論等相關(guān)知識(shí)的活動(dòng)輪廓模型是在圖像域上預(yù)先定義一個(gè)包含邊緣曲線數(shù)據(jù)的開(kāi)放或封閉的彈性曲線C,根據(jù)牛頓或拉格朗日動(dòng)力學(xué)的規(guī)則對(duì)圖像信息選取合適的能量泛函,然后通過(guò)最小能量泛函產(chǎn)生的基于外力形式的外部和內(nèi)部約束力引發(fā)曲線的變化,使其能夠逐漸逼近目標(biāo)邊緣,當(dāng)曲線C的能量泛函取最小值時(shí)曲線的位置即為目標(biāo)輪廓所在的位置。
Fernandez等采用主動(dòng)輪廓模型查找視網(wǎng)膜黃斑區(qū)域充滿液體的區(qū)域,通過(guò)對(duì)比驗(yàn)證可知,該方法更合理、更有效的檢測(cè)出黃斑病變[16];Azadeh等使用具有先驗(yàn)參數(shù)信息的多相圓形框架來(lái)平衡能量泛函中不同術(shù)語(yǔ)的權(quán)重,最終能夠在視網(wǎng)膜神經(jīng)纖維層、神經(jīng)節(jié)細(xì)胞層和內(nèi)叢狀層上得到較高相似系數(shù)[17]。
2019,Dodo等采用邊緣活動(dòng)輪廓水平集模型成功分割視網(wǎng)膜OCT圖像。采用高斯濾波進(jìn)行預(yù)處理,一副視網(wǎng)膜OCT圖像根據(jù)灰度屬性可分為高反射率層、梯度峰值層、最短路徑層,將具有相似屬性層歸納為同一區(qū)域(ROI),從初始化圖像ROI區(qū)域獲取梯度邊緣信息用于設(shè)置分割閾值T,使用速度場(chǎng)F使曲線從初始層向目標(biāo)層邊界拓展,進(jìn)而得到與人工標(biāo)注層的邊界位置一致的7層視網(wǎng)膜輪廓信息[18]。
算法涉及的分割模型定義為:
(2)
其中, 為曲線向外的法線;F為速度場(chǎng),由圖像數(shù)據(jù)導(dǎo)出的外部速度和特征速度組成;Cb為初始化曲線。
通過(guò)Cb的內(nèi)部Lin點(diǎn)和外部Lout點(diǎn)的兩個(gè)列表唯一地表示層所在的邊界,其定義為:
(3)
其中,N(x)為x的孤立鄰域,?(x)為區(qū)域N(x)的像素水平集函數(shù),每一個(gè)水平集函數(shù)中坐標(biāo)點(diǎn)(x,y)對(duì)于曲線Cb的定義表達(dá)為:
(4)
該方案通過(guò)二值法實(shí)現(xiàn)邊緣的區(qū)分,具有較為準(zhǔn)確的邊緣輪廓,但邊緣線的提取算法需要進(jìn)一步優(yōu)化,實(shí)現(xiàn)邊緣的提取,實(shí)驗(yàn)效果圖如圖3所示。
綜上,基于活動(dòng)輪廓模型相對(duì)于傳統(tǒng)的A-Scan方法具有更高的分割精度和抗噪聲能力,而且將處于不同位置的初始曲線準(zhǔn)確的收斂于目標(biāo)邊界;但其最優(yōu)方法采用的是獲得局部最優(yōu)解,相較于全局最優(yōu)解,會(huì)存在一定的像素誤差并且所使用的能量函數(shù)需要提前獲取形狀的先驗(yàn)信息、邊緣信息和區(qū)域信息,加深初始曲線構(gòu)造難度且易出現(xiàn)構(gòu)造誤差,目前活動(dòng)輪廓模型中snake、水平集、區(qū)域生長(zhǎng)等方法能夠較為準(zhǔn)確的分割視網(wǎng)膜的各層輪廓。
2.3? 基于卷積神經(jīng)網(wǎng)絡(luò)的分割模型
卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型包括輸入層、隱藏層和輸出層,從輸入層輸入多個(gè)神經(jīng)元節(jié)點(diǎn)以及代表偏置節(jié)點(diǎn)且?guī)в薪鼐嘈畔⒌木W(wǎng)絡(luò)元,然后計(jì)算每個(gè)輸入層的神經(jīng)元到隱藏層的所有神經(jīng)元之間的連線產(chǎn)生的權(quán)值,將所得的權(quán)值與各個(gè)激活函數(shù)求積,最后將各個(gè)網(wǎng)絡(luò)所計(jì)算的值求和并加上各個(gè)單元的偏置項(xiàng)。
Yang等設(shè)計(jì)一套全卷積神經(jīng)網(wǎng)絡(luò),將邊界概率值作為權(quán)重結(jié)合圖論模型進(jìn)行最短路徑搜索,取得最終的邊界輪廓值[19];Mishra等采用增強(qiáng)的全卷積神經(jīng)網(wǎng)絡(luò)生成概率映射圖,將最短路徑算法與U-Net卷積神經(jīng)網(wǎng)絡(luò)結(jié)合,分割出11層視網(wǎng)膜[20];Ngo等采用深度神經(jīng)回歸模型,以圖像強(qiáng)度、梯度和自適應(yīng)歸一化強(qiáng)度作為學(xué)習(xí)的特征進(jìn)行訓(xùn)練并預(yù)測(cè)視網(wǎng)膜邊界輪廓[21]。
2019年,Masood等設(shè)計(jì)了一種卷積神經(jīng)網(wǎng)絡(luò)模型成功地分割多個(gè)視網(wǎng)膜曲面邊界,通過(guò)訓(xùn)練一個(gè)CNN對(duì)兩種不同類型OCT圖像的三層邊界曲線進(jìn)行分割,從視網(wǎng)膜表面信息獲取老年性黃斑病變的信息,本系統(tǒng)涉及的主要算法為[22]:
(1)OCT視網(wǎng)膜圖像中關(guān)于連通性計(jì)算公式為:
Cn=? ? ? ? ? ? ? ? ? ?(5)
其中,N0表示中心像素,Nk表示8個(gè)相鄰像素,N1表示中心像素右側(cè)的像素,所有剩余像素以逆時(shí)針順序圍繞像素編號(hào)。
(2)對(duì)需要分割的布魯赫膜(BM)進(jìn)行邊界標(biāo)記,其擬合曲線的算法為:
f(x)=ai(x-xi)3+bi(x-xi)3+ci(x-xi)3+di? ? ?(6)
其中,f(x)表示在像素點(diǎn)(xi,yi)擬合的曲線值;ai、bi、ci、di為多項(xiàng)式系數(shù)集;xi=1,2,3,…,n為要在曲線中映射的數(shù)據(jù)點(diǎn)。最終輸出函數(shù)f(x)為分割出的BM膜所在位置。
(3)實(shí)際目標(biāo)的最小交叉熵值,將最小化問(wèn)題轉(zhuǎn)換為算法表達(dá):
(7)
其中,θ*為參數(shù)θ的最大似然值; 為訓(xùn)練數(shù)據(jù)的熱編碼值。
(4)網(wǎng)絡(luò)參數(shù)θ的最小值,采用迭代的方法,其最小值即為是損耗函數(shù)的最小值,其目標(biāo)函數(shù)θ上的損失函數(shù)算法表示:
L(θ,X,Y)=-? ?(8)
其中,L為在目標(biāo)函數(shù)θ上計(jì)算的損失函數(shù),X,Y為輸入部分的坐標(biāo),采用梯度的隨機(jī)逼近法對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化。
(5)為了比較采用神經(jīng)網(wǎng)絡(luò)自動(dòng)分割獲得的厚度與醫(yī)生提供的厚度,其度量算法為:
err=? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(9)
其中,‖A‖為A12+A22+…+An2;A為該算法計(jì)算的厚度,B表示醫(yī)生提供的厚度,h和w分別表示圖像的高度和寬度。通過(guò)以上步驟,最終實(shí)現(xiàn)的是利用卷積神經(jīng)網(wǎng)絡(luò)的方法清晰的分割出視網(wǎng)膜脈絡(luò)膜的邊界,并將自動(dòng)分層的脈絡(luò)膜厚度與醫(yī)生提供的厚度信息對(duì)比,具有較高穩(wěn)合度。其分割效果圖如圖4所示。
綜上,卷積神經(jīng)網(wǎng)絡(luò)的分割方法通過(guò)權(quán)值共享,減少神經(jīng)網(wǎng)絡(luò)中復(fù)雜的多參數(shù),采用局部感受野方式實(shí)現(xiàn)有用區(qū)域的快速、有效搜索,通過(guò)加入池化層來(lái)減少輸出參數(shù)量,降低運(yùn)算量,防止過(guò)擬合現(xiàn)象,且具有低成本、高性能的優(yōu)勢(shì);但卷積神經(jīng)網(wǎng)絡(luò)的框架中包含的池化層在處理過(guò)程中丟失許多有價(jià)值的數(shù)據(jù),分塊訓(xùn)練數(shù)據(jù)會(huì)導(dǎo)致忽略整體與部分之間的關(guān)聯(lián),目前基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型查找醫(yī)學(xué)影像的邊界是目前研究的熱點(diǎn),能夠快速、準(zhǔn)確的獲得邊緣信息。
2.4? 基于圖論的分割模型
圖論模型是將每個(gè)視網(wǎng)膜OCT圖像轉(zhuǎn)換為一幅有向或無(wú)向加權(quán)圖,圖中所示的結(jié)點(diǎn)對(duì)應(yīng)著一個(gè)像素點(diǎn),每條邊的大小代表像素間的權(quán)重,最終在建立好的有向或無(wú)向圖中查詢最短路徑,找出視網(wǎng)膜層的邊界。
Haeker等首次采用圖搜索實(shí)現(xiàn)了黃斑區(qū)域時(shí)域3D-OCT圖像的5層邊界分割[23];Garvin等在采用圖最小分割算法和圖搜索算法的基礎(chǔ)上將時(shí)域拓展到頻域3D-OCT,實(shí)現(xiàn)6層邊界輪廓分割[24];Quellec等舍去時(shí)域3D-OCT,保留頻域3D-OCT像素信息,實(shí)現(xiàn)對(duì)視網(wǎng)膜的10層邊界定位[25];Tian等采用圖搜索開(kāi)發(fā)了一套全自動(dòng)視網(wǎng)膜OCT圖像層間分割系統(tǒng),實(shí)現(xiàn)視網(wǎng)膜的全自動(dòng)分割[26]。
2017年,F(xiàn)ang等采用卷積神經(jīng)網(wǎng)絡(luò)與圖搜索相結(jié)合的視網(wǎng)膜OCT圖像分割方法利用卷積神經(jīng)網(wǎng)絡(luò)分塊提取訓(xùn)練好的視網(wǎng)膜邊界特征,訓(xùn)練相應(yīng)的分類器來(lái)構(gòu)建八個(gè)視網(wǎng)膜層的預(yù)估;配合圖搜索的方法從創(chuàng)建好的概率圖查找最終邊界;最終精確分割出20只病變眼睛的8層視網(wǎng)膜邊界[27],該系統(tǒng)涉及關(guān)于圖論的主要算法為:
(1)采用Dijkstra算法來(lái)選取加權(quán)最小途徑,其權(quán)重的計(jì)算方法為:
wab=2-(ga+gb)+wmin? ? ? ? ? ? ? ? ? ? ? ?(10)
其中,wab為a與b邊界的權(quán)重值;ga,gb分別為節(jié)點(diǎn)a和b處垂直強(qiáng)度梯度;wmin為圖中可能的最小權(quán)重值。
(2)基于CNN構(gòu)建的概率圖的圖搜索層分割算法設(shè)計(jì)算法為:
=2-(pa,n+pb,n)+wmin? ? ? ? ? ? ? ? (11)
其中, 為分割第n層邊界時(shí)映射概率圖邊緣的權(quán)值;a,b為相鄰的像素;wmin表示為10-5;p為使用Dijkstra的最短路徑算法尋找圖像的最優(yōu)途徑。
綜上,采用圖論模型分割視網(wǎng)膜層邊界的方法能夠精準(zhǔn)地找出最優(yōu)解,不需要遍歷所有的分支,但需花費(fèi)大量精力用于構(gòu)造圖模型,運(yùn)行速度較慢,效率不高,目前將動(dòng)態(tài)圖論與神經(jīng)網(wǎng)絡(luò)方法進(jìn)行結(jié)合是查找邊界的主流方式。
分割的算法主要有基于灰度梯度的變化進(jìn)行邊界分割,但只能實(shí)現(xiàn)高對(duì)比層分割;基于邊緣曲線的能量泛函函數(shù)的方法,適合于分割邊緣曲線特征明顯的病變區(qū)域;基于神經(jīng)網(wǎng)絡(luò)的方法需要配合圖搜索,適合于已擁有大量訓(xùn)練數(shù)據(jù)的情況[28]。由此可見(jiàn),單純以一種算法模型很難實(shí)現(xiàn)十層視網(wǎng)膜OCT圖像的準(zhǔn)確分割,在今后研究中可以考慮結(jié)合多種模型進(jìn)行分割。
3? 視網(wǎng)膜層間分割技術(shù)的應(yīng)用
“十三五”全國(guó)眼健康規(guī)劃中強(qiáng)調(diào)2020年實(shí)現(xiàn)以分級(jí)診療制度為基礎(chǔ),探索建立視網(wǎng)膜病變?cè)缙诤Y查、診斷、轉(zhuǎn)診和治療的有效模式[29]。由此可見(jiàn),視網(wǎng)膜病變是國(guó)家眼健康關(guān)注的重點(diǎn),采用OCT技術(shù)對(duì)眼底視網(wǎng)膜成像能夠輔助實(shí)現(xiàn)大規(guī)模視網(wǎng)膜影像采集,但視網(wǎng)膜OCT影像的處理存在主觀分割誤差大和耗時(shí)耗力問(wèn)題,因此,視網(wǎng)膜OCT圖像的自動(dòng)分層變得迫切需要。常見(jiàn)且嚴(yán)重危害視力的視網(wǎng)膜疾病有糖尿病性視網(wǎng)膜病變(DR)、年齡相關(guān)性黃斑病變(AMD)、青光眼等[30]。
3.1? 糖尿病性視網(wǎng)膜病變
DR目前是西方發(fā)達(dá)國(guó)家四大致盲的原因之一,據(jù)調(diào)查,全球糖尿病性患者的DR發(fā)生率預(yù)計(jì)已超過(guò)20%[31],98%DR患者能通過(guò)早期篩查、診斷和即時(shí)治療避免致盲[32],2019年,中國(guó)約1.16億確診的糖尿病患者,其中70%患者從未做過(guò)眼科檢查和治療,DR發(fā)病率為27.9%~34.1%[33],因此,早期視網(wǎng)膜疾病的檢測(cè)和治療尤為重要。DR是由于視網(wǎng)膜毛細(xì)血管內(nèi)皮細(xì)胞色素上皮層(RPE)細(xì)胞間的聯(lián)合被破壞,造成小血管的滲透,其中糖尿病性黃斑水腫(DME)是糖尿病性視網(wǎng)膜病患者視力下降的主要原因,本文介紹的視網(wǎng)膜OCT圖像的層間分割是對(duì)DME的早期診斷和預(yù)防失明的有效途徑。
DME是糖尿病引起的黃斑中心凹區(qū)域細(xì)胞外液集聚導(dǎo)致視網(wǎng)膜增厚至少一個(gè)視盤直徑大小或硬滲出沉積。2016年,Wong使用卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行DME的篩查[34];2017年,Tyring采用深度學(xué)習(xí)的方法自動(dòng)分割黃斑水腫區(qū)域進(jìn)行DME的評(píng)估[35];2020年,Wang使用活動(dòng)輪廓算法實(shí)現(xiàn)黃斑水腫區(qū)域的分割,通過(guò)觀察和計(jì)算患有DME病變的患者視盤區(qū)域體積與正常人眼的明顯區(qū)別,分析DME病變[36]。
3.2? 青光眼疾病
青光眼是全球第二位致盲疾病,2020年,我國(guó)青光眼患者約1 644萬(wàn),占全球27.4%,居世界首位,全球有6 000萬(wàn)人患有青光眼,但只有50%患者檢測(cè)出疾病,然而檢測(cè)出疾病的患者中有50%已晚期[37]。面對(duì)如此低知曉率,迫切需要一套經(jīng)濟(jì)實(shí)惠、易于操作的OCT成像系統(tǒng),使用合理的視網(wǎng)膜OCT層間分割算法,幫助更多人實(shí)現(xiàn)視網(wǎng)膜疾病的自動(dòng)診斷。
青光眼病變是眼壓升高導(dǎo)致進(jìn)行性視神經(jīng)損害及視野缺損,最終損傷患者的視力,OCT圖像上表現(xiàn)為神經(jīng)纖維層(NFL)和神經(jīng)節(jié)細(xì)胞層(GCL+IPL)之間厚度變薄或消失[38]。因此,使用OCT層間分割技術(shù)實(shí)現(xiàn)NFL與GCL的厚度度量,被熱捧為眼科醫(yī)生診斷和評(píng)估青光眼發(fā)展情況的“金標(biāo)尺”[39]。
2018年,Tehmina采用邊緣特征模型,通過(guò)設(shè)置動(dòng)態(tài)灰度閾值實(shí)現(xiàn)頻域OCT內(nèi)界膜(ILM)和RPE層的分割,從而獲得圖像杯盤比(CDR),幫助醫(yī)生實(shí)現(xiàn)青光眼的檢測(cè)與評(píng)析[40]。2020年,HinaRaja提出卷積神經(jīng)網(wǎng)絡(luò)結(jié)合圖搜索模型,實(shí)現(xiàn)ILM與RPE層分割,獲得CDR,采用196名受試者進(jìn)行系統(tǒng)驗(yàn)證,最終提取的邊界與醫(yī)生的標(biāo)注基本一致,視網(wǎng)膜OCT圖像層間分割效果圖如圖5所示[41]。
3.3? 年齡相關(guān)性黃斑病變
AMD是一種不可逆的黃斑病變,會(huì)隨著年齡的增長(zhǎng)而惡化,一旦失明就無(wú)法治愈,通常分為干性AMD與濕性AMD兩種,目前濕性AMD的治療較為超前,但干性AMD的研究尚少。據(jù)數(shù)據(jù)統(tǒng)計(jì),全球約3 000萬(wàn)AMD患者,每年近有50萬(wàn)AMD患者失明[42]。
AMD是黃斑區(qū)域結(jié)構(gòu)衰老,視網(wǎng)膜色素上皮層(RPE)細(xì)胞對(duì)視細(xì)胞外節(jié)盤膜吞噬消化能力的下降,晚期RPE層脫離并造成視網(wǎng)膜層萎縮。2018年,Treder采用神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)自動(dòng)檢測(cè)年齡性黃斑病變,共1 112例OCT圖像進(jìn)行試驗(yàn),成功區(qū)分AMD患者[43];2020年,Tyler采用深度學(xué)習(xí)模型進(jìn)行新生血管黃斑變性特征的標(biāo)定,發(fā)現(xiàn)RPE層脫離[44];2020年,Chen提出擠壓-激勵(lì)塊集成的神經(jīng)網(wǎng)絡(luò)模型,通過(guò)視網(wǎng)膜液體區(qū)域分割,實(shí)現(xiàn)AMD病變眼睛和正常眼睛的分類,其OCT圖像流體區(qū)域分割如圖6所示[45]。
4? 結(jié)? 論
OCT技術(shù)是一種基于低相干光干涉原理的具有無(wú)損傷、非侵入、高分辨率等優(yōu)勢(shì)的集合多門學(xué)科的全新生物醫(yī)學(xué)三維成像技術(shù),其從最初的時(shí)域OCT通過(guò)光學(xué)延遲線的快速變化實(shí)現(xiàn)縱向深度掃描,發(fā)展到通過(guò)測(cè)量低相干光干涉信號(hào)的光譜信息經(jīng)過(guò)傅立葉變換獲得圖像深度信息的頻域OCT。OCT能夠獲得微米量級(jí)分辨率,實(shí)現(xiàn)了醫(yī)學(xué)成像領(lǐng)域毫米級(jí)分辨率向微米級(jí)的跨越,因而被廣泛應(yīng)用于眼科、皮膚科、口腔科、心血管等臨床領(lǐng)域的成像,但未來(lái)仍需繼續(xù)提升軸向分辨率和成像速度,促進(jìn)OCT向功能成像領(lǐng)域發(fā)展,未來(lái)有待結(jié)合人工智能(AI)實(shí)現(xiàn)生物醫(yī)學(xué)自動(dòng)診斷功能。
視網(wǎng)膜層間分割技術(shù)從最初的根據(jù)邊緣像素特征進(jìn)行邊緣分割逐步發(fā)展到基于物理輪廓的平滑和基于深度神經(jīng)網(wǎng)絡(luò)與圖搜索的方法,實(shí)現(xiàn)算法變得復(fù)雜多樣,從最初的1到2層分割跨越到9至10層分割,具有分割精度高、魯棒性好等優(yōu)勢(shì)。目前國(guó)內(nèi)外主要以基于深度學(xué)習(xí)的方法實(shí)現(xiàn)視網(wǎng)膜的層間分割和病理檢測(cè)。但由于OCT設(shè)備的差異以及操作人員的不同,OCT圖像會(huì)出現(xiàn)層間對(duì)比度低、雜散噪聲大等問(wèn)題,因此,未來(lái)有待研究結(jié)合AI及大數(shù)據(jù)庫(kù)實(shí)現(xiàn)自動(dòng)檢測(cè)并診斷篩查眼底疾病功能,有待于將算法模型移植到光學(xué)相干斷層掃描血管成像(OCTA)領(lǐng)域,更能清晰識(shí)別視網(wǎng)膜疾病。
參考文獻(xiàn):
[1] 蔡懷宇,張瑋茜,陳曉冬,等.眼科光學(xué)相干層析成像的圖像處理方法 [J].中國(guó)光學(xué),2019,12(4):731-740.
[2] HUANG D,SWANSON E A,LIN C,et al. Optical coherence tomography [J].Science,1991,254(5035):1178-1181.
[3] SRINIVASAN P P,HEFLIN S J,IZATT J A,et al. Automatic segmentation of up to ten layer boundaries in SD-OCT images of the mouse retina with and without missing layers due to pathology [J].Biomedical Optics Express,2014,5(2):348-365.
[4] HEE M R,IZATT J A,SWANSON E A,et al. Optical Coherence Tomography of the Human Retina [J].Archives of Ophthalmology,1995,113(3):325-332.
[5] LU S J,CHEUNG C Y L,LIU J,et al. Automated Layer Segmentation of Optical Coherence omography Images [J].IEEE Transactions on bio-medical engineering,2010,57(10),2605-2608.
[6] TIAN J,VARGA B,SOMFAI G M,et al. Real-Time Automatic Segmentation of Optical Coherence Tomography Volume Data of the Macular Region [J/OL].Plos One,2015,10(8):e0133908[2020-07-05].https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0133908.DOI:10.1371/journal.pone.0133908.
[7] 劉云.基于深度學(xué)習(xí)的視網(wǎng)膜OCT圖像分層與疾病篩查研究 [D].濟(jì)南:山東大學(xué),2018.
[8] SHAH A,ZHOU L X,MICHAEL A,et al. Multiple surface segmentation using convolution neural nets:application to retinal layer segmentation in OCT images [J].Biomedical Optics Express,2018,9(9):4509-4526.
[9] 陳明惠,秦顯富,賈文宇,等.一種眼底黃斑水腫OCT圖像分割方法 [J].光學(xué)技術(shù),2019,45(6):730-736.
[10] CHEN A,ONG C Z L,LUO W W,et al. Comparison of training strategies for the segmentation of retina layers in optical coherence tomography images of rodent eyesusing convolutional neural networks [C]//Image Processing.Houston:SPIE Medical Imaging,2020:821-825
[11] 中山大學(xué).基于深度學(xué)習(xí)的視網(wǎng)膜層和積液區(qū)域的層分割方法及系統(tǒng):CN202010313682.7 [P].2020-08-25.
[12] 賀琪欲,李中梁,王向朝,等.基于光學(xué)相干層析成像的視網(wǎng)膜圖像自動(dòng)分層方法 [J].光學(xué)學(xué)報(bào),2016,36(10):69-78.
[13] FABRITIUS T,MAKITA S,MIURA M,et al. Automated Segmentation of the Macula by Optical Coherence Tomography [J].Optics Express,2009,17(18):15659-15669.
[14] ISHIKAWA H,STEIN D M,WOLLSTEIN G,et al. Macular Segmentation with Optical Coherence Tomography [J].Invest Ophthalmol Vis Sci,2005,46(6):2012–2017.
[15] MONEMIAN M,RABBANI H. Analysis of A Novel Segmentation Algorithm for Optical Coherence Tomography Images Based on Pixels Intensity Correlations [J].IEEE Transactions on Instrumentation and Measurement,1(70),2020.
[16] FERN?NDEZ D C,VILLATE N,PULIAFITO C A,et al. Comparing total macular volume changes measured by Optical Coherence Tomography with retinal lesion volume estimated by active contours [J].Investigative Ophthalmology & Visual Science,2004,45:3072.
[17] YAZDANPANAH A,HAMARNEH G,SMITH B R,et al. Segmentation of intra-retinal layers from optical coherence tomography images using an active contour approach [J].IEEE Transactions on Medical Imaging,2011,30(2):484-496.
[18] DODO B,LI Y M,Liu X H,et al. Level set segmentation of retinal oct images [C]//Proceedings of the 12th International Joint Conference on Biomedical Engineering Systems and Technologies.Prague:SCITE PRESS,2019:49-56.
[19] YANG Q,REISMAN C A,CHAN K P,et al. Automated Segmentation of outer Retinal Layers in Macular OCT Images of Patients with Retinitis Pigmentosa [J].Biomedical Optical Express,2011,2(9),2493-2503.
[20] MISHRA Z,GANEGODA A,SELICHA J,et al. Automated Retinal Layer Segmentation Using Graph-based Algorithm Incorporating Deep-learning-derived Information [J].Scientific Reports,2020(10):9541.
[21] NGO L,CHA J,HAN J H,Deep Neural Network Regression for Automated Retinal Layer Segmentation in Optical Coherence Tomography Images [J].IEEE Transactions on Image Processing,2019,29:303-312.
[22] MASOOD S,F(xiàn)ANG R G,LI P,et al. Automatic Choroid Layer Segmentation from Optical Coherence Tomography Images Using Deep Learning [J].Scientific Reports,2019,9(1):3058.
[23] HAEKER M,ABR?MOFF M,KARDON R,et al. Segmentation of the surfaces of the retinal layer from OCT images [C]//Medical Image Computing and Computer-Assisted Intervention – MICCAI 2006.Gopenhagen:Springer,2006:800–807.
[24] GARVIN M K,ABRAMOFF M D,KARDON R,et al. Intraretinal Layer Segmentation of Macular Optical Coherence Tomography Images Using Optimal 3–D Graph Search [J].IEEE Transaction on Medical Imaging,2008,27(10):1495–1505.
[25] QUELLEC G,LEE K,DOLEJSI M,et al. Three-dimensionalanalysis of retinal layer texture: identification of fluid-filled regions in SD-OCT of the macula [J].IEEE Transaction on Medical Imaging,2010,29(6):1321–1330.
[26] TIAN J,VARGA B,SOMFAI G M,et al. Real-Time Automatic Segmentation of Optical Coherence Tomography Volume Data of the Macular Region [J/OL].Plos One,2015,10(8):e0133908[2020-07-25].https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0133908.DOI:10.1371/journal.pone.0133908.
[27] FANG L Y,CUNEFARE D,WANG C,et al. Automatic segmentation of nine retinal layer boundaries in OCT images of non-exudative AMD patients using deep learning and graph search [J].Biomedical Optics Express,2017,8(5):2732-2744.
[28] MENDES O L C,LUCENA A R,LUCENA D R,et al. Automatic Segmentation of Macular Holes in Optical Coherence Tomography Images: A review [J].Journal of Artificial Intelligence and Systems,2019(1):163-185.
[29] 國(guó)家衛(wèi)生和計(jì)劃生育委員會(huì).“十三五”全國(guó)眼健康規(guī)劃(2016—2020年) [J].中華眼科雜志,2017,53(7):484-486.
[30] LEE R,WONG T Y,SABANAYAGAM C. Epidemiology of Diabetic Retinopathy,Diabetic Macular Edema and Related Vision Loss [J].Eye and vision(London,England),2015,2(17).
[31] HELMY Y M,ALLAH H R A,et al. Optical Coherence Tomography Classification of Diabetic Cystoid Macular Edema [J].Clinical Ophthalmology,2013(7):1731–1737.
[32] LIEW G,MICHAELIDES M,BUNCE C. A comparison of the Causes of Blindness Certifications in England and Wales in Working Age Adult(16-64years),1999-2000 with 2009-2010 [J/OL].BMJ Open,2014(4):e004015[2020-07-29].https://bmjopen.bmj.com/content/4/2/e004015.DOI:10.1136/bmjopen-2013-004015.
[33] THOMAS R L,HALIM S,GURUDAS S,et al. IDF Diabetes Atlas: a Review of Studies Utilising Retinal Photography on the Global Prevalence of Diabetes Related Retinopathy between 2015 and 2018 [J/OL].Diabetes Research and Clinical Practice,2019,157:107840[2020-08-05].https://www.sciencedirect.com/science/article/pii/S0168822719312574.DOI:10.1016/j.diabres.2019.107840.
[34] WONG T Y,BRESSLER N M. Artificial intelligence with deep learning technology looks into diabetic retinopathy screening [J].The Journal of the American Medical Association,2016,316(22):2366-2367.
[35] WANG Z H,ZHANG W P,SUN Y N,et al. Detection of Diabetic Macular Edema in Optical CoherenceTomography Image Using an Improved Level Set Algorithm [J].BioMed Research International,2020(1):1-7.
[36] 中華醫(yī)學(xué)會(huì)眼科學(xué)分會(huì)青光眼學(xué)組,中國(guó)醫(yī)師協(xié)會(huì)眼科醫(yī)師分會(huì)青光眼學(xué)組.中國(guó)青光眼指南(2020) [J].中國(guó)眼科雜志,2020,56(8):573-586.
[37] CHEN T C,ZENG A,SUN W,et al. Spectral Domain Optical Coherence Tomography in Glaucoma [J].International Ophthalmology Clinics,2008,48(4):29-45.
[38] GREWAL D S,TANNA A P. Diagnosis of Glaucoma and Detection of Glaucoma Progression using Spectral Domain Optical Coherence Tomography [J].Current opinion in ophthalmology,2013,24(2):150-161.
[39] KHALIL T,AKRAM M U,RAJA H,et al. Detection of Glaucoma using Cup to Disc Ratio from Spectral Domain Optical Coherence Tomography Images [J].IEEE Access,2018,6:4560-4576.
[40] RAJA H,AKRAM M U,SHAUKAT A,et al. Extraction of Retinal Layers Through Convolution Neural Network (CNN) in an OCT Image for Glaucoma Diagnosis [J].Journal of Digital Imaging,2020(33):1428–1442.
[41] WANG Y,ZHANG Y N,YAO Z M,et al. Machine Learning Based Detection of Age-related Macular Degeneration(AMD) and Diabetic Macular Edema(DME) from Optical Coherence Tomography(OCT)images [J].Biomed Optics Express,2016,7(12):4928–4940.
[42] 黃潔,吳星偉.中國(guó)中醫(yī)眼科雜志 [J].中醫(yī)藥通報(bào),2009(5):48.
[43] TREDER M,LAUERMANN J L,ETER N. Automated Detection of Exudative Age-related Macular Degeneration in Spectral Domain Optical Coherence Tomography using deep Learning [J].Graefe's Archive for Clinical and Experimental Ophthalmology,2018,256(2):259–265.
[44] RIM T H,LEE A Y,TING D S,et al. Detection of Features Associated with Neovascular Age-related Macular Degeneration in Ethnically Distinct Data Sets by an Optical Coherence Tomography: Trained Deep Learning Algorithm [J/OL].British Journal of Ophthalmology,2020:[2020-09-20].https://bjo.bmj.com/content/early/2020/09/08/bjophthalmol-2020-316984.DOI:10.1136/bjophthalmol-2020-316984.
[45] CHEN Z L,LI D B,SHEN H L,et al. Automated Segmentation of Fluid Regions in Optical Coherence Tomography B-scan Images of Age-related Macular Degeneration [J/OL].Optics & Laser Technology,2020,122:105830[2020-10-01].https://www.sciencedirect.com/science/article/abs/pii/S0030399219301963.DOI:10.1016/j.optlastec.2019.105830.
作者簡(jiǎn)介:通訊作者:方楊(1996—),女,漢族,重慶人,碩士研究生在讀,研究方向:光學(xué)成像與圖像處理;胡建明(1974—),男,漢族,重慶人,教授,博士研究生,研究方向:OCT系統(tǒng)設(shè)計(jì)與光譜分析;陳葛(1996—),男,漢族,四川眉山人,碩士研究生在讀,研究方向:光學(xué)成像。