劉 懿 孟凡杰 章超偉 刁鵬飛

1 南京醫(yī)科大學附屬逸夫醫(yī)院眼科,江蘇省南京市 211100; 2 南京萊科智能工程研究院

近視是一個全球性的公共衛(wèi)生問題,我國青少年近視現(xiàn)象日趨嚴重,且不斷增多的高度近視可能會導致病理性近視的增加,引起一系列進行性和不可逆的眼底病變。早期發(fā)現(xiàn)病理性近視并積極隨訪和及時治療并發(fā)癥對保護近視患者免受永久性視力喪失十分重要。在屈光手術中,術前篩查出病理性近視患者,對患者術后視力的穩(wěn)定性、可預測性也至關重要[1]。

得益于眼底照相檢查設備的普及和深度學習技術的發(fā)展,基于眼底彩照的病理性近視自動篩查成為可能[2-3]。

目前的基于深度學習的病理性近視自動診斷工作都依賴于大規(guī)模的病案數據 ,但對于大多數中小規(guī)模的眼科門診,病案數據的規(guī)模通常都較小,不同機構因設備不同,眼底彩照也都有差異,且數據中非病理性近視和病理性近視數量的比例也嚴重不均衡,導致直接應用深度學習模型效果不佳。因此,本研究的目的是探索不均衡小樣本眼底彩照病理性近視自動檢測方法,使得深度學習模型能在病例量較小且分布不均衡的情況下取得同樣有效的結果,從而推動病理性近視自動檢測在中小規(guī)模眼科臨床中的應用。

1 材料與方法

1.1 樣本數據的收集和預處理 本研究收集了南京醫(yī)科大學附屬逸夫醫(yī)院眼科中心門診2020年6月—2022年3月間以后極部為中心55度范圍內眼底照相,眼底彩照包括視乳頭及黃斑部,其中包含了眼科綜合眼病中心及眼視光屈光手術中心的患者,并進行了定期隨訪檢查。入組標準:年齡18～50歲屈光患者,矯正視力1.0及以上,排除全身疾病史,如合并高血壓、糖尿病、青光眼、外傷史等。使用Canon CX-1 MYD/NM眼底相機(Hybrid Digital Mydriatic/Non-Mydriatic Retinal Camera)獲得眼底彩照,所有圖像均由2位視網膜專家進行標注,分為近視性正常眼底改變、近視性病理視網膜病變,在評分者之間出現(xiàn)差異的情況下,有問題的圖像由一位高級視網膜專家進行評分。經過以上步驟的處理,最終從466只眼睛中收集466張圖像用于本研究,其中高度近視眼125張,包括24例病理性近視患者的41只眼的 41張圖像。圖1展示了中—低度近視眼(OD:-3.75DS-0.5DC×50,BCVA:1.2,AL:25.26)、高度近視眼(OS: -6.25DS-1.0DC×180,BCVA:1.2,AL:28.17)及病理性近視眼(OS:-8.00DS-1.5DC×165,BCVA:1.2,AL:27.03)的眼底彩照樣本示例。

圖1 眼底彩照樣本示例

所有的眼底彩照將進行標準化預處理的過程,彩照文件格式為JPG,預處理包括將每幅原始圖像裁剪為正方形,去掉圖中多余的黑色邊緣,及將圖像縮小到512×512分辨率以便于模型更高效地進行學習和處理。

樣本數據的收集程序符合《赫爾辛基宣言》的原則,并獲得南京醫(yī)科大學附屬逸夫醫(yī)院倫理委員會的批準,所有的眼底彩照都進行了匿名化處理。本研究的設計和實施不涉及任何商業(yè)目的。

1.2 方法 本研究采用由華為及中國科學院最新提出的Pathologic Myopia Challenge 優(yōu)勝模型Transformer-iN-Transformer (TNT)[4]作為病理性近視自動檢測的基礎深度學習模型,同時根據病理性近視眼底彩照的特點,采用包括翻轉、縮放、旋轉在內的數據增強方法對不均衡小樣本數據進行增強。

1.2.1 TNT模型設計:TNT模型利用嵌套的Transformer[5]模塊對圖像中分塊(patch)和像素(pixel)級的特征進行更精細的建模。在每個TNT塊中,外部的Transformer模塊用于處理圖像分塊級的信息,其中每個塊又可以進行進一步細分,由內部Transformer模塊進行更細粒度的處理。在一系列針對圖像進行分類的任務中,TNT模塊都展現(xiàn)出顯著的優(yōu)異性[6-10]。

如圖2所示,具體而言,本研究將圖像拆分為一系列粗粒度分塊,并將每個塊重塑為一個更細粒度的塊序列。通過分別對粗粒度和細粒度的圖像塊進行線性變換來獲得嵌入式表示(Embedding),然后利用TNT進行圖像的表征學習,分別提取分塊之間的全局關系和局部結構信息,對圖像的全局和局部結構信息進行建模,并提高特征的表示能力的效果。模型設計及損失函數定義可參考相關文獻[4],超參數批量大小batchsize=8,學習率lr=0.000 1,L2正則化參數l2=0.000 5。

圖2 基于TNT模型的病理性近視檢測

1.2.2 數據增強方法及策略:數據增強是一種能有效緩解數據樣本量少、樣本分布不均衡等問題的方法[11],能有效提升模型的泛化能力,降低模型過擬合的風險。常用的數據增強方法包括圖像翻轉、縮放、旋轉、裁剪、移位、加入噪聲等,但針對病理性近視眼底彩照的特征及數據增強不引入不相關數據的原則[12],本研究主要采用了翻轉、縮放、旋轉的數據增強方法,并根據數據采集場景對增強的具體操作進行了約束,這些過程主要增加了圖像的不均一性,而不丟失任何病變的特征且不引入過多不相關的噪聲圖像特征。

翻轉:由于眼底彩照數據采集的特點,本研究只采用水平翻轉對圖像進行增強?？s放:通常縮放分為向內縮小和向外擴大兩種。當向內縮小時,縮小后圖像空出來的區(qū)域將會進行填充。由于眼底彩照縮小后填充部分為純黑背景,填充后基本沒有改變原圖的特征,不會引入更多的差異性,所以在本研究中,僅采用隨機向外擴大不超過20%的比例,比例過大將導致圖像丟失大量關鍵信息。旋轉:眼底彩照本身不會產生過大的旋轉角度,所以在本研究中,采用隨機旋轉±10°以內的方法對圖像進行增強。見圖3。

圖3 眼底彩照的數據增強

針對圖像樣本分布不均衡的問題,我們采用兩種策略來指導數據增強過程,使得數據中非病理性近視和病理性近視的圖像規(guī)模接近?！安蓸釉鰪姟辈呗悦看蜗葘Ψ遣±硇越暤臄祿M行隨機采樣,使其規(guī)模與病理性近視一致,再同比例進行數據增強;“全量增強”策略直接對所有訓練數據進行增強,但針對病理性近視的數據擴增倍數更大,以使得增強后其規(guī)模與非病理性近視數據接近。

在對真實樣本進行測試時,模型將用同樣的策略對樣本進行增強,然后采用投票策略對同一張樣本圖像的多個增強后的測試結果進行后處理,得到該樣本的最終檢測結果。

2 結果

2.1 篩查人群一般情況 本研究接受病理性近視篩查的人數共238例466眼,其中男性110例220眼,女性128例246眼,年齡分布(27.3±7.6)歲。病理性近視共24例,其中男7例,女17例,年齡分布(28.6±7.6)歲;非病理性近視共214例,其中男103例,女111例,年齡分布(27.2±7.6)歲。有無病理性近視受試者的年齡、性別差異均無統(tǒng)計學意義(P=0.419、0.426>0.05)。

2.2 病理性近視自動檢測的效果 本研究采用五折交叉驗證[13]進行模型效果驗證實驗。把受試者數據同分布地平均分成5份,每次實驗選取一份做測試,其余4份用作訓練。每一輪訓練集包含眼底彩照372張,其中病理性近視圖像32張,非病理性近視圖像340張,通過數據增強后,包含病理性近視圖像1 280張,非病理性近視圖像1 360張。表1列出了TNT基線模型及結合不同數據增強策略的情況下,在不均衡小樣本上進行病理性近視檢測的效果。圖4為TNT基線模型及數據增強方法的ROC曲線。

表1 病理性近視自動檢測實驗結果

實驗結果表明,在不均衡小樣本的數據上直接運用深度學習模型進行病理性近視檢測,將可能導致極低的敏感性和特異性,ROC曲線也表明其基本不具有有效的分類能力。而合適的數據增強方法可以有效提升深度學習模型的性能,本研究中TNT模型結合數據增強后準確率可以達到(98.09±0.89)%,敏感性為(93.33±6.09)%,特異性為(88.14±7.92)%,AUC值為0.99,基本達到了大規(guī)模訓練模型的性能。

3 討論

病理性近視在世界范圍內被認為是一種公共衛(wèi)生負擔。雖然大多數近視患者通常通過配戴眼鏡或隱形眼鏡來保持良好的視力,但患者視力下降的主要原因是各種類型的病理性近視眼底病變的發(fā)展所致。因此,臨床上早期發(fā)現(xiàn)病理性近視患者,并將其與非病理性近視進行鑒別是十分重要的。

近年來,研究人員開展了一系列基于深度學習的病理性近視自動診斷工作,采用的大多是有監(jiān)督的學習方法,如CNN、Efficient Net等[2-3]。這些模型和方法在大規(guī)模的標注數據上都能取得顯著的分類效果,但當數據量較小、不同類別的樣本量差異過大時,都會出現(xiàn)嚴重的過擬合現(xiàn)象。因此針對大量中小規(guī)模眼科門診病案數據量小、數據分布不均衡的現(xiàn)狀和深度學習模型在小樣本上學習效果不佳的困難,本研究探索利用深度學習自動檢測不均衡小樣本下的病理性近視的方法和途徑。

實驗中我們發(fā)現(xiàn),由于非病理性近視的圖像在訓練集中占據了主導(超過了90%),基線模型傾向于將所有的圖像都識別為非病理性近視,導致雖然測試準確率超過了90%,但敏感性和特異性極低,基本不具備有效的分類能力,在真實的場景中難以應用。而在基線模型基礎上,通過結合合適的數據增強方法,模型不僅測試準確率進一步提高,其敏感性和特異性也大幅提升,使得深度學習模型具備了應用的可能性。這將有助于對就診患者進行病理性近視風險分級,幫助高度近視患者隨訪、保護視力。

對比現(xiàn)有的病理性近視自動診斷工作,本研究的創(chuàng)新性主要體現(xiàn)在給出了一個在不均衡小樣本眼底彩照數據上應用深度學習模型進行病理性近視檢測的有效方法。其優(yōu)勢在于對任何的眼科醫(yī)療機構,尤其是中小規(guī)模的眼科門診,都可以利用本方法在自有的病案數據上進行學習并得到較高的檢測準確率。這項研究的結果表明,結合數據增強的TNT模型在樣本數據匱乏的情況下,可以高準確率地僅根據眼底彩照檢測病理性近視。

通過在PubMed、知網上進行充分的檢索,目前并沒有發(fā)現(xiàn)不均衡小樣本病理性近視自動檢測相關的研究。因此,期望我們的工作能推動該領域的研究,并有助于病理性近視自動篩查的推廣和普及。