李金澎,王可欣,劉想,陳夢豪,張耀峰,張曉東,王霄英
盆腔惡性腫瘤,如結(jié)直腸癌等,是世界范圍內(nèi)常見且高發(fā)的疾病,婦科盆腔惡性腫瘤以卵巢腫瘤和子宮腫瘤多見,男性患者則以膀胱癌和前列腺癌多見。近年來我國盆腔腫瘤的臨床發(fā)病率整體呈上升趨勢[1]。淋巴結(jié)轉(zhuǎn)移是盆腔腫瘤播散的重要方式,不同腫瘤有不同的轉(zhuǎn)移率,如在較高T分期(Ⅲ~Ⅳ期)的卵巢腫瘤中轉(zhuǎn)移率為35%~78%,前列腺癌患者的轉(zhuǎn)移率為9%[2]。而是否存在淋巴結(jié)轉(zhuǎn)移及轉(zhuǎn)移淋巴結(jié)的大小、數(shù)量和內(nèi)部結(jié)構(gòu)等都對盆腔惡性腫瘤患者的預(yù)后具有重要意義[3-4]。對于盆腔惡性腫瘤患者,明確其盆腔淋巴結(jié)轉(zhuǎn)移的具體情況(如轉(zhuǎn)移淋巴結(jié)的多少及每個淋巴結(jié)的大小等)是一項重要工作。CT檢查是評估淋巴結(jié)位置和分區(qū)的主要方法,對淋巴結(jié)的檢出有較高的敏感度[5-7]。在CT圖像上評估淋巴結(jié)的主要任務(wù)包括測量其大小、檢出腫大淋巴結(jié)并定位,這些信息不僅可用于疾病的診斷和分期,也可應(yīng)用于手術(shù)或放療前的淋巴結(jié)定位。盆腔淋巴結(jié)分組較多,逐一檢出淋巴結(jié)并測量其大小耗時較多,且讀片者之間的一致性欠佳,因此有必要研發(fā)一種淋巴結(jié)自動分割和分區(qū)定位系統(tǒng)。
近年來,隨著人工智能(artificial intelligence,AI)的興起,基于卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network,CNN)的深度學習模型在醫(yī)學圖像處理方面的應(yīng)用引起了廣泛關(guān)注,并在一些CT、MRI深度學習任務(wù)中取得了里程碑式的進展[8-10]。在盆腔CT圖像上基于深度學習的盆腔淋巴結(jié)自動分割模型能夠及時發(fā)現(xiàn)盆腔淋巴結(jié)轉(zhuǎn)移情況,對疾病的診斷、分期、放療等治療方案的制訂和療效的評估以及患者預(yù)后具有重要意義。本研究旨在探討使用深度學習方法在盆腔CT圖像上對盆腔淋巴結(jié)進行自動分割和分區(qū)定位的可行性。
本研究獲得了本院倫理審查委員會的批準[2019(169)],按照本單位AI模型訓練規(guī)范執(zhí)行研究方案。
圖1 淋巴結(jié)分區(qū)分割示意圖。 圖2研究流程圖。
根據(jù)本單位AI訓練管理方法定義研發(fā)CT圖像上盆腔淋巴結(jié)自動定位模型的用例。包括模型的ID、臨床問題、場景描述、模型在實際工作中的調(diào)用流程、模型輸入和輸出數(shù)據(jù)結(jié)構(gòu)等。本研究中設(shè)定AI模型的返回結(jié)果為淋巴結(jié)分區(qū),共分為13個區(qū)域,包括主動脈旁、雙側(cè)髂總動靜脈、雙側(cè)髂外動靜脈、雙側(cè)髂內(nèi)動靜脈、雙側(cè)閉孔、雙側(cè)腹股溝、骶前和直腸旁(圖1)[11-13]。
回顧性搜集2018年8月-2021年4月前列腺癌患者的CT檢查資料,共獲得131個序列的門脈期薄層增強掃描圖像(數(shù)據(jù)集1)。入組標準:①臨床疑診前列腺癌有放射治療指征者;②盆腔及股骨頭既往無手術(shù)治療史,無金屬置入物;③盆腔區(qū)域內(nèi)無明顯發(fā)育變異。排除標準:圖像質(zhì)量不佳,有明顯的運動偽影或信噪比低。
此外,回顧性搜集2021年1月-2021年6月在本院就診的卵巢癌、宮頸癌和直腸癌患者的腹盆部CT檢查資料,獲得47個序列的門脈期薄層增強掃描圖像(數(shù)據(jù)集2)。入組標準:①盆腔及股骨頭既往無手術(shù)治療史,無金屬置入物;②盆腔區(qū)域內(nèi)無明顯的發(fā)育變異。排除標準:①患者增強掃描序列中不含薄層門靜脈期;②圖像質(zhì)量不佳,有明顯的運動偽影或信噪比低。
數(shù)據(jù)集1用于模型訓練,數(shù)據(jù)集2用于外部驗證(圖2)。數(shù)據(jù)集1與數(shù)據(jù)集2之間無重復(fù)數(shù)據(jù)。
腹盆部CT圖像來源于本院4臺CT檢查設(shè)備(GE LightSpeed VCT、GE Discovery CT750 HD、Siemens Somatom Definition Flash和Philips iCT)。多期動態(tài)增強掃描的序列包括平掃、動脈期和門脈期等,掃描范圍為腹部+盆腔區(qū)域,掃描層厚1.0~5.0 mm,重建算法為標準算法或軟組織算法。
兩位影像科醫(yī)師使用ITKSNAP 3.6.0軟件在數(shù)據(jù)集1中標注盆腔淋巴結(jié)的分區(qū),分區(qū)的定義同AI模型設(shè)定。
模型訓練的硬件為GPU NVIDIA Tesla P100 16G,軟件包括Python3.6、Pytorch 0.4.1、Opencv、Numpy和SimpleITK等。
將數(shù)據(jù)集1中131個序列的CT圖像數(shù)據(jù)隨機分為訓練集(train set,n=99)、調(diào)優(yōu)集(validation set,n=17)和測試集(test set,n=15),來完成盆腔淋巴結(jié)分區(qū)模型的訓練和驗證。設(shè)置所有圖像的窗寬為300 HU、窗位為30 HU,通過滑動窗口閾值分割方法去除背景區(qū)域,圖像矩陣128×192×256。圖像擴增方法包括旋轉(zhuǎn)、平移、隨機噪聲和仿射變換等。使用U-net 3D網(wǎng)絡(luò),主要參數(shù):濾波器(filter)數(shù)=16,訓練次數(shù)(num epoch)=300,學習率(learning rate)=0.0001,每次讀取的圖像數(shù)量(batch size)=10。使用Adam作為訓練優(yōu)化器。
對模型在數(shù)據(jù)集1的預(yù)測結(jié)果的評價使用定量評價指標,包括交并比(intersection over union,IOU)、體積相似度(volume similarity,VS)和關(guān)鍵點正確估計比例(percentage of correct keypoints,PCK)。IOU評價參考區(qū)域(segmentation area of the ground truth,Sg)和預(yù)測區(qū)域(segmentation area predicted by the model,Sp)的重合度;VS評價Sg和Sp的體積相似度;PCK評價Sg質(zhì)心(centroid)和Sp質(zhì)心的距離,判斷二者距離是否<10 mm,即得到PCK-10 mm的結(jié)果。
對模型在外部驗證數(shù)據(jù)(數(shù)據(jù)集2)中對盆腔淋巴結(jié)分區(qū)定位的預(yù)測結(jié)果的評價使用定性評價指標,分析由兩位影像科醫(yī)師標注的淋巴結(jié)區(qū)域(label)和模型預(yù)測的淋巴結(jié)區(qū)域(plabel)的相互關(guān)系,包括模型預(yù)測的淋巴結(jié)區(qū)域的覆蓋程度分級(0~2分)、超出程度分級(0~1分)及超出范圍分級(0~2分),3項的總分為0~5分。覆蓋程度分級的評分標準:plabel覆蓋了≥90%的label面積為2分、80%~90%為1分,<80%為0分。超出程度分級的評分標準:plabel超出label的面積<10%為1分、≥10%為0分。超出范圍分級的評分標準:同一label區(qū)域僅有1個plabel,計為2分;有2個及以上plabel且均位于label附近,計為1分;有2個及以上plabel,且其中有遠離label(在CT圖像上側(cè)別與label相反或不在label所在層面),計為0分(評分示例見圖3~5)。對于3項定性評價指標的總和,3分以上代表正確性良好,可滿足淋巴結(jié)自動定位分區(qū)的需求,3分及以下則代表正確性欠佳,不滿足淋巴結(jié)自動定位分區(qū)的需求。
表1 測試集各組淋巴結(jié)定位預(yù)測的定量評價指標值
使用IBM SPSS Statistics 26.0和R3.6.1軟件進行統(tǒng)計分析。以Kolmogorov-Smirnov檢驗評估數(shù)據(jù)分布的正態(tài)性,符合正態(tài)分布的計量資料以均值±標準差的形式進行描述,不符合正態(tài)分布的連續(xù)變量以中位數(shù)(四分位間距)的形式進行描述。由于各變量的數(shù)據(jù)均不符合正態(tài)分布,故單變量分析使用Kruskal-Wallis秩和檢驗。以P<0.05認為差異有統(tǒng)計學意義。
在數(shù)據(jù)集1的測試集中,盆腔淋巴結(jié)區(qū)域自動定位模型對各組淋巴結(jié)預(yù)測效能的定量評價指標見表1。測試集中各淋巴結(jié)分區(qū)的交并比(IOU)、體積相似度(VS)組間差異有統(tǒng)計學意義(P<0.001),意味著模型對不同區(qū)域淋巴結(jié)的定位效能不同。而關(guān)鍵點正確估計比例(PCK)的組間差異沒有統(tǒng)計學意義(P>0.05)。
模型對盆腔不同分區(qū)淋巴結(jié)預(yù)測結(jié)果的定性評價結(jié)果見表2。三項指標得分之和的中位數(shù)為5分的淋巴結(jié)分區(qū)包括雙側(cè)髂總動靜脈、雙側(cè)腹股溝、雙側(cè)髂內(nèi)動靜脈、雙側(cè)閉孔、主動脈、骶前和直腸旁,4分者為左側(cè)髂外動靜脈,3分者為右側(cè)髂外動靜脈。
表2 在外部驗證集中分割定位模型對各淋巴結(jié)分區(qū)的預(yù)測結(jié)果的定性評分結(jié)果/個
各分區(qū)內(nèi)不同評分結(jié)果(0~5分)在驗證集中的構(gòu)成比的柱狀圖見圖6。以總評分≥4分為達到臨床滿意的標準,以淋巴結(jié)分區(qū)為單位進行分析,84.59%(516/610)的淋巴結(jié)分區(qū)的自動定位結(jié)果達到滿意,其中以雙側(cè)腹股溝區(qū)域為最高,雙側(cè)滿意率均達100%。在總共13個淋巴結(jié)分區(qū)中,11個分區(qū)滿意率超過80%,其中4個分區(qū)在90%以上,以雙側(cè)髂外淋巴結(jié)分區(qū)的定位滿意率稍差(左側(cè):60%,右側(cè)51%)。采用Kruskal-Wallis檢驗比較模型對不同淋巴結(jié)分區(qū)定位結(jié)果的定性評分(總分)的組間差異,結(jié)果顯示不同分區(qū)間定性評分的差異具有統(tǒng)計學意義(P<0.05);進一步進行兩兩比較,結(jié)果顯示左、右側(cè)髂外動靜脈淋巴結(jié)分區(qū)中除右側(cè)髂外動靜脈旁淋巴結(jié)分區(qū)與左側(cè)髂外動靜脈旁淋巴結(jié)分區(qū)的定性評價得分差異不具有統(tǒng)計學意義(P>0.05)外,余左、右側(cè)髂外動靜脈淋巴結(jié)分區(qū)與其它淋巴結(jié)分區(qū)的定性評分差異均具有統(tǒng)計學意義(P<0.05)、而直腸旁淋巴結(jié)分區(qū)除與左側(cè)髂總動靜脈、左側(cè)髂內(nèi)動靜脈、主動脈旁淋巴結(jié)分區(qū)的定性評價得分差異具有統(tǒng)計學意義(P<0.05)外,與其它淋巴結(jié)分區(qū)的定性評價得分差異均無統(tǒng)計學意義(P>0.05),而其它分區(qū)之間的定性評分的兩兩比較結(jié)果顯示:左髂總動靜脈-右閉孔區(qū)、左髂總動靜脈-左閉孔區(qū)、左髂總動靜脈-右腹股溝、左髂總動靜脈-左腹股溝、左髂內(nèi)動靜脈-右閉孔區(qū)、左髂內(nèi)動靜脈-左閉孔區(qū)、左髂內(nèi)動靜脈-右腹股溝、左髂內(nèi)動靜脈-左腹股溝、主動脈-左閉孔區(qū)、主動脈-右腹股溝、主動脈-左腹股溝、右髂內(nèi)動靜脈-左腹股溝之間的差異有統(tǒng)計學意義(P<0.05),余淋巴結(jié)分區(qū)之間定性評價得分的差異無統(tǒng)計學意義(P>0.05)。結(jié)合定性評價的得分結(jié)果,表明模型對雙側(cè)髂外動靜脈和直腸旁淋巴結(jié)分區(qū)的分割定位表現(xiàn)要遜色于其它分區(qū),而對雙側(cè)閉孔區(qū)和腹股溝分區(qū)的分割定位表現(xiàn)要優(yōu)于其它分區(qū)。
圖3 右側(cè)腹股溝淋巴結(jié)定性評價示例1。a)黃色區(qū)域為由兩位影像科醫(yī)師標注的淋巴結(jié)區(qū)域(label);b)藍色區(qū)域為plabel;c)紅色區(qū)域為plabel覆蓋label的區(qū)域,藍色區(qū)域為plabel超出label的區(qū)域,黃色區(qū)域為plabel未覆蓋label的區(qū)域。本例的覆蓋程度分級:plabel覆蓋label的面積≥90%,為2分;超出程度分級:plabel超出label的面積<10%,為1分;超出范圍分級:同一label區(qū)域僅有1個plabel,評分為2分。圖4右側(cè)腹股溝淋巴結(jié)定性評價示例2。a)黃色區(qū)域為label;b)藍色區(qū)域為plabel;c)紅色區(qū)域為plabel覆蓋label的區(qū)域,藍色區(qū)域為plabel超出label的區(qū)域,黃色區(qū)域為plabel未覆蓋label的區(qū)域。本例的覆蓋程度分級:plabel覆蓋label 面積的80%~90%,為1分;超出程度分級:plabel超出label的面積<10%,為1分;超出范圍分級:同一label區(qū)域有兩個plabel且均位于label附近,為1分。 圖5右側(cè)腹股溝淋巴結(jié)區(qū)域定性評價示例3。a)黃色區(qū)域為label;b)藍色區(qū)域為plabel;c)紅色區(qū)域為plabel覆蓋label的區(qū)域,藍色區(qū)域為plabel超出label的區(qū)域,黃色區(qū)域為plabel未覆蓋label的區(qū)域。本例覆蓋程度分級:plabel覆蓋label的面積<80%,為0分;超出程度分級:plabel超出label的面積≥10%,為0分:超出范圍分級:同一label區(qū)域僅有1個plabel,為2分。
圖6 各淋巴結(jié)分區(qū)不同評分結(jié)果(0~5分)在驗證集中的構(gòu)成比柱狀圖,13個淋巴結(jié)分區(qū)中有11個分區(qū)的分割定位表現(xiàn)達到臨床滿意(評分≥4分)者的比例在80%以上。
對于盆腔惡性腫瘤患者來說,盆腔淋巴結(jié)是經(jīng)常發(fā)生轉(zhuǎn)移的區(qū)域,且淋巴結(jié)轉(zhuǎn)移的具體情況(例如轉(zhuǎn)移淋巴結(jié)的多少以及大小)與患者預(yù)后有密切關(guān)系。盆腔淋巴結(jié)區(qū)域包含腹主動脈分叉以下的部分。在盆腔淋巴結(jié)區(qū)域的分割中,對相關(guān)血管的識別十分重要,所以在序列選擇中,CT門靜脈期成為優(yōu)選[11]。掃描層厚方面,本研究納入的圖像來源于本單位日常臨床工作中完成的盆腔CT掃描,層厚為1.0~5.0 mm。模型訓練時輸入多種層厚的圖像可提高其未來應(yīng)用的泛化性。本研究結(jié)果也證明,這種方法訓練的模型,其定位預(yù)測效能是可接受的。在數(shù)據(jù)集方面,本研究中將前列腺癌患者的腹盆腔CT圖像(數(shù)據(jù)集1)用于訓練模型,而用于模型驗證的數(shù)據(jù)集2中納入的是其它盆腔惡性腫瘤(包括卵巢癌、宮頸癌、直腸癌)患者的CT圖像,數(shù)據(jù)集1與數(shù)據(jù)集2的患者疾病類型是不同的,可以提高數(shù)據(jù)集2作為外部驗證數(shù)據(jù)的檢驗難度,能更好地驗證模型的真實效能,而從本組研究結(jié)果來看,模型的效能也是基本令人滿意的。
本研究結(jié)果顯示:3D U-Net模型用于盆腔淋巴結(jié)區(qū)域的分割和定位,可以出色地完成惡性腫瘤患者盆腔淋巴結(jié)區(qū)域的自動定位工作。在外部驗證數(shù)據(jù)集中自動分區(qū)模型預(yù)測結(jié)果的主觀評價總分,84.59%的淋巴結(jié)分區(qū)評分在4分及以上,這說明在外部驗證數(shù)據(jù)集中,本模型能夠較準確地勾畫出盆腔淋巴結(jié)區(qū)域。主觀評分為3~0分的區(qū)域占比分別為7.54%、4.43%、2.29%和1.15%。對主觀評分的組間差異進行比較,結(jié)果顯示模型對雙側(cè)髂外動靜脈區(qū)域的定位評分與對側(cè)髂外動靜脈區(qū)域之外的各淋巴結(jié)區(qū)域之間的差異均具有統(tǒng)計學意義(P<0.05),對直腸旁淋巴結(jié)區(qū)域的定位評分也低于較多區(qū)域且差異具有統(tǒng)計學意義(P<0.05),即本模型對雙側(cè)髂外動靜脈和直腸旁淋巴結(jié)區(qū)域的定位效能稍差于其它區(qū)域。本組中有7例次出現(xiàn)主觀評分為0的情況,出現(xiàn)在左髂外動靜脈、左髂總動靜脈、左髂內(nèi)動靜脈和右髂總動靜脈區(qū)域,其中以左髂外動靜脈區(qū)域最多(共4例次)。分析模型預(yù)測錯誤及對雙側(cè)髂外動靜脈和直腸旁淋巴結(jié)區(qū)域定位效能稍差的原因,主要有兩個方面:一是盆腔血管的變異;二是盆腔惡性腫瘤體積較大、對周圍結(jié)構(gòu)浸潤較嚴重。上述兩種情況均會導致盆腔圖像特征與大多數(shù)病例不同,這種數(shù)據(jù)在目前的訓練集中較少見,從而導致模型的分割和定位錯誤。未來需進一步增加樣本量,使得訓練樣本中含有各種病理情況下的盆腔圖像特征,提升模型對各種情況的識別能力,從而提高預(yù)測的準確性。
本研究具有一定創(chuàng)新性和臨床意義:既往深度學習和影像組學研究多基于MRI圖像對盆腔惡性腫瘤術(shù)前淋巴結(jié)轉(zhuǎn)移進行預(yù)測[15]。Liu等[16]在2021年基于DWI序列以深度學習方法初步嘗試對盆腔淋巴結(jié)進行分割,他們選用DWI序列的原因是其在觀察淋巴結(jié)方面有一定優(yōu)勢,因為此序列的圖像上淋巴結(jié)與周圍組織的信號對比較為明顯。而本研究則是基于CT圖像以深度學習方法自動定位盆腔淋巴結(jié)的分區(qū),如后續(xù)能應(yīng)用于臨床工作,對于盆腔惡性腫瘤的CT診斷是有幫助的,不僅可以用于診斷,而且有望用于放療前定位。
在臨床工作中,盆腔惡性腫瘤的淋巴結(jié)轉(zhuǎn)移情況往往需要有經(jīng)驗的放射科醫(yī)師在CT圖像上通過尋找淋巴結(jié)、測量徑線、觀察形狀等來進行評估,并且需要人工方法來確定淋巴結(jié)的分區(qū),并綜合影像特征來評估腫瘤的N分期。本研究嘗試在CT圖像上自動定位盆腔淋巴結(jié)的分區(qū),未來可與自動化的淋巴結(jié)分割、檢出等結(jié)合形成整個盆腔淋巴結(jié)評估過程的自動化,在定位后基于深度學習方法自動分割和檢出淋巴結(jié)及自動測量徑線等。整個過程的自動化可以大幅節(jié)約成本,具有重要的臨床意義。而本研究進行的盆腔淋巴結(jié)區(qū)域的定位工作則是整個過程自動化中最為基礎(chǔ)和最為關(guān)鍵的環(huán)節(jié)之一。
本研究存在一定的局限性:雖然本研究中基于小樣本的探索性研究顯示出訓練深度學習模型在CT圖像上定位盆腔淋巴結(jié)區(qū)域是可行的,但未來推廣到臨床實際工作中還有很多工作要做。第一,我們的結(jié)果表明,在某些盆腔解剖結(jié)構(gòu)異常的患者中(如盆腔巨大占位、大量積液和術(shù)后改變等),模型對在兩側(cè)髂外動靜脈和直腸旁區(qū)域定性評分較低:兩側(cè)髂外動靜脈淋巴結(jié)區(qū)域的三項定性評分均較低,筆者分析原因可能與髂外動靜脈走行范圍較廣且易受周圍占位、擴張的輸尿管和盆腔積液等因素的影響有關(guān);直腸旁淋巴結(jié)區(qū)域則主要在模型定位的淋巴結(jié)區(qū)域超出程度方面表現(xiàn)欠佳,主要原因是模型預(yù)測結(jié)果可能錯誤定位到腸管。未來需要擴大模型訓練的數(shù)據(jù)量,尤其是盆腔結(jié)構(gòu)不清楚的圖像的數(shù)量,進一步迭代模型。在臨床實際應(yīng)用過程中,由專家審核模型結(jié)果,即專家與AI相結(jié)合的模式也是解決辦法。第二,本研究僅定位了盆腔淋巴結(jié)的分布區(qū)域,下一步應(yīng)進行腫大淋巴結(jié)的分割,并與本研究得到的模型結(jié)合,才能實現(xiàn)對淋巴結(jié)的定位和大小測量,并自動生成到結(jié)構(gòu)化報告中以完成影像診斷任務(wù)[14]。第三,臨床上對惡性腫瘤患者經(jīng)常采用CT和MRI檢查來評估淋巴結(jié)轉(zhuǎn)移及骨轉(zhuǎn)移等情況,本研究主要針對CT相關(guān)序列進行盆腔淋巴結(jié)的檢出,未來應(yīng)嘗試同時實現(xiàn)淋巴結(jié)轉(zhuǎn)移和骨轉(zhuǎn)移的檢出、定位和定量,以完成轉(zhuǎn)移性病變的整體評估[17]。最后,未來在對盆腔淋巴結(jié)區(qū)域的智能檢出的推廣和應(yīng)用過程中,應(yīng)進行多中心研究,在真實臨床工作場景中測試模型的效能[10,18],了解使用AI技術(shù)是否有益于提高影像診斷的準確性和效率,才能回答AI是否有實質(zhì)價值的問題。
總之,本研究的初步結(jié)果顯示基于CT圖像利用深度學習方法自動定位盆腔淋巴結(jié)區(qū)域是可行的,能夠較準確地定位盆腔淋巴結(jié)的分區(qū),為盆腔轉(zhuǎn)移淋巴結(jié)的檢出奠定基礎(chǔ)。將來應(yīng)進一步研提高模型的泛化性,最終實現(xiàn)對盆腔惡性腫瘤患者淋巴結(jié)轉(zhuǎn)移情況的智能診斷。