孫 瑤 王 祥 彭思粵 潘博洋 李清楚 陳如潭 龔南杰蕭 毅* 劉士遠(yuǎn)*
隨著計(jì)算機(jī)技術(shù)及CT硬件發(fā)展,超高分辨率CT(ultra-high-resolution computed tomography,UHRCT)應(yīng)用于臨床,空間分辨率得到顯著提高[1]。與常規(guī)512×512 矩陣HRCT 相比,1 024×1 024 矩陣UHRCT靶掃描圖像在觀察肺結(jié)節(jié)微小結(jié)構(gòu)方面表現(xiàn)突出,放射科醫(yī)生能夠更準(zhǔn)確地診斷肺結(jié)節(jié)的良惡性,進(jìn)一步降低患者誤診風(fēng)險(xiǎn)[2]。
近年來隨著人工智能的最新進(jìn)展,基于深度學(xué)習(xí)的CT 超分辨方法用于突破輻射劑量與圖像質(zhì)量之間的困境成為主要研究熱點(diǎn)。諸多研究表明,深度學(xué)習(xí)超分辨方法可以在不額外增加輻射劑量和掃描時(shí)間的同時(shí),生成超分辨圖像,顯著降低偽影、去除噪聲[3-4]。在肺癌的早期診斷中,除了提高分辨率可以增加診斷信心外,放射組學(xué)的廣泛探索研究也顯示了獨(dú)特的診斷價(jià)值。由于成像數(shù)據(jù)本身的性質(zhì),圖像的組學(xué)特征穩(wěn)定性受到諸多因素影響。例如患者呼吸相位、圖像采集參數(shù)、圖像分辨率、重建算法等,都可能給組學(xué)特征的穩(wěn)定性帶來挑戰(zhàn)[5]。正如Shafiq-UIHassan等學(xué)者的研究結(jié)果,圖像分辨率會(huì)對(duì)組學(xué)特征產(chǎn)生影響,像素大小差異與組學(xué)特征變異性具有相關(guān)性[6]。目前,基于深度學(xué)習(xí)的超高分辨CT 圖像對(duì)組學(xué)特征穩(wěn)定性的影響的研究較少。
因此,本研究的目的是應(yīng)用一種基于深度學(xué)習(xí)的圖像超高分辨模型,顯著提高512×512 矩陣HRCT 圖像的質(zhì)量,對(duì)深度學(xué)習(xí)的超高分辨胸部CT 圖像質(zhì)量進(jìn)行主觀評(píng)價(jià);同時(shí)進(jìn)一步研究不同圖像分辨率對(duì)組學(xué)特征穩(wěn)定性的影響。
本研究方案通過了本院倫理委員會(huì),本研究為回顧性研究,免除患者知情同意?;仡櫺允占?020 年10 月至2021 年5 月在我院行肺結(jié)節(jié)復(fù)查的患者53 例[男性26 例,平均年齡(50.4±13.7)歲;女性27 例,平均年齡(54.5±9.3)歲],共計(jì)53 個(gè)結(jié)節(jié),21 730幅圖像納入本研究。其中24 例患者的7 680 幅HRCT圖像、2 160 幅UHRCT 圖像用于構(gòu)建模型;29 例患者的9 280 幅HRCT 圖像、2 610 幅UHRCT 圖像用于視覺評(píng)估和組學(xué)特征一致性評(píng)估。
每位患者均使用256 排CT (iCT,飛利浦,荷蘭)采集了512×512矩陣HRCT掃描和1 024×1 024矩陣UHRCT 靶掃描兩組圖像。所有患者在掃描前進(jìn)行呼吸訓(xùn)練,掃描時(shí)均取仰臥位、在吸氣末屏氣掃描。掃描未注射造影劑。HRCT 掃描參數(shù):準(zhǔn)直0.625 mm×128 mm,管電壓120 kV,自動(dòng)管電流,重建層厚及間距1 mm,矩陣512×512,重建算法為肺算法,掃描野350 mm。UHRCT 靶掃描參數(shù):準(zhǔn)直0.625 mm×128 mm,管電壓120 kV,自動(dòng)管電流,重建層厚及間距0.67 mm,矩陣1 024×1 024,重建算法為肺算法,掃描野100 mm。
排除標(biāo)準(zhǔn):患者進(jìn)行CT掃描前曾進(jìn)行穿刺活檢、放化療、手術(shù)等;結(jié)節(jié)周圍伴有肺實(shí)質(zhì)塌陷或阻塞性改變而難以清晰描繪邊界;圖像存在嚴(yán)重呼吸運(yùn)動(dòng)偽影;DICOM格式圖像不完整。
本研究構(gòu)建的模型由主干超分辨網(wǎng)絡(luò)和梯度分支組成,主干超分辨網(wǎng)絡(luò)采用了多個(gè)成熟的單層圖像超分辨模塊,以HRCT 圖像為輸入圖像,生成SRCT 圖像。盡管大多數(shù)深度學(xué)習(xí)模型傾向于通過增加可學(xué)習(xí)參數(shù)來提高模型性能,但本研究通過采用一個(gè)主干深度學(xué)習(xí)圖像超分辨網(wǎng)絡(luò)引入梯度分支,來證明梯度引導(dǎo)設(shè)計(jì)在臨床CT 超分辨任務(wù)中的有效性。梯度分支輸入HRCT 梯度圖,利用其預(yù)測(cè)的SRCT 梯度圖引導(dǎo)主分支,提供了UHRCT的先驗(yàn)結(jié)構(gòu)。
本模型中超分辨網(wǎng)絡(luò)由17 個(gè)殘差模塊組成,梯度分支由4 個(gè)殘差模塊組成,并在梯度網(wǎng)絡(luò)中串聯(lián)了超分辨網(wǎng)絡(luò)的第二、六、十、十四個(gè)模塊的特征矩陣以提高性能。殘差模塊將提取的特征與結(jié)構(gòu)信息相連接,利用連接后的特征映射來預(yù)測(cè)SRCT圖像。
本研究提出的梯度引導(dǎo)生成對(duì)抗網(wǎng)絡(luò)框架見圖1。
3 名放射科醫(yī)生(分別有3 年、5 年和10 年的臨床工作經(jīng)驗(yàn)) 分別對(duì)29 例患者的SRCT、HRCT、UHRCT 圖像進(jìn)行了獨(dú)立評(píng)估。3 組圖片以隨機(jī)順序并排顯示在830 萬像素液晶顯示器(4K 分辨率)上。圖像設(shè)置窗寬為1 450 HU,窗位為-520 HU。所有影像數(shù)據(jù)均經(jīng)過脫敏處理。3 名放射科醫(yī)生分別采用利克特5 分法評(píng)分表(表1)對(duì)噪聲、條紋偽影、結(jié)節(jié)邊緣、小血管清晰度、正常肺實(shí)質(zhì)均質(zhì)性、整體圖像質(zhì)量進(jìn)行評(píng)估,最后將3名醫(yī)生的評(píng)分取平均值。
表1 利克特5分法評(píng)分表
使用西門子影像組學(xué)軟件(Radiomics,版本1.2.6)在29 例患者的SRCT、HRCT 和UHRCT 圖像上進(jìn)行肺結(jié)節(jié)的分割。上述3 名放射科醫(yī)生在橫斷位圖像上(圖像設(shè)置窗寬為1 450 HU;窗位為-520 HU)畫出結(jié)節(jié)的最長(zhǎng)徑后,該軟件自動(dòng)在橫斷位圖像上繪制覆蓋整個(gè)結(jié)節(jié)范圍的感興趣區(qū)域,隨后由3名醫(yī)生手動(dòng)調(diào)整肺結(jié)節(jié)在橫斷位、冠狀位、矢狀位圖像上的邊界。軟件自動(dòng)提取110個(gè)組學(xué)特征,包括18個(gè)一階統(tǒng)計(jì)量、75個(gè)紋理特征和17個(gè)形狀特征。
所有計(jì)算均在SPSS(IBM SPSS,版本26.0)上進(jìn)行。使用Kendall’s W 檢驗(yàn)分析3 名放射科醫(yī)生主觀評(píng)分的組間一致性,Kendall’s W>0.8 認(rèn)為一致性較好。采用單因素重復(fù)測(cè)量方差分析比較HRCT、UHRCT 和SRCT 圖像的噪聲、條紋偽影、結(jié)節(jié)邊緣、小血管清晰度、正常肺實(shí)質(zhì)的均質(zhì)性和整體圖像質(zhì)量等6項(xiàng)評(píng)價(jià)指標(biāo)。根據(jù)球形檢驗(yàn)的不同epsilon值,采用Huynh-Feldt 和Greenhouse-Geisser 進(jìn)行校正。Bonferroni 校正用于事后檢驗(yàn)。P<0.05 時(shí)具有顯著統(tǒng)計(jì)學(xué)意義。
使用組內(nèi)相關(guān)系數(shù)(Intraclass correlation coefficient,ICC) 分 析3 名 放 射 科 醫(yī) 生 在SRCT、HRCT 和UHRCT 圖像上肺結(jié)節(jié)分割結(jié)果的組學(xué)特征一致性。ICC 值介于0 到1 之間。ICC≤0.2、0.2<ICC≤0.4、0.4<ICC≤0.6、0.6<ICC≤0.8、0.8<ICC≤1 分別表示一致性極差、較差、中等、較好和極好。
本研究采用Kendall’s W 檢驗(yàn),分析3 名放射科醫(yī)生視覺評(píng)估的一致性,結(jié)果顯示這3 名醫(yī)生評(píng)估結(jié)果的Kendall’s W=0.822,P<0.001,具有較好的組間一致性。
HRCT、UHRCT 和SRCT 圖像的主觀評(píng)價(jià)結(jié)果詳見表2。
表2 HRCT、UHRCT和SRCT圖像的主觀評(píng)價(jià)結(jié)果
由表2得出,對(duì)于所有評(píng)價(jià)指標(biāo),SRCT、HRCT和UHRCT 各組之間是有差別的(P<0.05)。對(duì)于噪聲和條紋偽影,SRCT 的表現(xiàn)優(yōu)于UHRCT,但劣于HRCT,均達(dá)到顯著性水平(P<0.05)。對(duì)于結(jié)節(jié)邊緣、正常肺實(shí)質(zhì)的均質(zhì)性,SRCT 與UHRCT 無明顯差異(P>0.05),但兩者均優(yōu)于HRCT(P<0.05)。對(duì)于小血管清晰度和總體圖像質(zhì)量,SRCT 的表現(xiàn)明顯優(yōu)于UHRCT 和HRCT(P<0.05)。圖2、3 展示了兩個(gè)典型案例。
將3 名放射科醫(yī)生的SRCT 與UHRCT、UHRCT與HRCT、SRCT 與HRCT 各組對(duì)比的組學(xué)特征ICC分級(jí)及平均值進(jìn)行統(tǒng)計(jì),詳見表3。
由表3 得出,3 名醫(yī)生對(duì)于3 組圖像的組學(xué)特征一致性達(dá)到較好及以上(ICC>0.6)的比例均達(dá)到90%以上,其中對(duì)于第一位醫(yī)生和第三位醫(yī)生的肺結(jié)節(jié)分割結(jié)果,3 組圖像兩兩比較的所有組學(xué)特征的一致性均是可接受的(ICC>0.4)。在第二位醫(yī)生的肺結(jié)節(jié)分割結(jié)果中,SRCT 與UHRCT 對(duì)比組有兩個(gè)紋理特征一致性較差(0.2<ICC≤0.4);UHRCT 與HRCT對(duì)比組中,有一個(gè)紋理特征一致性極差(ICC≤0.2);有兩個(gè)組學(xué)特征的一致性較差(0.2<ICC≤0.4),分別為一階統(tǒng)計(jì)量和紋理特征。
表3 組學(xué)特征一致性結(jié)果統(tǒng)計(jì)
本研究提出了基于深度學(xué)習(xí)的圖像超高分辨率模型,從主觀上評(píng)價(jià)了該模型的超分辨性能是可靠的,且生成圖像的組學(xué)特征穩(wěn)定性總體較好。
隨著圖像分辨率的提高和像素?cái)?shù)量增加,UHRCT 圖像比HRCT 圖像能夠更清楚地顯示正常肺組織和病變的細(xì)微結(jié)構(gòu)是毋庸置疑的,但也隨之帶來更嚴(yán)重的噪聲和條紋偽影[7-8]。近年來,深度學(xué)習(xí)在醫(yī)學(xué)影像領(lǐng)域被廣泛用于提升圖像分辨率,降低偽影以及圖像去噪。You 等[9]受循環(huán)一致的生成對(duì)抗網(wǎng)絡(luò)(cycle-consistent generative adversarial networks,cycle-GAN)的啟發(fā),提出了一種利用多種目標(biāo)函數(shù)、基于GAN 的半監(jiān)督網(wǎng)絡(luò)來實(shí)現(xiàn)圖像超分辨率重建。Tang 等[10]提出了一種新的正弦圖域GAN 超分辨率模型,該模型利用循環(huán)一致性損失、正弦圖域損失和重建圖像域損失,在正弦圖空間生成超分辨率CT 圖像。上述方法主要基于仿真數(shù)據(jù)或體模數(shù)據(jù),配對(duì)的數(shù)據(jù)在空間位置上能夠完全匹配;此外GAN模型容易出現(xiàn)生成圖像結(jié)構(gòu)失真的問題。本模型的構(gòu)建與之前研究不同,我們構(gòu)建了附帶梯度引導(dǎo)分支的GAN 網(wǎng)絡(luò),通過調(diào)整對(duì)抗性損失、感知損失、像素?fù)p失和梯度損失的權(quán)重進(jìn)行建模,模型所生成的圖像,通過研究顯示圖像噪聲和偽影明顯降低,且對(duì)細(xì)節(jié)顯示更加清晰,整體的圖像質(zhì)量得以提高,進(jìn)一步提高放射科醫(yī)生對(duì)早期肺癌的診斷信心。
對(duì)于本研究構(gòu)建的深度學(xué)習(xí)圖像超高分辨率模型,生成的SRCT 與UHRCT、HRCT 的組學(xué)特征一致性總體較好,由此得出該模型沒有造成圖像組學(xué)特征的較大變異,有益于深度學(xué)習(xí)超高分辨CT 的影像組學(xué)分析在臨床中的進(jìn)一步應(yīng)用。從每位醫(yī)生的3 組圖像肺結(jié)節(jié)分割結(jié)果來看,SRCT 圖像和HRCT 圖像的組學(xué)特征一致性均最高。究其原因,可能是前期構(gòu)建的模型基于HRCT 輸入圖像生成SRCT 圖像,UHRCT圖像作為金標(biāo)準(zhǔn)參考圖像。此外,UHRCT圖像由兩次掃描獲得,由于患者呼吸深度不同和運(yùn)動(dòng)偽影存在,結(jié)節(jié)局部形態(tài)和整體圖像均可能受到影響。
在3 種類型的組學(xué)特征中,一階統(tǒng)計(jì)量和形狀特征的一致性普遍較好(ICC>0.8),一致性較差(ICC≤0.8)的組學(xué)特征絕大部分是紋理特征。我們的結(jié)果與既往的結(jié)果基本是一致的。據(jù)報(bào)道,一階統(tǒng)計(jì)量和形狀特征是對(duì)成像參數(shù)變化最穩(wěn)定的放射組學(xué)特征,這可能歸因于這兩類特征依賴于分割的病灶邊界;而紋理特征的變異性較大[11]。Larue 等[12]的研究得出,紋理特征變異性與圖像分辨率差異相關(guān),對(duì)圖像進(jìn)行重采樣則會(huì)降低組學(xué)特征的變異性。Mackin 等[13]也發(fā)現(xiàn),圖像像素的大小不一致會(huì)造成紋理特征的變異性大大增加,并且得出圖像重采樣和低通濾波可以糾正高變異性紋理特征所占比例從80%降至10%。由于紋理特征與圖像的空間和強(qiáng)度信息密切相關(guān),因此空間分辨率對(duì)紋理特征非常重要[14]。在本研究中,HRCT、UHRCT 和SRCT 圖像的層厚和像素大小不一致是造成紋理特征一致性較差的主要原因。
本研究還存在一些局限性。首先,本研究在構(gòu)建模型時(shí),訓(xùn)練集、驗(yàn)證集和測(cè)試集都收集自同一臺(tái)設(shè)備,所以該模型目前在該CT機(jī)型上的表現(xiàn)令人滿意。對(duì)于人工智能模型來講,具有較好的魯棒性是至關(guān)重要的。我們已在多中心進(jìn)一步擴(kuò)大多樣化的訓(xùn)練集。其次,深度學(xué)習(xí)模型構(gòu)建中普遍存在數(shù)據(jù)量不足的問題,在我們的研究中也不例外。利用少量訓(xùn)練數(shù)據(jù)開發(fā)高性能模型是具有挑戰(zhàn)性的,因?yàn)樗拗屏藦?fù)雜神經(jīng)網(wǎng)絡(luò)的應(yīng)用,從而影響了模型的穩(wěn)定性和有效性。第三,研究還需進(jìn)行外部驗(yàn)證,以進(jìn)一步客觀評(píng)估模型的超分辨性能和生成圖像的組學(xué)特征穩(wěn)定性。
總之,我們提出的深度學(xué)習(xí)圖像超高分辨率模型顯著提高了512×512 矩陣HRCT 圖像質(zhì)量,較為接近1 024×1 024 矩陣UHRCT 圖像質(zhì)量水平,且生成圖像的組學(xué)特征較為穩(wěn)定,基于深度學(xué)習(xí)的超高分辨胸部CT 圖像的影像組學(xué)研究將來有望在肺結(jié)節(jié)良惡性早期診斷、肺癌分期、預(yù)后及療效評(píng)估中發(fā)揮重要作用。