馬依迪麗·尼加提,田序偉,米日古麗·達毛拉,阿布都克尤木·阿布力孜,阿里木江·阿卜杜凱尤木,戴國朝,董家科
喀什地區(qū)第一人民醫(yī)院 影像中心,新疆 喀什 844000
結核病為結核桿菌感染引起的傳染性疾病,結核桿菌的侵入通常會造成肺部感染,也會感染身體的其他部位,大多數(shù)結核桿菌的感染者沒有癥狀,稱為潛伏結核感染[1-3]。若沒有及時進行適當治療,10%的潛伏感染患者會惡化為活動性結核,致死率會高達50%[4]。結核病是全球第九大致死性疾病,也是由單一病原體感染造成患者死亡的主要疾病之一[5]。世界衛(wèi)生組織報道,目前全球有近1/3 的人已感染結核桿菌,即全球20 億人口體內攜帶結核桿菌。據(jù)統(tǒng)計,全球已有活動性肺結核患者約2000 萬,每年新發(fā)結核病患者近1000 萬[6]。肺結核可發(fā)生在全球任何一個地方,其中亞洲地區(qū)為肺結核的最高發(fā)地帶,占全球肺結核發(fā)病率的60%[7-8]。臨床實踐中,結核病的準確檢測與診斷仍存在諸多挑戰(zhàn),以我國為例,東部城鎮(zhèn)綜合性大醫(yī)院結核病漏診漏報情況頻發(fā),中西部及農(nóng)村地區(qū)醫(yī)療資源稀缺導致結核病檢出率更低,漏診情況更嚴重[9]。
目前結核病診斷的“金標準”是結核桿菌培養(yǎng),但結核桿菌培養(yǎng)存在兩個問題:① 結核桿菌培養(yǎng)時間長,單次檢測需要1 個月的時間;② 存在菌陰性肺結核病例,且這一類病例比例高達50%,因此,有50%的活動性肺結核患者無法通過結核桿菌培養(yǎng)的方式實現(xiàn)結核病的確診[9]。因此,影像學信息對結核病的診斷具有非常重要的參考意義。作為經(jīng)濟便捷的檢測方法,X 線胸片是肺結核篩查的主要手段,醫(yī)生可以通過X 線胸片來判斷肺結核的發(fā)生及病灶位置。然而,診斷的效率和準確度均十分依賴于閱片醫(yī)生的經(jīng)驗和水平[10-11]。由于缺乏大量專業(yè)的醫(yī)學影像醫(yī)生,在臨床中很難保證肺結核病診斷的整體效率和準確度。此外,肺部異常疾病在X 線胸片上有多種不同的表型和癥狀,臨床研究表明,多種不同的表型和癥狀往往伴隨出現(xiàn),并且分辨難度較高。這些均給影像醫(yī)生閱片帶來了巨大的挑戰(zhàn),使結核病的診斷成為一項艱巨而耗時的工作。
隨著人工智能(Artificial Intelligence,AI)技術在醫(yī)學影像領域的發(fā)展,許多基于深度學習算法的研究致力于開發(fā)肺結核自動檢測系統(tǒng),并取得了一定的成果。Lakhani 等[12]采用兩種不同的深度卷積神經(jīng)網(wǎng)絡(Deep Convolutional Neural Networks,DCNN)AlexNet和GoogLeNet 將肺部影像分類為具有肺結核病例或不具有肺結核的健康病例。該方法使用ImageNet 上未經(jīng)訓練和預訓練的網(wǎng)絡,并采用多種預處理技術進行數(shù)據(jù)增強。Govindarajan 等[13]提出了一種使用“加速魯棒特征”描述符和“特征袋”方法的結核病分類方案,首先采用水平集算法分割肺葉,再利用多層感知器進行正常肺部和結核病感染肺部影像的分類。Pasa 等[14]提出了一個高效的卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,CNN)模型,其具有5 個卷積層、1 個平均池化層和1 個Softmax 層,在保持模型準確性的同時,減少了模型的復雜性和計算成本。Stirenko 等[15]通過基于深度學習采用2D 胸部X 影像對結核病進行預測,提出的網(wǎng)絡可以應用于小樣本且不平衡的數(shù)據(jù)集。Hooda 等[16]使用了具有7 個卷積層和3 個全連接層的CNN 架構,比較了3 種不同優(yōu)化器在X 線胸片肺結核上的診斷性能。Devnath 等[17]同樣提出了一種基于DCNN 的肺結節(jié)檢測算法,具有良好的肺結核診斷能力。
然而,以上方法在實際臨床應用中均有一定的缺陷和局限性,并未得到廣泛的應用,目前臨床中仍亟需一種更準確、高效的肺結核自動檢測模型,以降低臨床診斷中的漏診和誤診率?;诖?,本研究以1217 例過往病例的X 線胸片影像數(shù)據(jù)為研究對象,基于DCNN 建立了一種新型肺結核檢測模型,優(yōu)化模型對微小病灶和隱匿性病灶的檢出率,并通過在醫(yī)療資源匱乏地區(qū)的臨床應用對比評估了檢測模型用于胸部X 光片檢測結核病的能力與價值。
本研究回顧性收集了2019 年3 月至2020 年7 月于喀什地區(qū)第一人民醫(yī)院影像中心就診患者的影像及臨床數(shù)據(jù)。本研究由參與醫(yī)院的機構審查委員會批準(倫理批號:2022 快審研第43 號)。
納入標準:① 痰培養(yǎng)確診為肺結核患者、非結核肺部異常的患者、正常對照患者;②X 線胸片影像資料完整;③ X 線胸片影像圖像清晰;④ 患者在診斷時以站立姿勢獲得后前位胸片。排除標準:① 臨床診療記錄不完整;② 同時患有嚴重影響胸部X 光檢查結果的疾病的患者(如肺癌、起搏器或除顫器放置、心臟或肺部手術史);③ 廣泛性胸腔積液患者。
根據(jù)上述標準,共納入1217 例患者,其中男性679 例、女性538 例,平均年齡56 歲,其中結核病例305 例、正常病例840 例、非結核肺部異常病例為72 例?;颊弑浑S機分為3 個數(shù)據(jù)集,以7 ∶2 ∶1 的比例在改進的RetinaNet 肺結核病灶檢測模型上進行訓練、驗證和測試。此外,本研究還收集了兩個外部公開肺結核數(shù)據(jù)集用于模型的外部驗證,包括深圳市第三人民醫(yī)院肺結核數(shù)據(jù)集(662 例,尺度3000×3000)和美國蒙哥馬利縣肺結核數(shù)據(jù)集(138 例,尺度4020×4892 和4892×4020),兩個數(shù)據(jù)集共計數(shù)據(jù)800 例份。
數(shù)字化X 線攝影檢查,攝影距離180 cm,用濾線柵,攝影體位后前位,中心線對準第六胸椎水平處垂直于探測器入射。
由1 名具有5 年影像診斷經(jīng)驗影像醫(yī)師采用ITKSNAP(www.itksnap.org/)軟件完成病灶區(qū)域檢測框的標注,并由另一名具有10 年影像診斷經(jīng)驗的影像醫(yī)師進行檢查,若存在不同診斷意見,經(jīng)過協(xié)商后統(tǒng)一。標注范圍為包含病灶的整個區(qū)域,即包含血管、氣管等成分。
本研究算法主要分為圖像預處理(包括通用圖像預處理和模型特定圖像預處理)和肺結核病灶目標檢測兩部分。圖像預處理部分主要包括DICOM 圖像處理、圖像轉換和數(shù)據(jù)擴增,按照一定的邏輯轉化為模型圖像輸入尺寸。之后將圖像送入目標檢測器,輸出目標預選框,對目標框進行后處理,最后得到肺結核病灶框,算法概要流程如圖1 所示。
圖1 算法概要流程圖
1.5.1 顏色空間轉換
如果讀入的DICOM 圖像是三通道彩色圖像,需轉換為單通道灰度圖像,若讀入的DICOM 圖像是單通道灰度圖像,則不作任何處理。圖像顏色空間轉換計算方法為直接取三通道圖像的第一通道作為輸出(Iout),計算公式如公式(1)所示。
式中,Iin為原始DICOM 圖像。
1.5.2 反片矯正
針對圖像中的反片(與正片相對應,對黑色和白色的映射與正片圖像剛好相反),需要對其進行矯正處理使其變?yōu)檎?,反片矯正的計算方式如公式(2)所示。
式中,Iout表示輸出的圖像灰度矩陣;Iin表示原片圖像。
進行了反片矯正之后和原始圖像效果對比如圖2所示。TAG(0028,0004) 是DICOM 圖像的頭文件信息,解釋存儲在DICOM 文件中的像素數(shù)據(jù)方式;MONOCHROME2 為像素數(shù)據(jù)表示單色圖像平面。最小樣本值在執(zhí)行任何VOI 灰度轉換后,預期顯示為黑色。
圖2 反片矯正結果圖
1.5.3 灰度歸一化
為避免不同機型和參數(shù)對模型預測結果的影響,需要對圖像進行灰度歸一化處理,將輸入圖像類型轉換為浮點型,并將圖像的灰度范圍映射到[0.0,255.0],以免因不同圖像灰度范圍不一致導致模型泛化能力差。圖像灰度歸一化的計算方式如公式(3)所示。
式中,ε=1×10-7,其為避免發(fā)生除零錯誤而引入的額外參數(shù)。
1.5.4 圖像標準化
為能充分利用遷移學習帶來的性能提升,圖像按照ImageNet 數(shù)據(jù)集的統(tǒng)計信息重新標準化。首先,圖像被擴展為三通道圖像,表達式如公式(4)所示;然后減去樣本數(shù)據(jù)集的圖像均值Im,得到標準化的圖像,表達式如公式(5)所示。
1.5.5 尺度變換
為適配網(wǎng)絡結構,輸入圖像將通過雙線性插值算法進行尺度變換。1217 例原始圖像的尺度為2287×2628、3072×3072 以及2638×2925,長寬比轉換為1024×1024。最后對圖像進行直方圖均衡化,在不顯著改變其他器官和背景灰度的情況下,突出肺部特征。
1.6.1 改進的RetinaNet模型描述
在目標檢測領域,早期two-step 方式檢測網(wǎng)絡的準確率高于one-step 檢測網(wǎng)絡,但在RetinaNet[18]檢測網(wǎng)絡被提出后,one-step 檢測網(wǎng)絡的精度首次超過twostep 檢測網(wǎng)絡。為此,one-step 網(wǎng)絡的檢測速度與檢測精度相較于two-step 網(wǎng)絡均已占優(yōu)勢,故本研究選擇RetinaNet 檢測網(wǎng)絡作為肺結核檢測網(wǎng)絡。RetinaNet 針對被檢測目標中類別不均衡問題,本文在標準交叉熵損失函數(shù)基礎上提出一種新的損失函數(shù),稱為focal loss,損失函數(shù)是在標準交叉熵損失基礎上修改得到的。通過減少易分類樣本的權重,使得模型在訓練時更專注于稀疏的難分類的樣本;防止大量易分類負樣本在訓練中壓垮檢測器,主要貢獻是解決了目標檢測中的類別不均衡問題。
本研究中在原有RetinaNet 的網(wǎng)絡基礎上在主干網(wǎng)絡中引入通道注意力機制,優(yōu)化對微小病灶和隱匿性病灶的檢出率。本研究所采用的通道注意力機制模塊主要由最大池化、卷積和全連接層再連接激活函數(shù)組成。通道注意力機制可以對不同特征圖賦予不同的權重,較大權重的特征圖對微小病灶和隱匿性病灶響應較好??傮w來說,通道注意力機制的目的是細化目標特征在所有特征圖中所占權重,優(yōu)化最終的檢測算法。
1.6.2 特征金字塔主干網(wǎng)絡
使用特征金字塔網(wǎng)絡(Feature Pyramid Networks,F(xiàn)PN)作為RetinaNet 的主干網(wǎng)。FPN 給標準的CNN 增加一個自頂向下的路徑和側向連接,來從圖片的單一分辨率構建一個豐富的、多尺度的FPN。金字塔的每一層以不同尺寸檢測對象。FPN 改善了全卷積網(wǎng)絡的多尺寸預測,優(yōu)化了對微小病灶和隱匿性病灶的檢出率。整體檢測算法框架圖如圖3 所示。
1.6.3 分類子網(wǎng)絡
Focal loss 應用在分類子網(wǎng)絡中,分類子網(wǎng)絡預測每個anchor 上K 個類別的概率。子網(wǎng)絡是附加在FPN的每一層的一個小的全卷積網(wǎng)絡(Fully Convolutional Networks,F(xiàn)CN)。對于給定的金字塔層級輸出的C 個通道的特征映射,子網(wǎng)絡使用4 個3×3 的卷積層,每層的通道數(shù)仍然是C,以及1 個ReLU 層;然后與1 個通道數(shù)位KA(K 是類別數(shù),A 是anchor 數(shù))的3×3的卷積層;最后使用Sigmoid 函數(shù)。
1.6.4 邊框回歸子網(wǎng)絡
與分類子網(wǎng)絡并行,在FPN 的每層附加一個小的FCN 用于邊框回歸。邊框回歸子網(wǎng)絡和分類子網(wǎng)絡設計是一樣的,不同之處為最后一層通道數(shù)是4A 個。邊框回歸的方法與基于區(qū)域的CNN 的邊框回歸一樣。不同于大多數(shù)設計,本文使用類別無關的邊框歸回,參數(shù)更少,同樣有效。分類子網(wǎng)絡和邊框回歸子網(wǎng)絡共享結構,參數(shù)獨立。
經(jīng)過預處理的圖像經(jīng)過檢測模型的處理,網(wǎng)絡會輸出潛在肺結核目標框的位置和對應的置信度(可能有多個或沒有)。使用非極大值抑制方法,將同一目標內的框按照分類置信度和IoU 閾值做篩選,剔除冗余地、低置信度的目標框;如果沒有目標框輸出,則認為該張圖像中沒有肺結核疾病征象的存在。
輸出結果只保留置信度大于5%,IoU 大于0.3 的目標框,其余目標框全部舍棄,得到最終的肺結核預測目標框;如果沒有目標框輸出,則認為該張圖像中沒有肺結核疾病征象的存在。最終預測結果如圖4 所示。
圖4 預測結果示例
使用訓練集數(shù)據(jù)對有無AI 系統(tǒng)輔助放射科醫(yī)生的診斷效能進行對比,其中,放射科診斷醫(yī)生選取兩名,醫(yī)生A 具有3 年相關閱片經(jīng)驗,醫(yī)生B 具有5 年相關閱片經(jīng)驗,最終診斷結果取兩個醫(yī)生的平均值,診斷效能包括靈敏度、特異性和準確度。同時分析使用訓練集數(shù)據(jù)對有無AI 系統(tǒng)輔助放射科醫(yī)生的診斷效率進行對比,主要為閱片時間。
使用Linux 操作系統(tǒng)(ubuntu16.04;Xenial,倫敦,英格蘭)和Tensorflow v1.6 深度學習框架(https://www.tensorflow.org/),具有CUDA 9.0.176 和CUDNN 7.0(Nvidia Corporation,Santa Clara,Calif)的圖形處理單元加速依賴項。該計算機包含一個Intel Core i5-7500 3.4 gHz 處理器(Intel,Santa Clara,Calif)、4 TB硬盤空間、32 GB RAM 和一個支持CUDA 的Nvidia GeForce GTX 1080 Ti 圖形處理單元。所有的統(tǒng)計分析和圖形均使用Python 語言。
結核病例、正常病例及非結核病例在性別、年齡等人口學特征上的差異均無統(tǒng)計學意義(P>0.05),見表1。
表1 結核病例與正常病例及非肺結核病例患者的人口學特征比較
改進的RetinaNet 模型和原始RetinaNet 模型對訓練集、驗證集、測試集以及外部驗證集評估的診斷性能如表2 所示,改進的RetinaNet 模型僅在測試集的AUC 略低于原始RetinaNet 模型,其他數(shù)據(jù)集的AUC 和準確度均高于原始RetinaNet 模型。同時改進的RetinaNet 模型在外部中心的公開數(shù)據(jù)集進行模型評價時,診斷性能較測試集和驗證集表現(xiàn)更好(AUC 為0.879,準確度為0.847),即診斷模型具有良好泛化能力。
表2 RetinaNet肺結核病灶檢測模型對訓練集、驗證集、測試集數(shù)據(jù)的診斷性能
如表3 所示,放射科醫(yī)生在沒有AI 系統(tǒng)輔助的情況下診斷的靈敏度、特異性和準確度分別為63.8%、98.4%、86.3%,當AI 系統(tǒng)參與輔助診斷時可將放射科醫(yī)生的診斷靈敏度、特異性和準確度分別提高至77.4%、98.8%、91.3%。
表3 有無AI系統(tǒng)輔助的情況下放射科醫(yī)生平均診斷效能比較(%)
在無AI 系統(tǒng)輔助下放射科醫(yī)生對于病例的影像數(shù)據(jù)進行閱片時間為(37.43±1.2)s,有AI 系統(tǒng)輔助閱片時間為(13.97±4.3)s,在AI 系統(tǒng)輔助下放射科醫(yī)生可以顯著提高閱片診斷的效率(t=4.786,P<0.001)。
肺結核是全球最主要的呼吸道傳染病之一,在許多發(fā)展中國家普遍存在,其中,印度、印度尼西亞和中國的結核病負擔較高[19-20]。此外,在中國,肺結核是僅次于病毒性肝炎的第二大傳染性疾病[21-22]。我國地域遼闊,醫(yī)療資源分布不均,農(nóng)村或偏遠地區(qū)醫(yī)療資源相對匱乏,居民難以獲得及時、高質量的醫(yī)療服務,導致肺結核等傳染性疾病發(fā)發(fā)率高,例如,新疆喀什地區(qū)是醫(yī)療資源相對匱乏的傳染病高發(fā)區(qū),其中肺結核發(fā)病率是全國平均發(fā)病率的10倍以上。喀什地區(qū)醫(yī)療衛(wèi)生條件相對較差,專業(yè)技術人員匱乏,肺結核診斷準確性不高。此外臨床上非結核患者也可能有頻繁的胸部感染、呼吸困難和發(fā)燒,同時可能有肺結核一樣的影像表現(xiàn)。這導致這些患者經(jīng)常被誤診為肺結核病例,接受不當?shù)闹委煼椒ǎM而引起不良反應。因此,對肺結核病準確的檢測和診斷是至關重要的。
隨著AI 技術在醫(yī)學圖像領域應用的發(fā)展,許多基于深度學習算法的研究致力于開發(fā)肺結核自動檢測系統(tǒng),并取得了一定的進展[23-24],最近的研究表明,深度學習方法可以從X 線胸片上讀取識別各種類型肺部疑似疾病的外觀,這是未來計算機輔助肺部疾病診斷的一個主要研究方向。本研究對AI 輔助肺結核的診斷進行了深入的研究,構建了基于DCNN 的檢測模型來分析胸部X 線影像數(shù)據(jù),并針對原有RetinaNet 的網(wǎng)絡在主干網(wǎng)絡中引入通道注意力機制,優(yōu)化對微小病灶和隱匿性病灶的檢出率。通道注意力機制可以對不同特征圖賦予不同的權重,較大權重的特征圖對微小病灶和隱匿性病灶響應較好,最終細化了較難目標特征在所有特征圖中所占權重,改進優(yōu)化了肺結核的檢測算法。
本研究開發(fā)的檢測模型在肺結核診斷性能方面表現(xiàn)出色且具有較好的泛化能力,如Ghorakavi 等[25]基于深度學習方法開發(fā)的肺結核檢測網(wǎng)絡TB-Net,該網(wǎng)絡使用了基于多個特征的數(shù)據(jù)增強方法,從原始胸片中尋找敏感區(qū)域和噪聲作為輸入進行模型訓練,最終該研究在多個模型中訓練得到的最優(yōu)驗證集和測試集準確度得分分別為0.813 和0.754。本研究的檢測模型優(yōu)化了對微小病灶和隱匿性病灶的檢出率,可以用于快速檢測和定位X 線胸片中的微小和隱匿性肺結核病灶,并給出相應的置信指數(shù)和病灶位置信息,大幅度提高醫(yī)生的工作效率和肺結核診斷的準確率,用于大批量篩查肺結核高風險人群。本研究結果還顯示,在AI 系統(tǒng)的輔助下進行肺結核診斷的平均靈敏度提高了13.6%。雖然假陽性率也略有上升,但對于人群結核病的大批量篩查與預防而言,高靈敏度對于此類傳染病的預防和控制具有更顯著和重要的意義。除了檢測準確度以外,檢測效率也是結核病大批量篩查的一個重要方面,特別是在放射科醫(yī)生工作量大、資源匱乏的地區(qū)。同時AI 系統(tǒng)的輔助可顯著縮短放射科醫(yī)生的平均閱片時間。因此,AI 系統(tǒng)輔助診斷不僅提高了肺結核病檢測的準確度,而且大大提高了放射科醫(yī)生的工作效率,節(jié)省了臨床診斷的時間。
本文構建的改進的RetinaNet 肺結核病灶檢測模型包含多種優(yōu)化措施,可以顯著提高檢測網(wǎng)絡的準確率和數(shù)據(jù)處理速度。本檢測模型在外部驗證集上的診斷性能指標AUC 為0.879,準確度為0.847,能夠滿足臨床診斷的需求,輔助放射科醫(yī)生和公共衛(wèi)生提供者在結核病流行地區(qū)開展快速、準確、高效的大規(guī)模結核病篩查工作。