彭 超,張 劍,劉 歡,黃 英,劉 羽

[1.重慶大學(xué)附屬中心醫(yī)院/重慶市急救醫(yī)療中心醫(yī)學(xué)影像科,重慶 400014;2.中電通商數(shù)字技術(shù)(上海)有限公司,上海 200131;3.重慶市公共衛(wèi)生醫(yī)療救治中心/西南大學(xué)附屬公衛(wèi)醫(yī)院醫(yī)學(xué)影像科,重慶 400030]

腕關(guān)節(jié)是生活和工作中使用頻率較高的關(guān)節(jié)之一,同時又是人體解剖結(jié)構(gòu)最復(fù)雜的關(guān)節(jié),容易發(fā)生骨折、脫位、撞擊綜合征、骨腫瘤、關(guān)節(jié)炎性病變及肌腱和韌帶損傷等疾病,嚴重影響患者生活自理、學(xué)習(xí)工作和運動健身等能力[1]。影像學(xué)檢查是醫(yī)學(xué)檢查的重要組成部分,為臨床疾病診斷、病灶的定位及定性、臨床治療方案的選擇、疾病的分期及預(yù)后等提供了重要依據(jù)[2]。隨著X線攝影技術(shù)的發(fā)展與普及,越來越多的醫(yī)療機構(gòu)引進了直接數(shù)字平板X線成像系統(tǒng)(DR)設(shè)備,且廣泛地應(yīng)用于各個醫(yī)療機構(gòu)的多種業(yè)務(wù)場景[3]。X線攝影簡便、快捷、經(jīng)濟、實用的優(yōu)勢日漸突出,成為腕關(guān)節(jié)常見疾病檢查的優(yōu)先選擇。但因檢查設(shè)備、操作技師、患者自身及疾病等因素的差異,數(shù)據(jù)的質(zhì)量存在較大差異,數(shù)據(jù)呈現(xiàn)波動特征,隨時間和特定事件變化,建立有效的圖像質(zhì)量評價機制對于臨床醫(yī)學(xué)圖像處理技術(shù)具有重大的應(yīng)用價值[4]。

在圖像評價領(lǐng)域,國內(nèi)影像科還停留在人工參考層面的主觀評價(視覺評價),存在效率低、易遺漏、主觀性太強、方式落后等弊端,不能有效、快速、全面、可持續(xù)性地提高圖像質(zhì)控水平,不能推動影像質(zhì)控的發(fā)展。因此,本研究擬提出具有輔助拍片功能的智能質(zhì)控系統(tǒng),對于醫(yī)療影像質(zhì)量的評價和醫(yī)療診斷質(zhì)量的提高均具有重要意義,同時對綜合性醫(yī)院及基層醫(yī)院影像質(zhì)控的規(guī)范及發(fā)展起著至關(guān)重要的推動作用。

隨著人工智能技術(shù)的發(fā)展,近年來,深度學(xué)習(xí)在計算機視覺、語音識別、自然語言處理、音頻識別與生物信息學(xué)等領(lǐng)域取得了突破性研究進展[5]。本研究中,作者提出了一種全自動的腕關(guān)節(jié)DR質(zhì)控系統(tǒng),該系統(tǒng)以DICOM格式的圖像文件作為輸入,通過1個分類模型和2個關(guān)鍵點檢測模型及其他功能計算函數(shù)后,輸出多個定量和定性的質(zhì)控評估結(jié)果。分類模型和關(guān)鍵點檢測模型都是基于卷積神經(jīng)網(wǎng)絡(luò)[6-7]。完成系統(tǒng)構(gòu)建后,作者將其對實際影像實例的質(zhì)控結(jié)果與來自專業(yè)放射科醫(yī)生的質(zhì)控結(jié)果進行了對比。

1 資料與方法

1.1一般資料 回顧性納入2013年9月25日至2018年2月10日接受腕關(guān)節(jié)正位和側(cè)位片檢查的1 315張圖像,其中包括695張正位片和620張側(cè)位片。該數(shù)據(jù)集中包含343張具有異物偽影的正位圖像,52張無異物偽影的正位圖像;234張具有異物偽影的側(cè)位圖像,386張無異物偽影的側(cè)位圖像。將該數(shù)據(jù)集以6︰4的比例劃分為2組:訓(xùn)練集和驗證集,分別用于偽影分類模型和腕關(guān)節(jié)關(guān)鍵點檢測模型,其中正、側(cè)位模型的訓(xùn)練集、驗證集分別為417、278張和372、248張。圖像的采集設(shè)備為DR(uDR 556i型,上海聯(lián)影醫(yī)療科技有限公司;1000-X3型,北京萬東醫(yī)療科技股份有限公司)。本研究獲得重慶大學(xué)附屬中心醫(yī)院倫理委員會批準[批準文號:2023年倫審第(20)號]。

4名影像科醫(yī)生使用Labelme軟件(版本5.3.1,https://github.com/wkentaro/labelme)對數(shù)據(jù)集進行手工標注,本研究中使用的所有數(shù)據(jù)均是對個人敏感信息過濾處理后的純醫(yī)學(xué)影像數(shù)據(jù)[8],每張圖像都進行了偽影分類標注和關(guān)鍵點標注。每名放射科醫(yī)生承擔(dān)1/4的標注數(shù)量,然后檢查和修正其他3人的標注以讓數(shù)據(jù)集保持同一標注尺度和規(guī)則。正、側(cè)位圖像中所定義的關(guān)鍵點具體見圖1A、B。

注:A.正位;B.側(cè)位。

1.2方法

1.2.1質(zhì)控評價標準 參考《重慶市數(shù)字醫(yī)學(xué)影像服務(wù)檢查互認項目質(zhì)控規(guī)范》,本標準包括4個部分:對基本檢查信息的評價、對檢查體位的評價、對異物偽影的評價、對圖像顯示與布局的評價。基本檢查信息評價任務(wù)項包括受檢者是否包含影像號、姓名、性別、出生日期、年齡;檢查是否包含檢查日期、檢查時間;檢查設(shè)備是否包含執(zhí)行醫(yī)院名稱、設(shè)備生產(chǎn)商、設(shè)備型號、軟件版本號;執(zhí)行參數(shù)是否包含管電壓、源到探測器距離、曝光時間;圖像顯示參數(shù)是否包含放大標尺、窗寬、窗位。

檢查體位的評價是通過識別圖像是否包含完整、準確、無遮擋的左(L)或右(R)標識符號來完成的,結(jié)果也是“是”或“否”。異物偽影的評價使用偽影分類模型完成,結(jié)果為“是”或“否”。對圖像顯示與布局的評價需要基于關(guān)鍵點檢測模型來完成。通過對模型所獲取的關(guān)鍵點坐標與圖像尺寸大小的綜合計算,逐一判斷表1中的8項任務(wù)是否合格,以確定圖像是否符合質(zhì)控評價要求,這些具體定義的物理量的含義如圖1所示。

表1 腕關(guān)節(jié)DR正位和側(cè)位片顯示與布局評價任務(wù)、關(guān)鍵點和判定條件

1.2.2規(guī)則和分數(shù) 腕關(guān)節(jié)DR圖像質(zhì)控評價標準的4個部分有相應(yīng)的評分規(guī)則,評價總分為100分。其中,正位和側(cè)位圖像具有相同的評價指標,即基本檢查信息評價、檢查體位評價和異物偽影的評價,三者總分分別為34、20、10分。在基本檢查信息評價中,每個子項目為2分,結(jié)果為“是”得2分。在檢查體位評價中,結(jié)果為“是”得20分,結(jié)果為“否”,則為0分。在異物偽影評價中,結(jié)果為“否”得10分。

在正位圖像的顯示與布局評價中,任務(wù)正位1和正位2均為5分,任務(wù)正位3和正位4均為10分,任務(wù)正位5為6分。在側(cè)位圖像的顯示與布局評價中,每個任務(wù)為12分。圖像顯示與布局評價任務(wù)的評分規(guī)則見表2。由于任務(wù)正位4、5和任務(wù)側(cè)位1是對2個方向上測量值的評價,所以這3個任務(wù)的分數(shù)為兩部分之和。

表2 腕關(guān)節(jié)DR正位和側(cè)位片顯示與布局評價評分規(guī)則

1.2.3評價等級 額外選擇了一個由100張正位圖像和100張側(cè)位圖像組成的腕關(guān)節(jié)X線驗證數(shù)據(jù)集評估來自質(zhì)控系統(tǒng)和放射科醫(yī)生的結(jié)果之間的一致性。由于基本檢查信息的完整度和檢查體位的符號是否存在是不受主觀影響的結(jié)果,所以只比較偽影和圖像顯示與布局的一致性。除了二分類任務(wù)“偽影是否存在”和“拇指指掌關(guān)節(jié)是否存在”以外,也為其他任務(wù)建立了一個評估等級。表3顯示了分數(shù)和評價成績之間的映射關(guān)系。對于質(zhì)控評價總分,將0～<60分歸類為D級;60～<80分為C級;80～<90分為B級,90～100分為A級。

表3 質(zhì)控任務(wù)得分與評價等級對應(yīng)表

1.3方法

1.3.1實驗設(shè)置 使用MobileNet V2偽影分類模型。輸入圖像被統(tǒng)一縮放到960×1 920的尺寸大小,并應(yīng)用數(shù)據(jù)增強(垂直和水平翻轉(zhuǎn),±90°旋轉(zhuǎn),±2%位移,±5%縮放)。模型訓(xùn)練期間,將batch size大小設(shè)置為14,將初始學(xué)習(xí)率設(shè)置為0.02。當(dāng)?shù)螖?shù)達到40、70次時,學(xué)習(xí)率將降低到當(dāng)前值的1/10。使用BCE損失函數(shù)和一個具有1e-4權(quán)值衰減和0.9動量的SGD優(yōu)化器訓(xùn)練模型200輪,同時選擇了準確率、精準度、召回率和曲線下面積(AUC)作為分類模型評價指標。

關(guān)鍵點檢測模型是Global Universal U-Net(GU2Net)。輸入圖像被統(tǒng)一縮放到640×1 280的尺寸大小,并應(yīng)用數(shù)據(jù)增強(垂直和水平翻轉(zhuǎn),±15°旋轉(zhuǎn),±15像素偏移)。模型訓(xùn)練期間,將batch size大小設(shè)置為16,學(xué)習(xí)速率設(shè)置為[1e-3,1e-2]。使用BCE損失函數(shù)和Adam優(yōu)化器將模型訓(xùn)練200輪,并使用步長50的循環(huán)調(diào)度器策略將學(xué)習(xí)率從1e-3動態(tài)提高到1e-2。選擇平均徑向誤差(MRE)和成功檢出率(SDR)作為指標。MRE計算公式如下。

在上式中,N為檢測到的關(guān)鍵點的數(shù)量,Ri為預(yù)測的關(guān)鍵點坐標與真實標簽之間的歐氏距離。SDR顯示了在半徑(r=2.0、2.5、3.0、4.0 mm)內(nèi)成功定位的關(guān)鍵點百分比。對于所有的圖像,如果數(shù)據(jù)使用反相灰度圖存儲,那么在預(yù)處理階段圖像灰度將被反轉(zhuǎn)處理。使用的編程語言是Python,卷積神經(jīng)網(wǎng)絡(luò)在Pytorch(版本2.0.1)平臺上實現(xiàn)。

1.3.2實驗設(shè)計 在圖像質(zhì)控工作系統(tǒng)中,通過在訓(xùn)練階段驗證損失最小的模型作為推理模型。質(zhì)控系統(tǒng)的輸入是一個DICOM格式的腕關(guān)節(jié)X線圖像文件,輸出是多個任務(wù)的具體分數(shù)和質(zhì)控評價總分及對應(yīng)評價等級。字符匹配的方法是將圖像進行二值化后執(zhí)行一個閉運算的形態(tài)學(xué)計算,最后將得到的所有連通域縮放到64×64的大小,再將連通域的像素值與已預(yù)先處理好的同為64×64大小的左(L)和右(R)圖像像素值一一匹配。如果相似度超過0.85,則認為檢查體位標識存在。

2 結(jié) 果

根據(jù)驗證數(shù)據(jù)集的實驗所得到的偽影分類模型在偽影識別方面具有較高的性能[AUC=0.970 1,95%可信區(qū)間(95%CI)0.970 0～0.970 3],其準確率、精準度、召回率分別為0.93、0.88和0.97。正位和側(cè)位影像中關(guān)鍵點檢測模型的MRE分別為(0.794 4±3.253 5)mm和(3.813 4±7.408 7)mm。距離10.0 mm下正位和側(cè)位關(guān)鍵點檢測模型的SDR分別為99.64%、92.51%,其他距離下的正位和側(cè)位關(guān)鍵點檢測模型的SDR見表4。

表4 不同距離下的正位和側(cè)位關(guān)鍵點檢測模型的SDR

圖2對關(guān)鍵點檢測模型的結(jié)果和在圖像顯示與布局評估中的測量值進行了可視化。為便于觀察,側(cè)位片中的點4和點5被二者的中點所取代,并命名為P4。在正位視圖中,黃色字體表示任務(wù)正位3中的角度α;在側(cè)位視圖中,青色字體表示任務(wù)側(cè)位1中的角度α,黃色字體表示任務(wù)側(cè)位2中的角度β。

注:A.正位;B.側(cè)位。

各項任務(wù)的混淆矩陣如圖3、4所示,其表示了實際情況下質(zhì)控系統(tǒng)的性能。在正位和側(cè)位片中,異物偽影的準確率、精準度、召回率分別為0.85、0.91、0.87和0.89、0.85、0.91。任務(wù)正位1～5的準確率分別為0.91、0.97、0.76、0.89和0.85。任務(wù)側(cè)位1～3的準確率分別為0.85、0.80和0.85。在質(zhì)控結(jié)果等級評價上,正位和側(cè)位片的準確率分別為0.82和0.75。圖5中的混淆矩陣對正位和側(cè)位片中質(zhì)控系統(tǒng)的評估等級和放射科醫(yī)生的評估等級之間的一致性進行了展示。

圖3 正位視圖中圖像顯示和布局評估中任務(wù)的混淆矩陣

圖4 側(cè)位視圖中圖像顯示和布局評估中任務(wù)的混淆矩陣

圖5 正位與側(cè)位視圖中整個工作流評估等級的混淆矩陣

3 討 論

本研究通過MobileNet V2分類模型和Global GU2Net關(guān)鍵點檢測模型上進行訓(xùn)練,結(jié)果顯示偽影分類模型在偽影識別方面具有較高的性能(AUC=0.970 1,95%CI0.970 0～0.970 3),其模型準確率、精準度、召回率分別為0.93、0.88和0.97。正位和側(cè)位影像中關(guān)鍵點檢測模型的MRE分別為(0.794 4±3.253 5)mm和(3.813 4±7.408 7)mm。該模型在正位片和側(cè)位片各項任務(wù)中,異物偽影的準確率、精準度、召回率分別為0.85、0.91、0.87和0.89、0.85、0.91。任務(wù)正位1～5的準確率分別為0.91、0.97、0.76、0.89和0.85。任務(wù)側(cè)位1～3的準確率分別為0.85、0.80和0.85。在質(zhì)控結(jié)果等級評價上,正位片和側(cè)位片的準確率分別為0.82和0.75。本研究為國內(nèi)首次利用人工智能[9-12]深度學(xué)習(xí)方式建立腕關(guān)節(jié)正位和側(cè)位DR質(zhì)控模型,利用深度學(xué)習(xí)技術(shù)驗證可獲取高質(zhì)量的腕關(guān)節(jié)影像圖像,提高了圖像質(zhì)控水平,更精準地為臨床服務(wù),同時解決了醫(yī)院間的檢查結(jié)果互認問題,也可以提高影像檢查的診斷精確性,對臨床應(yīng)用有很高的指導(dǎo)意義。

3.1偽影分類模型訓(xùn)練 MobileNet V2架構(gòu)基于Inverted Residuals結(jié)構(gòu),Inverted Residuals結(jié)構(gòu)將ResNet中提出的Residuals結(jié)構(gòu)的降維和升維順序進行了調(diào)換,并且將3×3的卷積換為3×3的深度可分離卷積,其還引入了bottleneck結(jié)構(gòu)防止非線性變換破壞過多的圖像信息,該算法具備參數(shù)少、性能好的特點[13]。本研究結(jié)果表明,在偽影識別方面該模型具有很高的性能,AUC及95%CI值均較高,說明該偽影分類模型在識別腕關(guān)節(jié)正位和側(cè)位DR圖像偽影方面非常好,能夠達到高質(zhì)量質(zhì)控水準。

3.2關(guān)鍵點檢測模型訓(xùn)練 GU2Net適用于多種數(shù)據(jù)集的關(guān)鍵點檢測,由局部網(wǎng)絡(luò)和全局網(wǎng)絡(luò)組成。局部網(wǎng)絡(luò)基于通用U-Net的思想來學(xué)習(xí)多個區(qū)域的局部特征,U-Net網(wǎng)絡(luò)是由收縮路徑和擴張路徑組成,收縮路徑用于獲取上下文信息,擴張路徑用于精確的定位,且2條路徑相互對稱。全局網(wǎng)絡(luò)是一個并行重復(fù)的空洞卷積序列,被用于提取全局圖像特征來進一步消除多個關(guān)鍵點之間的歧義。與使用標準卷積的模型相比,GU2Net所需參數(shù)要少得多。本研究結(jié)果表明,腕關(guān)節(jié)正位和側(cè)位影像中關(guān)鍵點檢測模型的MRE分別為(0.794 4±3.253 5)mm和(3.813 4±7.408 7) mm,說明該關(guān)鍵點檢測模型定位精準性高,能夠達到高質(zhì)量質(zhì)控水準。

3.3腕關(guān)節(jié)正位和側(cè)位片各項任務(wù)測試 目前,人工智能在全身各系統(tǒng)影像工作中得到了快速發(fā)展[14-19],但圖像質(zhì)量仍為人工智能診斷模型效能的重要影響因素之一[20]。本研究在質(zhì)控模型建立后腕關(guān)節(jié)正位和側(cè)位片各項任務(wù)測試中混淆矩陣顯示準確率、精準度、召回率均具有較好的結(jié)果,彌補了目前DR體系中計算機輔助攝片在影像圖像質(zhì)控方面的不足,且該模型質(zhì)控應(yīng)用評價好,臨床效果具有非常高的價值,同時人工智能輔助技師閱片效率明顯優(yōu)于影像醫(yī)師人為閱片,節(jié)省了質(zhì)控閱片時間,保證了質(zhì)控的一致性,提升了質(zhì)控質(zhì)量,有利于影像質(zhì)控水平的發(fā)展。

3.4局限性 (1)樣本量有限,雖然運用了先進的分類模型及關(guān)鍵點模型進行訓(xùn)練保證了效能,但后期還需進一步擴充數(shù)據(jù)、整合模型、提高效能、簡化流程。(2)本系統(tǒng)目前還未真正地在臨床工作場景中進行研究,后期將運用于臨床實踐。

綜上所述,基于深度卷積神經(jīng)網(wǎng)絡(luò)開發(fā)的全自動腕關(guān)節(jié)DR質(zhì)控系統(tǒng)模型,自動生成腕關(guān)節(jié)正位和側(cè)位片圖像質(zhì)量控制報告,效果較好,值得臨床應(yīng)用及推廣。