額·圖婭，王岑，黃嘉豪，張耀峰，張曉東，王霄英

髕骨軸位X線片在髕股關(guān)節(jié)不穩(wěn)、髕股關(guān)節(jié)骨關(guān)節(jié)炎、髕骨縱行骨折等疾病診斷與髕股關(guān)節(jié)術(shù)后療效評(píng)估中具有重要地位。由于髕股關(guān)節(jié)的解剖和生物力學(xué)特點(diǎn)，膝關(guān)節(jié)屈膝30°時(shí)股四頭肌松弛，髕股關(guān)節(jié)相對處于不穩(wěn)定狀態(tài)，關(guān)節(jié)間隙較大，髕骨正好進(jìn)入股骨滑車，此時(shí)拍攝髕骨軸位X線片有助于更好地顯示髕股關(guān)節(jié)情況，是檢查髕骨不穩(wěn)、髕骨骨折等疾病的臨床首選影像診斷技術(shù)[1]。

近年來，人工智能(artificial intelligence，AI)在骨關(guān)節(jié)系統(tǒng)方面有較多研究，結(jié)果顯示AI可獲取半定量、定量數(shù)據(jù)或定性數(shù)據(jù)提供自動(dòng)化及標(biāo)準(zhǔn)化的診斷信息[2]，如對膝關(guān)節(jié)骨關(guān)節(jié)炎進(jìn)展具有良好的預(yù)測效能[3]，輔助醫(yī)師對膝關(guān)節(jié)骨關(guān)節(jié)炎進(jìn)行診斷并分級(jí)[4]等。然而圖像質(zhì)量對AI診斷或預(yù)測模型效能具有較大影響，尤其是在研究初始階段數(shù)據(jù)量相對較少時(shí)更為突出，因此完成圖像性質(zhì)識(shí)別工作是AI診斷或預(yù)測模型廣泛應(yīng)用于臨床的前提。

本研究旨在利用深度學(xué)習(xí)方法訓(xùn)練髕骨軸位X線片圖像質(zhì)量控制的自動(dòng)分類模型，挑選出合格圖像輸入到后續(xù)的AI診斷髕股關(guān)節(jié)骨關(guān)節(jié)炎及髕股關(guān)節(jié)不穩(wěn)模型中，以保證AI診斷模型的準(zhǔn)確性。

材料與方法

本研究獲得倫理審查委員會(huì)的批準(zhǔn)(批件號(hào)：[2019(168)])，按照本院人工智能AI模型訓(xùn)練規(guī)范執(zhí)行研究方案。

1.用例定義

根據(jù)本院AI訓(xùn)練管理方法，首先定義研發(fā)髕骨軸位X線片圖像性質(zhì)分類模型的用戶樣例(use case)。包括：AI模型的名稱(identity document，ID)、臨床問題、場景描述、模型在實(shí)際工作中的調(diào)用流程、模型輸入輸出數(shù)據(jù)結(jié)構(gòu)等。模型輸出結(jié)果自動(dòng)輸入到結(jié)構(gòu)化報(bào)告中，激活相應(yīng)的選項(xiàng)，包括：術(shù)后/非術(shù)后、右側(cè)/左側(cè)、圖像質(zhì)量合格/不合格。

依據(jù)實(shí)際臨床問題，此圖像質(zhì)控分類模型包括術(shù)后/非術(shù)后(圖1)、側(cè)別(圖2)以及圖像質(zhì)量(圖3)。側(cè)別模型用以區(qū)分右側(cè)及左側(cè)，評(píng)判標(biāo)準(zhǔn)為觀察內(nèi)、外側(cè)髕股關(guān)節(jié)間隙處于圖像中的位置，即在右側(cè)圖像中內(nèi)側(cè)髕股關(guān)節(jié)間隙位于圖像的左側(cè)，而在左側(cè)圖像中內(nèi)側(cè)髕股關(guān)節(jié)間隙位于圖像的右側(cè)。圖像質(zhì)量模型以圖像對比度及圖像顯示度進(jìn)行質(zhì)量合格與不合格的評(píng)估。圖像對比度關(guān)注拍攝曝光情況，圖像對比度差為曝光過度或曝光不足，圖像對比度良好則為曝光度適宜。圖像顯示度關(guān)注髕骨與股骨的顯示情況，具體包括髕骨后緣關(guān)節(jié)面、股骨前緣關(guān)節(jié)面以及髕骨與股骨重合度。若髕骨與股骨有明顯重疊、髕骨后緣有多于兩條重疊線或髕骨與股骨關(guān)節(jié)面模糊則為顯示度差，反之若髕骨與股骨無重疊、髕骨后緣無明顯雙邊線、髕股關(guān)節(jié)間隙顯示清晰、髕骨與股骨關(guān)節(jié)面線條清晰則為顯示度良好[5]。

圖1 a)非術(shù)后髕骨軸位X線片；b)術(shù)后髕骨軸位X線片。 圖2 a)右側(cè)髕骨軸位X線片；b)左側(cè)髕骨軸位X線片。 圖3 圖像質(zhì)量分類模型舉例。a、b、c為圖像質(zhì)量不合格的髕骨軸位X線片。a)曝光不足，圖像對比度差；b)曝光過度，圖像對比度差；c)圖像顯示度差，即髕骨與股骨有明顯的重疊、髕骨與股骨關(guān)節(jié)面模糊；d)圖像質(zhì)量合格的髕骨軸位X線片，即曝光度適宜，且髕骨后緣無雙邊線、髕股關(guān)節(jié)間隙顯示清晰、髕骨與股骨關(guān)節(jié)面清晰。

2.研究隊(duì)列建立

本項(xiàng)研究為回顧性研究，收集本院PACS中符合相應(yīng)要求的髕骨軸位X線片，由兩位專家依據(jù)相應(yīng)標(biāo)準(zhǔn)閱片并分組(表1)，當(dāng)兩名專家意見不一致時(shí)則進(jìn)行協(xié)商達(dá)成一致。術(shù)后/非術(shù)后共175例(男76例，女99例，年齡17～88歲，平均65.50±10.47歲)，側(cè)別共735例(男270例，女465例，年齡10～91歲，平均54.40±16.56歲)，圖像質(zhì)量共453例(男171例，女282例，年齡21～87歲，平均58.40±13.87歲)。三個(gè)模型的數(shù)據(jù)有共用。本單位X線機(jī)為GE Discovery XR650和Carestream DRX-Evolution，髕骨軸位X線片采取Laurin坐位法拍攝，患者被檢測膝部屈膝30°，使中心線對準(zhǔn)髕骨下緣由足側(cè)向頭側(cè)進(jìn)行投照。

表1 髕骨軸位X線圖像分類模型情況

3.數(shù)據(jù)處理與模型訓(xùn)練

模型訓(xùn)練硬件環(huán)境為GPU NVIDIA Tesla P100 16G，軟件包括Python3.6、Pytorch 0.4.1、Opencv、Numpy、SimpleITK等。

訓(xùn)練過程分四步。第一步，訓(xùn)練術(shù)后分類模型，深度學(xué)習(xí)網(wǎng)絡(luò)為High Resolution Network(HRNet)[6]，輸入為髕骨軸位X線片，輸出數(shù)據(jù)為“術(shù)后、非術(shù)后”的分類預(yù)測結(jié)果。第二步，對預(yù)測結(jié)果為“非術(shù)后”者，訓(xùn)練分割模型，深度學(xué)習(xí)網(wǎng)絡(luò)為U-Shaped Fully Convolutional Network (U-Net)[7]，輸入為髕骨軸位X線片，輸出為髕骨和股骨區(qū)域的標(biāo)簽。第三步，訓(xùn)練側(cè)別、圖像質(zhì)量模型，輸入是以髕骨和股骨區(qū)域的標(biāo)簽為掩膜(mask)裁切后的圖像，輸出是“左側(cè)、右側(cè)”和“圖像質(zhì)量合格、不合格”的分類預(yù)測結(jié)果。第四步，所有分類模型預(yù)測的結(jié)果自動(dòng)填寫入結(jié)構(gòu)化報(bào)告中(圖4)。

圖4 模型訓(xùn)練過程。

全部模型訓(xùn)練過程包括：圖像預(yù)處理、分?jǐn)?shù)據(jù)集、圖像擴(kuò)增。圖像預(yù)處理方法包括：圖像大小設(shè)置、圖像裁剪；圖像擴(kuò)增方法包括：隨機(jī)噪聲、平移、旋轉(zhuǎn)、縮放等。數(shù)據(jù)按8：1：1隨機(jī)分為訓(xùn)練集(train set)、調(diào)優(yōu)集(validation set)、測試集(test set)。以Adam作為梯度下降優(yōu)化器。

4.模型評(píng)價(jià)

以兩位專家閱片結(jié)果為金標(biāo)準(zhǔn)，應(yīng)用混淆矩陣(confusion matrix)評(píng)價(jià)分類模型效能，以符合率(accuracy)為評(píng)價(jià)指標(biāo)[8]。

結(jié) 果

應(yīng)用HRNet建立的髕骨軸位X線片圖像質(zhì)控的自動(dòng)分類模型結(jié)果如表2所示。在術(shù)后/非術(shù)后分類模型中，在訓(xùn)練集及調(diào)優(yōu)集中符合率均為99.3%(135/136)、100%(21/21)，在測試集中符合率為94.4%(17/18)，有1例術(shù)后的髕骨軸位圖像被預(yù)測為非術(shù)后。在側(cè)別分類模型中，在訓(xùn)練集、調(diào)優(yōu)集及測試集中符合率分別為99.5%(583/586)、100%(75/75)、98.6%(73/74)；在訓(xùn)練集及測試集中，分別有3例、1例右側(cè)髕骨軸位圖像被預(yù)測為左側(cè)(圖5a)。在圖像質(zhì)量分類模型中，在訓(xùn)練集、調(diào)優(yōu)集及測試集中符合率分別為98.6%(357/362)、93.5%(43/46)、91.1%(41/45)，在上述三個(gè)數(shù)據(jù)集中，依次有4、3、3例圖像質(zhì)量不合格的被預(yù)測圖像質(zhì)量合格，1、0、1例圖像質(zhì)量合格的被預(yù)測圖像質(zhì)量不合格(圖5b、c)。

圖5 自動(dòng)分類模型預(yù)測錯(cuò)誤的髕骨軸位X線片。a)側(cè)別分類模型在訓(xùn)練集中將右側(cè)預(yù)測為左側(cè)；b)圖像質(zhì)量分類模型在測試集中將圖像質(zhì)量不合格預(yù)測為圖像質(zhì)量合格；c)圖像質(zhì)量分類模型在測試集中將圖像質(zhì)量合格預(yù)測為圖像質(zhì)量不合格。

表2 HRNet模型自動(dòng)分類不同類別髕骨軸位X線片在測試集中的結(jié)果

討 論

目前AI在全身各系統(tǒng)影像診斷工作中得到了快速發(fā)展[2-4,9-11]，但圖像質(zhì)量仍為AI診斷模型效能的重要影響因素之一[12]。因此本研究著重利用AI技術(shù)識(shí)別不同性質(zhì)的髕骨軸位X線圖像，挑選圖像質(zhì)量合格的數(shù)據(jù)用于提高AI診斷模型效能。本研究結(jié)果顯示，HRNet在髕骨軸位X線片不同圖像性質(zhì)甄別上具有良好效能，測試集中預(yù)測符合率達(dá)到91.1%～98.6%，與其他圖像序列甄別的研究結(jié)果相似[13-15]。由此可見，此模型直接對接后續(xù)AI診斷模型具有可行性。

膝關(guān)節(jié)假體置換術(shù)后的影像評(píng)價(jià)重點(diǎn)與骨關(guān)節(jié)炎的評(píng)價(jià)重點(diǎn)不完全一致。假體置換術(shù)后的影像評(píng)價(jià)要點(diǎn)是：假體位置及力線對位、關(guān)節(jié)線高度、髕骨位置、骨-假體交界面形態(tài)、有無骨溶解等。而骨關(guān)節(jié)炎的評(píng)價(jià)重點(diǎn)則是觀察髕股關(guān)節(jié)間隙狹窄、髕骨周緣骨贅形成和軟骨下骨硬化情況，明確是否存在髕骨傾斜、髕骨脫位或半脫位和滑車發(fā)育不良等情況[1]。本單位髕骨軸位X線檢查患者中，髕股關(guān)節(jié)術(shù)后者和骨關(guān)節(jié)炎者均很多，模型在臨床應(yīng)用的場景是檢查后圖像由AI判斷是否為術(shù)后，如為術(shù)后則自動(dòng)調(diào)用術(shù)后報(bào)告模板，如非術(shù)后則自動(dòng)調(diào)用骨關(guān)節(jié)炎和關(guān)節(jié)不穩(wěn)報(bào)告模板。本研究構(gòu)建的術(shù)后與非術(shù)后模型在測試集中符合率為94.4%(17/18)，因此有望在科室范圍內(nèi)開展應(yīng)用，從而輔助影像醫(yī)師快速分診。

在實(shí)際臨床工作中，可能受多種因素影響而出現(xiàn)影像檢查的左/右側(cè)別與申請登記側(cè)別不一致的情況。本研究提出的側(cè)別分類模型在測試集中的符合率為98.6%(73/74)，在臨床應(yīng)用的場景是檢查后圖像由AI判斷圖像的側(cè)別，如與RIS中登記的側(cè)別一致，則自動(dòng)執(zhí)行后續(xù)診斷流程，如不一致可提醒醫(yī)生給予關(guān)注。分析本研究中模型誤斷的情況，首先是誤斷率很低，其次誤斷的圖像均有其特殊性，主要表現(xiàn)為有明顯內(nèi)側(cè)不穩(wěn)合并內(nèi)側(cè)關(guān)節(jié)間隙狹窄且間隙窄于外側(cè)(圖5a)，從而使得模型將右側(cè)誤判為左側(cè)。這種情況下，即使是有經(jīng)驗(yàn)的醫(yī)生也不易僅根據(jù)圖像來判斷側(cè)別，需要結(jié)合申請單、雙側(cè)對照以及其他體位圖像來判斷。因此，對于側(cè)別分類模型的進(jìn)一步迭代方向是增加更多有明顯關(guān)節(jié)不穩(wěn)和骨關(guān)節(jié)炎的數(shù)據(jù)，以提高模型在這種特定情況下的符合率。

圖像曝光欠佳影響診斷結(jié)果，如曝光不足會(huì)影響髕骨緣是否有骨贅及髕股關(guān)節(jié)間隙顯示，而曝光過度則會(huì)影響髕股關(guān)節(jié)細(xì)節(jié)結(jié)構(gòu)顯示，這類情況均會(huì)影響AI診斷模型特征提取從而降低符合率。髕骨軸位X線片為重疊影像，各組織結(jié)構(gòu)重疊區(qū)域小、顯示清晰是診斷的基本要求。本單位研發(fā)髕股關(guān)節(jié)骨關(guān)節(jié)炎模型時(shí)發(fā)現(xiàn)圖像曝光度不良、顯示度欠佳是導(dǎo)致診斷或分級(jí)誤判的主要原因；在髕股關(guān)節(jié)不穩(wěn)方面，顯示度不佳不僅不適宜后續(xù)諸多評(píng)價(jià)髕股關(guān)節(jié)不穩(wěn)指標(biāo)的測量(如股溝角、適合角等)，也會(huì)導(dǎo)致模型學(xué)習(xí)尋找關(guān)節(jié)解剖關(guān)鍵點(diǎn)時(shí)誤判。本研究基于此類問題研發(fā)了圖像質(zhì)量甄別的模型，模型在臨床應(yīng)用的場景是先用圖像質(zhì)量甄別模型篩選圖像，將篩選出的合格圖像輸入后續(xù)診斷髕股關(guān)節(jié)炎及髕股關(guān)節(jié)不穩(wěn)模型，而篩選出的不合格圖像則由人工處理。將來還應(yīng)研發(fā)提高圖像質(zhì)量的模型，對篩選出的不合格圖像進(jìn)行校正使其達(dá)到合格圖像，可進(jìn)一步用于診斷。

本研究的局限性主要在于：①基于小樣本對不同圖像性質(zhì)進(jìn)行甄別，后期需進(jìn)一步擴(kuò)充數(shù)據(jù)，整合模型，提高效能，簡化流程。只有在真正的臨床工作場景中進(jìn)行研究，才能客觀、可靠地評(píng)價(jià)AI的應(yīng)用價(jià)值[16]。②本研究以醫(yī)生的主觀判斷作為圖像對比度和顯示度的參考標(biāo)準(zhǔn)，當(dāng)圖像特征處于中間狀態(tài)時(shí)判斷有一定困難，未來應(yīng)盡可能將參考標(biāo)準(zhǔn)轉(zhuǎn)換為可定量的指標(biāo)，以提高數(shù)據(jù)標(biāo)注的準(zhǔn)確性和一致性。

總之，本研究基于AI技術(shù)訓(xùn)練了能夠自動(dòng)區(qū)分髕骨軸位X線圖像性質(zhì)的分類模型，有利于工作流程的優(yōu)化，為后續(xù)對接疾病診斷AI模型奠定了堅(jiān)實(shí)基礎(chǔ)。