劉 珍,郭志恒,王永成,白福忠

(1.內蒙古工業(yè)大學機械工程學院,內蒙古 呼和浩特 010051;2.內蒙古自治區(qū)人民醫(yī)院骨關節(jié)科,內蒙古 呼和浩特 010051)

下肢載荷應力分布異常可引起下肢力線偏移,造成膝關節(jié)內外翻畸形,進而導致膝關節(jié)骨性關節(jié)炎[1]。Miniaci法是評估下肢角度畸形的最常用方法之一[2-3],用于測量其矯正角度亦具有較高準確性[4],但需要手動標注關節(jié)特征點,存在難以避免主觀誤差、效率較低及個體差異等問題。本研究以引入密集連接、高效通道注意力機制的高分辨率網絡(dense efficient-channel-attention high-resolution net, DE-HR-Net)的深度學習(deep learning, DL)方法觀察自動測量全下肢正位X片中下肢畸形矯正角度(Miniaci角)的價值。

1 資料與方法

1.1 一般資料 回顧性分析2019年12月—2022年8月內蒙古自治區(qū)人民醫(yī)院256例膝內翻患者全下肢正位X線片,男91例、女165例,年齡41～78歲、平均(62.9±7.9)歲。納入標準:全下肢正位片清晰顯示髖、膝及踝關節(jié)。排除標準:①髖關節(jié)置換術后;②嚴重髖關節(jié)發(fā)育不良;③膝關節(jié)置換術后;④圖像質量差。本研究經院倫理委員會批準(202303906L)。

1.2 儀器與方法 采用GE Discovery XR656數字化X光機攝雙下肢負重正位片,以電壓80 kV、電流320 mA依次攝髖、膝、踝關節(jié)片后,采用數字拼接方式拼接成全下肢X線片。通過數據擴增,共獲得900幅單側全下肢圖像,按5∶1將其分為訓練集(n=750)和測試集(n=150)。

1.3 標注關節(jié)特征點 將DICOM文件格式的原始全下肢X線片轉為JPG格式,并保持圖像比例不變。采用Matlab App Designer輔助標注下肢特征點軟件,以髖關節(jié)中心點、目標力線與脛骨平臺交點(Fujisawa點)、合頁點及踝關節(jié)中心點為測量Miniaci角所需的4個特征點并制作數據集標簽:根據股骨頭外輪廓3點(股骨頭圓韌帶窩上方拐點、股骨頭最右側拐點及股骨頭最下側拐點)擬合圓確定髖關節(jié)中心,以脛骨平臺外側62.5%處為Fujisawa點[5],以腓骨頭上表面與脛骨皮質交界點為合頁點,以距骨寬度線中點為踝關節(jié)中心點。見圖1。

圖1 于右側全下肢正位片中標注特征點示意圖 (a為髖關節(jié)中心點,b為Fujisawa點,c為合頁點,d為踝關節(jié)中心點) 圖2 測量Miniaci角示意圖

1.4 測量Miniaci角 通過Miniaci法測得Miniaci角,以髖關節(jié)中心點為起點,過Fujisawa點作延長線(即目標力線);連接合頁點(c點)與踝關節(jié)中心點(d點),以合頁點為中心逆時針旋轉cd線直至與目標力線相交,將目標力線與cd線旋轉交點設為e點,Miniaci角為以cd線與ce線重合時cd線的旋轉角度θ。見圖2。

1.5 圖像預處理 對圖像進行銳化、對比度增強、Gamma變換、灰度均衡化及添加高斯、椒鹽噪聲擾動信號(圖3)后,截取髖關節(jié)、膝關節(jié)及踝關節(jié)小目標區(qū)域用于訓練模型;以遷移學習方法[6]訓練數據集,將以ImageNet預訓練好的模型權重作為基礎權重。

圖3 預處理右側全下肢正位圖像

1.6 建立自動檢測下肢特征點模型 以中國科學技術大學和微軟亞洲研究院提出的高分辨率網絡(high-resolution net, HR-Net)[7]為骨干網絡,引入密集連接機制[8]和高效通道注意力(efficient channel attention, ECA)機制[9](圖4);以串行連接方式將Stage1中的4個BottleNeck模塊改為密集連接方式,在每個Stage中添加ECA機制模塊,重新標定通道權重信息,由此構建DE-HR-Net模型(圖5)。

圖4 Dense密集連接機制(A)和ECA機制(B)結構圖 (X及分別為輸入及輸出特征圖;b1～b4代表4個BottleNeck模塊;W和H分別為特征圖的寬和高;C為通道數;GAP指全局平局池化;K指自適應卷積核)

圖5 DE-HR-Net結構示意圖 網絡分為4個階段(Stage):Stage1只包含1個最高分辨率分支,自 Stage2始每個階段依次增加1個平行分支并降低分辨率;Stage4共輸出4個具有不同分辨率的特征圖,其通道數分別為48、96、192、384,分辨率分別降為原圖的1/4、1/8、1/16、1/32;通過1×1卷積核輸出包含特征點信息的熱力圖,圖中顏色最深的4個點為預測特征點 (a:3×3卷積;b:密集連接模塊;c:BasicBlock模塊;d:1×1卷積;e:正向傳播;f:上采樣;g:下采樣)

1.7 測試模型效能 于測試集中隨機抽取60幅全下肢圖像,分別以模型自動測量(模型組)、由醫(yī)師手動測量(醫(yī)師組)Miniaci角,計算組間平均絕對誤差(mean absolute error, MAE)。自動測量Miniaci角時,將DE-HR-Net模型獲得的4個特征點坐標導入Matlab App Designer軟件,自動獲得Miniaci角。

以測試集輸出特征點坐標與手工標注特征點坐標的歐式距離平方和的均方誤差(mean-square error, MSE)評價DE-HR-Net模型的性能:

式中,xp,i和xt,i分別代表x坐標的預測值和標簽值,yp,i和yt,i代表y坐標的預測值和標簽值,i代表每個特征點對應的序號,n代表特征點總數。

分別觀察初始網絡(HR-Net)、僅添加密集連接機制的HR-Net(Dense-HR-Net)及僅添加ECA機制的HR-Net(ECA-HR-Net)預測下肢特征點的準確性。

1.8 統計學分析 采用SPSS 26.0統計分析軟件。以Spearman相關系數評估組間測量結果的相關性;以|r|>0.75為高度相關。采用組內相關系數(intra-class correlation coefficient, ICC)評價2組測量結果的一致性:ICC<0.40為一致性較差,0.40～0.75為一致性尚可,ICC>0.75為一致性較好。繪制Bland-Altman圖及散點圖,比較組間測量結果的差異。P<0.05為差異有統計學意義。

2 結果

2.1 檢測特征點性能 分別以HR-Net、Dense-HR-Net、ECA-HR-Net及DE-HR-Net檢測全下肢正位片特征點的MSE,其中DE-HR-Net模型的MSE最小,其在髖關節(jié)中心點、Fujisawa點、合頁點及踝關節(jié)中心點分別為1.34、1.49、1.91及1.44。見表1。

表1 HR-Net、Dense-HR-Net、ECA-HR-Net及DE-HR-Net檢測全下肢正位片中的特征點的MSE(pt)

2.2 測量Miniaci角 模型組和醫(yī)師組測量Miniaci角分別為(12.10±3.83)°和(12.08±3.83)°,二者高度相關(r=0.991,P<0.05)且一致性較好(ICC=0.995),MAE為0.22°,組間測量結果差異較小(圖6A);線性擬合函數為Y=0.042+0.994×X,R2=0.989,2組結果擬合程度較高(圖6B)。

圖6 模型組與醫(yī)師組Miniaci角測值比較 A.Bland-Altman圖; B.散點圖

3 討論

術前預測下肢畸形Miniaci角有助于評估膝內翻患者下肢畸形程度,是保證截骨術成功的關鍵之一。醫(yī)師手工測量Miniaci角需準確定位關節(jié)特征點,操作復雜、效率低、可重復性差,且存在觀察者間差異。本研究基于引入密集連接、ECA機制的DE-HR-Net構建檢測特征點模型,以嘗試自動測量Miniaci角。

隨著人工智能不斷發(fā)展,近年以DL處理醫(yī)學圖像已成為相關領域內的研究熱點,包括分割、定位、檢測病灶及圖像配準和融合。相比檢測關節(jié)特征點的傳統方法,DL基于更大規(guī)模數據集特征信息,無需手動設計特征提取器,準確性和魯棒性均更好[10-12]。NGUYEN等[13]采用卷積神經網絡(convolution neural network, CNN)測量下肢生物力學參數,并建立2階段CNN模型以測量下肢關鍵角度。PEI等[14]以U-Net網絡分割下肢關節(jié)并測量髖-膝-踝角(hip-knee-ankle, HKA)成功。林奕軍等[15]基于改進后的Dense-U-Net測量髖關節(jié)外側中心邊緣(lateral center edge, LCE)角和Sharp角,以評估髖關節(jié)發(fā)育不良程度。張子健等[16]采用HR-Net檢測下肢關鍵點,并測得股骨遠端外側角、脛骨近端內側角、股骨脛骨關節(jié)線夾角及HKA。

相比OpenPose及Mask-區(qū)域CNN等網絡,HR-Net的優(yōu)勢在于其所提取的特征圖均為高分辨率圖像,檢測人體姿態(tài)關鍵點任務的平均精確度及平均召回率均較高,可更好地滿足檢測下肢特征點的任務需求。為提高模型檢測精度,本研究在HR-Net基礎上引入密集連接機制與ECA機制,通過密集連接機制對網絡各層間的特征信息進行相互連接,以增強其表達特征能力;再通過ECA機制對通道層級賦予權重信息,以提高模型檢測關節(jié)區(qū)域重要特征的能力。為增強模型的泛化能力,本研究通過圖像增強方式擴充數據集;為消除冗余信息對模型性能的影響,分別對髖關節(jié)、膝關節(jié)及踝關節(jié)區(qū)域進行截取,并以截取后的關節(jié)區(qū)域圖像對模型進行訓練。本研究以DE-HR-Net測得4個特征點的MSE分別為1.34、1.49、1.91、1.44,提示預測結果誤差較小;相比初始HR-Net,MSE降低約1個像素值,可較好提升預測效能。本研究模型組與醫(yī)師組所測Miniaci角的MAE為0.22°、r為0.991、ICC為0.996,表明模型自動測量結果可代替醫(yī)師手動測量。

綜上所述,本研究成功建立的DE-HR-Net模型可用于自動測量Miniaci角。本研究的主要局限性:①為單中心、小樣本、回顧性研究;②未對股骨及脛骨區(qū)域進行分割提取,可能影響結果;③醫(yī)師制作數據集標簽時存在一定主觀誤差;有待后續(xù)加以完善。