魏小娜 ，邢嘉祺，王振宇，王穎珊，石 潔，趙 地，汪紅志*

（1.上海市磁共振重點實驗室（華東師范大學），上海 200062；2.上海市中醫(yī)藥大學針灸推拿學院，上海 200032；3.上海市光華中西醫(yī)結合醫(yī)院，上海 200052；4.中國科學院計算技術研究所，北京 100190）

（?通信作者電子郵箱hzwang@phy.ecnu.edu.cn）

0 引言

滑膜炎是類風濕關節(jié)炎的基本病理改變，是一種無菌型炎癥，是由于關節(jié)扭傷和多種關節(jié)內損傷而引起的，其對人體造成的危害不容小覷?；すδ墚惓е玛P節(jié)液無法正常生成和吸收，關節(jié)就會產生積液?；ぱ淄ǔ１憩F(xiàn)為滑膜充血、水腫、滲出，中性粒細胞、淋巴細胞浸潤，進而出現(xiàn)滑膜增厚，毛細血管增多，滑膜內產生血管翳［1-2］。血管翳多見于關節(jié)周圍，并逐漸沿關節(jié)表面向關節(jié)和關節(jié)軟骨表面延伸、侵入，使得整個關節(jié)軟骨表面被遮蓋了起來，以至于出現(xiàn)營養(yǎng)物質流失，發(fā)生變性、壞死現(xiàn)象。隨著病情的發(fā)展，關節(jié)軟骨及軟骨下骨都會逐漸遭到破壞，造成關節(jié)結構受損，情況嚴重者甚至會形成骨性強直［3］，存在較高的致殘危機。在中國類風濕關節(jié)炎的發(fā)病率為0.4%，在全世界約為0.5%～1.0%［4-5］。目前臨床上尚無有效的治療方案，仍停留在對炎癥及后遺癥的治療，嚴重危害患者健康和生活質量［6］。考慮到骨質破壞是關節(jié)畸形的首發(fā)癥狀，因此對類風濕關節(jié)炎進行早期診斷并尋找骨質破壞的指標，對于病情評估及制定有效的治療方案具有極為重要的意義［7-8］。

鑒于磁共振圖像（Magnetic Resonance Image，MRI）具有無電離無輻射、軟組織分辨率極高、可任意方向成像等特點，且與傳統(tǒng)X 光片相比，MRI 能直接顯示滑膜增生、關節(jié)腔積液、關節(jié)軟骨破壞等早期病理改變［9］。MRI 不僅能清楚地顯示關節(jié)正常結構，對于小關節(jié)病癥的基本病理變化也能及時顯示出來［10］，是其他影像學方法所達不到的［1］。研究［11-14］表明，MRI 檢測到的炎癥，對于病變的早期診斷具有極大的幫助。MRI對于早期滑膜炎性病變的診斷與治療及療效觀察具有以下意義［15］：1）鑒別滑膜炎和非滑膜關節(jié)疾病，特別是不典型部位的大關節(jié)；2）確定相關關節(jié)的數(shù)量，以便于進行準確評分；3）提供客觀、全面、可重復顯示的信息以便于評估炎癥活性和功效。

為了準確診斷患者病情并制定有效的治療方案，醫(yī)生需要對MRI圖像中的滑膜區(qū)域進行手工標注和勾畫。但手工勾畫存在以下問題：1）耗時長、效率低，醫(yī)生需要耗費大量的時間和精力來完成滑膜區(qū)域的標注工作；2）存在一定的主觀性，不同的醫(yī)生由于經驗不同，對同一個病人MRI 圖像的勾畫結果往往存在一定的差異性；3）圖像信息利用率低、可重復性低。針對醫(yī)生手工勾畫滑膜區(qū)域存在的問題，試圖探究使用人工智能（Artificial Intelligence，AI）訓練模型實現(xiàn)滑膜增生的自動檢測。相較于手工勾畫，由于AI具有較強的自主學習能力、識別能力、計算能力以及極其穩(wěn)定的持續(xù)工作的性能，而得到越來越多的醫(yī)生和研究人員的關注。

近年來，隨著深度學習的蓬勃發(fā)展，基于深度學習的圖像分割算法被廣泛用于醫(yī)學圖像分割任務中。受此啟發(fā)，本文在深度學習理論的基礎上，提出了一種基于改進U-Net［16］的關節(jié)滑膜分割算法——2D ResU-net。

1 基于2D ResU-net的關節(jié)滑膜分割算法

U-Net是一種端到端的網絡結構，由左側用于獲取上下文信息的收縮路徑和右側用于對任務目標精確定位的擴張路徑兩部分組成，兩個路徑相對稱，形成一個“U”型。與其他分割網絡相比，U-Net 的最大特點在于，通過反卷積過程中的跳躍拼接，將特征在channel維度拼接在一起，形成更“厚”的特征，將淺層特征與深層特征進行融合。使網絡同時兼顧了淺層信息和深層信息的貢獻，增強了網絡全局特征的學習能力，使分割效果有了一定的提升。

但U-Net 的深度略有不足，針對該問題，本文提出了一種新的網絡結構，即2D ResU-net結構，該網絡結構將U-Net與殘差網絡（Residual Network，ResNet）相結合，加深了U-Net 的深度，并解決了網絡較深時梯度消失的問題，使分割效果有了顯著提升。

1.1 網絡架構

1.1.1 殘差塊

在卷積神經網絡中，網絡層次越深，訓練時產生的錯誤越多，訓練時間越長［17］。為了解決這一問題，采用He 等［17］于2015 年在ImageNet 圖像識別競賽中提出的殘差網絡。殘差網絡提出了一個“捷徑”的概念，即跳過一個或多個層，將輸入結果直接添加到底層，如式（1）所示：

其中：H(x)為底層映射，x為輸入，F(xiàn)(x)=H(x) -x為殘差映射即網絡中的隱藏層輸出結果。如果將輸入直接添加到底層，那么殘差映射就是該網絡單元需要學習的目標。本文把這種學習殘差映射的網絡單元稱為殘差塊，結構如圖1所示。

圖1 殘差塊Fig.1 Residual block

與其他網絡相比，殘差網絡結構相對簡單，該網絡將多個卷積層級聯(lián)的輸出與輸入相加后對圖片進行特征提取，減少了計算量，解決了在極深度條件下深度卷積神經網絡性能退化的問題。

2D ResU-net 將圖1 中的殘差結構融入U-Net 中，加深了U-Net 的深度，避免了過擬合現(xiàn)象的發(fā)生，并解決了網絡深度加深時出現(xiàn)的梯度消失問題，有效提升了模型的分割性能。

1.1.2 批標準化

為了解決深層網絡難以訓練的問題，本文在每層卷積后，進行了批標準化（Batch Normalization，BN）處理。對于深層網絡，每層輸入的分布在訓練期間會隨著前一層參數(shù)的變化而變化，這就要求必須使用一個很小的學習率以及對參數(shù)進行很好的初始化，這樣勢必會使訓練變得很慢。而加入批標準化后，可有效解決這一問題。批標準化具有以下優(yōu)勢：

1）可以選擇較大的學習率，解決反向傳播過程中的梯度爆炸問題；若不使用批標準化，大的學習率可能會增加層參數(shù)的規(guī)模，在反向傳播中會放大梯度導致梯度爆炸，由式（2）可知，進行批標準化后，層的反向傳播不受其參數(shù)規(guī)模的影響，反向傳播的梯度也不會受到影響。

2）可加快模型的收斂速度，不再依賴精細的參數(shù)初始化過程；Ioffe等在文獻［18］中給出了BN的具體操作流程：

3）可適量減少dropout 層的使用，并能在一定程度上提升模型的泛化能力。

1.1.3 損失函數(shù)

損失函數(shù)即用于評估模型的預測值與真實值之間差異的函數(shù)，在整個網絡中起到“指揮棒”的作用，通常情況下，損失函數(shù)越小，模型的性能越好。針對本文的分割圖像，往往一幅圖像中只有一個或兩個目標，且目標的像素比例較小，網絡訓練較為困難，區(qū)別于常規(guī)圖像分割任務中選取交叉熵作為損失函數(shù)，本文選取V-Net［19］一文中提到的Dice_Loss 作為損失函數(shù)，能夠很好解決像素比列不均衡的問題，從而達到對小目標精確分割的目的。對于二分類問題，Dice_Loss的表達式為：

圖2 2D ResU-net模型Fig.2 2D ResU-net model

1.1.4 2D ResU-net 網絡模型

2D ResU-net 網絡模型的結構如圖2 所示，與U-Net 相比，2D ResU-net加入了殘差網絡，并進行了批標準化處理。虛線箭頭表示“捷徑”層，虛線方塊代表通過“捷徑”層后取得的結果。

2D ResU-net算法的模型結構延續(xù)了U-Net 算法的U 型結構，也是由收縮網絡和擴張網絡兩部分組成：

1）收縮網絡。

左側收縮網絡交替使用了卷積和最大池化操作，用以減少特征圖的空間維度（特征圖尺寸減半），同時逐層增加特征圖的數(shù)量。在原U-Net 結構的基礎上，本文在2 個3×3 的卷積層（Convolutional layer，Conv）和1個2×2的最大池化層之間增加了1個兩層結構的殘差塊。因此，收縮網絡重復采用了2個3×3 的卷積、1 個3×3 的兩層結構的殘差塊和一個2×2 的最大池操作，每次卷積后都先進行批BN 操作，然后通過線性修正單元（Rectified Linear unit，ReLu）激活函數(shù)進行激活。每個卷積層均采用零填充（padding=same）的方式進行填充，以確保輸出圖像與輸入圖像尺寸一致。

2）擴張網絡。

擴張網絡是與收縮網絡相對稱的上采樣過程，用以恢復目標細節(jié)及空間維度。每次上采樣，特征圖大小增倍，特征數(shù)量減半。在上采樣操作中，與原U-Net模型不同，本文采用3×3的卷積核進行Conv2DTranspose反卷積操作。每次上采樣包含2個3×3的卷積、1個3×3的兩層結構的殘差塊，每次上采樣前，需要進行特征融合。由于本文對每個卷積層均采用零填充（padding=same）的方式進行填充，因此，可通過復制（copy）操作，直接將收縮網絡中對應的特征圖與反卷積獲得的特征圖進行融合。與收縮網絡類似，擴張網絡中每層都進行了批標準化處理，而后通過ReLu激活函數(shù)進行激活。

最后，通過1×1的卷積操作，將32通道的特征圖轉為類別數(shù)為2的特征圖，并經過sigmoid函數(shù)輸出一個概率值，該值反映了預測結果為滑膜的可能性，概率值越大，說明可能性也就越大。

相較于原U-Net，2D ResU-net 有如下改進：1）增加了網絡層數(shù)，網絡層數(shù)的增加提高了網絡的特征提取能力；2）加入了如圖1 所示的殘差塊結構，殘差塊的加入增加了網絡深度，同時解決了網絡較深時出現(xiàn)的梯度消失問題。

1.2 數(shù)據(jù)來源及圖像預處理

本文實驗所用數(shù)據(jù)來自上海市光華中西醫(yī)結合醫(yī)院，實驗所用樣本是由專業(yè)醫(yī)生利用本組自行開發(fā)的標注軟件進行手工標注的，軟件界面如圖3 所示。該軟件與其他公用的標注軟件相比，具有如下優(yōu)勢：1）利用該軟件的邊界勾畫功能，并輔之以修正功能進行細微調整，即可對目標區(qū)域進行勾畫標注，可極大縮短標注時間；2）對于已標注勾畫好的圖像，該軟件還可以將原始數(shù)字醫(yī)學成像通信標準（Digital Imaging and Communication in Medicine，DICOM）圖像與對應的mask圖像進行二次導入，實現(xiàn)檢驗和修正功能；3）該軟件可以同時導入不同序列掃描的圖像進而實現(xiàn)對比功能。

圖3 軟件界面Fig.3 Interface of software

本文所用圖像為二維斷層圖像，首先將DICOM 格式的圖像統(tǒng)一轉化為普通的圖片格式（本文采用bmp 格式），并將圖片尺寸大小統(tǒng)一為256×256，然后對數(shù)據(jù)集進行歸一化處理，減均值除方差等。

1.3 數(shù)據(jù)增廣

考慮到本實驗現(xiàn)有數(shù)據(jù)集（共27 例）較為有限，有限的樣本量對網絡模型會產生一定的影響（易出現(xiàn)過擬合現(xiàn)象），因此本文采用數(shù)據(jù)增廣的方法來獲取更多的樣本，同時樣本增廣是解決過擬合現(xiàn)象最直接最有效的方法。

對于不同的醫(yī)學圖像所采用的樣本增廣方法往往也是不同的，考慮到關節(jié)滑膜MRI圖像的特點，本文采用了隨機角度旋轉、隨機水平翻轉、裁剪、縮放，水平、豎直偏移等幾何變換的方式進行增廣，增廣的效果如圖4所示。

1.4 模型訓練

為了能夠選出效果最好、泛化能力最佳的模型，在訓練模型時，將數(shù)據(jù)集（共27例）隨機分為訓練樣本集（24例）和測試樣本集（3 例）。原始訓練樣本集共1 691 張斷層圖像，其中1 109張為含有滑膜的圖像。通過增廣操作后，最終訓練集共包含13 687 張圖像。其中訓練集用來擬合模型，驗證集用來調整模型參數(shù)，測試集用來衡量模型的性能和分類能力。

圖4 滑膜MRI圖及對應label圖的增廣效果圖Fig.4 Augmentation effect of synovium MRI image and corresponding label image

模型訓練過程中，參數(shù)的設置和調整對模型性能起著至關重要的作用，其中學習率和batch size 是影響模型性能非常重要的兩個參數(shù)。本文通過采用搜索法，并記錄損失的變化來確定最佳初始學習率（本文初始學習率設為1× 10-4），然后使用自適應學習率優(yōu)化算法（Adaptive moment estimation，Adam）來動態(tài)調整每個參數(shù)的學習率。對于batch size 的選擇，在一定范圍內，增加batch size 有助于收斂的穩(wěn)定性，但隨著batch size 的增加（超過某一臨界點時），模型的泛化能力就會有所下降。由于受實驗平臺硬件設施的限制，本實驗batch size 取值為8。實驗過程中發(fā)現(xiàn)，大的學習率有助于提高模型泛化能力，并且當學習率增加時，batch size 也應跟著增加，這樣收斂更穩(wěn)定。此外，實驗過程中采用K 折交叉驗證法對模型進行調優(yōu)，并檢驗模型的泛化性能。

2 實驗結果與分析

本文采用Keras 框架，調用TensorFlow 后臺實現(xiàn)基于2D ResU-Net的關節(jié)滑膜MRI圖像的分割。實驗運行的硬件環(huán)境為AMD 銳 龍7-2700X CPU 和GeForce GTX 1660Ti GPU 計算機。

為了定量評估算法分割性能，本文采用了如下評價指標：

1）Dice 相似系數(shù)（Dice Similarity Coefficient，DSC），用于衡量預測的分割結果與“金標準”區(qū)域的重合度，公式為：

DSC取值（0，1），當預測結果（A）與“金標準”區(qū)域（B）完全相同時，DSC 取值為1；當預測結果與“金標準”不相關時，DSC取值為0。DSC 值越大，表明模型泛化能力越強，分割效果越好。換言之，模型泛化能力與DSC值的大小成正相關關系。

2）交并比（Intersection over Union，IOU）［20］：

其中：area(c)表示自動分割的像素數(shù)，area(G)表示醫(yī)生手工標注的像素數(shù)目。IIOU取值（0，1）表示分割精確性，即醫(yī)生手工標注和自動分割的像素數(shù)目吻合程度。

3）體積重疊誤差（Volumetric Overlap Error，VOE），用于計算預測分割結果與“金標準”區(qū)域間像素體積的重疊誤差，公式為：

VOE取值（0，1），當VOE取值0時表示預測結果（A）與“金標準”區(qū)域（B）沒有誤差，是最好的分割結果。因此，VOE 取值越小表示分割誤差越小，精度越高。

為了驗證本文算法的有效性，利用3 例病人的滑膜斷層圖像構建測試樣本，檢測本文算法在滑膜斷層圖像上的分割精度，并與原U-Net模型的分割結果進行對比。圖5展示了測試樣本的部分分割效果，從圖中可以看出，在本文算法分割滑膜得到的預測結果中，滑膜整體形狀及位置與醫(yī)生手工標注的結果已經十分接近，且預測圖的邊界相較于手工標注的邊界更為圓滑。手工標注的結果是由專業(yè)的醫(yī)學影像醫(yī)生標注，然后經資歷較深的影像專家確認后所得，并以此作為本文的“金標準”。一般而言，醫(yī)生手工勾畫的邊緣有些銳利，而“金標準”（資歷較深的影像專家手工分割的結果）實際上要更圓滑一些。由圖5 可知，通過訓練模型所得到的預測圖的邊界與“金標準”更接近。

圖5 分割結果Fig.5 Segmentation results

表1 給出了利用原始U-Net 模型進行分割與利用本文算法進行分割的結果。

表1 不同算法的分割結果對比Tab.1 Comparison of segmentation results of different algorithms

從圖5及表1所得結果可知，使用本文算法對關節(jié)滑膜增生區(qū)域進行分割的精度高于原始U-Net。

為了驗證樣本數(shù)量對實驗結果的影響，利用本文模型對增廣前后的數(shù)據(jù)集分別進行實驗。實驗所得訓練集和驗證集上的Loss曲線和DSC曲線變化情況如圖6所示。

使用測試集對模型進行檢測，所得分割結果如表2所示。

表2 不同訓練集下分割結果對比Tab.2 Comparison of segmentation results under different training sets

從圖6及表2中結果可以看出，僅使用原始圖像進行模型訓練易出現(xiàn)過擬合現(xiàn)象，所得結果遠不如采用增廣技術后，將所有圖像用于網絡訓練所取得的分割效果好。因此，在數(shù)據(jù)量較小的情況下，對圖像進行增廣操作，一定程度上提高了模型的性能，減少了網絡訓練過程中的過擬合現(xiàn)象。

對于不同規(guī)模的樣本集，訓練集、驗證集、測試集的劃分也有所不同，表3 展示了三者不同分配比例情況下的分割結果。

圖6 數(shù)據(jù)增廣前后訓練集與驗證集Loss曲線與DSC曲線變化情況Fig.6 Changes of Loss curve and DSC curve of training set and validation set before and after data augmentation

由于能夠用于實驗的樣本相對較少，因此采用了表3 中的分配方法對訓練集、驗證集和測試集進行劃分。由表3 中數(shù)據(jù)可知，在樣本數(shù)據(jù)集相同的情況下，不同的分配比例對分割精度的影響不是特別明顯，但當樣本足夠多時，對于不同的數(shù)據(jù)集，三者不同的分配比例對分割精度是否會產生明顯的影響，在后續(xù)的工作中仍需進一步探究。

表3 不同分配比例下分割結果對比Tab.3 Comparison of segmentation results under different allocation ratios

3 結語

本文提出了一種基于2D ResU-net 的關節(jié)滑膜MRI 圖像分割算法。該算法借鑒殘差網絡中殘差學習的思想，將ResNet 與U-Net 相融合，增加了網絡深度，并解決了網絡較深時梯度消失的問題。實驗結果表明，本文提出的分割算法可以取得較好的分割效果，并且該算法所需樣本相對較少，訓練速度快。但實驗中也存在一定的不足之處，針對滑膜斷層圖像中滑膜目標區(qū)較多的圖像，本文算法存在漏分、多分或誤分的情況。針對這一問題，在后續(xù)的工作中將收集更多的多目標區(qū)訓練樣本，并嘗試其他有效的數(shù)據(jù)增廣方法，進一步優(yōu)化模型參數(shù)，以實現(xiàn)更高精確度的關節(jié)滑膜自動分割。