章浩偉，李占齊，李 淼

（1.上海理工大學(xué) 醫(yī)療器械與食品學(xué)院，上海 200082；2.鄭州頤和醫(yī)院，河南 鄭州 450000）

0 引言

近年來，甲狀腺癌的發(fā)病率逐年上升。2019 年，美國有52 070 名成年人確診甲狀腺癌，甲狀腺癌是20-34 歲美國女性最常見的癌癥之一［1］。國內(nèi)統(tǒng)計結(jié)果顯示，2012 年北京地區(qū)的甲狀腺疾病發(fā)病率為10 年前的4.9 倍［2］。部分甲狀腺結(jié)節(jié)會發(fā)生惡變，導(dǎo)致甲狀腺癌，因此對于甲狀腺結(jié)節(jié)的觀察與診斷十分重要，早期發(fā)現(xiàn)治療可以在很大程度上降低甲狀腺癌的發(fā)生率與死亡率。甲狀腺結(jié)節(jié)的超聲診斷很大程度上受到醫(yī)生主觀經(jīng)驗的影響，自動化智能化的甲狀腺結(jié)節(jié)檢測可大幅度減少醫(yī)生工作量，降低診斷時對臨床經(jīng)驗的依賴程度，獲得與穿刺活檢相當?shù)脑\斷精度。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）能端到端地進行訓(xùn)練，自動學(xué)習圖像的高級與低級特征，在醫(yī)學(xué)圖像檢測中具有重要應(yīng)用。然而，由于甲狀腺超聲圖像組織結(jié)構(gòu)復(fù)雜、邊界模糊、形狀不規(guī)則，給檢測識別工作帶來很大挑戰(zhàn)。目前，甲狀腺結(jié)節(jié)的快速、準確診斷是一項亟待解決的難題。

1 相關(guān)研究

Wu 等［3］針對甲狀腺超聲圖像結(jié)節(jié)分割不準確的問題，設(shè)計聯(lián)合上采樣模塊，融合具有不同擴展系數(shù)的普通標準卷積和擴展卷積的上下文信息，實現(xiàn)了93.19%的準確率和0.8558 的dice 值；邵蒙恩等［4］結(jié)合CV 模型與RSF 模型，建立CV-RSF 模型，實現(xiàn)了甲狀腺結(jié)節(jié)超聲圖像的半自動分割；Wei 等［5］提出一種具有注意力機制的雙路徑U 型網(wǎng)絡(luò)Attention-DPU，采用微型雙路徑模塊代替普通卷積層，利用注意力機制提高圖像分割效率和準確率；Zhang 等［6］提出一種端到端、多通道、無規(guī)則的CNN 網(wǎng)絡(luò)，旨在提取更多的語義信息用于超聲圖像的分割，與U-Net、U-Net++、M-Net和Dilated U-Net 相比，該網(wǎng)絡(luò)的性能分別提高了6.59%、36.03%、23.64%和31.71%；吳迪［7］利用集成學(xué)習（Boosting）算法將多個弱分類器組合為一個強分類器，在測試集上的惡性結(jié)節(jié)預(yù)測準確率達到86%，召回率達到96%；Singh等［8］基于灰度共生矩陣（GLCM）提取特征，然后利用SVM對甲狀腺結(jié)節(jié)進行分類，最大分類精度為84.62%；Yu 等［9］建立了一個基于區(qū)域活動輪廓和紋理的特征提取框架，通過結(jié)合人工神經(jīng)網(wǎng)絡(luò)（ANN）與SVM 分類器，實現(xiàn)了準確率為92.00%，敏感性為100%，特異性為87.88%的分類性能；Xiao 等［10］對3 個不同深度的網(wǎng)絡(luò)模型ResNet50、Xception、InceptionV3 進行特征提取，以簡單級聯(lián)的方式融合3 種網(wǎng)絡(luò)提取的特征，然后將特征輸入到ANN 分類器中，判別超聲圖像的良惡性，最終實現(xiàn)了85.13%的準確率和0.91 的AUC 值。

以上文獻多是針對甲狀腺超聲圖像進行分類或分割的單一任務(wù)研究，不能對甲狀腺結(jié)節(jié)進行整體診斷與評價。基于此，本文設(shè)計一種改進的Mask R-CNN 算法，以ResNet50、SENet 為基礎(chǔ)主干網(wǎng)絡(luò)，并融合殘差注意力機制模塊得到SE-ResNet50 網(wǎng)絡(luò)，改進多任務(wù)損失函數(shù)，實現(xiàn)了基于深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，DCNN）的集甲狀腺超聲結(jié)節(jié)檢測、良惡性判別與分割三項任務(wù)于一體的研究。

2 實驗方法

2.1 實驗數(shù)據(jù)分析

2.1.1 甲狀腺結(jié)節(jié)鑒別特點分析

圖1 為甲狀腺超聲圖像示例。臨床上，醫(yī)生主要從形態(tài)特征、衰減特性、回聲模式、鈣化特性等方面對甲狀腺結(jié)節(jié)進行診斷［11］。具體來講，良性甲狀腺結(jié)節(jié)形態(tài)規(guī)則、邊界清晰、結(jié)節(jié)后方呈回聲增強或等回聲，結(jié)節(jié)的縱橫比一般小于1，結(jié)節(jié)周圍聲暈規(guī)則，有完整包膜，內(nèi)部無鈣化或有粗大鈣化［12］；惡性甲狀腺結(jié)節(jié)形態(tài)不規(guī)則，邊界欠清晰，結(jié)節(jié)后方回聲衰減，結(jié)節(jié)縱橫比通常大于1，包膜不明顯或無完整包膜，出現(xiàn)微小鈣化、血流信號增強，常伴有頸部淋巴結(jié)轉(zhuǎn)移性腫大［13］。

Fig.1 Thyroid ultrasound image example圖1 甲狀腺超聲圖像示例

2.1.2 實驗數(shù)據(jù)采集與預(yù)處理

采集2 934 幅甲狀腺超聲圖像作為實驗數(shù)據(jù)集，采集地點為徐州市某三甲醫(yī)院，其中良性結(jié)節(jié)圖像有1 673 張，惡性結(jié)節(jié)圖像有1 261 張，圖像為二維JPG 格式，采集所用超聲診斷儀類別不同，包括Philips-123、SIEMENS、GE Voluson S8、ACCUVIX-gfg、TOSHIBA。

原始超聲圖像周邊有較多對實驗無用的信息，如醫(yī)院名稱、圖像采集時間、設(shè)備名稱、患者信息、超聲探頭的發(fā)射頻率、探測深度等。為避免圖像分辨率過大帶來的計算負擔，通過保持原始圖像ROI（Region of Interest）區(qū)域的長寬比例調(diào)整圖像大小，得到甲狀腺超聲圖像的ROI 子圖。對于一個尺寸為h×w 的圖像，裁剪其周邊無用信息，按照尺寸max｛h，w｝進行零值填充，resize 成512×512 大小，最后在醫(yī)生的指導(dǎo)下制作成標準的COCO 數(shù)據(jù)集形式。圖2 為ROI 子圖及其對應(yīng)掩碼。

2.2 實驗平臺

訓(xùn)練集和測試集的比例為8∶2，即訓(xùn)練集∶測試集=2 347∶587。實驗?zāi)Ｐ筒渴鹪谥锌剖锕獾某夁\算平臺上，實驗系統(tǒng)為Linux 操作系統(tǒng)，編譯環(huán)境為Python 3.7.9，CUDA 版 本10.0，顯卡為Tesla V100-SXM2-32GB，使 用pytorch1.4.0 進行整體模型的搭建。

Fig.2 Ultrasound image and corresponding mask image圖2 超聲圖像及其對應(yīng)掩碼圖像

2.3 算法建立

2.3.1 Mask R-CNN 算法

基于CNN系列的目標檢測算法，如Fast R-CNN［14］、Faster R-CNN［15］和Mask R-CNN［16］等在目標檢測領(lǐng)域均取得了巨大成功。相較于Faster R-CNN 網(wǎng)絡(luò)，Mask R-CNN在其基礎(chǔ)上添加了一個掩膜預(yù)測分支。圖3為Faster RCNN 與Mask R-CNN 的架構(gòu)圖，Mask R-CNN 將Faster RCNN 中的RoIPooling 改進為RoIAlign，在預(yù)測框提取過程中使用雙線性插值法，改進了RoIPooling 中量化偏差對后續(xù)回歸定位產(chǎn)生的影響，因此Mask R-CNN 的檢測效果更勝一籌。Mask R-CNN 是一個兩階段檢測模型：第一個階段基于輸入圖像產(chǎn)生可能的目標候選建議框；第二個階段預(yù)測目標類別，優(yōu)化回歸框，并基于第一階段的輸出生成目標區(qū)域像素級別的分割掩膜。

Fig.3 Faster R-CNN and Mask R-CNN architecture圖3 Faster R-CNN 與Mask R-CNN 架構(gòu)

2.3.2 改進損失函數(shù)的Mask R-CNN 算法

Mask R-CNN 的多任務(wù)損失函數(shù)包含定位損失、分類損失以及分割損失3 個部分。如式（1）所示，Lcls為分類損失，表示預(yù)測類別與實際類別的接近程度；Lbox為邊框回歸損失，表示模型的定位效果；Lmask為分割掩碼損失，以二進制交叉損失值作為分割損失函數(shù)。在多任務(wù)網(wǎng)絡(luò)結(jié)構(gòu)中，使用兩個權(quán)重參數(shù)α1和α2控制檢測與分割任務(wù)的優(yōu)先等級。在以ResNet50 為主干網(wǎng)絡(luò)，以Imagenet 數(shù)據(jù)集上預(yù)訓(xùn)練的權(quán)重為初始權(quán)重的Mask R-CNN 模型中，通過改變α1和α2的大小，得到“3.2”項下表2 的結(jié)果。根據(jù)表中結(jié)果顯示，在接下來的實驗中，將α1和α2分別設(shè)置為0.9 和0.7。式（2）為分割分支的損失函數(shù)，其中y和y?分別為真實值與預(yù)測值。

2.4 主干網(wǎng)絡(luò)選擇與算法模型構(gòu)建

2.4.1 主干網(wǎng)絡(luò)

ResNet 網(wǎng)絡(luò)使用跳躍連接和擬合殘差兩種方式，利用殘差映射模塊結(jié)構(gòu)，通過跳躍連接將各個階段的輸入信息跳躍連接至輸出處，下層網(wǎng)絡(luò)只需要在兩者之間學(xué)習不同的地方，一定程度上避免了相同特征的重復(fù)學(xué)習，簡化了學(xué)習目標，有效緩解了深層網(wǎng)絡(luò)導(dǎo)致的梯度消失或梯度爆炸問題［17］。SENet（Squeeze-and-Excitation Networks）采用一種全新的特征重標定策略，通過學(xué)習的方式自動獲取每個特征通道的重要程度，基于此提升有用的特征權(quán)重，抑制或減輕無用的特征權(quán)重，通過優(yōu)化網(wǎng)絡(luò)運行時間，減少參數(shù)計算量，使SE 模塊具有注意力機制特點［18］。

采用殘差網(wǎng)絡(luò)ResNet50 和SENet 為基礎(chǔ)主干網(wǎng)絡(luò)，通過融合殘差與注意力機制，將SE 模塊作為注意力門控單元嵌入到ResNet 網(wǎng)絡(luò)中，得到主干網(wǎng)絡(luò)SE-ResNet50。如圖4所示，該網(wǎng)絡(luò)首先降低輸入特征維度，變?yōu)檩斎氲?/r，然后通過ReLU 激活函數(shù)增加更多的非線性單元，有助于更好地擬合通道間復(fù)雜的相關(guān)性；接著通過一個FC 全連接層恢復(fù)原始維度，再通過Sigmoid 函數(shù)進行權(quán)重歸一化；最后通過Scale 將歸一化后的權(quán)重加權(quán)到每個通道特征上［18］。

Fig.4 SE-ResNet module圖4 SE-ResNet 模塊

2.4.2 整體算法模型構(gòu)建

設(shè)置ResNet50、SENet、SE-ResNet50 為主干網(wǎng)絡(luò)，使用Mask R-CNN 模型的多任務(wù)功能實現(xiàn)甲狀腺結(jié)節(jié)的定位、分割與良惡性分類等一體化自動診斷，通過改進多任務(wù)損失函數(shù)中的權(quán)重占比，實現(xiàn)模型優(yōu)化。圖5 為本次實驗構(gòu)建的甲狀腺超聲結(jié)節(jié)定位、分割、良惡性判別模型。

Fig.5 Ultrasound thyroid nodule localization，segmentation，benign and malignant discrimination model圖5 甲狀腺超聲結(jié)節(jié)定位、分割、良惡性判別模型

2.4.3 參數(shù)設(shè)置

在目標檢測任務(wù)中，IoU 為交并比，表示預(yù)測框與實際標注框的交疊率［19］。IoU_thr 為類別置信度，其值在［0，1］之間。當IoU=0 時，預(yù)測框與真值框沒有交集，此時結(jié)果最差；當IoU=1 時，預(yù)測框與真值框重合，此時結(jié)果最好。當預(yù)測候選框與原標記框的交并比IoU＞IoU_thr 時，視為正樣本；反之，視為負樣本［20］。本實驗的IoU_thr 設(shè)置為0.5，epoch 設(shè)置為20，在訓(xùn)練過程中采用優(yōu)化策略，等間距調(diào)整學(xué)習率，初始學(xué)習率設(shè)置為lr=0.002 5，學(xué)習率采用warmup［21］的方式，Learning momentum 設(shè)置為0.9，Backbone stride 設(shè)置為［4，8，16，32，64］，RPN NMS threshod 設(shè)置為0.7。采用遷移學(xué)習策略，在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練ResNet50、SENet 與SE-ResNet50 網(wǎng)絡(luò)得到權(quán)重參數(shù)，作為實驗?zāi)Ｐ偷某跏蓟瘏?shù)［22］。

3 實驗結(jié)果與分析

3.1 實驗評估指標

將惡性結(jié)節(jié)標注為malignant，設(shè)置為正樣本；良性結(jié)節(jié)標注為benign，設(shè)置為負樣本。為定量評估分類性能，結(jié)合臨床應(yīng)用，設(shè)置以下4 個指標：真陽性（True Positive，TP）指惡性結(jié)節(jié)被正確判定為惡性；假陽性（False Positive，F(xiàn)P）指良性結(jié)節(jié)被錯誤判定為惡性結(jié)節(jié)；真陰性（True Negative，TN）指良性結(jié)節(jié)被正確判定為良性；假陰性（False Negative，F(xiàn)N）指惡性結(jié)節(jié)被錯誤判定為良性結(jié)節(jié)。用于圖像分類的幾種評價指標定義如式（3）、式（4）、式（5）所示。其中，精確率（Precision）也稱為查準率，用于衡量分類器檢測出的陽性樣本確為陽性樣本的概率；召回率（Recall）也稱為敏感性（Sensitivity）、查全率，其值越高，陽性樣本被漏診的概率越低；特異性（Specificity）也稱為真陰性識別率，其值越高，發(fā)生誤診的概率越低；mAP（Mean Average Precision）為AP 的平均值，即平均精度均值。

根據(jù)預(yù)測分數(shù)值與IoU_thr的關(guān)系確定預(yù)測結(jié)果，如表1 所示，Ypred為網(wǎng)絡(luò)預(yù)測分數(shù)，Y _gt 為實際的樣本類別。

Table 1 Definition of prediction results表1 預(yù)測結(jié)果定義

3.2 實驗結(jié)果評估

表2 為以ResNet50 為主干網(wǎng)絡(luò)時，不同損失函數(shù)權(quán)重參數(shù)下的檢測效果?？梢钥闯?，當α1= 0.9,α2= 0.7 時，mAP 值最高。因此，以下結(jié)果展示與評估均在該設(shè)置下進行。

Table 2 Detection effect under different weight parameters of loss function表2 不同損失函數(shù)權(quán)重參數(shù)下的檢測效果

表3 為在3 個主干網(wǎng)絡(luò)下，Mask R-CNN 算法在實驗數(shù)據(jù)集上的測試結(jié)果。從表中可以看出，融合殘差注意力機制的SE-ResNet50 主干網(wǎng)絡(luò)實現(xiàn)了精確率為0.936，召回率為0.851，特異性為0.948，mAP 值為0.824 的效果，模型檢測效果顯著。

Table 3 Test results表3 測試結(jié)果

實驗的測試數(shù)據(jù)集有587 例，圖6（彩圖掃OSID 碼可見）為SE-ResNet50 主干網(wǎng)絡(luò)下的檢測結(jié)果示例。其中，紅色矩形虛線框為模型檢測出來的甲狀腺結(jié)節(jié)定位，矩形上方為良惡性判別預(yù)測及對應(yīng)的預(yù)測分數(shù)，紅色曲線為模型分割的掩膜邊界，綠色曲線為在醫(yī)生指導(dǎo)下標注的實際結(jié)節(jié)范圍的可視化展示，為實驗參照的金標準?？梢钥闯?，本文算法對甲狀腺結(jié)節(jié)的定位準確，分類效果良好，特別是能夠較為準確地對惡性結(jié)節(jié)中的微鈣化特點進行判別。對于結(jié)節(jié)分割問題，本文算法能夠預(yù)測出結(jié)節(jié)的大致輪廓，但邊緣分割還不夠精準，這是由于甲狀腺結(jié)節(jié)超聲圖像邊緣模糊，即使是經(jīng)驗豐富的醫(yī)生勾畫出的輪廓也不一定準確。此外，本文模型有將同一個結(jié)節(jié)檢測為兩個、將周圍器官檢測為結(jié)節(jié)的情況。在超聲圖像中，甲狀腺周圍組織器官在形態(tài)上與甲狀腺結(jié)節(jié)較難區(qū)分，這也是導(dǎo)致模型多檢測或錯誤檢測的原因之一。

Fig.6 Test result example圖6 檢測結(jié)果示例

圖7 為SE-ResNet50 主干網(wǎng)絡(luò)下，本文算法在測試集上的準確率與損失率曲線?？梢钥闯?，本文算法準確率整體呈上升趨勢且穩(wěn)定收斂，損失率呈下降趨勢且穩(wěn)定收斂，說明其在實驗數(shù)據(jù)集上性能良好。

Fig.7 Accuracy rate and loss rate curve of the test set圖7 測試集準確率、損失率曲線

4 結(jié)語

本文以甲狀腺結(jié)節(jié)的超聲自動化診斷為研究目標，以Mask R-CNN 算法為模型，進行了主干網(wǎng)絡(luò)和損失函數(shù)兩方面的改進創(chuàng)新，具體表現(xiàn)在：①以ResNet50、SENet 網(wǎng)絡(luò)為基礎(chǔ)主干網(wǎng)絡(luò)，融合殘差注意力機制構(gòu)建SE-ResNet50主干網(wǎng)絡(luò)；②對多任務(wù)損失函數(shù)進行加權(quán)優(yōu)化，在優(yōu)化損失函數(shù)的基礎(chǔ)上，通過比較ResNet50、SENet、SE-ResNet50 3 種不同主干網(wǎng)絡(luò)的性能，發(fā)現(xiàn)融合殘差注意力機制的SEResNet50 網(wǎng)絡(luò)在甲狀腺結(jié)節(jié)的超聲檢測、分類、分割任務(wù)中表現(xiàn)最佳。其在實驗數(shù)據(jù)集上實現(xiàn)了精確率為0.936，召回率為0.851，特異性為0.948，mAP 值為0.824 的檢測效果。該算法能為甲狀腺結(jié)節(jié)的超聲診斷提供較為可靠的參考依據(jù)，在甲狀腺疾病超聲診斷自動化領(lǐng)域具有一定的工程學(xué)意義。

然而，實驗也具有一定局限性：首先是醫(yī)學(xué)數(shù)據(jù)較難獲取，本次實驗數(shù)據(jù)量較小，后續(xù)可通過增加數(shù)據(jù)量提高實驗結(jié)果的可靠性和魯棒性；其次，甲狀腺結(jié)節(jié)超聲圖像的邊緣分割精度不高，仍需進一步改善。后續(xù)會進一步向超聲科醫(yī)生學(xué)習病理知識，應(yīng)用于結(jié)節(jié)邊緣與紋理特征的提取上，輔助自動化診斷。