陳飛, 鄭力基, 易小林, 李強(qiáng), 龔海帆, 李冠彬

1南方醫(yī)科大學(xué)珠江醫(yī)院甲狀腺外科(廣東廣州 510280); 2中山大學(xué)計(jì)算機(jī)學(xué)院(廣東廣州 510006)

甲狀腺結(jié)節(jié)是頸部最常見的疾病，通過超聲發(fā)現(xiàn)的甲狀腺結(jié)節(jié)可達(dá)19.00%～68.00%[1]。甲狀腺結(jié)節(jié)對(duì)于臨床實(shí)踐最主要的挑戰(zhàn)就是鑒別良惡性，超聲檢查因安全、廉價(jià)、簡(jiǎn)單、無輻射等優(yōu)點(diǎn)被廣泛應(yīng)用于甲狀腺結(jié)節(jié)良惡性診斷，具有重要價(jià)值[2]。超聲醫(yī)師對(duì)甲狀腺超聲圖像的診斷依賴個(gè)人的知識(shí)和經(jīng)驗(yàn)，具有深刻的主觀性[3]。目前甲狀腺結(jié)節(jié)發(fā)病率急劇上升[4]，導(dǎo)致超聲醫(yī)師的勞動(dòng)強(qiáng)度顯著增加，每個(gè)病例的平均診斷時(shí)間減少。另一方面，甲狀腺癌發(fā)生發(fā)展極其復(fù)雜，目前診斷方法對(duì)結(jié)節(jié)認(rèn)識(shí)有限，因此，將基于深度學(xué)習(xí)的人工智能與超聲圖像相結(jié)合提高甲狀腺結(jié)節(jié)超聲診斷效能，并且有望實(shí)現(xiàn)超聲檢查客觀和規(guī)范；研制診斷甲狀腺結(jié)節(jié)的人工智能設(shè)備，為解決甲狀腺癌精準(zhǔn)化診療問題提供了新思路。隨著科技的不斷發(fā)展，人工智能(artificial intelligence，AI)在醫(yī)學(xué)領(lǐng)域獲得了突破性進(jìn)展，醫(yī)學(xué)影像與人工智能的結(jié)合被認(rèn)為是最具有發(fā)展前景的領(lǐng)域[5]。目前人工智能技術(shù)在肺部結(jié)節(jié)和肺癌篩查、乳腺癌篩查、預(yù)測(cè)早期宮頸癌患者的局部復(fù)發(fā)和遠(yuǎn)處轉(zhuǎn)移情況等臨床研究中獲得較好的診斷效能[6-8]。相信人工智能技術(shù)會(huì)逐步地進(jìn)入醫(yī)院，為醫(yī)療服務(wù)質(zhì)量的提高提供技術(shù)支持。

1 資料與方法

1.1 圖像采集與預(yù)處理 (1)圖像采集：研究數(shù)據(jù)來源于2016年1月至2020年9月在南方醫(yī)科大學(xué)珠江醫(yī)院接受手術(shù)治療的2 421例甲狀腺腫瘤患者術(shù)前超聲圖像；共收集3 493張超聲圖像；超聲機(jī)器包括GE Logiq 9, ARIETTA 850 和 RESONA 70B。根據(jù)以下標(biāo)準(zhǔn)[2]選擇圖像:①甲狀腺結(jié)節(jié)圖像清晰、完整；②圖像中有正常甲狀腺組織供對(duì)照；③超聲圖像中無血流信號(hào)疊加；④甲狀腺結(jié)節(jié)病理診斷明確；⑤患者同一區(qū)域或同一視角的圖像中，只保留了一張具有代表性的圖像。所有圖像必須符合以上全部標(biāo)準(zhǔn)，將最終獲得的圖像分為原始訓(xùn)練集2 591張、驗(yàn)證集288張和測(cè)試集614張。(2)圖像預(yù)處理。首先裁剪超聲圖像以外區(qū)域,再將圖像轉(zhuǎn)化為灰度圖像大小調(diào)整為232×232像素，最后裁剪為224×224像素。然后由一名經(jīng)驗(yàn)豐富的醫(yī)師對(duì)圖片中的甲狀腺結(jié)節(jié)位進(jìn)行標(biāo)注，標(biāo)注過程使用 VIA 工具，生成 json 格式文件。本研究經(jīng)我院倫理委員會(huì)審核通過(2021-KY-008-01)。

1.2 數(shù)據(jù)增強(qiáng) 原始訓(xùn)練集包含1 905幅良性結(jié)節(jié)圖像和973幅惡性結(jié)節(jié)圖像，對(duì)惡性結(jié)節(jié)圖像進(jìn)行數(shù)據(jù)重采樣，采樣率為1∶1，通過數(shù)據(jù)重采樣，訓(xùn)練集擴(kuò)充為1 905幅良性圖像和1 946幅惡性圖像,共3 851張圖像，解決數(shù)據(jù)集不平衡的問題。之后，再用圖像融合技術(shù)處理全部圖像，將圖像在空間上配對(duì)合并形成多模式圖像，經(jīng)過信息互補(bǔ)來提升診斷效能的技術(shù)，具體方法可見參考文獻(xiàn)[9-10]。

1.3 神經(jīng)網(wǎng)絡(luò)模型 卷積神經(jīng)網(wǎng)絡(luò)是目前人工智能結(jié)合醫(yī)學(xué)影像識(shí)別領(lǐng)域主流技術(shù)，并在學(xué)習(xí)數(shù)據(jù)充足時(shí)有穩(wěn)定的表現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

我們應(yīng)用ResNet作為模型的基線，研究步驟如下：第一步：采用基于U型卷積神經(jīng)網(wǎng)絡(luò)的方法對(duì)圖像中的每個(gè)像素進(jìn)行語(yǔ)義級(jí)別的分類，即區(qū)分出圖像中的每一個(gè)像素，屬于甲狀腺區(qū)域、甲狀腺結(jié)節(jié)區(qū)域、還是非甲狀腺區(qū)域。第二步：用基于卷積神經(jīng)網(wǎng)絡(luò)的方法對(duì)圖像分類，通過設(shè)置訓(xùn)練集與驗(yàn)證集，機(jī)器學(xué)習(xí)自動(dòng)提取病變圖像的關(guān)鍵特征，將圖像分為良性、惡性兩類，以病理結(jié)果為金標(biāo)準(zhǔn)，統(tǒng)計(jì)分析人工智能判斷結(jié)果，過程見流程圖2。

圖2 模型流程設(shè)計(jì)圖

1.4 研究流程圖 見圖3。

圖3 研究總體流程圖

1.5 醫(yī)生診斷方法 我院超聲科專家手術(shù)前依據(jù)甲狀腺影像與報(bào)告系統(tǒng)(thyroid imaging reporting and data system，TI-RADS)對(duì)甲狀腺結(jié)節(jié)進(jìn)行分類，分為 2、3、4a、4b、4c、5 類，記錄術(shù)前超聲診斷分類結(jié)果，術(shù)后病理診斷為金標(biāo)準(zhǔn)，分析TI-RADS影像報(bào)告系統(tǒng)診斷甲狀腺結(jié)節(jié)良惡性的最佳節(jié)點(diǎn)值，診斷結(jié)節(jié)良惡性。

1.6 統(tǒng)計(jì)學(xué)方法 采用SPSS 20.0統(tǒng)計(jì)軟件進(jìn)行數(shù)據(jù)分析。數(shù)據(jù)均以個(gè)數(shù)和百分?jǐn)?shù)表示，以病理診斷為金標(biāo)準(zhǔn)，計(jì)算出原始模型、圖像處理后實(shí)驗(yàn)?zāi)Ｐ?、超聲科專家診斷甲狀腺結(jié)節(jié)的靈敏度、特異度、準(zhǔn)確率、受試者工作特征(ROC)曲線下面積(AUC)；采用ROC曲線評(píng)價(jià)檢測(cè)模型、超聲科專家對(duì)甲狀腺結(jié)節(jié)超聲圖像良惡性的診斷效能。具有統(tǒng)計(jì)意義的檢驗(yàn)水準(zhǔn)定為0.05，參數(shù)可信區(qū)間估計(jì)采用95%可信區(qū)間。

2 結(jié)果

本研究中應(yīng)用ResNet作為模型的基線；并通過數(shù)據(jù)增強(qiáng)(數(shù)據(jù)重采樣和圖像融合)提高模型的效能，同時(shí)對(duì)比目前主流的DenseNet、VGGNet神經(jīng)網(wǎng)絡(luò)模型。3種模型診斷甲狀腺結(jié)節(jié)良惡性的敏感度、 特異度、準(zhǔn)確性、陽(yáng)性預(yù)測(cè)值、陰性預(yù)測(cè)值及AUC值可見于表1，ResNet模型高于 DenseNet、VGGNet神經(jīng)網(wǎng)絡(luò)模型，改進(jìn)的 ResNet模型的各項(xiàng)值均高于基線的 ResNet模型。

表1 各診斷模式診斷效能

表1可以看到超聲科專家診斷甲狀腺結(jié)節(jié)良惡性的數(shù)據(jù)，本研究將最佳節(jié)點(diǎn)值定為 3.5，超聲科專家診斷的2、3、4a、4b 類結(jié)節(jié)視為良性，4c、5 類結(jié)節(jié)視為惡性，結(jié)果顯示超聲科專家診斷的敏感度為78%， 特異度為90%，準(zhǔn)確性84.0%，陽(yáng)性預(yù)測(cè)值0.90，陰性預(yù)測(cè)值0.78，AUC為 0.89。在4個(gè)人工智能模型中，改進(jìn)的ResNet模型診斷效能最高，準(zhǔn)確性為74.4%、敏感度為65%、特異度為81%、陽(yáng)性預(yù)測(cè)值0.8、陰性預(yù)測(cè)值0.68；人工智能模型的診斷效能低于超聲醫(yī)師的診斷水平。

3 討論

甲狀腺癌發(fā)病隱匿，早診斷、早治療并開展干預(yù)至關(guān)重要，而高分辨率超聲是早期發(fā)現(xiàn)甲狀腺癌的有效手段[11]，醫(yī)學(xué)影像工作是高強(qiáng)度的技術(shù)性工作，醫(yī)務(wù)人員在日常生活中要準(zhǔn)確、高效完成大量的臨床檢查。目前新一代人工智能系統(tǒng)已逐步顯示出越來越強(qiáng)的能力，有望從根本上改變現(xiàn)狀[12-13]。目前世界各國(guó)長(zhǎng)期的研究熱點(diǎn)是人工智能與醫(yī)學(xué)影像的結(jié)合，醫(yī)學(xué)智能化、影像智能化必定是未來醫(yī)學(xué)領(lǐng)域中的一個(gè)新趨勢(shì)。CNN模型的穩(wěn)定性與訓(xùn)練集數(shù)量息息相關(guān)，因此，本研究中利用卷積神經(jīng)網(wǎng)路結(jié)合數(shù)據(jù)增強(qiáng)(數(shù)據(jù)重采樣+圖像融合)技術(shù)來增強(qiáng)產(chǎn)品的診斷性能。最終結(jié)果也驗(yàn)證了這一方法。

在我們此次研究中，對(duì)比了4種人工智能模型DenseNet、VGGNet、ResNet、改進(jìn)的ResNet診斷效能，4種模型診斷效能比較接近，改進(jìn)的ResNet模型診斷效果最佳，準(zhǔn)確率可達(dá)74.4%，AUC 0.82，說明經(jīng)過圖像融合技術(shù)處理形成的多模式圖像，通過信息互補(bǔ)有助于提高模型對(duì)甲狀腺結(jié)節(jié)超聲圖像的診斷效能。但本研究中人工智能模型準(zhǔn)確率、敏感度、特異度均低于對(duì)比的超聲科醫(yī)師診斷水平，原因在于超聲科醫(yī)生臨床實(shí)踐中可通過多切面、多角度，同時(shí)還可以運(yùn)用彩色多普勒、彈性成像等特征對(duì)甲狀腺結(jié)節(jié)進(jìn)行動(dòng)態(tài)評(píng)估；而人工智能模型只是通過靜態(tài)圖像進(jìn)行一個(gè)實(shí)時(shí)快速的診斷。

近年來，較多研究結(jié)果顯示人工智能通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)甲狀腺超聲圖像進(jìn)行深度學(xué)習(xí)、訓(xùn)練、建模、客觀定量分析圖像特征，對(duì)甲狀腺結(jié)節(jié)超聲圖像診斷具有良好的診斷性能[14-17]，天津醫(yī)科大學(xué)腫瘤醫(yī)院在甲狀腺超聲圖像深度學(xué)習(xí)診斷領(lǐng)域開展的一項(xiàng)研究最具代表性[18]：該研究共深度學(xué)習(xí)分析 31.2 萬張超聲圖像構(gòu)建了DCNN 模型，通過多中心驗(yàn)證(20 386 張圖像)，實(shí)現(xiàn)人工智能模型較高的準(zhǔn)確性(86.3%～88.9%)，AUC 值為0.908～0.947，該模型診斷準(zhǔn)確率接近于甚至高于高年資超聲科醫(yī)生，對(duì)標(biāo)這項(xiàng)研究，本研究人工智能模型診斷效能不足原因是本研究用于人工智能模型訓(xùn)練集較少，只有3 493張?jiān)紨?shù)據(jù)，因此在提高模型診斷效能上存在局限性。這提示我們后續(xù)需要收集更多的圖像對(duì)模型進(jìn)行訓(xùn)練學(xué)習(xí)測(cè)試，提高模型的診斷性能。另外我們?cè)跀?shù)據(jù)增強(qiáng)處理中只是單純進(jìn)行數(shù)據(jù)重采樣和采用圖像融合技術(shù)，未進(jìn)行降噪、細(xì)化圖像特征等，模型訓(xùn)練時(shí)未聯(lián)合TI-RADS，從而診斷性能存在一定差異。我們模型只能對(duì)甲狀腺接結(jié)節(jié)進(jìn)行單一的結(jié)果輸出(良性或惡性)，未能進(jìn)行分類。這提示我們?cè)诤罄m(xù)研究中需要對(duì)模型進(jìn)行升級(jí)，對(duì)圖像特征進(jìn)行提取細(xì)化。再次，充分結(jié)合超聲彈性成像、淋巴結(jié)等診斷特征，進(jìn)一步的多中心前瞻性研究對(duì)模型進(jìn)行充分訓(xùn)練，將有助于目前甲狀腺結(jié)節(jié)超聲人工智能設(shè)備的完善[19-20]。目前人工智能模型診斷甲狀腺超聲圖像表現(xiàn)出現(xiàn)較高診斷效能，但不足之處在于模型訓(xùn)練深度學(xué)習(xí)所需的圖像，必須先由人工分割、標(biāo)記甲狀腺結(jié)節(jié)的位置，需要花費(fèi)巨大人力物力，有研究探索利用YOLOv2神經(jīng)網(wǎng)絡(luò)自動(dòng)識(shí)別甲狀腺結(jié)節(jié)超聲圖像，提取圖像特征最終做出診斷分類的系統(tǒng)，目前仍處于研究階段，是未來研究需要解決的問題[14]。

針對(duì)甲狀腺結(jié)節(jié)，目前迫切需要降低影像學(xué)中診斷存在的主觀性，使惡性結(jié)節(jié)得到及時(shí)的診斷和治療，良性的結(jié)節(jié)避免承受有創(chuàng)性的檢查及不必要的手術(shù)操作。利用人工智能輔助臨床超聲科醫(yī)生診斷甲狀腺結(jié)節(jié)，而不是取代，但是該運(yùn)用仍處于初級(jí)階段，圖像的整體輸入和良惡性結(jié)果的單一輸出、結(jié)節(jié)的異質(zhì)性未得到充分的解釋；因此廣泛應(yīng)用于醫(yī)學(xué)影像學(xué)輔助診斷仍具有巨大的挑戰(zhàn)。

綜上所述，本研究通過創(chuàng)建人工智能模型，在人工智能對(duì)甲狀腺結(jié)節(jié)超聲圖像進(jìn)行良惡性預(yù)測(cè)方面做了初步的探索。人工智能可以實(shí)時(shí)快速地對(duì)甲狀腺結(jié)節(jié)進(jìn)行良惡性判斷，并具有較好的診斷效能。本研究提示人工智能診斷效能低于超聲科專家診斷水平，在未來有望成功應(yīng)用于醫(yī)學(xué)影像學(xué)輔助臨床醫(yī)生診斷疾病，減少主觀性導(dǎo)致的過度治療，使惡性結(jié)節(jié)及時(shí)得到精準(zhǔn)化、個(gè)體化治療。

利益相關(guān)聲明：文章所有作者均聲明不存在任何利益沖突。

作者貢獻(xiàn)說明：李強(qiáng)指導(dǎo)研究設(shè)計(jì)，陳飛、鄭力基收集整理、勾畫超聲圖片、論文撰寫，易小林收集患者基本資料，龔海帆、李冠彬負(fù)責(zé)深度學(xué)習(xí)內(nèi)容和圖像融合技術(shù)。