曹玉珍，鄭?潔，余?輝, 2，王?飛，張?杰

基于超聲影像的甲狀腺結(jié)節(jié)智能分割算法

曹玉珍1，鄭?潔1，余?輝1, 2，王?飛3，張?杰3

(1. 天津大學(xué)精密儀器與光電子工程學(xué)院，天津 300072；2. 天津大學(xué)醫(yī)學(xué)工程與轉(zhuǎn)化醫(yī)學(xué)研究院，天津 300000；3. 天津醫(yī)科大學(xué)總醫(yī)院超聲影像科，天津 300052)

基于超聲影像對(duì)甲狀腺結(jié)節(jié)進(jìn)行精準(zhǔn)分割，可以得到病變區(qū)域的生理參數(shù)信息，從而對(duì)甲狀腺結(jié)節(jié)的早期篩查和診斷定性．為實(shí)現(xiàn)甲狀腺結(jié)節(jié)的精準(zhǔn)分割，提出了一種基于Transformer編碼的多層次特征融合網(wǎng)絡(luò)．針對(duì)不同患者的甲狀腺結(jié)節(jié)大小和其在甲狀腺超聲圖像中所處的位置均存在較大差異的特點(diǎn)，該模型以Transformer結(jié)構(gòu)作為特征提取器，使各層次特征的計(jì)算都在更大、更靈活的感受野上進(jìn)行；以CNN作為特征解碼器，對(duì)編碼器所獲得的特征進(jìn)行重構(gòu)，并降低算法復(fù)雜度．編碼器與解碼器之間采用長距離跳躍連接的方式相連．利用局部-全局策略學(xué)習(xí)甲狀腺超聲圖像中淺層的全局特征和深層的局部特征．此外，通過將模型中的多頭注意力機(jī)制改進(jìn)為殘差軸向注意力機(jī)制，學(xué)習(xí)到了甲狀腺結(jié)節(jié)中更多的方向紋理特征．實(shí)驗(yàn)數(shù)據(jù)來源于天津醫(yī)科大學(xué)總醫(yī)院超聲影像科，通過對(duì)3828例樣本采用旋轉(zhuǎn)變換、翻轉(zhuǎn)變換和隨機(jī)裁剪3種數(shù)據(jù)增強(qiáng)方法，得到15312 例甲狀腺超聲圖像．經(jīng)過多輪迭代訓(xùn)練，得到測試集樣本上的 Dice系數(shù)為92.2%，交并比為85.5%．相同數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)表明：相對(duì)于全卷積神經(jīng)網(wǎng)絡(luò)，該算法在Dice系數(shù)上提升了5%～8%，在交并比上提升了7%～13%，模型參數(shù)量平均降低了?5.67×106，精準(zhǔn)地實(shí)現(xiàn)了甲狀腺結(jié)節(jié)的全自動(dòng)分割，降低了模型復(fù)雜度，具有一定的臨床價(jià)值．

甲狀腺結(jié)節(jié)；超聲影像；Transformer；殘差軸向注意力

甲狀腺結(jié)節(jié)是甲狀腺細(xì)胞局部異常生長而引起的散在病變，是目前在成人群體中最常見的內(nèi)分泌疾病之一[1]，其發(fā)病率呈現(xiàn)逐年升高的趨勢[2]．超聲檢查技術(shù)具有實(shí)時(shí)動(dòng)態(tài)多切面觀察、無輻射和無創(chuàng)的檢查優(yōu)勢，在甲狀腺結(jié)節(jié)的日常診斷和隨訪中得到了廣泛的應(yīng)用[3]．基于超聲影像對(duì)甲狀腺結(jié)節(jié)進(jìn)行精準(zhǔn)分割，可以幫助醫(yī)生進(jìn)一步研究病變區(qū)域的病理信息，快速制定有效的治療方案．但在甲狀腺超聲圖像中，各組織之間灰度值分布和空間紋理均有較大差異，并且存在散斑噪聲、結(jié)節(jié)邊界模糊不清和鈣化點(diǎn)陰影等特點(diǎn)，使得分割任務(wù)復(fù)雜化[4]．目前，甲狀腺結(jié)節(jié)的分割通常由專業(yè)醫(yī)生對(duì)超聲圖像中的結(jié)節(jié)區(qū)域手動(dòng)勾畫完成，這不僅對(duì)醫(yī)生的專業(yè)知識(shí)和臨床經(jīng)驗(yàn)有很高要求，而且費(fèi)時(shí)費(fèi)力，容易耽誤患者寶貴的治療時(shí)間．

近年來，國內(nèi)外學(xué)者提出了一些算法以實(shí)現(xiàn)甲狀腺結(jié)節(jié)的自動(dòng)分割，包括傳統(tǒng)算法和深度學(xué)習(xí)算法.傳統(tǒng)的甲狀腺結(jié)節(jié)分割方法以活動(dòng)輪廓模型為主，如Li等[5]提出的距離正則化水平集演化模型，無需重新初始化．邵蒙恩等[6]提出的基于改進(jìn)的CV-RSF模型，結(jié)合CV模型的全局信息和RSF模型的局部信息對(duì)結(jié)節(jié)實(shí)現(xiàn)最終分割．盡管這些基于活動(dòng)輪廓模型的方法只需要少量樣本便可以實(shí)現(xiàn)對(duì)模型參數(shù)的快速辨識(shí)，但其每一次分割都需要從初始邊緣開始演化，無法從不同樣本間積累式學(xué)習(xí)臨床先驗(yàn)知識(shí)．

隨著人工智能技術(shù)的不斷發(fā)展，深度學(xué)習(xí)算法在許多圖像分割任務(wù)中展現(xiàn)出優(yōu)異的性能[7-8]．Long?等[9]提出的全卷積網(wǎng)絡(luò)(fully convolutional networks，F(xiàn)CN)結(jié)構(gòu)實(shí)現(xiàn)了圖像像素級(jí)的分類，具有良好的泛化能力．Ronneberger等[10]受到FCN的編碼器-解碼器體系結(jié)構(gòu)啟發(fā)，提出U-Net網(wǎng)絡(luò)針對(duì)醫(yī)學(xué)圖像做語義分割．該網(wǎng)絡(luò)共進(jìn)行4次上采樣和4次下采樣，提取和重構(gòu)圖像不同尺度的特征．編碼層與解碼層之間通過長距離跳躍連接，有效地彌補(bǔ)了因下采樣操作引起的細(xì)節(jié)信息缺失，幫助恢復(fù)圖像的精細(xì)邊緣．Yang等[11]在U-Net基礎(chǔ)上結(jié)合殘差結(jié)構(gòu)，提出一種基于多尺度輸入和特征融合的甲狀腺結(jié)節(jié)分割網(wǎng)絡(luò)Res-U-Net，在邊緣模糊和形態(tài)各異的結(jié)節(jié)分割上取得了良好的效果．

盡管上述的經(jīng)典網(wǎng)絡(luò)推動(dòng)了醫(yī)學(xué)圖像分割的發(fā)展，但它們多以卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)模型作為骨干網(wǎng)絡(luò)．由于CNN模型的感受野不夠靈活，在像素級(jí)別的分割任務(wù)中，判別能力受到限制．因此Sinha等[12]引入自注意力機(jī)制捕捉全局信息來獲得更大的感受野，在腹部器官、心血管結(jié)構(gòu)和腦腫瘤分割任務(wù)中都得到了較好的分割效果．隨著深度學(xué)習(xí)在醫(yī)學(xué)圖像分割任務(wù)的快速發(fā)展，甲狀腺結(jié)節(jié)的分割也向更準(zhǔn)確、自動(dòng)的趨勢發(fā)展．

為了實(shí)現(xiàn)甲狀腺結(jié)節(jié)的精準(zhǔn)分割，本文提出一種基于Transformer結(jié)構(gòu)編碼的結(jié)節(jié)分割模型，通過注意力機(jī)制來實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)中編碼層的功能，為醫(yī)學(xué)圖像分割提供一個(gè)全新的視角．針對(duì)甲狀腺超聲圖像質(zhì)量差，邊界梯度特征提取困難等現(xiàn)狀，提出一種局部-全局策略，同時(shí)學(xué)習(xí)圖像淺層的全局特征和深層的局部特征．通過這種策略，高效地學(xué)習(xí)甲狀腺超聲圖像中聯(lián)合跨尺度的分布特征，有效地提升模型的泛化能力．由于甲狀腺超聲圖像局部信息具有高度的各向異性，使用殘差軸向注意力機(jī)制來提取圖像中的方向紋理特征．此外，Transformer編碼層和CNN解碼層之間采用長距離跳躍連接，更精準(zhǔn)高效地獲取多尺度信息，進(jìn)而提升算法的性能．

1?甲狀腺結(jié)節(jié)分割相關(guān)技術(shù)

1.1?CNN模型特點(diǎn)

CNN是具有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)，其核心操作是權(quán)值共享、池化層和局部感受野．其中，權(quán)值共享即使用相同的卷積核進(jìn)行卷積操作，一方面可以極大地降低模型參數(shù)量來避免計(jì)算的冗余，從而提高計(jì)算效率；另一方面又使得卷積網(wǎng)絡(luò)具備一定的平移不變性和平移等變性．池化層通常在卷積層之后使用，作用是對(duì)卷積層獲得的特征映射進(jìn)行整合與分類，從而減少特征維數(shù)，加強(qiáng)模型的泛化能力．

感受野是特征圖上的某一個(gè)特征點(diǎn)在輸入空間中受到影響的區(qū)域．對(duì)于醫(yī)學(xué)圖像分割任務(wù)來說，不同結(jié)節(jié)大小之間具有較大差異，因此，感受野的大小對(duì)分割結(jié)果至關(guān)重要．模型特征圖中像素點(diǎn)的感受野由其所處位置、卷積核尺寸以及前一卷積層的感受野共同決定．計(jì)算公式為

CNN很擅長提取圖像的局部特征信息，再通過不斷地加深卷積層來實(shí)現(xiàn)圖像局部信息到全局信息的特征提?。鶕?jù)式(1)，模型的感受野應(yīng)該能覆蓋整幅圖像，但眾多研究表明模型的實(shí)際感受野遠(yuǎn)遠(yuǎn)小于其所計(jì)算出的理論感受野．因此，為了更好地提取圖像的全局特征，需要使用更大、更深的卷積核來盡可能地?cái)U(kuò)大模型的感受野．但是過深的網(wǎng)絡(luò)層數(shù)無疑會(huì)大幅增加模型的復(fù)雜度，甚至造成訓(xùn)練無法收斂、模型退化等問題．

1.2?Transformer模型

為解決CNN模型感受野不夠靈活、無法有效提取甲狀腺超聲圖像中不同尺度結(jié)節(jié)特征的問題，引入Transformer來實(shí)現(xiàn)甲狀腺結(jié)節(jié)的分割．與CNN 通過不斷堆積卷積層來獲得全局特征不同，Transformer很容易就可以獲得圖像的全局信息，并且不受甲狀腺結(jié)節(jié)所處位置和其形態(tài)大小的影響．

Transformer模型由Google首次提出[13]，利用自注意力機(jī)制取代了以往自然語言處理任務(wù)中的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，最初應(yīng)用于自然語言處理領(lǐng)域．它是一個(gè)完全基于注意力機(jī)制的編碼-解碼結(jié)構(gòu)的模型，具有很強(qiáng)的并行計(jì)算能力，能夠捕捉到長距離特征．受自然語言處理中Transformer挖掘文本中上、下文信息強(qiáng)大能力的啟發(fā)，計(jì)算機(jī)視覺領(lǐng)域的任務(wù)開始提出使用自注意力機(jī)制來捕捉圖像的遠(yuǎn)距離特征，從而獲得圖像的全局信息．這些使用自注意力機(jī)制生成的特征圖能夠根據(jù)其所在的層數(shù)和具體的任務(wù)目標(biāo)來有效地克服卷積計(jì)算所帶來的局限性．

Transformer基本模型包括編碼器和解碼器，編碼器由6個(gè)完全相同的編碼單元首端和尾端基于堆棧式結(jié)構(gòu)連接而成，解碼器也是由6個(gè)完全相同的解碼單元通過棧式排列的方式構(gòu)成．編碼單元由自注意力計(jì)算模塊以及前饋神經(jīng)網(wǎng)絡(luò)層堆疊而成，解碼單元與編碼單元不同之處在于：自注意力計(jì)算模塊和前饋神經(jīng)網(wǎng)絡(luò)層之間增加了一個(gè)自注意力層．編碼單元和解碼單元結(jié)構(gòu)具體如圖1所示．

圖1?編碼單元和解碼單元結(jié)構(gòu)

1.3?多頭自注意力機(jī)制

Transformer的核心算子是多頭注意力(multi-head self-attention，MHSA)，MHSA中的每一個(gè)“頭”都是一個(gè)獨(dú)立的注意力機(jī)制，使得模型可以學(xué)習(xí)到不同子空間中的特征信息．每次計(jì)算的操作方式如下.

雖然目前很多工作都顯示Transformer網(wǎng)絡(luò)在計(jì)算機(jī)視覺任務(wù)中取得了更好的效果，但Transformer目前還存在一定的缺陷：①巨大的參數(shù)量將成倍地增加服務(wù)器成本以及運(yùn)算難度；②在小數(shù)據(jù)集上模型難以訓(xùn)練，極易過擬合．因此本文將Transformer作為特征提取器，再結(jié)合CNN的天然優(yōu)勢來實(shí)現(xiàn)甲狀腺結(jié)節(jié)分割任務(wù)．

2?基于Transformer編碼的多層次甲狀腺結(jié)節(jié)特征融合網(wǎng)絡(luò)

2.1?網(wǎng)絡(luò)整體結(jié)構(gòu)

圖2?網(wǎng)絡(luò)整體結(jié)構(gòu)

2.2?模型改進(jìn)

甲狀腺結(jié)節(jié)的形狀、大小相差較大，且結(jié)節(jié)內(nèi)灰度紋理特征與相鄰器官(如氣管、動(dòng)脈)和超聲圖像背景較為相似．這使得甲狀腺結(jié)節(jié)分割任務(wù)復(fù)雜化．但在甲狀腺結(jié)節(jié)的邊界處，這一灰度紋理特征會(huì)發(fā)生較大的變化．因此，可以通過提取甲狀腺結(jié)節(jié)邊界紋理特征的變化，來有效地將其與其他組織和圖像背景區(qū)分．為了提取甲狀腺結(jié)節(jié)的邊界信息，將傳統(tǒng)的自注意力機(jī)制分解為兩個(gè)模塊：第1模塊在特征映射的高度軸上操作；第2模塊在特征映射的寬度軸上操作，這兩個(gè)自注意力模塊被稱為軸向注意力機(jī)制．通過軸向注意力機(jī)制對(duì)甲狀腺超聲圖像中每一行、每一列的像素點(diǎn)做相關(guān)性建模，可以有效地提取甲狀腺結(jié)節(jié)的方向紋理特征．

圖3?殘差軸向注意力機(jī)制

2.3?損失函數(shù)

交叉熵主要用于度量給定隨機(jī)變量或事件集的兩個(gè)概率分布之間的差異，它被廣泛用于分類任務(wù).文中采用的損失函數(shù)是二進(jìn)制交叉熵?fù)p失(binary cross-entropy loss，BCE loss)函數(shù)，這種損失函數(shù)逐個(gè)檢查每個(gè)像素，對(duì)每個(gè)像素類別的預(yù)測結(jié)果和標(biāo)簽向量進(jìn)行比較．二進(jìn)制交叉熵計(jì)算公式為

3?實(shí)驗(yàn)結(jié)果與分析

3.1?數(shù)據(jù)集標(biāo)注與構(gòu)建

實(shí)驗(yàn)所使用的甲狀腺超聲圖像數(shù)據(jù)集由天津醫(yī)科大學(xué)總醫(yī)院超聲影像科的專業(yè)醫(yī)生收集與標(biāo)記，這項(xiàng)回顧性研究經(jīng)天津大學(xué)和天津醫(yī)科大學(xué)總醫(yī)院倫理委員會(huì)批準(zhǔn)．使用Esaote MyLab Class C超聲診斷儀采集甲狀腺超聲圖像并存檔，探頭為高頻線陣探頭LA523，探測頻率為4～13MHz．最終收集到2018年10月至2021年2月于天津醫(yī)科大學(xué)總醫(yī)院行甲狀腺超聲檢查的3644例患者的資料．所有敏感信息均已匿名化處理．

3.2?數(shù)據(jù)增強(qiáng)

深度學(xué)習(xí)一般對(duì)樣本的數(shù)量具有較高的要求，樣本數(shù)量越多，模型的訓(xùn)練效果就會(huì)越好．為了豐富實(shí)驗(yàn)數(shù)據(jù)的多樣性、提升模型的泛化能力，需要對(duì)樣本做數(shù)據(jù)增強(qiáng)，來拓展數(shù)據(jù)集．實(shí)驗(yàn)對(duì)輸入數(shù)據(jù)采用旋轉(zhuǎn)變換、翻轉(zhuǎn)變換和隨機(jī)裁剪3種數(shù)據(jù)增強(qiáng)方法來擴(kuò)展數(shù)據(jù)集．將3828例甲狀腺超聲圖像擴(kuò)增到15312例，數(shù)據(jù)增強(qiáng)示例如圖4所示．

圖4?數(shù)據(jù)增強(qiáng)示例

3.3?實(shí)驗(yàn)環(huán)境及設(shè)置

硬件環(huán)境為Intel Core i7-9700 CPU @ 3.60GHz處理器，DDR4 32G內(nèi)存，NVIDIA GeForce RTX 2080Ti 11G顯卡．深度學(xué)習(xí)框架采用基于Python的Pytorch開源框架，Python版本為3.7.3，Pytorch版本為1.4.0．系統(tǒng)版本為Ubuntu 18.04.4LTS．

3.4?評(píng)價(jià)指標(biāo)

采用的主要模型評(píng)價(jià)指標(biāo)包括Dice系數(shù)、敏感度、精確率、交并比．

交并比為結(jié)節(jié)分割結(jié)果區(qū)域與結(jié)節(jié)區(qū)域的交集和并集的比，交并比越高，即代表圖像分割的效果越好．交并比的計(jì)算公式為

3.5?實(shí)驗(yàn)結(jié)果與分析

表1?不同算法在分割測試集中得到的各個(gè)評(píng)價(jià)指標(biāo)值

Tab.1?Evaluation index values obtained by different algorithms in the segmentation test set

從分割性能的縱向?qū)Ρ葋砜?，Res-A-Transformer相比FCN、U-Net和Res-U-Net等全卷積網(wǎng)絡(luò)，Dice系數(shù)提升5%～8%，敏感度提升2%～7%，精確率提升3%～12%，交并比提升7%～13%．此結(jié)果可能是源于卷積神經(jīng)網(wǎng)絡(luò)的感受野不夠靈活，限制了特征提取能力，導(dǎo)致分割結(jié)果不夠準(zhǔn)確，而以Transformer為特征提取單元的網(wǎng)絡(luò)可以在更大、更靈活的感受野上有效地學(xué)習(xí)各層特征．利用殘差軸向注意力機(jī)制提取甲狀腺結(jié)節(jié)中的邊界信息，則使得Res-A-Transformer算法在所有評(píng)估指標(biāo)中均高于其他方法．其在測試集的Dice系數(shù)為92.2%，敏感度和精確率分別為91.8%和92.7%，交并比達(dá)到85.5%．相比未進(jìn)行改進(jìn)的Transformer網(wǎng)絡(luò)，在Dice系數(shù)、敏感度、精確率和交并比分別提升了3.13%、1.77%、1.53%和5.81%．

實(shí)驗(yàn)結(jié)果表明：通過殘差軸向注意力機(jī)制，可以獲得圖像中更多的空間紋理信息，同時(shí)恒等映射單元可以避免淺層特征信息丟失過多的問題．相比較于其他網(wǎng)絡(luò)，Res-A-Transformer的各指標(biāo)分割結(jié)果的標(biāo)準(zhǔn)偏差也有所降低，說明本實(shí)驗(yàn)提出的算法在甲狀腺超聲數(shù)據(jù)集上具有較好的魯棒性．不同算法在測試集上的分割效果如圖5所示．

圖5中，第1行展現(xiàn)的是一個(gè)囊實(shí)混合性結(jié)節(jié)，成分以囊性為主；第2行包含一個(gè)邊緣規(guī)則的囊性結(jié)節(jié)，但其內(nèi)部灰度值與圖像背景和周圍動(dòng)脈較為相似；第3行包含一個(gè)實(shí)性結(jié)節(jié)，其灰度值與甲狀腺腺體組織相近，邊緣較為模糊．結(jié)果顯示：Res-A-Transformer甲狀腺結(jié)節(jié)分割算法在處理囊實(shí)性結(jié)節(jié)、灰度值與周圍組織相近結(jié)節(jié)以及邊緣模糊結(jié)節(jié)的圖像時(shí)，可以獲得更好的分割效果．

使用遷移學(xué)習(xí)策略進(jìn)行訓(xùn)練，將所有權(quán)重初始化．得到以上5種網(wǎng)絡(luò)的訓(xùn)練時(shí)間及模型參數(shù)量如表2所示．表2顯示，Res-A-Transformer的訓(xùn)練時(shí)間為23415.6s，參數(shù)量為1.41×106，相對(duì)于FCN、U-Net、Res-U-Net 3種全卷積網(wǎng)絡(luò)，訓(xùn)練時(shí)間平均縮短了100512.5s，模型參數(shù)量平均降低了5.67×106；相比于未進(jìn)行改進(jìn)的Transformer模型，訓(xùn)練時(shí)間縮短了5428.1s，模型參數(shù)量降低了0.37×106，說明軸向注意力機(jī)制不僅可以進(jìn)行有效的計(jì)算，學(xué)習(xí)到更多的位置信息，獲得更好的全局視野，而且降低了計(jì)算成本．結(jié)果表明，本文算法可以很好地降低參數(shù)量，對(duì)比全卷積網(wǎng)絡(luò)、未進(jìn)行改進(jìn)的Transformer模型都具有一定的優(yōu)勢．

圖5?不同算法在測試集上的分割效果

表2?不同模型訓(xùn)練時(shí)間及參數(shù)量對(duì)比

Tab.2?Training time and parameters of different models

4?結(jié)?語

精準(zhǔn)的甲狀腺結(jié)節(jié)分割可以得到病變區(qū)域的大小、形狀等生理參數(shù)信息，對(duì)臨床診斷具有重要的意義．本文提出了一種基于Transformer編碼的多層次特征融合網(wǎng)絡(luò)．全局分支與局部分支分別在整張圖像和分塊圖像上進(jìn)行特征提取，以得到圖像中多個(gè)層次的特征信息；Transformer編碼層中使用了殘差軸向注意力機(jī)制，這一結(jié)構(gòu)不僅能夠獲得圖像中更多的位置信息，而且可以避免淺層信息的丟失；通過長距離跳躍連接的方式，把編碼過程中對(duì)應(yīng)尺度上的特征信息引入到CNN解碼過程中，將特征聚合后得到最終的分割結(jié)果．該算法在數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明：相對(duì)于其他方法，本文提出的算法在Dice系數(shù)、敏感度、精確率和交并比等方面都達(dá)到更佳的效果，顯著提高了分割的精度，且訓(xùn)練時(shí)間更短．由此可見，基于Transformer結(jié)構(gòu)編碼的智能分割算法能夠幫助醫(yī)生實(shí)現(xiàn)對(duì)甲狀腺結(jié)節(jié)的全自動(dòng)分割，為進(jìn)一步分析結(jié)節(jié)區(qū)域的生理參數(shù)提供輔助信息．

［1］ 董?芬，張?彪，單廣良. 中國甲狀腺癌的流行現(xiàn)狀和影響因素[J]. 中國癌癥雜志，2016，26(1)：47-52.

Dong Fen，Zhang Biao，Shan Guangliang. The prevalence and influencing factors of thyroid cancer in china[J]. Chinese Journal of Cancer，2016，26(1)：47-52(in Chinese).

［2］ Quadir S，Uddin M M，Salam K S，et al. Ultrasonographic evaluation of solitary thyroid nodule with histopathological comparison[J]. Bangladesh Journal of Otorhinolaryngology，2020，25(2)：76-84.

［3］ Guth S，Theune U，Aberle J，et al. Very high prevalence of thyroid nodules detected by high frequency(13MHz)ultrasound examination[J]. European Journal of Clinical Investigation，2009，39(8)：699-706.

［4］ 徐細(xì)潔，李泉水，熊華花，等. 超聲成像結(jié)合超聲造影鑒別甲狀腺良惡性病變[J]. 中國超聲醫(yī)學(xué)雜志，2015，31(10)：887-890.

Xu Xijie，Li Quanshui，Xiong Huahua，et al. Identification of benign and malignant thyroid lesions by ultrasound imaging combined with contrast-enhanced ultrasound[J]. Chinese Journal of Ultrasound in Medicine，2015，31(10)：887-890(in Chinese).

［5］ Li C，Xu C，Gui C，et al. Distance regularized level set evolution and its application to image segmentation [J]. IEEE Transactions on Image Processing，2010，19(12)：32-43.

［6］ 邵蒙恩，嚴(yán)加勇，崔崤峣，等. 基于CV-RSF模型的甲狀腺結(jié)節(jié)超聲圖像分割算法[J]. 生物醫(yī)學(xué)工程研究，2019，38(3)：336-340.

Shao Meng’en，Yan Jiayong，Cui Xiaoyao，et al. Ultrasound image segmentation algorithm of thyroid nodules based on CV-RSF model[J]. Journal of Biomedical Engineering Research，2019，38(3)：336-340(in Chinese).

［7］ Chang C Y，Lei Y F，Tseng C H，et al. Thyroid segmentation and volume estimation in ultrasound images [J]. IEEE Transactions on Biomedical Engineering，2010，57(6)：1348-1357.

［8］ 張?晶. 基于活動(dòng)輪廓模型的甲狀腺結(jié)節(jié)分割方法研究[D]. 保定：河北大學(xué)，2016.

Zhang Jing. Research on Segmentation Method of Thyroid Nodules Based on Active Contour Model[D]. Baoding：Hebei University，2016(in Chinese).

［9］ Long J，Shelhamer E，Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，39(4)：640-651.

［10］ Ronneberger O，F(xiàn)ischer P，Brox T. U-Net：Convolu-tional networks for biomedical image segmentation [C]//18th International Conference on Medical Image Computing and Computer-Assisted Intervention(MIC-CAI). Munich，Germany，2015，9351：234-241.

［11］ Yang B L，Yan M Y，Zhu C R，et al. Segmentation and classification of thyroid follicular neoplasm using cascaded convolutional neural network[J]. Physics in Medicine and Biology，2020，65(24)：245040.

［12］ Sinha A，Dolz J. Multi-scale self-guided attention for medical image segmentation[J]. IEEE Journal of Biomedical and Health Informatics，2020，25(1)：121-130.

［13］ Vaswani A，Shazeer N，Parmar N，et al. Attention is all your need[EB/OL]. www.arXiv:1706.03762v5.org，2017-12-06.

［14］ Jie H，Li S，Gang S，et al. Squeeze-and-excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42(8)：2011-2023.

［15］ Haugen B R，Alexander E K，Bible K C，et al. American thyroid association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer：The American thyroid association guidelines task force on thyroid nodules and differentiated thyroid cancer[J]. Thyroid，2016，26(1)：1-133.

［16］ Shin J H，Baek J H，Chung J，et al. Ultrasonography diagnosis and imaging-based management of thyroid nodules：Revised Korean society of thyroid radiology consensus statement and recommendations[J]. Korean Journal of radiology，2016，17(3)：370-395.

Intelligent Segmentation of Thyroid Nodules Based on Ultrasound Images

Cao Yuzhen1，Zheng Jie1，Yu Hui1, 2，Wang Fei3，Zhang Jie3

(1. School of Precision Instruments and Optoelectronics Engineering，Tianjin University，Tianjin 300072，China；2. Academy of Medical Engineering and Translational Medicine，Tianjin University，Tianjin 300000，China；3. Department of Ultrasound Imaging，Tianjin Medical University General Hospital，Tianjin 300052，China)

The accurate segmentation of thyroid nodules based on ultrasound images can obtain physiological parameter information of the lesion area to screen and diagnose thyroid nodules in the early stage. To achieve an accurate segmentation of thyroid nodules，a multilevel feature fusion network based on Transformer coding was proposed. Given the large differences in the sizes of the thyroid nodules and their positions in the thyroid ultrasound images of different patients，the Transformer structure was used as the feature extractor to perform the calculation of features at each level on a larger and more flexible receptive field. The convolutional neural network was used as the feature decoder to reconstruct the features obtained by the encoder and reduce the complexity of the algorithm. The encoder and the decoder were connected by a skip connection. A local-global strategy was used to learn the local and global features in the thyroid ultrasound images. Additionally，more directional texture features in thyroid nodules were learned by improving the multi-head attention mechanism in the model to the residual axial-attention mechanism. The experimental data came from the Department of Ultrasound Imaging of the General Hospital of Tianjin Medical University. Using three data augmentation methods，including the rotation transformation，flip transformation，and random cropping，on 3828 samples，15312 thyroid ultrasound images were obtained. After multiple rounds of iterative training，the Dice coefficient on the test set was 92.2%，and the intersection ratio was 85.5%. Comparative experiments on the same data set showed that compared with the full convolution neural network，the algorithm improved the Dice coefficient by 5% to 8%，increased the intersection ratio by 7% to 13%，and reduced the average algorithm complexity by 5.67×106，realizing the automatic segmentation of the thyroid nodules accurately and reducing the model complexity. Results show that it has a certain clinical value.

thyroid nodule；ultrasound images；Transformer；residual axial-attention

10.11784/tdxbz202106048

TK448.21

A

0493-2137(2022)07-0674-08

2021-06-30；

2021-11-24.

曹玉珍（1963—??），女，博士，教授，yzcao@tju.edu.cn.Email：m_bigm@tju.edu.cn

余?輝，yuhui@tju.edu.cn.

國家重點(diǎn)研發(fā)計(jì)劃資助項(xiàng)目(2019YFC0119402)；天津科技重大專項(xiàng)與工程資助項(xiàng)目(18ZXZNSY00240).

the National Key Research and Development Program(No. 2019YFC0119402)，Tianjin Science and Technology Major Special Project (No. 18ZXZNSY00240).

(責(zé)任編輯：孫立華)