肖 丹，李文彬，張紅梅*

（1.西安交通大學生命科學與技術(shù)學院，西安 710049；2.西安醫(yī)學院醫(yī)學技術(shù)學院，西安 710021）

0 引言

據(jù)世界衛(wèi)生組織國際癌癥研究機構(gòu)發(fā)布的2020年全球腫瘤數(shù)據(jù)顯示，女性乳腺癌是全球最常見的癌癥，也是導致女性癌癥死亡的最主要原因[1]。乳腺癌篩查可以有效提高其早期診斷率，降低患者死亡率[2]，而超聲是乳腺腫瘤篩查中一種重要的影像學手段，具有檢查費用低、無創(chuàng)、無輻射、操作便捷等優(yōu)勢。對中國女性而言，超聲篩查的敏感度和準確度也優(yōu)于X射線檢查[3]?！吨袊匀橄侔┖Y查指南（2022年版）》推薦將乳腺超聲作為中國女性乳腺癌的首選篩查手段[4]。乳腺超聲檢查需要超聲醫(yī)師具備豐富的臨床診斷經(jīng)驗，但很多醫(yī)院并沒有足夠數(shù)量的資深超聲醫(yī)師，而且長時間的重復性評估也易引起誤診或漏診[5]。隨著人工智能技術(shù)的發(fā)展，計算機輔助診斷（computer aided diagnosis，CAD）系統(tǒng)有助于解決上述問題，而乳腺腫瘤區(qū)域的精確分割對乳腺超聲CAD系統(tǒng)起著基礎(chǔ)且重要的作用。

近年來，深度學習技術(shù)在計算機視覺領(lǐng)域取得了巨大成功，在卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）的基礎(chǔ)上發(fā)展出一系列的語義分割模型[6]。Long等[7]于2015年提出全卷積網(wǎng)絡(luò)（fully convolutional networks，F(xiàn)CN）結(jié)構(gòu)，用卷積層代替了傳統(tǒng)CNN中的全連接層，使得圖像輸入的尺度不再固定且能以端對端的方式實現(xiàn)語義分割。此后，又有多種全卷積語義分割模型被提出，如SegNet[8]、U-Net[9]和DeepLab[10]等。其中，U-Net因在小樣本量時仍有較好表現(xiàn)，被廣泛應用于醫(yī)學圖像分割，其包含了編碼器部分和解碼器部分，編碼器中采用了4次降采樣，將圖像的尺度降為原始尺寸的1/16，在解碼器中相應地采用了4次上采樣，將特征圖恢復到原始圖片的分辨力。在相同尺度的特征圖上使用跨層拼接，實現(xiàn)了高層與低層語義特征的融合，使分割出的物體邊緣更加精細。

由于超聲圖像存在有較多偽影、模糊邊界以及散斑噪聲等問題，若直接使用U-Net進行分割，結(jié)果常常不夠理想，因此在超聲乳腺腫瘤的分割領(lǐng)域出現(xiàn)了不少U-Net的改進版本。陳曦等[5]提出了一種融合普通卷積、空洞卷積以及殘差連接的MultiMix block，以此代替原始U-Net中編碼器的雙卷積結(jié)構(gòu)，并使用Res Path代替了直接的跨層拼接，提升了網(wǎng)絡(luò)的多尺度特征提取能力。貢榮麟等[11]提出了一種混合監(jiān)督雙通道反饋U-Net，其使用了混合監(jiān)督學習框架和雙通道反饋結(jié)構(gòu)，使得分割結(jié)果更加準確。Zhuang等[12]提出了超聲乳腺腫瘤分割的U-Net改進版本殘差空洞注意力門UNet（residual-dilated-attentiongate-UNet，RDAU-Net），該網(wǎng)絡(luò)在卷積結(jié)構(gòu)中采用了殘差連接和空洞卷積，以強化邊緣信息和增加感受野，并在跨層連接中使用了注意力門模塊以抑制背景，提高學習能力。上述網(wǎng)絡(luò)對乳腺超聲腫瘤的分割準確率相較原始的U-Net都有明顯提升，但都存在著網(wǎng)絡(luò)結(jié)構(gòu)復雜、參數(shù)量大的問題，同時忽略了預訓練參數(shù)對網(wǎng)絡(luò)性能的提升。

Mathews等[13]提出一種將EfficientNet B3作為U-Net編碼器的分割網(wǎng)絡(luò)，在對視網(wǎng)膜血管的分割中取得了不錯的效果。受此啟發(fā)，本研究嘗試對比4個經(jīng)典的CNN模型（包括ResNet[14]、VGG[15]、DenseNet[16]和EfficientNet[17]）與U-Net結(jié)合后對超聲乳腺腫瘤的分割效果，這些網(wǎng)絡(luò)模型都具有很強的特征提取能力，并且在大型數(shù)據(jù)集上（如ImageNet）有著對應的預訓練模型。經(jīng)過對比驗證，融合EfficientNet與U-Net的模型取得了最優(yōu)分割結(jié)果。為得到更好的邊界分割效果，在常規(guī)的交叉熵（cross entropy，CE）損失函數(shù)的基礎(chǔ)上，本研究又引入了Dice損失[18]和Boundary損失（邊界損失）[19]，通過實驗證明三者的加權(quán)復合損失函數(shù)可以達到最高的分割精度。

1 方法

1.1 U-Net結(jié)構(gòu)

將U-Net的網(wǎng)絡(luò)結(jié)構(gòu)抽象化，其抽象結(jié)構(gòu)如圖1所示，輸入編碼器后的特征圖在空間維度經(jīng)過降采樣逐漸變小、通道數(shù)遞增，特征圖到達解碼器后，在空間維度進行上采樣、通道數(shù)遞減，最終分割結(jié)果的通道數(shù)等于分割目標類別的數(shù)量。編碼器中的淺層特征經(jīng)過跨層連接，以拼接的形式融合到解碼器的深層特征中，從而實現(xiàn)了高層與低層語義特征的融合，使分割結(jié)果更加精確。

為量化模型的分割精度，本研究采用3個常用的分割評價指標：Dice相似系數(shù)（dice similarity coefficient，DSC）、敏感度和準確率，其計算公式如下：式中，TP表示預測為腫瘤且標記為腫瘤的像素總數(shù)；FP表示預測為腫瘤但標記為背景的像素總數(shù)；FN表示預測為背景但標記為腫瘤的像素總數(shù)。

圖1 U-Net網(wǎng)絡(luò)的抽象結(jié)構(gòu)

1.2 經(jīng)典CNN模型與U-Net融合

本研究將U-Net的編碼器更換為4種經(jīng)典CNN分類模型中參數(shù)規(guī)模和計算量相對適度的版本，分別為ResNet50、VGG16、DenseNet169和EfficientNet B4。具體而言，就是用這些網(wǎng)絡(luò)的特征提取部分代替U-Net的編碼器，由于它們本質(zhì)上都是空間尺度逐漸縮減和通道逐漸擴充的網(wǎng)絡(luò)結(jié)構(gòu)，使得這樣的替換操作并非十分復雜。

通過將U-Net的編碼器更換成EfficientNet B4中的特征提取網(wǎng)絡(luò)，可得到Efficient-UNet網(wǎng)絡(luò)結(jié)構(gòu)，如圖3所示，特征圖的分辨力經(jīng)過多次降采樣從192×192降至12×12，通道數(shù)增加到了448，從底層上采樣后，特征圖的尺度恢復到了24，之后與來自編碼器中同分辨力的特征圖拼接，再經(jīng)過2次卷積，得到通道數(shù)為160的特征圖。以相同的過程完成其余3次上采樣后，圖像的尺度恢復到192，再經(jīng)過上采樣，圖像尺度恢復到原始圖像的尺度，最后用1×1卷積核將通道數(shù)壓縮為1，得到模型輸出。

式中，yi表示第i個像素的真實標簽（0代表背景，1代表目標）；y^i表示第i個像素的預測概率值。

摘心后有2～5個側(cè)芽，不同品種側(cè)芽數(shù)量會有不同。為了提高鮮花品質(zhì)，長到15～20 cm高度(甚至更早些，能看出優(yōu)劣并挑選就可以)，側(cè)芽數(shù)量偏多的品種需修整枝條，把太弱的和太強的枝條除掉，留粗壯差不多一樣的枝條2～3枝。主要原因是側(cè)芽太多，需更多的水肥，光照、通風較差，植株易發(fā)病。

比較兩組患者的臨床療效、治療前后神經(jīng)功能、認知功能、日常生活能力、血清白細胞介素6（IL‐6）、腫瘤壞死因子（TNF‐α）水平變化及不良反應發(fā)生情況。采用NIHSS評分評價患者神經(jīng)功能；輕度：0～15分；中度：16～30分；重度：31～45分［5］；使用簡易智能狀態(tài)檢查量表（3MS）評分評價患者的認知功能，滿分100分，認知良好80～100分；認知障礙48～79分；認知障礙嚴重48分以下［6］；采用巴氏指數(shù)（Barthel，BI）評價患者的日常生活能力，滿分100分，分值越高表示日常生活能力越好［7］。

圖2 MBConvBlock網(wǎng)絡(luò)結(jié)構(gòu)

1.3 Efficient-UNet結(jié)構(gòu)

He等[14]于2016年提出了殘差神經(jīng)網(wǎng)絡(luò)（residual network，ResNet），其主要貢獻是提出了殘差連接，解決了神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)層數(shù)不斷增加時發(fā)生的“退化現(xiàn)象”。VGG網(wǎng)絡(luò)采用連續(xù)的多個3×3卷積核代替較大的卷積核以減少模型參數(shù)[15]。DenseNet采用了密集連接機制，通過這種方式緩解了梯度消失的問題，鼓勵了特征重用，并大幅減少了參數(shù)量[16]。EfficientNet是谷歌大腦團隊提出的一種用于圖像分類的CNN框架，同時考慮了圖像分辨力、網(wǎng)絡(luò)深度和寬度3種網(wǎng)絡(luò)框架超參數(shù)，構(gòu)建了一套平衡三者的優(yōu)化方法，并根據(jù)輸入圖像尺度搭建了B0～B7共8種模型[17]。其中，B7模型在ImageNet數(shù)據(jù)集上取得了當時最優(yōu)的分類準確率，并且與取得相近結(jié)果的模型相比，其參數(shù)量和運算量都大為減少[17]。EfficientNet的基礎(chǔ)卷積模塊稱為移動倒置瓶頸卷積模塊（mobile inverted bottleneck convolution block，MBConvBlock），包含1×1卷積層（Conv）、批量歸一化（batchnorm，BN）、Swish激活函數(shù)、隨機失活（Dropout）、深度卷積（depthwise convolution，DWConv），壓縮-激勵（squeeze-and-excitation，SE）模塊以及殘差連接等，如圖2所示。

圖3 Efficient-UNet網(wǎng)絡(luò)結(jié)構(gòu)

1.4 損失函數(shù)

CNN圖像分割是通過最小化損失函數(shù)來尋找網(wǎng)絡(luò)的最優(yōu)參數(shù)，因此損失函數(shù)的選擇對分割結(jié)果有著重要影響。最常用的損失函數(shù)是逐像素的CE損失。對于本研究的單目標分割問題，CE損失計算公式如下：

探討前，首先介紹一下曲字的調(diào)值和音樂性字腔的一些基本情況。漢語口語中的字聲有四聲陰陽之別，但在音樂性的昆曲字腔中，除了平聲字的字腔外，其他三聲字腔的陰、陽，幾乎沒有差別。其中，上聲字字腔音勢就只有呈狀的高—低—高一種；去聲字字腔音勢就只有呈狀的低—高—低一種；入聲字字腔音勢就只有呈▼頓音狀的一個單短音。概言之，這就是昆曲音樂的一大基本特征：仄聲字腔不分陰陽。這一點，與昆曲的曲詞創(chuàng)作只講平仄、不分四聲陰陽基本對應。

馬克·吐溫是美國著名的幽默諷刺大師，他的小說在幽默詼諧的反諷中夾雜著對社會腐敗黑暗和人性自私丑惡的諷刺和批判，因此，反諷是其作品最重要的藝術(shù)特色之一。而陳光明的《馬克·吐溫幽默小品欣賞》譯本選取的是馬克·吐溫的早期作品[1]，其主要風格特色為幽默反諷，其中的選文典例十分符合本篇論文要研究的主題：馬克·吐溫反諷修辭的傳譯方法與效果。

計算時不考慮結(jié)構(gòu)自重產(chǎn)生的影響，荷載效應全部來自于體外預應力鋼束。將預應力荷載等效為沿箱梁縱橋向作用的均布力作用于錨墊板上，所施加的荷載參數(shù)如表 1所示。

為驗證所提出方法的有效性，本研究使用了一個超聲乳腺腫瘤分割的公開數(shù)據(jù)集Dataset B[20]。該數(shù)據(jù)集由163例患者（53例為惡性腫瘤，110例為良性腫瘤）的163幅包含腫瘤的乳腺超聲影像和與之對應的標注圖組成，標注圖由經(jīng)驗豐富的超聲醫(yī)師手工勾勒。圖像的平均尺寸為540×450像素，為便于訓練及測試，圖像的尺寸被統(tǒng)一調(diào)整到384×384像素，并采用Z-score標準化預處理圖像。以50%的概率進行灰度gamma變換、對比度變換和水平翻轉(zhuǎn)以實現(xiàn)數(shù)據(jù)增強。

Bokhovkin等[19]針對CNN模型對遙感數(shù)據(jù)分割時邊界不準確的問題，引入了一種邊界損失函數(shù)，該函數(shù)可以給邊界的錯位施加懲罰，從而優(yōu)化邊界的分割效果。邊界損失由預測邊界相對真實邊界的精確度和召回率構(gòu)成，計算公式如下：

式中，Bp表示預測得到的目標區(qū)域邊界集合；Bgt表示真實標注目標區(qū)域邊界集合；d（·）表示歐氏距離；θ表示邊界距離誤差的容忍范圍，參考Bokhovkin等[19]的建議，實驗中θ被統(tǒng)一設(shè)置為5；[[·]]表示一種邏輯表達式的指標函數(shù)，如結(jié)果為真，則值取1，反之取0；P表示精確度，由預測邊界到真實邊界距離小于θ的像素數(shù)量與預測邊界總像素數(shù)的比值計算而得；R表示召回率，由真實邊界到預測邊界距離小于θ的像素數(shù)量與真實邊界總像素數(shù)的比值計算而得。

為了綜合考慮邊界的精確度與召回率，使用F1分數(shù)指標即P與R的調(diào)和平均數(shù)，進而得到邊界損失函數(shù)，其計算公式如下：

由于超聲圖像的弱邊界問題經(jīng)常會影響圖像的分割質(zhì)量，而且腫瘤區(qū)域通常只在整幅圖像中占很小的區(qū)域，本研究嘗試將這3種損失函數(shù)復合起來使用，并賦予不同的權(quán)重。

Dice系數(shù)是評價區(qū)域重疊度的指標，由此衍生出的Dice損失函數(shù)也常常作為分割的損失函數(shù)，其計算公式如下：

2 實驗

2.1 數(shù)據(jù)集

式中，P表示預測結(jié)果為目標的像素集合；G表示真實標注為目標的像素集合；·||表示集合中像素的個數(shù)。Dice損失函數(shù)有助于緩解目標和背景樣本數(shù)量的失衡問題，但常常在訓練中表現(xiàn)不夠穩(wěn)定，通常與CE損失函數(shù)組合起來使用。

2.2 評價指標

數(shù)學是人類對客觀世界的抽象，可以說沒有數(shù)學，就沒有人類文明，人類文明源于計數(shù)，經(jīng)歷了進制、比例、幾何、圖形、空間、變量、函數(shù)、高數(shù)等數(shù)學形式，專業(yè)化程度越來越高，學科體系越來越龐大，高職高數(shù)要想有所突破，必須打破傳統(tǒng)教育的弊端，建立和專業(yè)結(jié)合的課程體系。

2.3 實驗設(shè)計和實現(xiàn)細節(jié)

首先，本研究對比了原始U-Net和以ResNet50、VGG16、DenseNet169、EfficientNet B4作為U-Net編碼器的4種變體，分別簡稱為Res-UNet、VGG-UNet、Dense-UNet和Efficient-UNet。在使用這些模型訓練時，應用了遷移學習的方法，將這些模型在ImageNet上的訓練權(quán)重初始化，并采用CE作為損失函數(shù)。其次，本研究還對比了Efficient-UNet在不同損失函數(shù)組合下的分割精度，以CE作為基礎(chǔ)損失函數(shù)，分別比較了CE損失、邊界損失和Dice損失在不同權(quán)重組合下的精度。通過五折交叉驗證評價上述模型的性能，五折的劃分在評價不同模型時是固定的。在每折訓練時，全部的數(shù)據(jù)會按4∶1的比例分為訓練集和測試集，再從訓練集中隨機選取10%的樣本作為驗證集，以驗證集中得到的最優(yōu)模型對測試集進行測試。每種模型的最終結(jié)果為上述五折結(jié)果的均值±標準差。

電廠汽輪機檢修與維護作業(yè)中狀態(tài)檢修，為重要的技術(shù)要點之一。從汽輪機機組運行的整體現(xiàn)狀方面分析，良好的狀態(tài)檢修實施對于故障問題的有效確定，以及故障問題的及時處理意義重大。分析在實際作業(yè)中狀態(tài)檢修的實施，主要的檢修內(nèi)容有：設(shè)備運行中的異常振動、異響、清潔現(xiàn)狀、硬件現(xiàn)狀方面的檢修維護。通過對上述幾點異?，F(xiàn)象的檢修和維護，有效的保障了設(shè)備運行中的安全穩(wěn)定性。

本實驗的編程環(huán)境為Python（3.8.12）結(jié)合PyTorch（1.8.0）深度學習框架。初始學習率設(shè)置為0.001，優(yōu)化器采用Adam，學習率以余弦退火方式衰減（T0=30），epoch設(shè)置為60，batch size設(shè)置為4，其余參數(shù)均采用PyTorch框架設(shè)置的默認值。

3 結(jié)果

3.1 模型對比實驗

本 研究對比了U-Net、Res-UNet、VGG-UNet、Dense-UNet和Efficient-UNet 5種模型在數(shù)據(jù)集Dataset B上的分割效果，從表1中可以看出Efficient-UNet在所有指標中都取得了最優(yōu)的結(jié)果且參數(shù)量最小，體現(xiàn)了EfficientNet強大的特征提取能力。而原始的U-Net與其他變體相比，各指標均有較大差距，這可能是由于編碼器的特征提取能力不強以及缺乏在大數(shù)據(jù)集上的預訓練權(quán)重。5種不同模型對測試集中3例樣本的分割結(jié)果如圖4所示。

圖4 5種不同模型分割結(jié)果對比

表1 5種不同模型的分割評價指標和參數(shù)量

3.2 損失函數(shù)對比實驗

基于不同損失函數(shù)組合下Efficient-UNet的分割評價指標結(jié)果詳見表2。當使用2種函數(shù)組合時，分割評價指標結(jié)果是在不同權(quán)重配比下的最優(yōu)值，當選擇CE與邊界損失組合時，兩者的權(quán)重分別為λ和1-λ，令λ取值從0.1遞增至0.9，遞增步長為0.1，采用分割評價指標結(jié)果最優(yōu)時的λ，此時λ取0.5。當選擇CE與Dice損失組合時，取最優(yōu)值時λ等于0.9。當選擇邊界與Dice損失組合時，取最優(yōu)值時λ等于0.1。當使用3種損失函數(shù)組合時，權(quán)重組合為LCE+λLBD+（1-λ）LDice，當λ取0.7時，分割評價指標結(jié)果最優(yōu)。

表2 不同損失函數(shù)組合下Efficient-UNet的分割評價指標結(jié)果單位：%

從表2中可以看出，CE與邊界損失組合的損失函數(shù)在3項分割評價指標上都達到了次優(yōu)，明顯高于僅使用CE損失的分割結(jié)果，證明了邊界損失的有效性。3種損失函數(shù)的組合在前2項分割評價指標上都得到了最優(yōu)值，證明復合的損失函數(shù)有助于提升分割結(jié)果的準確率。數(shù)據(jù)集中2例測試圖像使用Efficient-UNet在CE損失函數(shù)和3種損失函數(shù)復合下得到的分割結(jié)果如圖5所示（圖像經(jīng)過裁剪和放大后顯示）。從圖5中可清晰看到復合損失函數(shù)對應的分割邊界與真實邊界更加一致。

圖5 2例測試圖像在不同損失函數(shù)下的分割結(jié)果

4 結(jié)語

針對超聲乳腺腫瘤的分割問題，本研究提出了一種融合EfficientNet和U-Net的分割方法，將U-Net的編碼器替換為EfficientNet B4中的特征提取部分，使其具有更強的特征提取能力，同時將EfficientNet B4在大型數(shù)據(jù)集ImageNet的訓練權(quán)重作為預訓練權(quán)重，以彌補數(shù)據(jù)量較少的問題，還引入了Dice損失函數(shù)和邊界損失函數(shù)，在以一定權(quán)重與CE損失函數(shù)組合后，取得了最優(yōu)的分割結(jié)果。最終結(jié)果顯示，此方法分割的DSC為87.46%，相較U-Net（DSC為69.75%）提升了約18%，使分割結(jié)果更接近于實際腫瘤區(qū)域，為乳腺超聲CAD系統(tǒng)的后續(xù)發(fā)展奠定了基礎(chǔ)。

雖然本研究取得了較好的分割結(jié)果，但僅在一個較小的數(shù)據(jù)集上進行了驗證，缺乏在大樣本量、多中心的數(shù)據(jù)集上對算法的評估，且本研究僅探討了對U-Net編碼器進行改變而帶來的性能提升，而對解碼器結(jié)構(gòu)的改進同樣值得思考。另外，本研究僅以U-Net作為基準模型進行改進，還有其他很多的語義分割模型也可以改進，后續(xù)將進一步展開研究，以期達到更優(yōu)的分割結(jié)果。