徐立芳，傅智杰，莫宏偉

（1. 哈爾濱工程大學(xué) 工程訓(xùn)練中心，黑龍江 哈爾濱 150001; 2. 哈爾濱工程大學(xué) 自動(dòng)化學(xué)院，黑龍江 哈爾濱 150001）

乳腺癌是女性中最常見的癌癥，也是全世界癌癥死亡的主要原因之一，其死亡率僅低于肺癌[1]，根據(jù)美國(guó)癌癥協(xié)會(huì)(american cancer society)對(duì)2019年癌癥患者的統(tǒng)計(jì)，在美國(guó)經(jīng)確診的浸潤(rùn)性乳腺癌有約268 600例新病例和非浸潤(rùn)性乳腺癌約62 930例新病例以及41 760例因乳腺癌死亡的病例，乳腺癌已經(jīng)影響了約12%美國(guó)女性日常生活[2]，早期發(fā)現(xiàn)可以增加患者治療的機(jī)會(huì)進(jìn)而提高患者的生存率[3-4]，因此，乳腺癌的篩查及早期診斷尤為重要，現(xiàn)階段，乳腺癌診斷的方法主要有：磁共振成像(magnetic resonance imaging, MRI)、正電子發(fā)射型計(jì)算機(jī)斷層顯像(positron emission computed tomography, PET)、超聲成像和X線攝影等，其中MRI和PET價(jià)格較為昂貴且具有輻射性[5]；X線攝影只能對(duì)特定的斷面進(jìn)行診斷，靈敏度低[6]；相比于MRI、PET和X線，超聲成像技術(shù)不僅價(jià)格低廉、不具有放射性，而且可以將各個(gè)斷面的絕大部分的病變區(qū)域顯示出來(lái)，尤其針對(duì)亞洲年輕女性較為緊密的乳腺組織，超聲成像技術(shù)有著更好的檢測(cè)效果，更適合于對(duì)乳腺腫瘤進(jìn)行大規(guī)模的檢查[7-8]。

雖然超聲成像已成為早期診斷的最受歡迎的檢測(cè)方式，但超聲檢測(cè)在實(shí)際應(yīng)用中仍然存在較多的困難：

1) 超聲成像過(guò)程較為復(fù)雜容易造成嚴(yán)重的噪聲，同時(shí)鑒于乳腺腫瘤的浸潤(rùn)性，其對(duì)比度和分辨率比較低，邊界模糊；

2) 由于超聲波頻率較高、纏頭能力強(qiáng)，對(duì)于較多的小于10 mm的小腫瘤很難進(jìn)行準(zhǔn)確的鑒別；

3) 超聲波束具有反射、折射等特點(diǎn)，而不同人體的組織器官的聲阻抗具有較大差異，而極易導(dǎo)致超聲圖像生成偽像。

然而，影像科醫(yī)生往往都是根據(jù)自己的工作經(jīng)驗(yàn)來(lái)分析超聲圖像，借助腫瘤的形狀、大小、能量、密度等相關(guān)的特征來(lái)分辨腫瘤良惡性，對(duì)于相同的一幅圖像，不同醫(yī)生的分析可能會(huì)有一定差異，不同時(shí)期圖像的屬性也有所不同，因此判讀結(jié)果也會(huì)不同，除此之外，乳腺超聲圖像的診斷工作較為復(fù)雜，特別對(duì)于中型和大型醫(yī)院病人較多、工作量較大的情況，單純依賴醫(yī)生診斷容易發(fā)生錯(cuò)誤診斷，這將大大影響病人的有效治療時(shí)間，給病人的生命財(cái)產(chǎn)造成嚴(yán)重的影響，基于以上原因，完全依賴醫(yī)生的人工處理容易由于疲勞而造成誤診率上升的現(xiàn)象[8]，隨著人工智能相關(guān)理論的發(fā)展，基于深度學(xué)習(xí)的乳腺超聲腫瘤識(shí)別技術(shù)有著重要的研究?jī)r(jià)值和意義。

1 相關(guān)工作

目前乳腺腫瘤的識(shí)別方法主要可分為2類：乳腺腫瘤傳統(tǒng)識(shí)別方法以及基于深度學(xué)習(xí)的乳腺腫瘤識(shí)別方法。

乳腺腫瘤傳統(tǒng)識(shí)別方法包含了乳腺超聲腫瘤圖像預(yù)處理、區(qū)域分割、特征提取和分類4步。由于先前的過(guò)程會(huì)影響后續(xù)過(guò)程，因此這些方法都需要非常精確地處理每一個(gè)步驟，按照是否強(qiáng)調(diào)分類和強(qiáng)調(diào)目標(biāo)感興趣區(qū)域(region of interest,ROI)提取將傳統(tǒng)方法分成2類，其中強(qiáng)調(diào)分類的方法通常需要人工手動(dòng)或半自動(dòng)獲取ROI區(qū)域，更加側(cè)重于開發(fā)區(qū)分良性惡性腫瘤的有效特征和分類器的選擇；而強(qiáng)調(diào)ROI區(qū)域提取的方法都是側(cè)重于開發(fā)更優(yōu)的圖像分割方法定位超聲腫瘤的ROI區(qū)域。

Cai等[9]首先提取出 138 個(gè)病例的乳腺超聲圖像的 ROI 區(qū)域，之后提出了一種結(jié)合相位一致性和局部二值模式(local binary pattern, LBP) 特征的局部紋理描述符特征，最后采用 支持向量機(jī)（support vector machine, SVM）分類器來(lái)區(qū)分乳腺超聲圖像中的良惡性腫瘤；Huang等[10]首先利用分水嶺算法來(lái)獲取乳腺超聲圖像初始輪廓，然后采用最小化能量函數(shù)進(jìn)一步得到精確的腫瘤邊界，最后采用支持向量機(jī)對(duì)乳腺腫瘤超聲圖像做良惡性識(shí)別；Shahriar 等[11]將得到的超聲圖像先尋找輪廓，之后提取紋理和統(tǒng)計(jì)特征，最后采用神經(jīng)網(wǎng)絡(luò)來(lái)分類；Menon等[12]首先采用基于局部區(qū)域的主動(dòng)輪廓法對(duì)預(yù)處理后的乳腺超聲圖像精確地確定 ROI 區(qū)域，接著提取紋理及形態(tài)等特征，最后采用 SVM 對(duì)其進(jìn)行分類。

這些傳統(tǒng)的識(shí)別方法雖然在一定程度上實(shí)現(xiàn)了超聲腫瘤識(shí)別，但都基本需要進(jìn)行人工的特征提取，往往識(shí)別精度較低、魯棒性較差、通用性不強(qiáng)，故很難應(yīng)用到實(shí)際的診斷中。

近幾年，隨著深度學(xué)習(xí)的興起，部分研究人員又提出基于深度學(xué)習(xí)的方法來(lái)進(jìn)行腫瘤識(shí)別，例如：Xiao Ting等[13]提出采用深度遷移融合的方法來(lái)實(shí)現(xiàn)乳腺超聲腫瘤識(shí)別，其采用 Resnet50、Xception 和 Inception V3 這3種卷積神經(jīng)網(wǎng)絡(luò)提取的不同的特征進(jìn)行遷移融合，接著采用前向神經(jīng)網(wǎng)絡(luò)來(lái)分類。Han等[14]首先對(duì)獲取的 5 151 例患者的 7 408 張超聲圖像進(jìn)行了 ROI 區(qū)域人工提取，之后將其輸入到改進(jìn)后的 GoogLeNet 網(wǎng)絡(luò)中進(jìn)行特征提取和分類，結(jié)果顯示，AUC 大于 0.9，準(zhǔn)確性為 90%，靈敏度為 86%，特異度為 96%。梁舒和王恒立等[15-16]分別采用優(yōu)化后的 U-net 和全卷積網(wǎng)絡(luò)進(jìn)行超聲乳腺腫瘤 ROI 區(qū)域的分割，最終在數(shù)據(jù)集上分別實(shí)現(xiàn)了 82.5% 、 83.48% 的準(zhǔn)確率。

1、標(biāo)題完整，作者明確，多位作者分屬不同單位時(shí)作者與單位應(yīng)一一標(biāo)注，單位要求具體到科室，地市齊全，郵編正確。

目前基于深度學(xué)習(xí)乳腺腫瘤識(shí)別方法，基本都是僅限于采用圖像分割的方法定位ROI區(qū)域或?qū)⒔o定的ROI區(qū)域分類為良性或惡性，而并不能同時(shí)實(shí)現(xiàn)對(duì)ROI區(qū)域的定位和對(duì)腫瘤的分類，給醫(yī)護(hù)人員的診斷帶了極大的不變，最近，Osman[17-18]提出采用基于改進(jìn)的 FCN-AlexNet 和基于改進(jìn)的Mask R-CNN 語(yǔ)義分割模型實(shí)現(xiàn)端到端的超聲腫瘤識(shí)別，同時(shí)執(zhí)行定位和分類，目前這種采用圖像分割的乳腺超聲腫瘤識(shí)別的方法，雖然較為精確地定位超聲腫瘤的邊界且實(shí)現(xiàn)了良惡性識(shí)別，但這種圖像語(yǔ)義分割的方法需要手動(dòng)標(biāo)注大量腫瘤分割的數(shù)據(jù)集，而制作分割數(shù)據(jù)集的過(guò)程非常繁瑣，極大地增加了專業(yè)醫(yī)生標(biāo)注的負(fù)擔(dān)，因此并不適合大規(guī)模的應(yīng)用。

2019年5月Shin等[19]在 IEEE Transac-tions on Medical Imaging 首次提出采用基于深度學(xué)習(xí)中的目標(biāo)檢測(cè)算法來(lái)同時(shí)實(shí)現(xiàn)乳腺超聲腫瘤的定位和分類，其采用Faster R-CNN算法并借助合作醫(yī)院所提供的數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練和測(cè)試，但由于Faster R-CNN算法檢測(cè)速率和檢測(cè)精度較低，無(wú)法直接應(yīng)用到實(shí)際中，因此本文仍沿著這一思路，首先使用檢測(cè)速率和精度均較高的YOLOv3算法進(jìn)行腫瘤識(shí)別，然后針對(duì)乳腺超聲腫瘤識(shí)別中的相關(guān)問(wèn)題對(duì)算法進(jìn)行改進(jìn)。

2 傳統(tǒng)YOLOv3算法

YOLOv3算法將目標(biāo)檢測(cè)問(wèn)題轉(zhuǎn)化為回歸問(wèn)題，合并分類和定位任務(wù)到一個(gè)步驟，直接預(yù)測(cè)物體的位置及類別，其包含了新特征提取網(wǎng)絡(luò)Darknet-53以及3種尺度的YOLO層，分別用于特征提取和與多尺度預(yù)測(cè)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示[20]。

圖1 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 YOLOv3 network structure

其中Darknet-53層由1個(gè)卷積塊DBL和5個(gè)殘差塊Resn(n=1,2,4,8)組成，DBL是卷積(conv)、批規(guī)范化(BN)和激活函數(shù)(leaky relu)的集合，這也是YOLOv3中的最小組件，Resn中的n表示殘差網(wǎng)絡(luò)Res的個(gè)數(shù)，而Res是2個(gè)DBL加上短連接(shortcut)組成，經(jīng)過(guò)Darknet-53網(wǎng)絡(luò)特征提取后，輸出大小為13×13×1 024特征圖，經(jīng)過(guò)上采樣與淺層特征圖拼接(見圖1中的concat)，輸出3個(gè)尺度的特征圖用于YOLO層的檢測(cè)結(jié)果的預(yù)測(cè)，也就是每個(gè)box負(fù)責(zé)對(duì)3個(gè)Anchor box進(jìn)行回歸，其預(yù)測(cè)結(jié)果包括目標(biāo)的中心位置x和y、寬高w和h、置信度以及類別，在YOLOv1版本中，x、y、w、h是直接預(yù)測(cè)物體實(shí)際值，預(yù)測(cè)值的微小變化都會(huì)被放大到整個(gè)圖像的范圍， 導(dǎo)致坐標(biāo)波動(dòng)較大， 預(yù)測(cè)不準(zhǔn)確，YOLOv3采用改進(jìn)后的算法求解預(yù)測(cè)值，之后通過(guò)對(duì)置信度設(shè)定閾值過(guò)濾掉低分的預(yù)測(cè)框，然后對(duì)剩下的預(yù)測(cè)框執(zhí)行非極大值抑制算法（non-maximum suppression, NMS）處理，得到網(wǎng)絡(luò)最終的預(yù)測(cè)結(jié)果。

3 改進(jìn)的YOLOv3算法

盡管YOLOV3在目標(biāo)識(shí)別算法中表現(xiàn)優(yōu)異，但乳腺超聲腫瘤圖像相對(duì)其他圖像而言，邊界更加模糊、噪聲更大、對(duì)比度更低，導(dǎo)致特征更難提取，更容易出現(xiàn)錯(cuò)誤識(shí)別和遺漏目標(biāo)的問(wèn)題，本節(jié)針對(duì)乳腺超聲圖像特征難提取的問(wèn)題，從3個(gè)角度對(duì)YOLOv3的特征提取網(wǎng)絡(luò)DarkNet-53進(jìn)行改進(jìn)并進(jìn)行實(shí)驗(yàn)驗(yàn)證，以提高網(wǎng)絡(luò)圖像特征的提取能力。

3.1 殘差模塊設(shè)計(jì)

YOLOv3中的Residual殘差模塊結(jié)構(gòu)在特征提取過(guò)程中參考了ResNet結(jié)構(gòu)，ResNet克服了梯度消失問(wèn)題，增強(qiáng)了特征表達(dá)力，本節(jié)中，為了擴(kuò)大每個(gè)網(wǎng)絡(luò)層的感受野，提取更加有效的特征，充分利用單層內(nèi)的特征，考慮通過(guò)改進(jìn)ResNet網(wǎng)絡(luò)多樣性角度來(lái)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，提出將SE (sequeze and excitation)模塊和Res2Net 2種網(wǎng)絡(luò)進(jìn)行融合組成SE-Res2Net以改進(jìn)原始的ResNet結(jié)構(gòu)。

SE模塊是2017年由胡杰[21]提出的，SE模塊則是從卷積的通道特征角度通過(guò)局部的感受野將深度信息和空間信息進(jìn)行融合，其結(jié)構(gòu)如圖2所示。SE模塊可分為Squeeze和Excitation 2個(gè)部分，其中X為輸入，F(xiàn)tr為卷積操作，U為卷積輸出，其特征圖大小為W×H×C，其首先將卷積后的特征圖U送到Squeeze中，對(duì)其沿著通道方向采用一個(gè)全局平均池化操作對(duì)特征圖進(jìn)行壓縮，將整個(gè)輸入的二維平面變成一個(gè)實(shí)數(shù)，采用這個(gè)實(shí)數(shù)來(lái)表示整個(gè)二維平面的特征信息，輸出 1 ×1×C的特征圖，之后將其送入Excitation中，用于增強(qiáng)卷積層通道間的相互依賴性，Excitation模塊在2個(gè)全連接網(wǎng)絡(luò)中采用了通道的壓縮，第1個(gè)全連接網(wǎng)絡(luò)通道數(shù)變成原來(lái)的C/r，其中r為壓縮的倍數(shù)，第2個(gè)全連接網(wǎng)絡(luò)將通道數(shù)變成C，2個(gè)全連接網(wǎng)絡(luò)不僅增加了網(wǎng)絡(luò)非線性，而且通過(guò)縮放倍數(shù)也實(shí)現(xiàn)了降低參數(shù)量的效果，接著將Excitation的輸出經(jīng)過(guò)一個(gè)激活函數(shù)將權(quán)值縮放到0 ～1，最后將權(quán)值乘以最初輸入的特征圖U的各個(gè)通道中，實(shí)現(xiàn)對(duì)特征的重新分配。

圖2 SE模塊網(wǎng)絡(luò)結(jié)構(gòu)Fig. 2 Network structure of SE block

SE模塊具有遷移性強(qiáng)的特點(diǎn)，可以嵌入到任何的網(wǎng)絡(luò)結(jié)構(gòu)中，為最大化利用提取到的超聲影像中的乳腺腫瘤特征，本節(jié)將其與Res2Net[22]結(jié)合組成SE-Res2Net，Res2Net是2019年的IEEE國(guó)際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議提出的新網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖3(b)所示，Res2Net結(jié)構(gòu)采用新的卷積方式來(lái)代替ResNet中3×3卷積，首先采用一個(gè)1×1卷積核將輸入的特征圖分成4個(gè)特征子圖，每個(gè)特征子圖均對(duì)應(yīng)一個(gè)3×3卷積 (第1個(gè)特征子圖除外)，將每個(gè)特征子圖與上一個(gè)特征子圖對(duì)應(yīng)的卷積的輸出的和作為該子圖對(duì)應(yīng)的3×3卷積的輸入，然后將4個(gè)通道的特征圖進(jìn)行融合，顯然Res2Net中每個(gè)特征子圖下的3×3卷積均可利用之前的特征，并且它的輸出可以獲得更大的感受野，其在單層內(nèi)增加了尺度，擴(kuò)大了感受野范圍，更好地利用了上下文信息，充分結(jié)合上下文信息可以令分類器更容易檢測(cè)出具體目標(biāo)，同時(shí)使用多尺度的方法來(lái)提取特征使得網(wǎng)絡(luò)的整體語(yǔ)義表征能力更加出色，特征表現(xiàn)力更強(qiáng)，最后在1×1卷積之后融合SE模塊，能進(jìn)一步結(jié)合SE模塊的優(yōu)點(diǎn)：對(duì)通道特征進(jìn)行重新加權(quán)，抑制無(wú)用的特征，充分利用了單層中的特征。

圖3 殘差網(wǎng)絡(luò)和SE-Res2Net網(wǎng)絡(luò)Fig. 3 Residual network and SE-Res2Net network

3.2 下采樣模塊設(shè)計(jì)

DarkNet-53在每個(gè)殘差模塊前均會(huì)有一個(gè)步長(zhǎng)為2，大小為3×3的卷積核做下采樣，DarkNet-53中一共有5個(gè)這樣的卷積操作，該模塊容易造成特征丟失，會(huì)在一定程度上影響識(shí)別的性能，因此本節(jié)綜合考慮各種因素，引入類似Inception的結(jié)構(gòu)Downsample下采樣模塊來(lái)改進(jìn)DarkNet-53的下采樣結(jié)構(gòu)，其首先采用多個(gè)1×1的卷積核將特征圖擴(kuò)展，之后采用池化層和幾個(gè)不同大小的卷積核來(lái)做下采樣，接著將下采樣后的特征圖進(jìn)行融合，這種融合與ResNet殘差網(wǎng)絡(luò)的融合不一樣，其只是通道的融合，特征圖的尺寸不會(huì)發(fā)生改變，最后使用1×1濾波器來(lái)降低尺寸，將其尺寸變成整個(gè)Downsample下采樣模塊輸入模塊的一半，如圖4所示。

圖4 Downsample下采樣模塊Fig. 4 Downsample network

3.3 殘差密集網(wǎng)絡(luò)Res-DenseNet

DarkNet-53每次下采樣輸出特征圖后，均會(huì)進(jìn)入一個(gè)Residual的殘差模塊，3.1節(jié)將網(wǎng)絡(luò)中的ResNet替換為SE-Res2Net，3.2節(jié)將3×3的下采樣模塊替換為Downsample模塊，為進(jìn)一步提高網(wǎng)絡(luò)的特征提取能力，在前文基礎(chǔ)上，本節(jié)引入殘差網(wǎng)絡(luò)ResNet和密集連接網(wǎng)絡(luò)DenseNet并將其合并為殘差密集連接網(wǎng)絡(luò)Res-DenseNet，為了方便描述改進(jìn)后的網(wǎng)絡(luò)，本節(jié)以第5個(gè)Residual的殘差模塊為例解釋這一過(guò)程，如圖5所示，其由一個(gè)Downsample下采樣模塊和4個(gè)殘差網(wǎng)絡(luò)Res2Net組成，輸入特征圖尺寸是26×26×512，先經(jīng)過(guò)一個(gè)Downsample進(jìn)行下采樣特征圖變成13×13×1 024，連續(xù)經(jīng)過(guò)4個(gè)SE-Res2Net后輸出。

圖5 原始?xì)埐钅K網(wǎng)絡(luò)結(jié)構(gòu)Fig. 5 Network structure of original residual module

在引入密集連接網(wǎng)絡(luò)DensetNet和ResNet后，改進(jìn)后的Res-DenseNet網(wǎng)絡(luò)如圖6所示，殘差密集網(wǎng)絡(luò)Res-DenseNet在DenseNet網(wǎng)絡(luò)基礎(chǔ)上引入ResNet，以充分利用圖像的特征，前面所有模塊的輸出均作為下一個(gè)模塊的輸入，這樣越靠后的模塊，特征數(shù)量就會(huì)越多，容易造成特征的冗余，為了消除冗余，提取更加高效的特征，在最后一個(gè)模塊后加入1×1卷積進(jìn)行降維，隨著網(wǎng)絡(luò)深度的增加，特征的增多，會(huì)造成網(wǎng)絡(luò)難以訓(xùn)練，因此借鑒殘差連接的思想，將殘差密集網(wǎng)絡(luò)中的所有模塊均當(dāng)作ResNet中的卷積層，將Downsample下采樣的輸出與當(dāng)前模塊的輸出進(jìn)行像素相加，這樣不僅實(shí)現(xiàn)了內(nèi)部特征上的融合，而且還會(huì)加快網(wǎng)絡(luò)的收斂速度，除此之外，就參數(shù)上講，添加1×1卷積層，對(duì)網(wǎng)絡(luò)總參數(shù)量幾乎沒有影響。

顯然，整個(gè)網(wǎng)絡(luò)輸入特征圖尺寸是26×26×512，在經(jīng)過(guò)下采樣模塊后，特征圖是13×13×1 024，先將所有SE-Res2Net模塊的輸出都兩兩進(jìn)行了連接，使得網(wǎng)絡(luò)中每一層輸出都接受它前面所有層的特征作為輸入，則每個(gè)SE-Res2Net輸出后，經(jīng)過(guò)特征拼接，輸出特征圖大小分別為13×13×1 280、13×13×1 536、13×13×1 792、13×13×2 048，考慮到最后一個(gè)殘差網(wǎng)絡(luò)SE-Res2Net輸出后，經(jīng)過(guò)特征拼接，特征圖維度是經(jīng)過(guò)下采樣后特征圖維度的2倍，采用一個(gè)conv1進(jìn)行特征降維輸出13×13×1 024的特征圖，之后借鑒殘差網(wǎng)絡(luò)ResNet對(duì)應(yīng)通道像素相加的思想，將第一個(gè)conv3下采樣輸出的特征圖與經(jīng)過(guò)conv1特征降維后的特征圖進(jìn)行對(duì)應(yīng)通道像素的相加，最后輸出大小為13×13×1 024的特征圖。

圖6 Res-DenseNet網(wǎng)絡(luò)Fig. 6 Res-DenseNet Network

4 實(shí)驗(yàn)與分析

本文在Ubuntu 16.04操作系統(tǒng)下完成軟件環(huán)境平臺(tái)的搭建和實(shí)驗(yàn)，GPU選用NVIDIA Ge-Force 1080Ti，軟件：Python (3.6)；keras ≥ 2.1.5；tensorflow-gpu (≥ 1.4.1)。

4.1 數(shù)據(jù)集

本文實(shí)驗(yàn)采用的乳腺超聲數(shù)據(jù)是由專業(yè)醫(yī)生從相關(guān)醫(yī)院的數(shù)據(jù)庫(kù)選取從2015-2019年不同年齡層次、地區(qū)和人種的2 011例原始病例，共計(jì)有13 586張?jiān)紙D像，圖像大小為768×576，如圖7所示，經(jīng)過(guò)專業(yè)醫(yī)生篩選剔除后，得到含有腫瘤的有效圖片共計(jì)3 259例，其中良性患者共計(jì)1 199例，惡性患者共計(jì)2 060例，考慮到雖然原始圖像邊框中含有較多的標(biāo)注信息，如影像保存時(shí)間、超聲探頭發(fā)射頻率、探測(cè)深度和部位，同時(shí)標(biāo)注位置不固定，但為了提高算法的魯棒性，方便實(shí)際應(yīng)用，本實(shí)驗(yàn)不再進(jìn)行人工的區(qū)域裁剪，而是直接使用經(jīng)過(guò)篩選的原始圖片作為目標(biāo)圖片。

圖7 超聲乳腺腫瘤原始圖像Fig. 7 Original ultrasound images of breast tumor

該數(shù)據(jù)庫(kù)中除了包含有圖像信息外，還提供了所有病例的病理診斷結(jié)果，其良惡性均經(jīng)過(guò)活檢證實(shí)，經(jīng)過(guò)專業(yè)醫(yī)生借助ImageLab軟件結(jié)合病例信息對(duì)進(jìn)行腫瘤位置和類別標(biāo)注，生成的PASCAL VOC格式的文件構(gòu)建了本實(shí)驗(yàn)所需的乳腺腫瘤數(shù)據(jù)集，考慮到數(shù)據(jù)集較小，直接將數(shù)據(jù)集按照3∶1∶1分成訓(xùn)練集、驗(yàn)證集和測(cè)試集，其中訓(xùn)練集1 955張，良性719張、惡性1 236張；測(cè)試集652張，良性240張、惡性412；驗(yàn)證集652張，良性240張、惡性412，如表1所示。

表1 乳腺超聲數(shù)據(jù)集劃分Table 1 Dividing breast ultrasound data sets

4.2 實(shí)驗(yàn)結(jié)果及分析

本文采用了與YOLOv3[20]相同的損失函數(shù)，整體的損失函數(shù)由3部分組成：類別誤差、置信度誤差以及目標(biāo)框誤差。為了加快網(wǎng)絡(luò)的訓(xùn)練速度和防止過(guò)擬合，本文采用Adma算法來(lái)做梯度優(yōu)化，其中設(shè)置初始學(xué)習(xí)率為0.001，每100次迭代后學(xué)習(xí)率衰減為原來(lái)的1/10，沖量為0.9，衰減系數(shù)為0.0 002，epoch設(shè)置為25，batch size設(shè)置為8，之后對(duì)原始的YOLOv3和不同配置的YOLOv3算法在預(yù)訓(xùn)練模型上進(jìn)行訓(xùn)練，不同配置的YOLOv3算法見表2所示，其中YOLOv3(1)表示在原YOLOv3算法上引入SE-Res2Net網(wǎng)絡(luò)，YOLOv3(2)表示在原YOLOv3上引入SE-ResNet和Downsample下采樣模塊，YOLOv3(3)表示在YOLOv3上引入SE-Res2Net、Downsample下采樣模塊和殘差密集網(wǎng)絡(luò)，最后通過(guò)查準(zhǔn)率?查全率(precision-recall,PR)曲線、精度均值(average precision, AP)和平均精度均值(mean average precision, mAP)評(píng)價(jià)模型的性能。

表2 不同配置的YOLOv3算法Table 2 YOLOV3 algorithm with different configurations

1) AP和mAP

待訓(xùn)練完成后將模型分別在測(cè)試集測(cè)試，得到良性樣本的PR曲線和惡性樣本的PR曲線如圖8、9所示，之后通過(guò)計(jì)算PR曲線下的面積可得到良惡性樣本的AP，YOLOv3(1)良惡性AP相對(duì)YOLOV3算法提高1.59%和1.73%，其mAP提高1.66%，這是因?yàn)镽es2Net在單層內(nèi)增加了尺度，充分利用了單層內(nèi)的特征；YOLOv3(2)良惡性AP相對(duì)于YOLOv3(1)提高了1.18%和3.08%，mAP提高2.13%，這是由于DownSample模塊在一定程度上克服了3×3下采樣容易丟失特征的缺陷；YOLOV3(3)良惡性AP相對(duì)于YOLOv3(2)提高了0.99%和0.56%，mAP提高0.775%，這是由于殘差密集網(wǎng)絡(luò)充分利用了前面所有層特征；YOLOv3(3)相對(duì)YOLOv3良惡性AP提高了3.76%和5.37%，mAP提高了4.56%，證實(shí)了本文在引入Res2Net、DownSample模塊和殘差密集網(wǎng)絡(luò)后，YOLOv3模型的整體性能得到較大的提升。

圖8 測(cè)試集上良性樣本的PR曲線Fig. 8 PR curves of benign samples on test set

圖9 測(cè)試集上惡性樣本的PR曲線Fig. 9 PR curves of malignant samples on test set

表3 乳腺超聲數(shù)據(jù)集劃分Table 3 Dividing breast ultrasound data sets %

2)平均IOU

除了以上評(píng)價(jià)指標(biāo)外，本文還引入平均重疊度(intersection over union, IOU)來(lái)判定腫瘤的定位誤差，4種算法的在測(cè)試集上結(jié)果如圖10所示，顯然，在訓(xùn)練集上的4種算法平均IOU明顯高于測(cè)試集上對(duì)應(yīng)算法的平均IOU，YOLOV3、YOLOV3(1)、YOLOV3(2)和YOLOV3(3)算法在測(cè)試集和訓(xùn)練集上平均IOU依次增加，這也證實(shí)了本文在引入Res2Net、DownSample模塊和殘差密集網(wǎng)絡(luò)后，YOLOv3特征提取能力更強(qiáng)。

4.3 實(shí)際測(cè)試效果

從數(shù)據(jù)庫(kù)中隨機(jī)抽取一個(gè)惡性樣本，采用改進(jìn)后的YOLVO3算法進(jìn)行識(shí)別，如圖11所示，YOLOV3、YOLOV3(1)、YOLOV3(2)和YOLOV3(3)算法均將其識(shí)別為惡性，識(shí)別的置信度分別為95.39%、97.652%、99.31%和99.97%；從數(shù)據(jù)庫(kù)中隨機(jī)抽取一個(gè)良性樣本，如圖12所示，YOLOV3、YOLOV3(1)、YOLOV3(2)和YOLOV3(3)算法均將其識(shí)別為惡性，識(shí)別的置信度分別為97.28%、98.48%、98.89%和99.97%，顯然本文在引入Res2Net、DownSample模塊和殘差密集網(wǎng)絡(luò)后，YOLOV3特征提取能力更強(qiáng)。with applications, 2012, 64(5): 1153–1162.

圖10 訓(xùn)練集和測(cè)試集上的平均IOUFig. 10 Average IOU on training set and test set

圖11 惡性測(cè)試樣本效果展示Fig. 11 Malignant test sample effect display

圖12 良性測(cè)試樣本效果展示Fig. 12 Benign test sample effect display

5 結(jié)束語(yǔ)

針對(duì)傳統(tǒng)乳腺超聲腫瘤識(shí)別方法均采用人工提取的特征逐步實(shí)現(xiàn)ROI區(qū)域定位和腫瘤分類往往識(shí)別精度低、魯棒性較差且通用性不強(qiáng)，目前基于深度學(xué)習(xí)的方法又僅限于腫瘤ROI區(qū)域的定位或?qū)o定的腫瘤ROI區(qū)域進(jìn)行分類，本文提出采用深度學(xué)習(xí)中的YOLOv3算法同時(shí)實(shí)現(xiàn)了對(duì)良惡性的分類和腫瘤ROI區(qū)域的定位，同時(shí)針對(duì)乳腺腫瘤識(shí)別中的問(wèn)題對(duì)算法進(jìn)行了改進(jìn)，經(jīng)過(guò)實(shí)驗(yàn)證明，在引入Res2Net、DownSample模塊和殘差密集網(wǎng)絡(luò)后YOLOv3算法有著更高的檢測(cè)精度，其在測(cè)試集上mAP達(dá)到0.795 9，平均IOU達(dá)到0.825 9，相比于傳統(tǒng)的YOLOv3算法分別提高了4.56%和2.35%，今后可進(jìn)一步優(yōu)化算法提高檢測(cè)精度。

經(jīng)專業(yè)醫(yī)生鑒定，采用改進(jìn)后的YOLOv3算法不僅同時(shí)實(shí)現(xiàn)對(duì)腫瘤ROI區(qū)域的定位和良惡性的分類，而且取得了較好的檢測(cè)效果，使得人工智能應(yīng)用更接近實(shí)際操作環(huán)境，有效提升基層醫(yī)生診斷能力，降低專科醫(yī)生工作強(qiáng)度，有著極大的應(yīng)用價(jià)值。