王俊茜 徐勇 孫利雷 蒲祖輝

乳腺疾病發(fā)病率逐年上升,并且逐漸趨于年輕化,這使乳腺癌已成為全球女性發(fā)病率最高的癌癥之一[1?2].至今為止,誘發(fā)乳腺癌的確切致病因素仍尚未完全清楚,但醫(yī)學(xué)工作者發(fā)現(xiàn)不規(guī)律的生活習(xí)慣、具有乳腺癌家族史以及未生育、初產(chǎn)年齡過晚或未哺乳等因素是致使女性乳腺癌發(fā)病率快速增長的主要原因.雖然乳腺癌的發(fā)病率很高,但實際上乳腺癌也是一種預(yù)后性較好的惡性腫瘤,其預(yù)后關(guān)鍵是早發(fā)現(xiàn)、早診斷、早治療,這對于延長患者生存時間以及提高患者生活質(zhì)量具有十分重要的意義.據(jù)統(tǒng)計,西方女性乳腺癌的患病率遠(yuǎn)高于東方女性.但自上世紀(jì)90年代以來,許多西方國家的乳腺癌死亡率大大降低,這得益于對乳腺癌早期篩查意識的不斷提高.乳腺癌早期篩可以及時治療和控制乳腺癌的發(fā)展.盡管我國乳腺癌的發(fā)病率和死亡率低于西方國家,但我國乳腺癌發(fā)病率呈現(xiàn)快速增長的趨勢.因此,對適齡女性進(jìn)行科學(xué)有效的乳腺癌早期篩查是控制乳腺癌發(fā)展和死亡最為有效的方法[3].

目前,乳腺檢查技術(shù)主要分為無創(chuàng)檢查和有創(chuàng)病理檢查兩種,無創(chuàng)乳腺檢查包括乳房觸診檢查和影像學(xué)檢查,當(dāng)前主要的乳腺影像學(xué)檢查又可分為超聲影像檢查(B型超聲、彩色多普勒超聲和三維超聲等)[4]、乳腺X線攝影檢查(Mammography)、核磁共振成像檢查(MRI)、計算機(jī)斷層掃描檢查(CT)等.有創(chuàng)的乳腺病理檢查則是利用細(xì)胞病理學(xué)檢查和組織病理學(xué)檢查對乳腺病變良惡性實現(xiàn)最終的確診.依據(jù)就醫(yī)成本以及疾病檢出的情況來看,乳腺X線攝影檢查是目前最簡單且最有效的可發(fā)現(xiàn)早期乳腺癌病變特征的檢測工具,已作為常規(guī)乳腺檢查項目.

乳腺癌早期階段的臨床表現(xiàn)往往不具備典型的癥狀和體征,常需要通過對乳腺X線攝影結(jié)果來觀察乳腺組織中是否存在異常變化.然而，對于變化多樣的乳腺異常病變表征，即使是專家也難以第一時間完成對乳腺X 線攝影中乳腺組織異常變化情況的準(zhǔn)確分析.又由于以個體為單位的診斷具有主觀性,且每位醫(yī)生的經(jīng)驗水平也不盡相同,難以將乳腺病變情況進(jìn)行統(tǒng)一的標(biāo)準(zhǔn)化分析,出現(xiàn)漏檢和誤診難以避免.為此,借助計算機(jī)視覺分析技術(shù),實現(xiàn)基于醫(yī)學(xué)圖像的乳腺癌自動分析系統(tǒng)能夠在一定程度上減少對醫(yī)生經(jīng)驗水平的依賴[5].這種自動化的乳腺癌分析系統(tǒng)在臨床應(yīng)用中可以為醫(yī)生提供有效的參考意見,提高乳腺X線攝影分析的一致性,已成為醫(yī)學(xué)工作者提升診斷效率的廣泛需求.因此,運用先進(jìn)計算機(jī)視覺技術(shù)對醫(yī)學(xué)圖像進(jìn)行自動分析,協(xié)助醫(yī)生診斷病情是計算機(jī)領(lǐng)域與醫(yī)學(xué)領(lǐng)域共同研究的重點.

乳腺X線攝影可以很好地反映出乳腺組織中存在的異常情況[6?7].在臨床應(yīng)用中,乳腺癌的X線攝影直接征象為鈣化和腫塊.因此,檢查和分析乳腺組織中出現(xiàn)鈣化和腫塊的情況是發(fā)現(xiàn)乳腺早期病變重要的標(biāo)志[8].在乳腺X 線攝影中,乳腺組織內(nèi)微小的鈣沉積異常表現(xiàn)為高對比度的小亮點,并以聚簇狀方式呈現(xiàn);腫塊常表現(xiàn)為灰白色的區(qū)域,其形狀通常可以描述為橢圓形、不規(guī)則或分葉狀等,邊界情況通常可以描述為邊界清晰、模糊或針狀等.乳腺X 線攝影中腫塊的形狀和邊界的描述,如圖1所示.腫塊由于其大小、形狀的多樣性,個體乳腺密度的不同,使得腫塊可能隱藏于在乳腺組織中,加大了檢測難度[9?10].相比較于鈣化的檢測,乳腺腫塊檢測是一項更具有挑戰(zhàn)性的任務(wù).

本文對近幾年所提出的基于全乳腺X線攝影中腫塊檢測的研究方法和進(jìn)展情況進(jìn)行綜述.本文內(nèi)容安排如下:第1節(jié)介紹基于乳腺X線攝影的計算機(jī)輔助檢測和診斷系統(tǒng)的基本流程,并概述基于乳腺X線攝影的腫塊檢測研究方法.第2節(jié)詳細(xì)介紹基于傳統(tǒng)人工特征設(shè)計的乳腺腫塊檢測與分割方法.第3節(jié)詳細(xì)介紹基于深度學(xué)習(xí)的乳腺腫塊檢測方法.第4節(jié)介紹乳腺X 線攝影數(shù)據(jù)集和乳腺腫塊檢測方法性能的評估標(biāo)準(zhǔn),并列舉具有代表性的乳腺腫塊檢測方法的性能結(jié)果.第5節(jié)總結(jié)全文并對基于乳腺X線攝影腫塊檢測的未來發(fā)展趨勢進(jìn)行展望.

圖1 乳腺腫塊((a)～(c)腫塊呈現(xiàn)的不同形狀,(d)～(f)腫塊呈現(xiàn)的不同邊界)Fig.1 Breast mass((a)～(c)mass presents the different shapes,(d)～(f)mass presents the different margins)

1 計算機(jī)輔助檢測與診斷

發(fā)現(xiàn)乳腺中可疑的病變是評估患乳腺癌風(fēng)險值的第一步,乳腺X線攝影是對早期乳腺組織異常病變篩查和診斷的有效工具.目前,我國依然使用人工篩查的方式對乳腺X線攝影進(jìn)行分析.但由于醫(yī)生的經(jīng)驗水平存在差異、乳腺X線攝影成像不夠清晰以及病患自身乳腺組織的密度等綜合因素的影響,使得乳腺X線攝影診斷乳腺疾病存在著一定的局限性,人工篩查的假陽性率可達(dá)10%～15%[11],致使一些未患病的受檢者需要再次進(jìn)行影像診斷,甚至是組織病理檢查,對身體造成了不必要的創(chuàng)傷[12].

隨著科學(xué)技術(shù)的不斷進(jìn)步,計算機(jī)輔助檢測與診斷(Computer aided detection and diagnosis,CAD)已經(jīng)在過去的幾十年中獲得醫(yī)學(xué)界極大的關(guān)注.CAD通過利用醫(yī)學(xué)圖像處理技術(shù)以及其他可能的生理、生化手段,結(jié)合計算機(jī)技術(shù)對醫(yī)學(xué)圖像和檢驗數(shù)據(jù)進(jìn)行分析,實現(xiàn)自動檢測病灶區(qū)域以及對病灶性質(zhì)給予合理性分析和預(yù)診斷,輔助醫(yī)生提高對疾病診斷的準(zhǔn)確率.CAD技術(shù)的出現(xiàn)可以有效地緩解醫(yī)生的工作壓力,提高醫(yī)生診斷的敏感性和特異性[13?14].

圖2是基于乳腺X線攝影的腫塊檢測的計算機(jī)輔助檢測與診斷系統(tǒng)框架.其中,橢圓框中為CAD研究的主要內(nèi)容:圖像的預(yù)處理、可疑區(qū)域的檢測與定位、特征提取和分類決策.為更好地呈現(xiàn)出病灶信息,醫(yī)學(xué)圖像需要較大分辨率的支持.直接對正常圖像處理會造成系統(tǒng)運行時間長,但簡單地對圖像進(jìn)行下采樣會遺失對病灶的重要信息.因此對醫(yī)學(xué)圖像進(jìn)行有效地預(yù)處理是十分必要的.在很多基于乳腺X線攝影分析的文獻(xiàn)中提到去除圖像中的背景、胸肌組織和圖像標(biāo)注信息的預(yù)處理方法[15?19],也有采用直方圖均衡化或濾波處理等方式來提高可疑區(qū)域與其他組織的對比度,減少腫塊自動檢測的后續(xù)工作量[20?21].檢測和定位可疑區(qū)域是將預(yù)處理后的乳腺X線攝影經(jīng)過數(shù)學(xué)化抽樣,對感興趣(可疑)區(qū)域(Region of interest,ROI)的提取是乳腺疾病診斷的關(guān)鍵環(huán)節(jié).對ROI 進(jìn)行特征的設(shè)計選擇可以有效地學(xué)習(xí)區(qū)別腫塊與非腫塊的信息.分類決策的任務(wù)是根據(jù)上一階段設(shè)計提取的特征,運用分類器對特征進(jìn)行分類,判斷感興趣區(qū)域是否存在腫塊.有效的CAD在乳腺密度較高和成像對比度不強等難于檢測的情況下,可有效地協(xié)助醫(yī)生進(jìn)行診斷,以便于乳腺疾病的早發(fā)現(xiàn)、早治療.

圖2 乳腺腫塊檢測的計算機(jī)輔助檢測與診斷框架Fig.2 Framework of computer aided detection and diagnosis for mass detection in mammography

特定目標(biāo)/病灶的定位和檢測是CAD系統(tǒng)開發(fā)和醫(yī)學(xué)圖像分析領(lǐng)域中最基本的研究問題之一.有效的目標(biāo)/病灶定位和檢測對實現(xiàn)特定的生物標(biāo)記檢測以及在臨床診療中對解剖結(jié)構(gòu)的準(zhǔn)確定位均具有十分重要的研究意義和應(yīng)用價值.據(jù)統(tǒng)計,在乳腺癌患者中有近80%是以乳腺腫塊為首診[22].由于乳腺腫塊的大小、形狀、外觀和密度具有多樣性[23],使得設(shè)計實現(xiàn)自動化的乳腺腫塊檢測仍是基于乳腺X 線攝影分析中最重要且最具挑戰(zhàn)性的研究問題之一.

傳統(tǒng)的乳腺腫塊檢測常采用圖像分割技術(shù),利用腫塊目標(biāo)的邊緣特征、紋理特征、形態(tài)學(xué)特征、小波變換以及特征匹配等人工特征設(shè)計方法,實現(xiàn)對疑似腫塊ROI的特征選擇與提取,結(jié)合機(jī)器學(xué)習(xí)方法對ROI是否為腫塊實現(xiàn)進(jìn)一步判斷.基于傳統(tǒng)方法的乳腺腫塊檢測與分割效果的局限性在于人工設(shè)計和提取的特征通常針對某種特定特性的腫塊具有良好的適應(yīng)性,難以有效蘊含變化多樣的腫塊特征.在實際應(yīng)用中,檢測模型的泛化力差.

相比于上述傳統(tǒng)的乳腺腫塊檢測與分割方法,基于深度學(xué)習(xí)[24]的乳腺腫塊檢測方法可以學(xué)習(xí)更具泛化性的特征表示,以適應(yīng)在實際診療場景中,對變化多樣的乳腺腫塊進(jìn)行檢測.一方面,神經(jīng)網(wǎng)絡(luò)模擬了大腦處理和分析數(shù)據(jù)的機(jī)制,通過構(gòu)建具有多個隱藏層的學(xué)習(xí)模型,結(jié)合大規(guī)模的數(shù)據(jù)樣本訓(xùn)練,實現(xiàn)更具精準(zhǔn)表示和更具區(qū)分度的特征學(xué)習(xí),有效地提高了預(yù)測和分類的精準(zhǔn)度.深度學(xué)習(xí)可以從數(shù)據(jù)中學(xué)習(xí)層次特征間的關(guān)系,適合發(fā)掘高維數(shù)據(jù)中的復(fù)雜特征的結(jié)構(gòu)表示,隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的不斷加深,其對所學(xué)習(xí)物體的語義抽象能力越強.另一方面,目前許多的深度模型算法可以實現(xiàn)端到端的訓(xùn)練,節(jié)省了人工挑選特征的煩惱.由于深度學(xué)習(xí)網(wǎng)絡(luò)具有數(shù)量龐大的參數(shù),使其具有強大的學(xué)習(xí)能力和特征表示能力,同時配合大量的訓(xùn)練樣本[25],有利于激活深度網(wǎng)絡(luò)神經(jīng)元,使網(wǎng)絡(luò)參數(shù)可以記憶式地存儲與解析乳腺X線攝影中乳腺腫塊的多樣性特點,有效地提升了乳腺腫塊的檢測效果.

表1提供了已發(fā)表的基于乳腺X 線攝影相關(guān)研究綜述論文的簡要介紹.相較于表1中的綜述文獻(xiàn)[6,8,12,26?30],本文主要關(guān)注近幾年來提出基于乳腺X 線攝影的乳腺腫塊檢測研究的思路、方法和進(jìn)展.本文從傳統(tǒng)的目標(biāo)檢測和深度學(xué)習(xí)的目標(biāo)檢測兩個角度分別對具有代表性的基于全乳腺X線攝影的腫塊檢測文獻(xiàn)進(jìn)行歸納和總結(jié),并將基于深度學(xué)習(xí)的乳腺腫塊檢測方法分為基于候選框的乳腺腫塊檢測方法、基于回歸的乳腺腫塊檢測方法、基于弱監(jiān)督學(xué)習(xí)的乳腺腫塊定位方法和基于全卷積網(wǎng)絡(luò)的乳腺腫塊檢測方法4個方面進(jìn)行詳細(xì)介紹.

2 基于傳統(tǒng)的乳腺腫塊檢測與分割方法

基于傳統(tǒng)方法的乳腺腫塊檢測技術(shù)往往與圖像分割緊密相連.傳統(tǒng)的乳腺腫塊檢測與分割方法的設(shè)計思路是對輸入的乳腺X線攝影數(shù)據(jù)中選擇疑似乳腺腫塊的候選區(qū)域,并對這些可能包含乳腺腫塊候選區(qū)域使用人工特征設(shè)計的方法進(jìn)行特征提取,最后使用特定的分類器對提取特征的候選區(qū)域進(jìn)行分類,即判斷候選區(qū)域是否為乳腺腫塊.由于乳腺腫塊的大小、形狀和外觀以及乳腺腺體密度具有多樣性,這使傳統(tǒng)的乳腺腫塊檢測與分割方法在實際應(yīng)用中存在一定的困難.一些研究表明,在處理乳腺X線攝影時,利用圖像增強處理技術(shù)提高腫塊與乳腺正常組織的對比度,是提升乳腺腫塊區(qū)域檢測與分割效果的關(guān)鍵步驟之一.其中,基于變換域的圖像增強方法常用于提升和改進(jìn)乳腺腫塊檢測與分割的效果.

基于變換域的圖像增強方法通常利用諸如小波變換等方式,將原始圖像的空間灰度值變換到特殊域.小波變換在時域和頻域具有良好的局部化性質(zhì)和多尺度特性,能夠在不同尺度上對信號進(jìn)行分析.Campanini 等[31]嘗試?yán)肏aar 小波編碼表示ROI,結(jié)合SVM分類器判斷ROI 是否為乳腺腫塊,替代了常用的復(fù)雜特征表示的乳腺腫塊檢測方法,取得了很好的實驗效果.Qian等[32]利用多分辨率和多方向的小波變換方法,改進(jìn)了腫塊檢測中特征提取的方式.同時,Qian等還觀察到傳統(tǒng)的小波變換不能提取方向信息,但對于檢測毛刺狀的乳腺腫塊時,方向信息是至關(guān)重要的.因此,在后期的一些研究工作中,Gabor濾波也被提出用于提取毛刺狀乳腺腫塊的方向信息.Zheng[33]提出利用Gabor濾波實現(xiàn)乳腺癌癥檢測方法(Gabor cancer detection,GCD).GCD使用Gabor濾波器創(chuàng)建了20個Gabor圖像,然后利用這些圖像提取一組邊緣直方圖描述符,并使用KNN 和模糊C-means聚類作為乳腺腫塊檢測的分類器.Lahmiri等[34]提出了基于Gabor濾波器和離散小波變換(Discrete wavelet transformation,DWT)的乳腺腫塊的檢測.該方法首先利用DWT得到HH高頻圖像;然后,在Gabor濾波器的不同頻率和空間方向上對高頻圖像進(jìn)行濾波,提取Gabor 的統(tǒng)計均值和標(biāo)準(zhǔn)差;最后,采用具有多項式核函數(shù)的SVM作為ROI的分類器.基于變換域的圖像增強方法可以在一定程度上提高乳腺腫塊檢測與分割的效果,但通常只適用于具有一定顯著性特征的乳腺腫塊檢測任務(wù),在實際通用CAD系統(tǒng)中具有明顯的局限性.然而,大量的文獻(xiàn)表明將圖像增強的特征表示和傳統(tǒng)經(jīng)典的通用圖像目標(biāo)檢測與分割算法相結(jié)合,可以在醫(yī)學(xué)圖像分析領(lǐng)域中取得良好效果.

表1 基于乳腺X線攝影相關(guān)研究的綜述論文簡介Table 1 The introduction of review papers based on mammography

閾值分割技術(shù)是一種經(jīng)典的基于區(qū)域的并行分割算法,其通過設(shè)定不同的特征閾值,可將圖像中的像素點劃分為若干類.閾值分割在醫(yī)學(xué)圖像領(lǐng)域,尤其是對腫塊、腫瘤性疾病診斷具有較高的應(yīng)用價值.因其原理簡單、易于實現(xiàn),所以一直被廣泛應(yīng)用于乳腺X線攝影的腫塊檢測與分割任務(wù)的研究之中.閾值分割算法的一般過程如下:首先對圖像進(jìn)行增強處理,然后根據(jù)像素周圍不同大小領(lǐng)域的均值和灰度變化的情況,自適應(yīng)地計算局部閾值,進(jìn)而判斷當(dāng)前像素是否屬于腫塊,實現(xiàn)對乳腺腫塊目標(biāo)的分割.

Kom等[20]提出利用線性變換濾波器增強原始圖像中像素的對比度,通過從原始圖像中減去增強后的圖像,得到了腫塊分割后的圖像,并利用局部的自適應(yīng)閾值技術(shù)實現(xiàn)乳腺圖像中腫塊的自動檢測.Kozegar等[35]提出利用自適應(yīng)閾值方法提取乳腺X 線攝影中疑似腫塊的區(qū)域,然后利用Bagging、AdaBoost和Rotation Forest的組合分類器來降低假陽性的檢出率.Vikhe等[16]提出了一種利用偽影抑制技術(shù)和形態(tài)學(xué)操作切除胸肌的方式對乳腺圖像進(jìn)行預(yù)處理,再利用分段的線性算子與小波變換對預(yù)處理的圖像進(jìn)行去噪和增強,最后利用自適應(yīng)閾值技術(shù)將腫塊從背景中分離出來,實現(xiàn)了乳腺腫塊檢測目的.基于全局閾值和局部閾值組合的分割方法也被證明可以有效地提高乳腺腫塊的檢測效果.Hu等[36]提出了對可疑腫塊病變的多分辨率自適應(yīng)閾值檢測方法.該方法采用自適應(yīng)全局閾值和局部閾值相結(jié)合的策略對乳腺X線攝影進(jìn)行多分辨率表示.Anitha 等[37]提出利用全局閾值和局部閾值的雙級自適應(yīng)閾值(Dual stage adaptive thresholding,DuSAT)自動檢測乳腺X線攝影中的腫塊.閾值分割技術(shù)往往只考慮像素本身的灰度值,缺乏對空間特征的考慮.因此,在實際CAD應(yīng)用中,閾值分割技術(shù)通常還要與其他分割方法結(jié)合使用,才能獲得更好的腫塊檢測結(jié)果.

模板匹配作為另一種基于區(qū)域分析的目標(biāo)檢測技術(shù)也被廣泛用于乳腺腫塊的檢測任務(wù)之中.模板匹配是一種基于先驗知識的目標(biāo)檢測算法,依據(jù)ROI 與腫塊和正常乳腺組織間的相似度作為疑似乳腺腫塊檢測結(jié)果的判斷依據(jù).該算法的一般過程如下:首先,構(gòu)建由乳腺腫塊ROI和正常乳腺組織ROI 所組成的模板數(shù)據(jù)庫;然后,對待檢測的乳腺X 線攝影以劃動窗方式提取的ROI 區(qū)域與模板庫中的(一組)模板進(jìn)行相似性度量;依據(jù)計算所得的相似度得分,對整個乳腺X線攝影中各個疑似乳腺腫塊的區(qū)域進(jìn)行評估,達(dá)到乳腺腫塊的檢測目的.

Tourassi等[38]提取已知數(shù)據(jù)庫中所標(biāo)記腫塊的真實ROI和正常乳腺組織ROI作為模板庫,利用交互信息量作為模板匹配的相似性度量方法,確定待檢測的乳腺X線攝影中的ROI是否為腫塊,從而實現(xiàn)對乳腺X線攝影中乳腺腫塊的檢測.Mazurowski等[39]提出了一種基于隨機(jī)變異爬山(Random mutation hill climbing,RMHC)的智能模板選擇方案,結(jié)合以交互信息量相似性為度量的模板匹配算法,實現(xiàn)對乳腺X線攝影中乳腺腫塊的檢測,并將該系統(tǒng)移用于數(shù)字乳腺斷層攝影(Digital breast tomosynthesis,DBT)的腫塊檢測,同樣取得了良好的檢測效果.模板匹配的優(yōu)點在于其思路和實現(xiàn)方法相對簡單,不需要設(shè)計復(fù)雜的特征提取方案,也不需要對乳腺組織進(jìn)行分割.從文獻(xiàn)中可以看出,許多用于乳腺腫塊檢測的模板匹配算法是依賴于獲取待匹配像素與模板像素間的強度概率分布統(tǒng)計關(guān)系,相比較于其他腫塊檢測算法具有跨設(shè)備平臺兼容的優(yōu)點.然而,模板匹配的缺點在于需要大量的異常和正常組織的模板,科學(xué)的篩選有效模板是待解決的重要問題,同時以劃動窗方式對待檢測的全乳腺X線攝影提取ROI進(jìn)行比較,會大大增加對異常檢測的計算成本與開銷.

在大多數(shù)情況下,乳腺腫塊檢測技術(shù)采用圖像增強和濾波技術(shù)[20,40],提取ROI 大小、形狀、邊緣、方向和紋理等信息.為了進(jìn)一步提高檢測效率和準(zhǔn)確度,基于特定醫(yī)學(xué)理論知識的形態(tài)學(xué)特征模型方法也被提出用于解決乳腺腫塊的檢測任務(wù).該方法根據(jù)乳腺腫塊的相關(guān)臨床觀察特點和診斷經(jīng)驗,提出對乳腺腫塊在乳腺X線攝影中呈現(xiàn)形態(tài)的假設(shè),并設(shè)計相應(yīng)的計算機(jī)解決方案.Eltonsy 等[41]通過觀察分析認(rèn)為乳腺腫塊的生長破壞了正常的乳腺實質(zhì)結(jié)構(gòu),使腫塊具有明顯的焦點區(qū)域,同時乳腺腫塊周圍區(qū)域形成連續(xù)的同心圓層,每一層都是具有相似灰度值像素的特點,從而提出利用同心圓層的形態(tài)學(xué)模型對腫塊進(jìn)行檢測.Gao等[42]則嘗試運用形態(tài)學(xué)分量分析的方法,將乳腺X線攝影圖像分解為分段平滑分量和紋理分量,提取分段平滑分量,可以有效地抑制乳腺結(jié)構(gòu)中的血管、腺組織、噪聲等干擾,并改進(jìn)了同心層標(biāo)準(zhǔn)來檢測圖像中的腫塊,實現(xiàn)對隱藏在乳腺組織中對比度低的腫塊的檢測.Wang等[43]在格式塔視覺理論的啟發(fā)下,利用人類的視覺特點和形態(tài)學(xué)方法對乳腺X線攝影實現(xiàn)自底向上和由上而下處理方法完成對乳腺腫塊的檢測任務(wù).此類方法可以很好地結(jié)合醫(yī)學(xué)知識和計算機(jī)技術(shù),但基于特定醫(yī)學(xué)理論知識的形態(tài)學(xué)特征模型設(shè)計通常具有高復(fù)雜性的多參數(shù)特點,使得對模型中關(guān)鍵參數(shù)的選擇和優(yōu)化存在巨大的困難.

除了上述提出的乳腺腫塊檢測與分割方法,基于聚類算法、圖論以及不同分割技術(shù)的組合方法也被大量的應(yīng)用于乳腺X線攝影的腫塊檢測研究中.Hamissi等[18]提出使用K-means聚類分割和決策樹分類算法現(xiàn)實對乳腺腫塊的檢測.Saidin等[44]利用Graph Cuts對乳房中稠密的腺體和腫塊實現(xiàn)了精準(zhǔn)分割.Min等[45]則提出利用多尺度形態(tài)學(xué)濾波和聚類分割方法的組合有效地提取ROI,并利用級聯(lián)的隨機(jī)森林對提取的ROI進(jìn)行分類.Chu等[13]提出的CAD方案首先運用形態(tài)學(xué)對圖像進(jìn)行增強,然后采用簡單的線性迭代聚類(Simple linear iterative clustering,SLIC)方法對疑似腫塊與背景組織進(jìn)行分割,再用水平集算法對分割的該區(qū)域進(jìn)行重構(gòu),最后使用SVM分類器判斷該區(qū)域是否為腫塊.Makandar 等[46]將分水嶺、形態(tài)學(xué)操作和活動輪廓三種分割技術(shù)相結(jié)合實現(xiàn)了乳腺腫塊的分割.

總的說來,基于傳統(tǒng)人工特征設(shè)計的乳腺腫塊檢測與分割方法均是以提取豐富、準(zhǔn)確特征為前提,不需要復(fù)雜的訓(xùn)練過程,就能快速地實現(xiàn)特征計算和結(jié)果預(yù)測,具有較強的可解釋性.但傳統(tǒng)的乳腺腫塊檢測與分割方法還存在如下問題:首先,傳統(tǒng)的乳腺腫塊檢測與分割方法對于ROI特征的提取只局限于淺層特征,對于不同密度的乳腺組織會產(chǎn)生大量不確定信息,使得檢測算法的復(fù)雜度增加.其次,傳統(tǒng)的乳腺腫塊檢測與分割方法是利用人工特征設(shè)計的方式來提取目標(biāo)圖像的特征,一般是提取ROI的邊緣、形狀、亮度等特征.因此,傳統(tǒng)的乳腺腫塊檢測與分割方法往往只可以較好地處理和檢測具有上述某一種或是幾種顯著性特征的乳腺腫塊,但對實際中變化多樣的乳腺腫塊特征的表示不具備良好的魯棒性,檢測模型的泛化能力很差.雖然,也有傳統(tǒng)乳腺腫塊檢測方法提出設(shè)計通用的腫塊參數(shù)來實現(xiàn)對乳腺腫塊的檢測,但對于個體乳房腺體密度的差異性和腫塊大小、形狀多變,使得具有復(fù)雜參數(shù)的腫塊檢測模型,既難以擬合各種病例特點,又降低了對具有顯著特征的乳腺腫塊檢測的敏感性,增加了誤診率.采用組合分割方法實現(xiàn)的乳腺腫塊檢測相比其他傳統(tǒng)的乳腺腫塊檢測與分割方法在檢測精度上可以取得更好的效果,結(jié)合多種特征可以更好地擬合乳腺腫塊的特點.但組合分割的算法復(fù)雜度往往很高,還易出現(xiàn)過度檢測的情況.因此,基于傳統(tǒng)的乳腺腫塊檢測與分割方法在實際醫(yī)療診斷的CAD中應(yīng)用效果差強人意.表2為本文對部分傳統(tǒng)的乳腺腫塊檢測與分割方法的總結(jié).

3 基于深度學(xué)習(xí)的乳腺腫塊檢測方法

深度學(xué)習(xí)在計算機(jī)視覺領(lǐng)域研究中取得了重要突破[47?50],激勵了國內(nèi)外許多學(xué)者將深度學(xué)習(xí)方法應(yīng)用于醫(yī)學(xué)圖像分析領(lǐng)域的研究.深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)方法的最大不同在于其特征表示是從大量數(shù)據(jù)中自動學(xué)習(xí)得到的,通過構(gòu)建具有多個分層結(jié)構(gòu)的學(xué)習(xí)模型,從大量的訓(xùn)練數(shù)據(jù)中逐步提取由低層邊緣等特征到高層的抽象語義特征,學(xué)習(xí)獲得具有區(qū)分性的目標(biāo)表示特征.卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)作為深度學(xué)習(xí)中廣泛應(yīng)用的模型之一,在一些醫(yī)學(xué)圖像分析應(yīng)用中取得的效果已經(jīng)超越了傳統(tǒng)方法[51?52].早在20世紀(jì)90年代,CNN在肺結(jié)節(jié)檢測[53]和乳腺X線攝影鈣化檢測[54]研究中取得了一定成果.Sahiner等[55]首次提取利用包含一個輸入層、兩個隱藏層和一個輸出層構(gòu)成的CNN網(wǎng)絡(luò),結(jié)合反向傳播算法更新CNN權(quán)值參數(shù)實現(xiàn)對人工標(biāo)注的乳腺腫塊區(qū)域和乳腺正常組織區(qū)域的分類.本文整理了從2015年至2018年利用深度學(xué)習(xí)方法探究基于乳腺X線攝影中腫塊檢測任務(wù)的相關(guān)文獻(xiàn).根據(jù)文獻(xiàn)中使用的不同目標(biāo)檢測策略,文本將基于深度學(xué)習(xí)實現(xiàn)乳腺X線攝影中腫塊檢測方法歸納為如下4種:基于候選框的乳腺腫塊檢測方法、基于回歸的乳腺腫塊檢測方法、基于弱監(jiān)督學(xué)習(xí)的乳腺腫塊定位方法和基于全卷積網(wǎng)絡(luò)的乳腺腫塊檢測方法.

3.1 基于候選框的乳腺腫塊檢測方法

基于候選框的目標(biāo)檢測方法首先需要在檢測圖像上生成大量的候選框區(qū)域,然后對所產(chǎn)生的候選框逐一進(jìn)行分類判斷并回歸目標(biāo)候選框位置,最終得到包含目標(biāo)物體的檢測框和對應(yīng)類別的置信度.R-CNN[56]利用選擇性搜索算法[57]獲得2 000多個候選框區(qū)域,再將候選框區(qū)域歸一化為統(tǒng)一大小,輸入到CNN網(wǎng)絡(luò)中學(xué)習(xí)候選框的特征,最后利用SVM對特征進(jìn)行分類及回歸微調(diào)定位框.然而R-CNN存在十分顯著的缺點,R-CNN框架需要對每一張待檢測圖像產(chǎn)生的2 000多個候選區(qū)域分別做CNN的特征提取操作,這一過程需要大量的存儲空間和長時間的運算.Faster R-CNN[58]提出利用RPN(Region proposal networks)產(chǎn)生候選區(qū)域?qū)崿F(xiàn)端到端的目標(biāo)檢測深度網(wǎng)絡(luò)結(jié)構(gòu),圖3為Faster R-CNN中RPN結(jié)構(gòu)示意圖.隨后,Faster R-CNN檢測框架對RPN 產(chǎn)生的候選區(qū)域使用與Fast R-CNN[59]相同的處理方式,即引入多任務(wù)損失函數(shù)實現(xiàn)對目標(biāo)的分類和Bounding Box的精確回歸.相比之前提出基于候選框的目標(biāo)檢測方法,Faster R-CNN框架無論在目標(biāo)檢測的速度方面還是精度方面均有較大的提升.基于Faster R-CNN框架實現(xiàn)乳腺腫塊的檢測和分類的示意圖,如圖4所示.

表2 基于傳統(tǒng)的乳腺腫塊檢測與分割方法總結(jié)Table 2 Summary of traditional methods for mass detection and segmentation in mammography

圖3 RPN結(jié)構(gòu)[48]Fig.3 RPN structure[48]

近幾年,基于候選框的目標(biāo)檢測方法是實現(xiàn)乳腺X 線攝影腫塊檢測的研究熱點.2015年,Dhungel等[60]就依據(jù)R-CNN檢測框架的思路,提出一種乳腺腫塊自動檢測框架.他們首先利用多尺度的深度置信網(wǎng)絡(luò)(Multi-scale deep belief nets,m-DBN)與高斯混合模型(Gaussian mixture model,GMM)分類器相結(jié)合,選擇所有潛在乳腺腫塊的可疑區(qū)域;然后將產(chǎn)生的候選框輸入到級聯(lián)的R-CNN網(wǎng)絡(luò),對選擇提取的ROI進(jìn)行特征表示;最后利用兩個級聯(lián)隨機(jī)森林對ROI 進(jìn)行判斷,可有效減少假陽性區(qū)域的檢出率.Dhungel等[61]于2017 年又提出一種綜合了檢測、分割和分類技術(shù)的乳腺腫塊分析系統(tǒng)框架.其中對于檢測部分,Dhungel 等在其先前的工作基礎(chǔ)之上,提出利用貝葉斯優(yōu)化[62]來改進(jìn)級聯(lián)R-CNN的候選框選擇方案,使檢測獲得的目標(biāo)邊界框更加精確地對準(zhǔn)于乳腺X線攝影數(shù)據(jù)中腫塊區(qū)域標(biāo)注的真實值.

Akselrod-Ballin團(tuán)隊在2016至2017 年期間針對Faster R-CNN框架分別實現(xiàn)了對乳腺X 線攝影中腫塊的檢測和腫塊的良性/惡性分類任務(wù)[17]以及對乳腺X線攝影中腫塊和鈣化物的檢測和分類任務(wù)[63].在Akselrod-Ballin 等的工作中,首先采用了圖像預(yù)處理的方式,去除了乳腺X線攝影中的背景和胸肌組織區(qū)域,并提取了乳腺纖維腺體組織[64],增加了乳腺X線攝影中異常區(qū)域與正常組織的對比度;然后,Akselrod-Ballin等將經(jīng)過預(yù)處理的乳腺數(shù)據(jù)圖像劃分為多個重疊的子圖像,利用這些子圖像訓(xùn)練Faster R-CNN框架的乳腺腫塊檢測模型;該方法在測試階段,將整張圖像劃分為多個子圖,再依次輸入網(wǎng)絡(luò)進(jìn)行檢測,然后將這些子圖像的檢測結(jié)果整合并輸出最終的檢測和分類結(jié)果.Akselrod-Ballin等同時還提出在Faster R-CNN框架中構(gòu)建多級特征融合,將低層的顏色、紋理特征與高層的語義特征相結(jié)合,提供了更加豐富的特征表達(dá),從而不僅提升了檢測算法的敏感度,還減少了假陽性的檢測率.

Ribli等[65]利用遷移學(xué)習(xí)的策略,在ImageNet數(shù)據(jù)集[66]上初始化訓(xùn)練的VGG16[67]網(wǎng)絡(luò)參數(shù),并結(jié)合Faster R-CNN目標(biāo)檢測框架取得了2017 年乳腺X線攝影DREAM挑戰(zhàn)(The Digital Mammography DREAM Challenge)[68]的第二名.

Kisilev 等[69]在Faster R-CNN框架上實現(xiàn)了端到端的多任務(wù)網(wǎng)絡(luò)結(jié)構(gòu),用于診斷乳腺X線攝影中病灶區(qū)域位置和其相對應(yīng)的病變類型特征的語義描述.該方法首先利用RPN對乳腺X線攝影中可疑區(qū)域生成矩形候選框,并對所產(chǎn)生候選框的置信度進(jìn)行排序,將置信度最高的候選框作為后續(xù)多屬性分類網(wǎng)絡(luò)結(jié)構(gòu)的輸入,訓(xùn)練生成對應(yīng)候選框的病變類型特征的語義描述.該方法利用聯(lián)合的多任務(wù)損失訓(xùn)練方法替代原始Faster R-CNN 中目標(biāo)單一的分類任務(wù),實現(xiàn)對病灶的形狀,邊界和稠密度特征的語義性描述識別,更有利于醫(yī)生對病變特征的理解和診斷.

圖4 Faster R-CNN框架實現(xiàn)乳腺腫塊的檢測和分類Fig.4 Faster R-CNN framework for detection and classification of mass in mammography

上述研究對乳腺X線攝影數(shù)據(jù)采用尺寸歸一化或?qū)⒄麖垐D像劃分子區(qū)域的預(yù)處理方式,便于輸入具有固定大小的CNN 網(wǎng)絡(luò).目前,大部分CNN網(wǎng)絡(luò)規(guī)定的輸入圖像數(shù)據(jù)的大小一般小于乳腺X線攝影數(shù)據(jù),直接對乳腺X線攝影數(shù)據(jù)進(jìn)行下采樣調(diào)整圖像大小,將不利于小腫塊的檢測.因此,Wu 等[70]提出了基于Faster R-CNN框架改進(jìn)的全尺寸乳腺X 線攝影的自動檢測腫塊區(qū)域框架(Automatic mass detection framework with Region-based CNN,AMDR-CNN).AMDR-CNN采用分層候選腫塊區(qū)域生成方法,既減少了待處理數(shù)據(jù)量,又提高了腫塊檢測的準(zhǔn)確性.同時,在AMDR-CNN 中所有的操作都是直接在原始圖像進(jìn)行的,解決了傳統(tǒng)算法由于圖像的縮放而造成的細(xì)節(jié)信息丟失的缺點.為了更好地結(jié)合乳腺X 線攝影體積大、腫塊小的特點,AMDR-CNN采用更深的Inception ResNet-V2網(wǎng)絡(luò)結(jié)構(gòu)[71]來訓(xùn)練并實現(xiàn)乳腺腫塊區(qū)域的檢測.

3.2 基于回歸的乳腺腫塊檢測方法

從R-CNN到Faster R-CNN,目標(biāo)檢測自始至終遵循著“候選框+分類”的方法.雖然,候選框選擇的方法不斷的被優(yōu)化,訓(xùn)練和檢測的速度不斷的提升.但由于對兩個以上的模型進(jìn)行訓(xùn)練會增加開銷,同時網(wǎng)絡(luò)中的參數(shù)數(shù)量也會增加,難以實現(xiàn)在速度上的突破.除此之外,在基于候選框的目標(biāo)檢測方法中,候選框提取方法只提取了ROI 的局部信息,忽視引入全局的上下文信息,對易混淆的目標(biāo)區(qū)分性較差,假陽性檢測率高.基于回歸的目標(biāo)檢測方法的提出可以彌補基于候選框的目標(biāo)檢測方法的缺陷,其核心思想在于將目標(biāo)檢測任務(wù)轉(zhuǎn)化為回歸問題,大大加快了檢測速度.基于回歸的目標(biāo)檢測方法是對整張圖像使用“Single Stage”的方式進(jìn)行目標(biāo)檢測,即經(jīng)過單次檢測可直接在圖像中得到目標(biāo)的位置坐標(biāo)值和類別概率,無需生成和選擇候選區(qū)域.另外,基于回歸的目標(biāo)檢測方法是在預(yù)測目標(biāo)框位置時使用圖像的全局信息,充分結(jié)合了圖像上下文,使得假陽性檢測比例大幅降低,這對于提高醫(yī)學(xué)圖像病灶的檢測精度十分有幫助.Al-masni等[72?73]提出利用YOLO框架[74]實現(xiàn)對乳腺X線攝影中腫塊的檢測和分類任務(wù),如圖5所示.YOLO框架是將輸入CNN 的圖像分為S×S個網(wǎng)格,并規(guī)定如果目標(biāo)落在網(wǎng)格中,則對應(yīng)網(wǎng)格負(fù)責(zé)該目標(biāo)的檢測.在YOLO框架中,需要一次性完成對每個網(wǎng)格所含目標(biāo)的區(qū)域邊界框、置信度以及類別概率的預(yù)測.

3.3 基于弱監(jiān)督學(xué)習(xí)的乳腺腫塊定位方法

圖5 YOLO框架實現(xiàn)乳腺腫塊的檢測和分類[72?73]Fig.5 YOLO framework for detection and classification of mass in mammography[72?73]

基于弱監(jiān)督學(xué)習(xí)的目標(biāo)定位方法(Weakly supervised object localization)[75?76]是指在模型的訓(xùn)練過程中,輸入的圖像數(shù)據(jù)只具有圖像中目標(biāo)類別的注釋信息,并不具備目標(biāo)的矩形框位置的標(biāo)注信息.與第3.1節(jié)和第3.2節(jié)中介紹的目標(biāo)檢測方法相比,弱監(jiān)督學(xué)習(xí)在訓(xùn)練時可用的信息更少.尤其是在訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)時,往往需要大規(guī)模標(biāo)注數(shù)據(jù)的支持.對于醫(yī)學(xué)圖像中異常組織的標(biāo)注,需要專業(yè)醫(yī)師的反復(fù)觀察,這使得大規(guī)模的人工標(biāo)注代價十分巨大,也會引入標(biāo)注者的主觀信息,出現(xiàn)錯誤標(biāo)注等情況.弱監(jiān)督學(xué)習(xí)可以有效地解決上述問題.基于CNN的弱監(jiān)督學(xué)習(xí)的目標(biāo)定位方法利用CNN 在圖像分類任務(wù)中能夠識別出目標(biāo)在對應(yīng)輸入圖像中的響應(yīng)映射,并反映出目標(biāo)在圖像中的位置信息.從網(wǎng)絡(luò)結(jié)構(gòu)上來說,弱監(jiān)督學(xué)習(xí)的目標(biāo)定位網(wǎng)絡(luò)在原始的CNN分類任務(wù)的基礎(chǔ)上,利用Global Pooling結(jié)構(gòu)[77]替代全連接層(Fully connected layer)保留了目標(biāo)的顯著特征,使得目標(biāo)對象通過檢查其類別所對應(yīng)的激活映射區(qū)域輕松定位目標(biāo),從而實現(xiàn)目標(biāo)的檢測.但基于弱監(jiān)督學(xué)習(xí)的目標(biāo)定位相比基于候選框的乳腺腫塊檢測和基于回歸的乳腺腫塊檢測,從網(wǎng)絡(luò)整體的結(jié)構(gòu)設(shè)計、模型訓(xùn)練以及目標(biāo)函數(shù)優(yōu)化方面都增加了不小的難度.尤其是基于弱監(jiān)督學(xué)習(xí)的目標(biāo)定位方法屬于多實例學(xué)習(xí)問題,其主要難點在于如何優(yōu)化目標(biāo)函數(shù),使其避免陷入局部最優(yōu)解,從而得到更加準(zhǔn)確的目標(biāo)檢測區(qū)域.

Hwang 等[78]考慮到醫(yī)學(xué)圖像與普通圖像之間的相關(guān)性甚小,提出了一種基于自遷移學(xué)習(xí)(Selftransfer learning,STL)的弱監(jiān)督學(xué)習(xí)目標(biāo)定位CNN框架,如圖6所示.利用STL結(jié)構(gòu)替代了在通用數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練的方式來初始化網(wǎng)絡(luò)模型參數(shù)的方法,完成了對CNN自身參數(shù)的初始化與更新.STL的網(wǎng)絡(luò)結(jié)構(gòu)由參數(shù)共享的卷積層、分類任務(wù)層和定位任務(wù)層所組成.在一個CNN框架中實現(xiàn)對目標(biāo)分類器和定位器的共同學(xué)習(xí),利用分類器和定位器的加權(quán)損失作為整體網(wǎng)絡(luò)參數(shù)調(diào)整的目標(biāo)函數(shù),隨著訓(xùn)練的進(jìn)行,再不斷增加分類器與定位器的訓(xùn)練比重,這可以有效地防止在前期訓(xùn)練時,因錯誤的分類學(xué)習(xí)使得定位器陷入局部最優(yōu).通過對胸部X 線攝影和乳腺X線攝影數(shù)據(jù)實驗結(jié)果可以看出,STL框架既不需要任何位置信息,也不需要預(yù)先訓(xùn)練好的模型,就可以利用CNN結(jié)構(gòu)對病灶區(qū)域?qū)崿F(xiàn)精準(zhǔn)的定位.

3.4 基于全卷積網(wǎng)絡(luò)的乳腺腫塊檢測方法

全卷積網(wǎng)絡(luò)(Fully convolutional network,FCN)主要用于實現(xiàn)圖像中目標(biāo)的語義分割任務(wù)[49].FCN將傳統(tǒng)CNN網(wǎng)絡(luò)后面的全連接層換成了卷積層,這使得網(wǎng)絡(luò)輸出不再是類別結(jié)果而是該類別在圖像中所響應(yīng)區(qū)域位置,依據(jù)這一信息也可以實現(xiàn)對乳腺腫塊的定位.同時,FCN不需要固定輸入數(shù)據(jù)的尺寸,可以對全尺寸的乳腺X 線攝影數(shù)據(jù)直接進(jìn)行特征提取,與其他檢測方法相比,減少了數(shù)據(jù)下采樣對小腫塊的影響,提高對腫塊的檢測精度,如圖7 所示.

Castro等[79]利用FCN的特點實現(xiàn)了乳腺腫塊的檢測.首先,利用預(yù)先提取的腫塊ROI和非腫塊ROI,通過對CNN進(jìn)行分類任務(wù)的訓(xùn)練來調(diào)整網(wǎng)絡(luò)的參數(shù);然后,再將CNN中全連接層轉(zhuǎn)換為FCN,對全乳腺X線攝影實現(xiàn)一次前向分類,并以滑動窗口的方式輸出與分類器篩選結(jié)果相同的ROI作為該方法的腫塊檢測結(jié)果.Castro等考慮到乳房組織在每次接受乳腺X線攝影檢查時,其接觸的位置和受壓的力度、拉伸的效果均會略有不同.這使得同一個乳房在兩次不同的檢查過程中所呈現(xiàn)出的外觀可能不一致,但這種變化不會影響病變組織的診斷.因此,他們提出利用彈性形變操作[80],結(jié)合乳房具有彈性形變的特點合成新的數(shù)據(jù),增加了訓(xùn)練樣本,如圖8所示.值得一提的是,基于彈性變形的乳腺數(shù)據(jù)擴(kuò)充改變了傳統(tǒng)的數(shù)據(jù)增強方式,可以有效地模擬出乳腺X 線攝影中乳房整體的變形狀態(tài).這對于屬于小樣本數(shù)據(jù)集的乳腺X線攝影研究具有十分重要的應(yīng)用價值.

圖6 STL結(jié)構(gòu)實現(xiàn)乳腺腫塊的定位任務(wù)[78]Fig.6 STL for localization of mass in mammography[78]

圖7 FCN框架實現(xiàn)乳腺腫塊的檢測與分割Fig.7 FCN framework for detection and segmentation of mass in mammography

圖8 彈性變形實例[79]Fig.8 Effects of performing elastic deformation on a mammography[79]

圖9 U-Net框架實現(xiàn)乳腺腫塊的檢測與分割Fig.9 U-Net framework for detection and segmentation of mass in mammography

在FCN提出不久之后,U-Net被提出用于醫(yī)學(xué)圖像的目標(biāo)分割[81].U-Net主要包括收縮和擴(kuò)展兩條路徑,如圖9所示.收縮路徑主要是用來捕捉圖像中的上下文信息,而擴(kuò)展路徑則是為了對圖像中所需要分割出來的部分進(jìn)行精準(zhǔn)定位.De Moor等[82]提出改進(jìn)的U-Net網(wǎng)絡(luò)用于全乳腺X線攝影數(shù)據(jù)中軟組織病變的自動檢測與分割.

綜上所述,基于深度學(xué)習(xí)的乳腺腫塊檢測方法通過模擬人腦抽象和迭代過程,獲得對乳腺X線攝影數(shù)據(jù)中腫塊區(qū)域和正常組織區(qū)域圖像的具有可分性的表示特征.深度神經(jīng)網(wǎng)絡(luò)可以從輸入的原始像素中學(xué)習(xí)得到乳腺腫塊局部的邊緣和紋理等低層特征,結(jié)合各種濾波器組合的中間層特征,得到不斷抽象的高層語義特征,從而描述ROI的全局特征信息.基于深度學(xué)習(xí)的乳腺腫塊檢測方法既降低了人工設(shè)計特征的負(fù)擔(dān),又可以得到從原始輸入到高層語義的有效特征表達(dá).另外,在乳腺X線攝影中,由于個體乳房腺體密度的差異性和腫塊大小、形狀的多樣性,這些判斷腫塊區(qū)域的特征往往以非線性方式組合.深度學(xué)習(xí)恰恰可以通過多層非線性映射將乳腺X線攝影中呈現(xiàn)的乳腺腫塊特性之間的關(guān)聯(lián)性降低,利用不同神經(jīng)元代表不同特性,使其變成簡單的線性關(guān)系,提升檢測效果.

雖然,深度學(xué)習(xí)具有良好的特征表現(xiàn)能力,但基于深度學(xué)習(xí)的乳腺腫塊檢測方法也存如下問題:首先,很多算法是通過增加網(wǎng)絡(luò)的深度以及網(wǎng)絡(luò)的復(fù)雜度,提高神經(jīng)網(wǎng)絡(luò)的非線性表達(dá)能力.但這種方式也增加了神經(jīng)網(wǎng)絡(luò)的參數(shù),同時目前可用的有標(biāo)注的乳腺X線攝影數(shù)據(jù)量十分有限,復(fù)雜的網(wǎng)絡(luò)模型在訓(xùn)練時也會難以優(yōu)化.其次,通過設(shè)計復(fù)雜的網(wǎng)絡(luò)監(jiān)督學(xué)習(xí)過程,使其更好地擬合多樣化的乳腺腫塊特性,從而獲得更具備泛化能力的特征表達(dá)形式.然而這種改進(jìn)方式同時也增加了對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練難度,不適當(dāng)?shù)娜蝿?wù)學(xué)習(xí)分配也會使得訓(xùn)練模型難以收斂.

從目前已發(fā)表的相關(guān)文獻(xiàn)可知,基于候選框的目標(biāo)檢測方法是最先用于分析乳腺X線攝影中腫塊檢測問題的深度學(xué)習(xí)方法,也是目前研究最為廣泛的深度學(xué)習(xí)目標(biāo)檢測方法.相較于其他乳腺腫塊檢測方法,基于候選框的乳腺腫塊檢測可以更具有針對性的提取候選框,結(jié)合CNN強大的特征表示對提取候選框進(jìn)行精確的分類.但基于候選框的乳腺腫塊檢測方法缺少全局上下文信息,使得候選框內(nèi)的一些細(xì)節(jié)信息在網(wǎng)絡(luò)前向傳播過程中丟失,假陽性檢測率高.此外,基于候選框的乳腺腫塊檢測在運算速度上也稍有遜色.基于回歸的乳腺腫塊檢測方法可以更好地解決基于候選框的乳腺腫塊檢測中的問題,利用基于全局上下文信息實現(xiàn)更快速的腫塊定位.但在實際應(yīng)用中發(fā)現(xiàn),基于回歸的目標(biāo)檢測方法對于小目標(biāo)的檢測不敏感,通過神經(jīng)網(wǎng)絡(luò)學(xué)到的物體特征不夠精細(xì),容易出現(xiàn)漏檢的情況.因此,基于回歸的目標(biāo)檢測方法對基于全乳腺X線攝影中小腫塊目標(biāo)的檢測存在局限性.基于弱監(jiān)督學(xué)習(xí)的乳腺腫塊標(biāo)定位和基于全卷積網(wǎng)絡(luò)的乳腺腫塊檢測是利用CNN在圖像分類任務(wù)中,腫塊目標(biāo)在圖像上有強響應(yīng)映射,實現(xiàn)對乳腺腫塊的定位,為乳腺腫塊檢測提供新思路.基于弱監(jiān)督學(xué)習(xí)的乳腺腫塊標(biāo)定位優(yōu)點在于不需要具有精準(zhǔn)的區(qū)域標(biāo)注數(shù)據(jù),可以有效減少醫(yī)學(xué)標(biāo)注數(shù)據(jù)少以及標(biāo)注不準(zhǔn)確的問題,其難度在于如何設(shè)計有效的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、如何有效地優(yōu)化目標(biāo)函數(shù)和如何高效地訓(xùn)練模型.基于全卷積網(wǎng)絡(luò)的乳腺腫塊檢測與輸入數(shù)據(jù)尺寸大小無關(guān),適合處理全尺寸乳腺X線攝影數(shù)據(jù),更易檢測到細(xì)小的腫塊目標(biāo),同時該方法也具有存儲開銷大,計算效率低下等待優(yōu)化的問題.表3為本文對基于深度學(xué)習(xí)的乳腺腫塊檢測方法的總結(jié).

4 數(shù)據(jù)集及性能比較

表4提供了目前使用較為廣泛的乳腺X線攝影數(shù)據(jù)集及相關(guān)參數(shù).在乳腺X線攝影數(shù)據(jù)集中,通常對每位患者采集包含左右乳房的頭足位(CC)和側(cè)斜位(MLO)兩個不同角度的4幅乳腺圖像.每張乳腺圖像需要多名放射科醫(yī)生經(jīng)過反復(fù)確診才能得到諸如病灶的總數(shù)、編號、類型、形狀、邊緣、BI-RADS等級[88]、病灶區(qū)域位置以及經(jīng)過組織病理檢查后的診斷結(jié)果等信息.

表3 基于深度學(xué)習(xí)的乳腺腫塊檢測方法總結(jié)Table 3 Summary of deep learning methods for mass detection in mammography

表4 常用乳腺X線攝影數(shù)據(jù)集及相關(guān)參數(shù)Table 4 Popular mammography datasets and their relevant parameters

在醫(yī)學(xué)圖像分析研究中,一位病患的醫(yī)學(xué)影像數(shù)據(jù)中可能存在不止一個病變區(qū)域.雖然,傳統(tǒng)的ROC分析方法可以有效的分析和準(zhǔn)確地呈現(xiàn)出算法的敏感性與特異性之間的關(guān)系,但ROC不能有效地解決對每幅圖像中存在的多個異常結(jié)果進(jìn)行評估的問題.FROC(Free-response operating characteristic curve)允許對每幅圖像中存在的任意異常檢測結(jié)果進(jìn)行有效評估.FROC分析通常用于對醫(yī)學(xué)圖像中病灶區(qū)域檢測和定位算法的性能評估.在衡量乳腺腫塊檢測算法的性能時,也常采用FROC作為檢測算法性能的評估標(biāo)準(zhǔn).

在乳腺X線攝影腫塊檢測的研究中,FROC是以敏感性(True positive rate,TPR)為縱坐標(biāo),平均每幅圖像的假陽性區(qū)域個數(shù)(False positives per image,FPI)為橫坐標(biāo).圖10為本文所列舉在INBreast數(shù)據(jù)集上使用FROC表示5種乳腺腫塊檢測算法性能的示意圖.TPR 表示為檢測出的腫塊區(qū)域個數(shù)占數(shù)據(jù)集中真實標(biāo)注的腫塊區(qū)域個數(shù)的比例,TPR 定義如下:

假陽性區(qū)域表示為檢測出為腫塊區(qū)域,但實際上是正常組織區(qū)域,FPI定義如下:

圖10 FROC示意圖Fig.10 The illustration of FROC

本文在DDSM數(shù)據(jù)集和INBreast數(shù)據(jù)集上對基于傳統(tǒng)的乳腺腫塊檢測與分割方法和基于深度學(xué)習(xí)的乳腺腫塊檢測方法的性能展開比較和分析,并列舉近幾年具有代表性的乳腺腫塊檢測文獻(xiàn)算法性能的實驗結(jié)果.其中,對基于傳統(tǒng)的乳腺腫塊檢測與分割方法列舉了Kozegar 等[35]提出的基于自適應(yīng)閾值的乳腺腫塊檢測與分割方法、Min 等[45]提出的多尺度形態(tài)學(xué)濾波和聚類分割技術(shù)相結(jié)合的乳腺腫塊檢測與分割方法,以及Wang 等[43]提出的基于特定醫(yī)學(xué)理論知識的形態(tài)學(xué)特征的乳腺腫塊檢測與分割方法.對基于深度學(xué)習(xí)的乳腺腫塊檢測方法列舉了Dhungel 等[60]最早提出利用R-CNN實現(xiàn)乳腺腫塊檢測的方法、Akselrod-Ballin 等[63]提出利用Faster R-CNN 實現(xiàn)乳腺腫塊檢測的方法、Almasni等[72]利用YOLO實現(xiàn)乳腺腫塊檢測的方法,以及近期由Wu等[70]提出的基于全尺寸乳腺X線攝影的乳腺腫塊自動檢測方法和Castro等[79]提出的基于FCN 的乳腺腫塊自動檢測方法.

通過表5中TPR 和FPI數(shù)值可以看出,基于傳統(tǒng)的乳腺腫塊檢測與分割方法具有豐富的先驗知識,依據(jù)乳腺腫塊的形狀等特點,有針對性地設(shè)計腫塊區(qū)域特征,在小樣本的乳腺X線攝影數(shù)據(jù)集上其TPR 的取值接近于深度學(xué)習(xí)方法的性能.但基于深度學(xué)習(xí)的乳腺腫塊檢測方法可以在保證檢測算法敏感性的同時,又大幅度降低了FPI.總體來說,基于深度學(xué)習(xí)的乳腺腫塊檢測方法在一定程度上可以為放射科醫(yī)生提供更具準(zhǔn)確性的參考意見.

5 總結(jié)與展望

基于醫(yī)學(xué)圖像的數(shù)據(jù)分析是計算機(jī)領(lǐng)域和醫(yī)學(xué)領(lǐng)域共同的研究重點,具有重要的理論研究意義和良好的應(yīng)用前景.其中,病灶目標(biāo)定位和檢測已成為CAD系統(tǒng)開發(fā)和醫(yī)學(xué)圖像分析研究領(lǐng)域中最基本的研究問題之一.總的來說,乳腺X線攝影中腫塊檢測的研究還處于探索階段.本文對近幾年提出的基于全乳腺X線攝影中腫塊檢測方法分別從基于傳統(tǒng)的乳腺腫塊檢測與分割和基于深度學(xué)習(xí)的乳腺腫塊檢測兩個方面進(jìn)行了歸納和總結(jié):

1)早期基于傳統(tǒng)的乳腺腫塊檢測方法利用提取圖像的低層特征,難以完成對比度較低的腫塊檢測.因此,基于圖像增強、閾值分割、模板匹配、特定醫(yī)學(xué)理論知識以及其他目標(biāo)檢測與分割的方法也被提出用于乳腺腫塊檢測的任務(wù)之中,豐富了對乳腺腫塊特征的描述.但傳統(tǒng)人工設(shè)計的乳腺腫塊特征表示方法的局限性在于檢測算法的魯棒性不強,檢測模型的泛化能力較差,往往只適用具有某一種或幾種顯著性特征的腫塊檢測,難以涵蓋變化多樣的乳腺腫塊特征.同時,對致密性腺體的乳房進(jìn)行腫塊檢測時,也會出現(xiàn)較高的假陽性比例,甚至?xí)霈F(xiàn)對病灶區(qū)域過度檢測等情況.

表5 乳腺X線攝影數(shù)據(jù)集上乳腺腫塊檢測方法的性能對比Table 5 Comparison of state-of-the-art mass detection methods on mammography datasets

2)自從卷積神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺處理中取得了成功以來,深度網(wǎng)絡(luò)也備受醫(yī)學(xué)界的青睞,其在醫(yī)學(xué)圖像分析的多個領(lǐng)域也取得了突破性進(jìn)展.深度網(wǎng)絡(luò)利用了多層次結(jié)構(gòu),自動地從數(shù)據(jù)中學(xué)習(xí)并更新網(wǎng)絡(luò)中數(shù)量龐大的神經(jīng)元參數(shù),使其具有強大的學(xué)習(xí)能力和特征表現(xiàn)能力.同時,在目標(biāo)檢測的精準(zhǔn)度方面,深度學(xué)習(xí)方法與傳統(tǒng)方法相比具有十分明顯的優(yōu)勢.大多數(shù)的深度模型算法可以實現(xiàn)端到端的訓(xùn)練方式,使整個檢測模型的訓(xùn)練和測試變得十分方便.大量文獻(xiàn)表示,當(dāng)前基于深度學(xué)習(xí)的乳腺腫塊檢測仍是以有監(jiān)督的學(xué)習(xí)方式為主導(dǎo),在通用目標(biāo)檢測框架基礎(chǔ)之上進(jìn)行參數(shù)微調(diào)或結(jié)構(gòu)改進(jìn)以適用于乳腺X線攝影數(shù)據(jù).本文將所提出的基于深度學(xué)習(xí)的乳腺腫塊檢測方法歸納總結(jié)為基于候選框的乳腺腫塊檢測方法、基于回歸的乳腺腫塊檢測方法、基于弱監(jiān)督學(xué)習(xí)的乳腺腫塊定位方法和基于全卷積網(wǎng)絡(luò)的乳腺腫塊檢測方法.其中,基于候選框的乳腺腫塊檢測方法和基于回歸的乳腺腫塊檢測方法是目前使用較為廣泛的乳腺腫塊檢測方法;基于弱監(jiān)督學(xué)習(xí)的乳腺腫塊定位方法和基于全卷積網(wǎng)絡(luò)的乳腺腫塊檢測也為乳腺腫塊檢測研究提供了新思路.

深度學(xué)習(xí)在醫(yī)學(xué)圖像研究中已經(jīng)取得了不錯的效果,乳腺腫塊檢測準(zhǔn)確率也在不斷提高,但距離實際臨床應(yīng)用還存在一定的差距.未來的研究工作可以從以下幾方面展開:

1)設(shè)計魯棒的多特征融合表示和語義級病灶特征表達(dá).目前的乳腺腫塊檢測方法性能還無法令人滿意,其根本原因是檢測算法對乳腺腫塊特征的表達(dá)能力不足.然而特征提取是目標(biāo)檢測中至關(guān)重要的一步,豐富的特征信息有利于目標(biāo)候選框的生成.隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的不斷加深,學(xué)習(xí)得到的特征就越抽象.大部分的目標(biāo)檢測算法在特征提取時往往采用最深層的特征信息,造成物體邊緣特性的缺失,不利于目標(biāo)物體的定位.所以,對卷積神經(jīng)網(wǎng)絡(luò)的各層特征進(jìn)行分析,采用合理有效的特征級聯(lián)方法、多尺度特征融合等方式選擇和提取特征,可以豐富特征表達(dá).此外,還應(yīng)構(gòu)建有效的圖像特征空間與高層語義空間之間的映射關(guān)系,實現(xiàn)對乳腺腫塊的語義級描述,這將大大提升乳腺腫塊特征與正常乳腺組織特征的區(qū)分性和描述性.

2)引入圖像全局有效的上下文信息.目前,在乳腺X攝影腫塊檢測的研究中,采用基于候選框的乳腺腫塊檢測方法不能有效地捕獲圖像的上下文信息.對于提升目標(biāo)的檢測和識別精度存在困難.有效地引入圖像的全局信息,可以動態(tài)地減少搜索區(qū)域,提高基于候選框的乳腺腫塊檢測方法的效率和精度.同時,對基于回歸的乳腺腫塊檢測方法引入有效的全局信息,也可以提升對小目標(biāo)腫塊的檢出率.可嘗試結(jié)合傳統(tǒng)的計算機(jī)視覺方法捕獲圖像的上下文信息,也可結(jié)合反卷積操作對圖像的上下文信息實現(xiàn)擴(kuò)充.

3)設(shè)計基于弱監(jiān)督學(xué)習(xí)的乳腺腫塊定位方法.基于弱監(jiān)督學(xué)習(xí)的目標(biāo)定位方法可以依據(jù)CNN在圖像分類任務(wù)中學(xué)習(xí)得到具有高響應(yīng)特點的特征圖,進(jìn)而實現(xiàn)對目標(biāo)的定位.這種方式不需要對ROI進(jìn)行準(zhǔn)確的標(biāo)注,只需要目標(biāo)類別的注釋信息即可完成對檢測任務(wù)的學(xué)習(xí),減少了醫(yī)學(xué)圖像數(shù)據(jù)人工標(biāo)注的成本.在沒有大規(guī)模標(biāo)注數(shù)據(jù)作為支撐的醫(yī)學(xué)領(lǐng)域,想要快速發(fā)展基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分析,弱監(jiān)督學(xué)習(xí)定位目標(biāo)的方法在未來也會成為該領(lǐng)域研究的重點內(nèi)容.可以從如下兩方面對基于弱監(jiān)督學(xué)習(xí)的乳腺腫塊定位方法展開研究:首先,設(shè)計合理目標(biāo)函數(shù)優(yōu)化方法,可采用凸正則化或連續(xù)優(yōu)化等算法對目標(biāo)函數(shù)進(jìn)行優(yōu)化,避免陷入局部最優(yōu)解;其次,嘗試將候選區(qū)域提取方法與弱監(jiān)督學(xué)習(xí)定位方法相結(jié)合,獲得更準(zhǔn)確的乳腺腫塊檢測結(jié)果.

4)設(shè)計基于多視圖數(shù)據(jù)的乳腺腫塊檢測方案.乳腺X 線攝影檢查通常對雙側(cè)乳房分別采集CC與MLO兩個視圖,有效地整合CC與MLO信息,可以在空間上更好地確定乳腺腫塊的位置,也有助于減少假陽性區(qū)域的檢出比例.基于多視角分析的乳腺病變檢測方法也將極大地提高早期乳腺癌的檢出率.目前,基于傳統(tǒng)目標(biāo)檢測方法實現(xiàn)多視角乳腺腫塊檢測,常采用基于單視圖的乳腺X線攝影腫塊檢測方法,并結(jié)合坐標(biāo)轉(zhuǎn)換操作將獲得的CC視圖與MLO視圖的腫塊檢測結(jié)果進(jìn)行匹配和篩選.基于深度學(xué)習(xí)方法實現(xiàn)多視角乳腺腫塊分析[89]則寥寥無幾.因此,基于深度學(xué)習(xí)的多視角定位乳腺X線攝影腫塊的方法也必將成為未來研究的主要內(nèi)容之一.可考慮結(jié)合乳腺X線攝影中關(guān)鍵點定位方法,將CC與MLO兩個視圖實現(xiàn)空間坐標(biāo)轉(zhuǎn)換,綜合分析腫塊的檢測結(jié)果.

5)提高深度學(xué)習(xí)模型的可解釋性.深度學(xué)習(xí)方法無論從檢測效果和實際應(yīng)用價值都有著無可比擬的優(yōu)越性,但深度學(xué)習(xí)也常被稱為“Black Box”,特別是在醫(yī)學(xué)領(lǐng)域,僅僅有一個良好的檢測系統(tǒng)是不夠的,還需要利用科學(xué)的方法對模型進(jìn)行合理的解釋與分析.

基于深度學(xué)習(xí)的特征表達(dá)具有強大的數(shù)據(jù)描述能力,其在識別精度和模型泛化能力方面比傳統(tǒng)方法更勝一籌.我們相信,通過深度學(xué)習(xí)方法的不斷改進(jìn)、醫(yī)學(xué)圖像采集技術(shù)的不斷提升和標(biāo)記樣本集數(shù)量的不斷增長,未來基于乳腺X線攝影的乳腺腫塊檢測方法將越來越完善.