郝 堃,胡 磊,丁曉明
(1.重慶醫(yī)科大學(xué)附屬第一醫(yī)院 信息中心,重慶 400010;2.西南大學(xué) 計算機與信息科學(xué)學(xué)院,重慶 400010)
目前,乳腺癌已成為困擾女性健康的首要疾病之一。國家癌癥中心發(fā)布的《2017年中國腫瘤的現(xiàn)狀和趨勢》報告中顯示,乳腺癌發(fā)病率位列女性惡性腫瘤之首[1],達到女性癌癥患者的17.07%。該疾病呈年輕化趨勢,臨床表明最小患者年齡僅18歲[2]。全球每年新增感染此疾病的患者超過百萬例,死亡率約為33%[3]。中國乳腺癌發(fā)病率高達11%[4]。通過普適性、推廣性強的檢查篩查方法早期識別乳腺癌顯得尤為重要。乳腺X光攝影經(jīng)過了一個世紀的技術(shù)發(fā)展,已經(jīng)成為早期乳腺癌診斷和篩查必不可少且行之有效的影像檢查方法。
隨著人工智能在醫(yī)學(xué)影像識別中的逐漸應(yīng)用,乳腺癌X光圖像識別主要向基于人工特征傳統(tǒng)乳腺癌醫(yī)學(xué)圖像分類法以及基于深度學(xué)習(xí)的乳腺癌醫(yī)學(xué)圖像分類法發(fā)展。在人工特征領(lǐng)域主要是使用隨機森林[5]、支持向量機[6]等展開研究?;谏疃葘W(xué)習(xí)[7]卷積神經(jīng)網(wǎng)絡(luò)的乳腺癌醫(yī)學(xué)圖像分類方法,利用其自主學(xué)習(xí)的特性,解決了特征需要手工處理的問題,提高了實驗效率。
當(dāng)前,通過深度學(xué)習(xí)模型研究乳腺癌醫(yī)學(xué)圖像的方法有很多,比如卷積神經(jīng)網(wǎng)絡(luò)、深度殘差網(wǎng)絡(luò)、密集連接網(wǎng)絡(luò)等[8-11]。通過這類方法能夠自動提取醫(yī)學(xué)圖像的特征,避免了之前人工提取方法的復(fù)雜性和局限性。同時,該方法在圖像的識別分類、物體識別得到了廣泛的應(yīng)用[12-15],這些工作都為卷積神經(jīng)網(wǎng)絡(luò)在乳腺癌圖像分類上打下了基礎(chǔ)[16-17]。
該文首先對乳腺影像圖進行預(yù)處理,如剪切、降噪、增強,然后基于加權(quán)Fisher準則對LetNet-5進行改進,并對乳腺癌的識別率進行前后對比。
卷積神經(jīng)網(wǎng)絡(luò)是在經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展起來并形成的新型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[18-19]。該網(wǎng)絡(luò)的出現(xiàn)使得神經(jīng)網(wǎng)絡(luò)在原先的基礎(chǔ)上變得更加簡單且易操作[20]。目前,CNN在眾多領(lǐng)域中都得到了廣泛的關(guān)注,其已經(jīng)成為了乳腺癌醫(yī)學(xué)圖像研究中深度算法的關(guān)鍵,且適用于多種醫(yī)學(xué)問題[21]。
1.1.1 卷積層和采樣層
卷積的公式如下所示:
(1)
卷積的作用在于:不改變對圖像特征信息提取的情況下有效減少噪聲干擾;實現(xiàn)共同享有局部感受野和權(quán)值;自行對圖像特征進行提取和學(xué)習(xí),節(jié)省特征提取的時間。
采樣層的主要職責(zé)就是對經(jīng)過卷積后獲得的輸出特征進行采樣操作,子采樣可以通過多種方式進行,其中比較常用的有均值子采樣、最大值子采樣等方式。
1.1.2 訓(xùn)練過程
對于卷積神經(jīng)網(wǎng)絡(luò),在訓(xùn)練時主要分為兩部分進行:
(1)前向傳播訓(xùn)練。從總樣本中隨機選擇一部分為訓(xùn)練使用的樣本(X,YP),然后將其輸入到已經(jīng)初始化好的網(wǎng)絡(luò)之中,開始訓(xùn)練;通過卷積神經(jīng)網(wǎng)絡(luò)中特有的卷積操作和下采樣操作,再通過全連接操作拉長,得到輸出的最終向量Op。
(2)反向傳播訓(xùn)練。對訓(xùn)練樣本的輸出結(jié)果Op和其所對應(yīng)的實際標簽Y兩者的殘差進行計算;將得到的殘差一層一層地向前傳播,并根據(jù)結(jié)果對每一層的參數(shù)進行修正。
1.2.1 AlexNet模型結(jié)構(gòu)
AlexNet是基于經(jīng)典的卷積神經(jīng)LetNet5和傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)發(fā)展改進的深度卷積神經(jīng)網(wǎng)絡(luò)。采用了8層結(jié)構(gòu),分為5個卷積層和3個全連接層。其中卷積層1、2、5層分別采用了MaxPooling、ReLU和LRN模塊,并且在全連接層FC6和FC7采用了Dropout模塊。最終在FC8層的softmax輸出多分類的最大后驗概率進行分類。
1.2.2 AlexNet模型分析
(1)ReLU激活函數(shù)。AlexNet采用了ReLU函數(shù)作為CNN的非線性激活函數(shù),替代了之前的Sigmod函數(shù)。由于該函數(shù)具有稀疏性,使得模型訓(xùn)練的速度進一步加快,該方法有效加快了梯度下降的速度。
(2)LRN模塊。模型中的局部歸一化對局部神經(jīng)元活動創(chuàng)建了競爭機制,該方法使得其中的響應(yīng)值變得更大,因此增加了模型的泛化能力
(3)Dropout。對于Dropout層的神經(jīng)元,它通過定義的概率隨機刪除一些神經(jīng)元。能夠保持輸入層與輸出層的神經(jīng)元個數(shù)不變。按照神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法進行參數(shù)更新。然后在后續(xù)的迭代過程中隨機刪除神經(jīng)元,直到訓(xùn)練結(jié)束。該種方式能夠有效避免模型過擬合,提高了模型的泛化能力。
對于Fisher線性鑒別[22]來說,最為關(guān)鍵的內(nèi)容就是選取最合適的投影方向。多數(shù)情況都是利用準則函數(shù)對LDA的投影方向進行選擇。Fisher準則是最常用,也是最經(jīng)典的準則函數(shù)之一。它表示的是樣本集類間距離和類內(nèi)距離兩者分散值的比,為了保證投影方向是眾多方案中最優(yōu)化的就需要確保該比值取得最大[23]。
樣本集的類內(nèi)和類間散布矩陣分別表示為SW和SB,為了得到這兩個值,需要進行如下計算:
(2)
(3)
其中:
(4)
(5)
其中,pi和ui分別指的是第i類的先驗概率和平均值;u指的是總樣本的平均值。所以說,可以用下列公式來表示Fisher準則函數(shù)JF(V)。
(6)
其中,V指的是投影方向矩陣,如果JF(V)取得最大值,那Vopt就是最佳投影方向。
卷積神經(jīng)網(wǎng)絡(luò)用卷積層與池化層對人工神經(jīng)網(wǎng)絡(luò)中的簡單與復(fù)雜細胞層分別進行替代。CNN運用池化的操作對卷積后的特征做抽樣,在保留了有用特征信息的同時使圖像的維度下降[24]。經(jīng)過卷積與池化的反復(fù)處理作用,最后圖像特征按照全連接形式進行輸出,并計算出輸出結(jié)果和標簽的誤差情況。同時經(jīng)過反向傳播對參數(shù)進行調(diào)節(jié)。因此,合適的損失函數(shù)對于一個訓(xùn)練良好的卷積神經(jīng)網(wǎng)絡(luò)至關(guān)重要。
目前兩種常用的損失函數(shù)分別為最小平方誤差函數(shù)和softmax函數(shù)。對于一個乳腺圖像集不多的數(shù)據(jù)集而言,顯得過于單一而且很難達到很好的效果。因此,該文創(chuàng)新性地將加權(quán)Fisher準則運用其中,構(gòu)造基于加權(quán)Fisher準則的卷積神經(jīng)網(wǎng)絡(luò)(weighted fisher CNN,WFCNN)[25]。使用Fisher準則,確保樣本實際值與樣本標簽誤差盡可能小。
卷積神經(jīng)網(wǎng)絡(luò)目標為訓(xùn)練多層的網(wǎng)絡(luò)結(jié)構(gòu)從而得到一個良好的分類器。在卷積神經(jīng)網(wǎng)絡(luò)中核心是卷積核的權(quán)值W與偏置b確定。同時,卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重初始化對模型的收斂速度和性能至關(guān)重要。這就需要對權(quán)重參數(shù)W不停的迭代更新以期望能達到更好的性能[26]。因此,在初始化時該文將每層節(jié)點的權(quán)值和偏置重置為0。
線性判別分析(LDA)為在特征提取方法中最常用的方法,能夠有效反映不同類別之間特征的差異。圖1中n維的樣本模型在投影在一維的空間,設(shè)有一個類4和其他類1,2,3分的比較遠,叫做邊緣類,則傳統(tǒng)的LDA得到的最好的投影方向A會把類4和其他的進行分離,也就是對類間距離進行過于偏大,然而這樣造成的結(jié)果就是使得原本類間距離很小的類別1,2,3發(fā)生了重疊。
圖1 不同定義下的SB導(dǎo)出的不同投影方向
為了防止以上情況發(fā)生,需對合適的類間距離過大、分類情況太好的進行減小,從而使其在進行特征分解的時候起關(guān)鍵作用。Marco提出了加權(quán)Fisher準則,對類間散布矩陣做加權(quán)優(yōu)化處理,也就是對類間距離不一樣的類給予不一樣的權(quán)重值,其具體計算式為:
(7)
式中,
(8)
(9)
(10)
其中,Δij為第i類與第j類樣本間的馬氏距離,erf(?)為錯誤函數(shù),其表達式可表示為:
(11)
如此,通過如下的特征式求解可以得到基于加權(quán)Fisher準則的鑒別投影向量:
SBν=λSWν
(12)
為計算更加便捷,節(jié)約時間,用簡單的歐氏距離對權(quán)值函數(shù)ω(Δij)馬氏距離做替換,也就是:
(13)
一般是把最小的平方誤差函數(shù)作為最終的代價函數(shù)作處理,也就是真實輸出與標簽間的誤差保持盡可能小。通過引入加權(quán)Fisher準則對傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)中的代價函數(shù)進行改進。
基于加權(quán)Fisher準則的代價函數(shù)可用下式表示:
J=J(W,b)-αJB+βJW
(14)
其中的系數(shù)一般在0到1之間?;谧钚∑椒秸`差代價函數(shù),為了計算方便,把類間距離的度量JB與類內(nèi)距離度量的函數(shù)JW分別表示成:
(15)
(16)
其中,mi為第i類均值,mj為第j類均值,為輸出層的真實輸出情況。
梯度計算以J為卷積神經(jīng)網(wǎng)絡(luò)代價函數(shù)的迭代時,在保持誤差盡可能小,需使樣本類內(nèi)距離縮小,使類間距離增加。如此進行反復(fù)的前向傳播和后向傳播計算,其權(quán)值就會朝著更加有利于分類的方向進行調(diào)節(jié)。
卷積網(wǎng)絡(luò)一般是把最小誤差函數(shù)當(dāng)成最后的代價函數(shù),也就是真實輸出與標簽間的誤差盡可能的小。對于此,運用加權(quán)Fisher準則,提出加權(quán)Fisher準則下的卷積網(wǎng)絡(luò)是為了確保真實輸出與樣本標簽間的誤差保持最小,同時還要實現(xiàn)對于同類樣本之間距離逐漸接近,而異類樣本的間距離盡可能的遠。
綜上,基于加權(quán)Fisher準則的卷積網(wǎng)絡(luò)訓(xùn)練流程為:
(1)把輸入的圖片放入卷積神經(jīng)網(wǎng)絡(luò)中進行卷積處理,獲得C1下的特征集X1;
(2)把上一步獲得的X1運用均值采樣的方法再做處理,進而獲得S2下的特征集X2;
(3)反復(fù)步驟1、2,分別獲得C3和S4特征集X3、X4;
(4)進一步對步驟1、2反復(fù),獲得特征集X5、X6;
(5)把X6拉直而成為一個列向量,按照全連接的形式方式進行輸出;
(6)運用加權(quán)Fisher準則函數(shù)作為新代價函數(shù),計算真實的結(jié)果與標簽間的差異,經(jīng)過反向傳播傳遞殘差;
(7)將預(yù)處理好的圖像輸入到訓(xùn)練好的CNN中,并計算出其識別率。
AlexNet有5個卷積層和3個全連接層,在AlexNet中卷積核大小為11*11*3,步長為4,輸出為55*55*96,子采樣與LetNet的均值采樣不同,使用的是最大值的子采樣,輸入圖像的大小為224*224。AlexNet使用ReLU代替sigmoid作為激活函數(shù)。ReLU的數(shù)學(xué)表達式如下所示:
f(x)=max(0,x)
(17)
將加權(quán)Fisher準則的損失函數(shù)添加到AlexNet的網(wǎng)絡(luò)結(jié)構(gòu)中,基于Fisher準則AlexNet其工作流程如下:
(1)把輸入的圖片放入卷積神經(jīng)網(wǎng)絡(luò)中開始卷積處理,得出C1下的特征集X1;
(2)把第一步所獲得的X1運用最大值采樣的方法處理,進而獲得S2下的特征集X2;
(3)反復(fù)進行步驟1、2,經(jīng)過五次,得到特征集X10;
(4)將特征集輸入三層全連接層,最后拉成一個列向量;
(5)運用Fisher準則函數(shù)當(dāng)作新的代價函數(shù)對真實的結(jié)果與標簽間的誤差進行計算,經(jīng)過反向傳播對殘差進行傳遞,進而能夠運用公式對權(quán)值做出優(yōu)化處理;
(6)將驗證圖像輸入到已經(jīng)訓(xùn)練好了的AlexNet模型,最后計算其識別率。
為避免采用開源數(shù)據(jù)集,因數(shù)據(jù)量不足導(dǎo)致實驗產(chǎn)生的過擬合問題,采用MIAS開源數(shù)據(jù),同時提取某三甲醫(yī)院PACS影系統(tǒng)中的乳腺影像數(shù)據(jù)作為補充,采用醫(yī)生診斷結(jié)果對其進行標記[27-28]。最終統(tǒng)計正常圖328幅、良性圖201幅、惡性圖93幅,圖像均處理為1 024*1 024灰度圖。
首先將圖像裁剪為512*768大小,保留圖像中最有用的部分信息,然后處理圖像當(dāng)中的噪聲,使用保留邊界功能的中值濾波方法對圖像去噪。由于采集圖像中存在亮度暗度不一致,為了避免影響分類效果,實驗采用直方圖均衡化的方法進行圖像增強處理。圖像預(yù)處理前后對比如圖2所示。
圖2 圖像預(yù)處理前(左)后(右)對比
為了論證圖像預(yù)處理的重要性,將原始圖像和經(jīng)過處理后圖像進行均衡化直方圖對比(見圖3)[29]。圖像處理前其灰度值大多數(shù)會集中在某個部位,可分性不強,同時對比度也不夠強。在經(jīng)過均衡化處理以后,其像素的排布會更均勻,層次更豐富,從而對比度得到提高。
圖3 圖像預(yù)處理前后均衡化直方圖對比
為了對采用基于加權(quán)Fisher準則的卷積網(wǎng)絡(luò)進行驗證,在預(yù)處理后的乳腺X影像數(shù)據(jù)集上進行一系列實驗以驗證該算法的先進性。設(shè)定一樣的迭代次數(shù)同時使用一樣的訓(xùn)練樣本。
采用識別率作為實驗的評價指標,其計算方式為:
識別率=分類正確的數(shù)據(jù)個數(shù)/算法的數(shù)據(jù)的個數(shù)。
首先將改進的LetNet-5卷積神經(jīng)網(wǎng)絡(luò)的傳統(tǒng)模型(LetNet-5)和加權(quán)Fisher準則LetNet-5模型(WFLetNet-5)進行對比實驗研究,在原始的基礎(chǔ)上多增加了一層新的卷積層和子采樣層,并且增加了全連接層的參數(shù),以保證輸入的圖像可以從原始的32*32的大小,調(diào)整為128*128的大小。
將預(yù)處理好的乳腺影像通過Python代碼,沿圖像寬高最短尺寸調(diào)整大小,以中心為原點再次裁剪為128*128大小。然后從建模及隨機提取出500張作為訓(xùn)練集,剩余部分隨機提取122張作為驗證集,卷積層C1、C3、C5的濾波器個數(shù)分別為16、32和64,其大小都是3*3,S2、S4都是2*2的均值的采樣層,其激活函數(shù)是sigmoid,α取0.02,β取0.01。同時學(xué)習(xí)率初始設(shè)置為0.01,按訓(xùn)練的輪數(shù)增長指數(shù)插值進行遞減。
圖4為迭代1 000次的LetNet-5和WFLetNet-5模型識別率對比。在500輪之后兩個模型在訓(xùn)練集上的識別率都高達了100%,所以只選擇了前500輪,并且圖中只顯示了每10輪的識別率。從圖中可以很直觀地看出在大約250的訓(xùn)練輪后,WFLetNet-5模型的識別率就普遍高于傳統(tǒng)模型。
圖4 在乳腺影像數(shù)據(jù)上的訓(xùn)練識別率
接著,把兩個訓(xùn)練好的模型在驗證集上做測試,LetNet-5識別率為76%,WFLetNet-5識別率為88%,提升率16%。
采用交叉驗證的方式重新對兩個卷積神經(jīng)網(wǎng)絡(luò)進行對比,將預(yù)處理好的全部圖像集,隨機分成10份,進行十次訓(xùn)練和驗證。每次的驗證集為對應(yīng)次數(shù)的數(shù)據(jù)子集,其余9份為訓(xùn)練集。交叉驗證對比結(jié)果如圖5所示。
圖5 十次交叉驗證的對比折線圖
在交叉驗證中,WFLetNet-5模型的識別率高于傳統(tǒng)的LetNet-5。該結(jié)果表現(xiàn)出加權(quán)Fisher準則對于LetNet-5的模型有較好的提升效果。
隨機提取500張經(jīng)預(yù)處理的圖像作為訓(xùn)練集,剩余122張作為驗證集。將圖片調(diào)整為224*224大小。其中卷積層C1、C3、C5數(shù)目分別是6、12與32,其大小都是3*3,S2、S4都是運用規(guī)模為2*2均值的形式,激活函數(shù)為ReLU,α取0.02,β取0.01。
圖6為迭代5 000次的AlexNet卷積神經(jīng)網(wǎng)絡(luò)的前1 000輪的傳統(tǒng)模型和改進模型的識別率對比。基于加權(quán)Fisher的AlexNet網(wǎng)絡(luò)結(jié)構(gòu)(WFAlexNet)識別率好于傳統(tǒng)模型(AlexNet)。
圖6 在影像數(shù)據(jù)集上的訓(xùn)練識別率
使用驗證集在模型上進行實驗并計算最終的識別率,AlexNet識別率為61%,WFAlexNet識別率為68%,提升率11%。引入了加權(quán)Fisher的AlexNet卷積神經(jīng)網(wǎng)絡(luò)在驗證集上識別準確率要好于傳統(tǒng)的AlexNet神經(jīng)網(wǎng)絡(luò)。
基于實驗數(shù)據(jù)對比分析,改進前LetNet-5對乳腺圖像的識別率好于AlexNet,改進后的模型具有同樣的效果?;诩訖?quán)Fisher準則的LetNet-5對于模型整體質(zhì)量的提升具有更為良好的效果。
為了驗證真實數(shù)據(jù)集環(huán)境下,基于加權(quán)Fisher的LetNet-5及AlexNet算法的效果,該文將原始的622張1 024*1 024圖片隨機裁剪成512*768的像素大小,進行圖像處理后通過隨機選取、裁剪的方式將訓(xùn)練集分別擴充到6 200張128*128和224*224的影像訓(xùn)練數(shù)據(jù)集。同時在PACS影像庫中又隨機提取100名患者的真實乳腺圖像數(shù)據(jù)作為測試集。其中良性36幅、惡性18幅、正常46幅。同樣將其進行預(yù)處理形成100張128*128和224*224的圖像,再分別進行驗證。
將真實PACS系統(tǒng)提取的乳腺影像數(shù)據(jù)測試集放在訓(xùn)練好的加權(quán)Fisher的LetNet-5及加權(quán)Fisher的AlexNet卷積神經(jīng)網(wǎng)絡(luò)上做驗證,其中改進的LetNet-5混淆矩陣結(jié)果如表1所示,改進的AlexNet混淆矩陣如表2所示。
表1 加權(quán)Fisher的LetNet-5的混淆矩陣
表2 加權(quán)Fisher的AlexNet的混淆矩陣
在充足的數(shù)據(jù)基礎(chǔ)上,加權(quán)Fisher 的LetNet-5卷積神經(jīng)網(wǎng)絡(luò)比加權(quán)Fisher的AlexNet卷積神經(jīng)網(wǎng)絡(luò)在乳腺檢查上識別率更高(91% VS 74%),而且因為樣本集增大的原因,使得卷積神經(jīng)網(wǎng)絡(luò)發(fā)揮出了其針對于大量樣本有著更強的學(xué)習(xí)能力的特性,其在測試集的識別率大大超過了樣本集較少時的準確率。
綜上,引入了加權(quán)Fisher的卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練集的收斂輪次上和驗證集、測試集的識別率都比同樣條件下的傳統(tǒng)模型有著更好的效果,而且基于LetNet-5的改進算法相較改進的AlexNet有著更好的效果。這對于乳腺癌檢測、分類有著很好的應(yīng)用前景。
CNN提出時就以較高的算法性能而受到了較多的關(guān)注,這兩年隨著大數(shù)據(jù)研究的興起,深度學(xué)習(xí),尤其是CNN又再次引起了研究者們的廣泛關(guān)注。通過機器識別輔助解決醫(yī)療問題也成為一個新興的熱點。該文簡述了CNN在醫(yī)學(xué)圖像識別領(lǐng)域研究的現(xiàn)狀,然后選擇中值濾波和直方圖均衡化的方法對圖像進行了處理,將加權(quán)Fisher準則分別應(yīng)用于LetNet-5和AlexNet卷積神經(jīng)網(wǎng)絡(luò)。
發(fā)現(xiàn):(1)基于加權(quán)Fisher的卷積神經(jīng)網(wǎng)絡(luò)比傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)有著更好的識別效果。(2)在充足的數(shù)據(jù)基礎(chǔ)上,基于加權(quán)Fisher的LetNet-5卷積神經(jīng)網(wǎng)絡(luò)比加權(quán)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)有著更強的學(xué)習(xí)能力,使得其在驗證集上的識別率大大超過了加權(quán)AlexNet卷積神經(jīng)網(wǎng)絡(luò)。
因此,對比于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型,基于加權(quán)Fisher改進后的模型對醫(yī)學(xué)圖像預(yù)測準確率有更好的效果,基于LetNet-5的改進模型效果更優(yōu),這可以為臨床輔助診斷提供極大的幫助。