李培媛,黃 遲

(1.太原理工大學(xué) 數(shù)學(xué)學(xué)院,太原 030024; 2.西南財經(jīng)大學(xué) 信息與工程學(xué)院,成都 611130)

0 概述

圖像分類的應(yīng)用極其廣泛,其在信息學(xué)、生物醫(yī)學(xué)、交通網(wǎng)絡(luò)分析、城市計算等領(lǐng)域均隨處可見。在醫(yī)學(xué)領(lǐng)域,蛋白質(zhì)亞細胞定位是指確定某種蛋白質(zhì)在細胞內(nèi)的具體存在部位,如核內(nèi)、細胞質(zhì)內(nèi)或細胞膜上等,這是一項重大挑戰(zhàn),同時也是一個極具意義的課題。人類蛋白細胞圖譜描繪了人類不同組織和器官中的蛋白質(zhì)表達情況。由于不同的細胞器有著自身獨特的環(huán)境,這些環(huán)境決定了細胞器的生理條件和相互作用情況,且蛋白質(zhì)處于特定的細胞器中時才可正常參與人體的生命活動,因此在不同細胞器中,同一種蛋白質(zhì)發(fā)揮的功能是存在差異的。蛋白質(zhì)分類旨在確定蛋白質(zhì)所處的細胞器,這樣有助于定義蛋白質(zhì)的功能,且具有重要的意義[1]。例如正常細胞和腫瘤細胞中的分泌蛋白、膜蛋白在不同器官中的表達情況不同,蛋白質(zhì)的錯誤定位通常與細胞功能障礙和疾病有關(guān)。然而,對蛋白質(zhì)進行定位研究不僅耗時、耗力,且代價高昂。根據(jù)已有的顯微圖像數(shù)據(jù),采用算法預(yù)測蛋白質(zhì)所在細胞器名稱、實現(xiàn)信息自動化處理[2]是解決以上問題的關(guān)鍵。

雙線性卷積神經(jīng)網(wǎng)絡(luò)(Bilinear Convolutional Neural Network,BCNN)[3]引入外積融合圖像整體及局部特征信息,端對端地實現(xiàn)了細粒度圖像分類,且提升了分類精度。文獻[4]提出空間金字塔池化(Spatial Pyramid Pooling,SPP)能將不同大小的特征圖轉(zhuǎn)化為固定維度,同時保留多維度信息。本文結(jié)合BCNN與SPP 2種結(jié)構(gòu)的優(yōu)點,搭建一個粗細結(jié)合的CSPPNet網(wǎng)絡(luò)模型,在模型部分卷積層上生成特征圖后加入SPP層,與模型后期卷積生成的特征圖相結(jié)合,能夠同時提取圖片的整體特征和局部特征,且可以動檢測圖片差異,對蛋白質(zhì)分類的分類精度有較大提升,再利用集成學(xué)習(xí)的方法進一步提升準(zhǔn)確率。

1 相關(guān)工作

1.1 蛋白質(zhì)亞細胞定位

蛋白質(zhì)亞細胞定位研究的方法普遍分為2類:一類是一維層面上基于蛋白質(zhì)的氨基酸序列的定位方法;另一類是二維層面上基于圖像特征圖提取進行分類的方法。第一類將蛋白質(zhì)序列中字母序列轉(zhuǎn)化為數(shù)值來表示蛋白質(zhì)的序列,提取特征信息后使用數(shù)據(jù)挖掘算法定位蛋白質(zhì)亞細胞[5],常見的使用機器學(xué)習(xí)方法的模型有SVM[6]、K階最近鄰[7]和隱馬爾科夫模型[8]等。第二類蛋白質(zhì)預(yù)測算法稱為蛋白質(zhì)亞細胞定位,其研究和實現(xiàn)需構(gòu)建合適的深度學(xué)習(xí)模型來實現(xiàn)圖像分類任務(wù)。這項工作對細粒度要求高,且成果少。傳統(tǒng)的蛋白質(zhì)定位使用氨基酸序列數(shù)據(jù)信息,很難確定蛋白質(zhì)的轉(zhuǎn)移方向,而利用二維圖像中的視覺信息則能夠克服傳統(tǒng)方法中存在的不足[5]。

隨著高通量顯微鏡技術(shù)的進步,圖像生成的速度加快,且遠高于人工評估的速度。人類蛋白細胞圖譜收集的圖片不斷增加,為加速對人類細胞和疾病的理解,自動化分析生物醫(yī)學(xué)圖像的需求更為迫切。蛋白質(zhì)的可視化圖像在生物醫(yī)學(xué)研究中被廣泛應(yīng)用,蛋白質(zhì)影像分析可能成為下一個醫(yī)學(xué)突破的關(guān)鍵。

瑞典提供的人類蛋白圖譜(Human Protein Atlas,HPA)數(shù)據(jù)庫致力于繪制細胞、組織和器官中所有的人類蛋白,有助于利用圖像探索感興趣的蛋白質(zhì),在更廣泛的背景下系統(tǒng)地分析轉(zhuǎn)錄組和蛋白質(zhì)組,以增進對人類細胞的了解。隨著卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的發(fā)展,人類蛋白圖譜小組已經(jīng)展示了科學(xué)和人工智能方法用于人類蛋白定位圖像的應(yīng)用前景,但是目前的結(jié)果還沒有專業(yè)級的注釋[9]。

1.2 細粒度識別

深度學(xué)習(xí)網(wǎng)絡(luò)模型通過多層非線性變換從像素級的數(shù)據(jù)中逐層提取特征信息,具有強大的學(xué)習(xí)能力,為解決傳統(tǒng)的計算機視覺問題開拓了新的思路。隨著計算機視覺技術(shù)的不斷進步,基于圖像的蛋白質(zhì)分類作為細粒度分類任務(wù)開始被人們關(guān)注。AlexNet[10]、VGGNet[11]和GoogLeNet[12]在ILSVRC[13]分類挑戰(zhàn)比賽中能夠大幅提升分類性能,成功應(yīng)用于大規(guī)模計算機視覺任務(wù)中,如目標(biāo)識別、定位、檢測以及圖像分割等。VGGNet將加深網(wǎng)絡(luò)結(jié)構(gòu),GoogLeNet創(chuàng)新性地拓寬網(wǎng)絡(luò)寬度,改進了CNN模型結(jié)構(gòu)。傳統(tǒng)的CNN通過不斷增加卷積層和池化層來加深網(wǎng)絡(luò),然而信息在層與層之間的傳遞過程中或多或少會丟失,造成信息損耗等情況,層與層的疊加還會導(dǎo)致梯度消失,使得較深的網(wǎng)絡(luò)無法訓(xùn)練。文獻[14]提出ResNet模型,該模型設(shè)計了特有的殘差學(xué)習(xí)模塊,在一定程度上解決了梯度消失的問題。CNN的特征表達功能十分強大,網(wǎng)絡(luò)模型的改進提升了粗粒度圖像分類的精度,但在對細微差異的區(qū)分上存在一定局限性,細粒度的圖像分類滿足了人們進一步的需求,且其研究領(lǐng)域已經(jīng)取得了很多研究成果[15-17]。

蛋白質(zhì)分類屬于細粒度分類,細胞圖像的復(fù)雜性要求網(wǎng)絡(luò)能夠提取更加細致的信息,已有的多數(shù)成果都基于單標(biāo)簽,存在很大的局限性,且許多工作嚴重依賴手工標(biāo)注,無法包含全部細胞器位置,然而搭建端對端的粗細結(jié)合[18]的網(wǎng)絡(luò)能避開標(biāo)注框,有效提升細粒度分類效果。

2 數(shù)據(jù)集描述與分析

本文利用HPA數(shù)據(jù)集對蛋白質(zhì)實現(xiàn)任務(wù)分類,預(yù)測標(biāo)簽為蛋白質(zhì)所在的細胞器。本節(jié)詳細分析數(shù)據(jù)集及其特點,其為數(shù)據(jù)集處理和模型搭建的依據(jù)。

1)分析圖像數(shù)據(jù)。HPA數(shù)據(jù)集包含多數(shù)人類蛋白質(zhì)的四通道共聚焦圖像,數(shù)據(jù)集有31 072個蛋白圖譜樣本,每個樣本由4張像素為512×512灰度圖(如圖1)以及1個或多個標(biāo)簽組成。數(shù)據(jù)集標(biāo)簽為28種不同的亞細胞器,表示蛋白質(zhì)所在位置。圖1中四通道圖像表示4種染色方式,感興趣的蛋白質(zhì)(綠色),加上其他3個重要細胞器表示:細胞核(藍色),微管(紅色),內(nèi)質(zhì)網(wǎng)(黃色)。圖2是細胞圖譜的說明性數(shù)據(jù)[9]。其中,1為2、3、4、5四通道合成圖像,2為感興趣的目標(biāo)蛋白,用綠色標(biāo)記,3為DAPI染色的細胞核,顯示為藍色,4為用抗微管蛋白抗體染色的微管,顯示為紅色,5為內(nèi)質(zhì)網(wǎng),顯示為黃色。

圖1 HPA數(shù)據(jù)集原始圖像數(shù)據(jù)Fig.1 Original image data of HPA dataset

圖2 HPA中說明性圖像數(shù)據(jù)Fig.2 Illustrative image data in HPA

對原始圖片進行染色處理,如圖3所示,上面4張圖為屬于核質(zhì)類的一個蛋白圖譜樣本染色情況,下面4張圖為細胞液類的染色情況。蛋白質(zhì)分類任務(wù)難點一是圖像中沒有針對標(biāo)簽細胞器的標(biāo)注框,非專業(yè)人士難以辨別不同類蛋白質(zhì)所在細胞器的不同位置及其區(qū)別,且難以對圖片分析進行人工干預(yù),精細級識別使分類任務(wù)不能取得很好的效果。

圖3 訓(xùn)練集中2組樣本染色后的對比圖

2)分析標(biāo)簽數(shù)據(jù)。圖4統(tǒng)計了數(shù)據(jù)集標(biāo)簽文件中各類別的數(shù)量,核質(zhì)數(shù)量最多有12 885個。細胞質(zhì)膜、細胞液和細胞核仁較為常見,過氧化物酶體、核內(nèi)體、溶酶體和微管末端在訓(xùn)練集中較為少見,而棒和環(huán)最少,只有11個。蛋白質(zhì)分類難點二是樣本數(shù)據(jù)不平衡。由于細胞類型多樣性與不同細胞中蛋白質(zhì)所在亞細胞器的差異性,蛋白質(zhì)在核質(zhì)等細胞器中出現(xiàn)次數(shù)較多,在棒和環(huán)等細胞器中出現(xiàn)次數(shù)少,導(dǎo)致標(biāo)簽數(shù)量極度不均勻,稀少標(biāo)簽類難以實現(xiàn)高精度預(yù)測。

圖4 訓(xùn)練集中28種標(biāo)簽數(shù)量的柱狀圖

圖5統(tǒng)計了每個樣本所含標(biāo)簽的數(shù)量,每個樣本標(biāo)簽量是不確定的,單標(biāo)簽、2標(biāo)簽、3標(biāo)簽、4標(biāo)簽、5標(biāo)簽的細胞圖樣本分別占總樣本量的48.68%、40.18%、10.17%、0.96%、0.01%,這說明3個以上標(biāo)簽的數(shù)量極少但仍存在。蛋白質(zhì)分類難點三是樣本所含標(biāo)簽量不同,無法設(shè)置固定的類數(shù)及閾值,需對不同類標(biāo)簽設(shè)定不同閾值使得預(yù)測精度最高。

圖5 樣本中所含標(biāo)簽數(shù)量統(tǒng)計Fig.5 Statistics on the number of tags contained in the sample

3 本文方法

3.1 圖像預(yù)處理

圖像識別的第一步是對圖像數(shù)據(jù)進行統(tǒng)計分析和預(yù)處理。數(shù)據(jù)分析有助于了解圖像的實際情況,更好地理解與改進圖像預(yù)處理方法。

實驗中每個樣本都有4種染色模式,為方便訓(xùn)練,把4張圖片合成四通道(RGBY)圖像作為輸入。對圖片進行簡單地旋轉(zhuǎn)、水平鏡面翻轉(zhuǎn)、隨機剪裁、加高斯噪聲、對圖像的像素點進行加亮或減暗、圖像對比度改變、平移等圖像增強操作,以加強訓(xùn)練魯棒性。蛋白質(zhì)分類屬于細粒度分類,由于最常見的蛋白質(zhì)細胞器成分屬于粗級特征,如細胞質(zhì)膜、核仁、細胞液等,相比之下,核內(nèi)體、溶酶體、微管末端、棒和環(huán)等細致成分非常少見。對此稀少類問題,需另外進行一些處理,如對少見標(biāo)簽的所在圖片進行復(fù)制翻轉(zhuǎn)等操作,同時加入訓(xùn)練集使其比例增加。對于多標(biāo)簽而言,實驗采用二值化法對28個標(biāo)簽進行one-hot編碼。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

本文借鑒BCNN的雙線性匯合,利用空間金字塔池化搭建一個更為細化的網(wǎng)絡(luò)結(jié)構(gòu)。BCNN是一個細粒度圖像識別的經(jīng)典模型,該模型能夠同時提取局部和全局特征并進行融合,提取并結(jié)合網(wǎng)絡(luò)前期與后期的特征圖,通過外積融合可以達成相同的效果。將結(jié)合后的特征信息與全連接層相連并進行分類。

3.2.1 雙線性卷積神經(jīng)網(wǎng)絡(luò)

BCNN的具體流程為:圖像首先經(jīng)過CNN結(jié)構(gòu)提取特征,然后通過雙線性層和池化層與固定長度的神經(jīng)元連接產(chǎn)生輸出。將2個獨立的CNN(VGGNet與ResNet)提取的特征采用外積結(jié)合構(gòu)成最簡單的雙線性層。外積包含了特征通道之間成對的關(guān)系,但BCNN由2個深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)組成,模型復(fù)雜且計算量多,存在一定的局限性。

3.2.2 空間金字塔池化

從輸入的不同大小的圖片中提取信息,使其變?yōu)楣潭ù笮〉奶卣飨蛄俊PP層有以下優(yōu)點:

1)SPP層將不同大小的輸入圖像進行一致化處理。

2)將一個特征圖從不同的維度進行特征提取再聚合,顯示了算法的穩(wěn)定特性。

3)空間金字塔采用最大值池化函數(shù)對局部噪聲有較強魯棒性[19-20],提升目標(biāo)識別的準(zhǔn)確率。簡單來說,由于對特征圖進行了不同維度的特征提取,使提取特征多樣化,模型精度大幅提升。

圖6為SPP層結(jié)構(gòu),將任意大小的特征圖分別池化為4×4、2×2、1×1的表示,其中,4×4的特征拉伸成為16×x維。

圖6 SPP層結(jié)構(gòu)Fig.6 Structure of the SPP layer

3.2.3 網(wǎng)絡(luò)結(jié)構(gòu)搭建

創(chuàng)建一個分類精度高且可以根據(jù)細胞圖像自動分析預(yù)測蛋白質(zhì)所在細胞器的系統(tǒng),需要搭建一個適合的網(wǎng)絡(luò)結(jié)構(gòu)。BCNN模型的特點是同時用到圖片局部特征信息和全局特征信息并將兩者相融合,以降低信息損耗。在該過程中,利用BCNN特征累加的特性,同時設(shè)計減少模型復(fù)雜度與計算量的方法,即基于經(jīng)典CNN,本文設(shè)計了CSPPNet模型。CSPPNet提取并結(jié)合網(wǎng)絡(luò)前期與后期卷積層產(chǎn)生的特征圖,連接3層全連接層并進行分類。利用此方法,可構(gòu)建端對端的網(wǎng)絡(luò)模型,不用人為干預(yù)就可以學(xué)習(xí)到圖像的細節(jié)特征差異。特征學(xué)習(xí)過程是利用一種粗細結(jié)合的方法抓取圖形的整體信息,并檢測出更多、更微小的細節(jié)部分。前期特征圖提取全局特征,用來表明整體線索,后期特征圖提取局部特征,用來描述細致差異。

SPP層具有將一個特征圖從不同的維度進行特征提取再聚合的特點,且從多角度來表達圖片紋理,描述不同細粒度的特征圖信息。SPP將任意大小的特征圖轉(zhuǎn)換成固定維度的特征向量,網(wǎng)絡(luò)輸入任意大小的圖像而不需要縮放或裁減,更好地保留了圖像的特征信息,最后融合各個分支網(wǎng)絡(luò)的特征作為最后的特征表達并輸入全連接層,本文稱這種結(jié)構(gòu)為CSPPNet。VGG16-CSPPNet是在VGG16網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上進行改進,在block2(第4層卷積層)、block4(第10層卷積層)、block5(第13層卷積層)提取的特征后加入SPP層,之后將SPP層提取的特征圖進行結(jié)合并連接3層全連接層,最后一層為28個輸出節(jié)點。ResNet34-CSPPNet是在ResNet34的基礎(chǔ)上進行改進,在128、32、16大小的特征圖后加入SPP層,然后同樣將SPP層提出的特征圖進行結(jié)合并連接3層全連接層。該模型兼具全局和局部模型高效性,局部高效性與其物體的位置及姿態(tài)無關(guān)。同樣,不同的連接方式將圖像特征無序組合,獲得平移無關(guān)性。另外,本文在模型中加入了dropout層,使得模型泛化能力增強。CSPPNet模型的參數(shù)可以被端對端的學(xué)習(xí),結(jié)構(gòu)如圖7所示。

圖7 CSPPNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 CSPPNet network structure

先將模型的全部可訓(xùn)練參數(shù)訓(xùn)練25次,之后對CSPPNet模型后7層參數(shù)進行微調(diào),得到結(jié)果后進行閾值選擇,合理的閾值選擇會大幅提升預(yù)測精度。

閾值選擇算法的步驟如下:

步驟1預(yù)測得分valscore記錄驗證集預(yù)測的概率得分,預(yù)測值valpred記錄驗證集預(yù)測標(biāo)簽,真實值vallabel記錄驗證集的真實標(biāo)簽。閾值向量I記錄最終閾值,均為28維向量。閾值i從0到1(不包含1)變化,每次變化步長為0.001,即i=0+0.001×m,m=0,1,…,1 000。

步驟2將驗證集數(shù)據(jù)輸入保存的模型,得到valscore。

步驟3對閾值i,記錄valscore中大于i的元素所在坐標(biāo),valpred相同位置為1,其他為0。

步驟4定義f為維數(shù)為(1 000,28)的矩陣,f中元素(i,c)表示閾值為i時,第c(c=1,2,…,28)類的f1值。

步驟5計算f1值并列入矩陣f中。

步驟6觀察f的28個列向量,每列中的最大值對應(yīng)的閾值i記錄為此類的最終閾值,得到28維閾值向量I。

3.2.4 集成算法

由于蛋白質(zhì)分類是一個較為復(fù)雜的圖像分類任務(wù),單個分類器的學(xué)習(xí)能力不足,而集成學(xué)習(xí)具有提高整體泛化能力的特性,因此本文除了網(wǎng)絡(luò)結(jié)構(gòu)改進外,還結(jié)合幾個不同CNN、不同采樣法學(xué)習(xí)到的分類器組成一個強學(xué)習(xí)器。

集成學(xué)習(xí)需要解決2個問題:一是學(xué)習(xí)若干個分類器;二是選擇結(jié)合策略。實驗用5個不同的CNN(inceptionv3、vggnet、ResNet34、bninception、CSPPNet)訓(xùn)練得到5個分類器,選擇的結(jié)合策略為投票法,該樣本5個分類器中某類別標(biāo)簽數(shù)量過半(大于等于3)的為預(yù)測類。

3.3 評價指標(biāo)

分類問題通常以準(zhǔn)確率、召回率、F1值等多種評價指標(biāo)進行評價,本文采用F1值為評價指標(biāo)。預(yù)測值與真實值均為28維向量,每個點為0或1,有該細胞器記為1,無則記為0。對無邊界框的多標(biāo)簽圖像分類而言,如果產(chǎn)生錯誤標(biāo)簽則有以下2種情況:一是缺失的標(biāo)簽(FN),二是額外的標(biāo)簽(FP)。因此F1值更適用于多標(biāo)簽情況,被用來描述分類效果。以第一類標(biāo)簽細胞核為例:

TP(True Positive):在真實標(biāo)簽中有細胞核,且被預(yù)測為有細胞核的樣本數(shù)量。

FP(False Positive):在真實標(biāo)簽中沒有細胞核,但被預(yù)測為有細胞核的樣本數(shù)量。

FN(False Negative):在真實標(biāo)簽中有細胞核,但被預(yù)測為沒有細胞核的樣本數(shù)量。

精確率(Precision)、召回率(Recall)和F1值的計算方法如下:

(1)

此外,多標(biāo)簽的準(zhǔn)確率(Accuracy)與單標(biāo)簽計算方式不同,計算方法如下:

(2)

其中,ti為第i類預(yù)測正確的數(shù)量,ni為第i類總數(shù),N為類數(shù)28。對28個標(biāo)簽分別計算精度,然后對所有精度取平均值,即為準(zhǔn)確率。

3.4 實驗結(jié)果與分析

圖8是驗證集的精度、損失值與F1值折線圖,實線顯示ResNet34-CSPPNet訓(xùn)練過程,虛線顯示ResNet34訓(xùn)練過程。由此可見,ResNet34-CSPPNet的訓(xùn)練結(jié)果更好。

圖8 ResNet34與ResNet34-CSPPNet的訓(xùn)練結(jié)果對比Fig.8 Comparison of training results of ResNet34 and ResNet34-CSPPNet

經(jīng)過25次迭代后,部分模型的準(zhǔn)確率與F1值對比結(jié)果如表1所示。從表1可以看出,相較于VGG16模型,VGG16-CSPPNet模型的F1值提高了0.227,準(zhǔn)確率提高了0.016。ResNet的殘差模塊直接將輸入信息繞過卷積層映射到輸出,為了保護信息的完整性,整個網(wǎng)絡(luò)只需要學(xué)習(xí)輸入、輸出差別的部分,簡化了學(xué)習(xí)目標(biāo)和難度,因此ResNet34的分類效果較好,且用時較短。相較于ResNet34模型,ResNet34-CSPPNet模型的F1值提高了0.031,準(zhǔn)確率提升了0.003。由此可以看出,加入SPP層進行粗細結(jié)合考慮,對識別蛋白質(zhì)問題有效。本文方法對CSPPNet進行微調(diào)并與其他分類器結(jié)果集成得分,表明本文粗細結(jié)合的CSPPNet與集成方法可以評估非均勻的數(shù)據(jù)集。

表1 5種模型的準(zhǔn)確率和F1值的比較Table 1 Comparison of accuracy and F1 value of the five models

4 結(jié)束語

本文構(gòu)建一個粗細結(jié)合的CSPPNet模型,端對端地實現(xiàn)蛋白質(zhì)分類,在結(jié)合整體特征和局部特征自動檢測類內(nèi)差異的同時降低了模型復(fù)雜度,并通過閾值選擇算法和集成學(xué)習(xí)方法得到更優(yōu)的分類效果。下一步將從數(shù)據(jù)集和模型2個方向提升分類效果,在數(shù)據(jù)集方面考慮引入外部數(shù)據(jù),增加稀少類樣本量,而在模型改進上引入注意力機制和壓縮雙線性池化,進一步提升模型對細節(jié)信息的提取能力。