唐浩漾，張小媛，錢 萌，王 燕

(西安郵電大學(xué)自動(dòng)化學(xué)院，陜西 西安 710121)

1 引言

蛋白質(zhì)亞細(xì)胞定位是確定蛋白質(zhì)在亞細(xì)胞內(nèi)具體位置的過(guò)程，其有助于判定蛋白質(zhì)功能、闡明蛋白質(zhì)相互作用機(jī)制和了解生命體的活動(dòng)機(jī)理[1]。早期蛋白質(zhì)亞細(xì)胞定位研究需要通過(guò)人工處理亞細(xì)胞，會(huì)耗費(fèi)大量人力物力，且易定位錯(cuò)誤，不利于判定蛋白質(zhì)功能[2]。

近年來(lái)，各種圖像處理方法已經(jīng)應(yīng)用于蛋白質(zhì)亞細(xì)胞定位[3]。如文獻(xiàn)[4]使用Haralick紋理特征、Zernike矩和形態(tài)特征對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以預(yù)測(cè)蛋白質(zhì)的亞細(xì)胞位置。文獻(xiàn)[5]利用Levenberg-Marquardt的隨機(jī)子空間，結(jié)合小波特征、局部二值特征和鄰接閾值等多種特征來(lái)提取策略最優(yōu)集，經(jīng)過(guò)分類算法得到亞細(xì)胞定位預(yù)測(cè)結(jié)果。這些方法需要人為提取圖像中的特定特征來(lái)訓(xùn)練分類器，而這些特征缺少客觀性，不利于分類器對(duì)大規(guī)模蛋白質(zhì)生物圖像進(jìn)行亞細(xì)胞定位預(yù)測(cè)。

卷積神經(jīng)網(wǎng)絡(luò)[6]能從圖像中自動(dòng)提取客觀性的特征，捕獲亞細(xì)胞圖像中較為復(fù)雜抽象的信息，有利于進(jìn)行亞細(xì)胞定位預(yù)測(cè)。目前已有多項(xiàng)研究將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于蛋白質(zhì)亞細(xì)胞定位，取得了較好的定位準(zhǔn)確率。文獻(xiàn)[7]基于深度卷積神經(jīng)網(wǎng)絡(luò)DeepLoc分析酵母細(xì)胞圖像，其蛋白質(zhì)亞細(xì)胞定位準(zhǔn)確率為80%。文獻(xiàn)[8]搭建Deepyeast卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行亞細(xì)胞定位預(yù)測(cè)，其準(zhǔn)確率達(dá)到89.45%。但該方法在網(wǎng)絡(luò)訓(xùn)練時(shí)采用梯度下降的方法獲得最優(yōu)權(quán)重值，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練時(shí)間長(zhǎng)，且對(duì)于核蛋白和核仁等相似度較高的蛋白質(zhì)亞細(xì)胞，沒(méi)有考慮蛋白質(zhì)亞細(xì)胞特征通道之間的聯(lián)系，使得定位效果較差。而壓縮激勵(lì)模塊(Squeeze-and-Excitation，SE)[9]引入了通道注意力機(jī)制，通過(guò)對(duì)特征通道之間的相互關(guān)系進(jìn)行建模，并自適應(yīng)的重新校正各通道特征的響應(yīng)，可以增強(qiáng)網(wǎng)絡(luò)對(duì)相似度較高的蛋白質(zhì)亞細(xì)胞圖像特征的表達(dá)。

本文將具有通道注意力作用的壓縮激勵(lì)模塊SE引入Deepyeast卷積神經(jīng)網(wǎng)絡(luò)中，構(gòu)建SE-Deepyeast特征提取模塊，使用極限學(xué)習(xí)機(jī)分類器對(duì)提取的圖像特征向量進(jìn)行處理，實(shí)現(xiàn)快速而有效的亞細(xì)胞定位預(yù)測(cè)。

2 基于SE-Deepyeast的網(wǎng)絡(luò)模型和特征提取

算法整體網(wǎng)絡(luò)結(jié)構(gòu)框圖如圖1，通過(guò)SE-Deepyeast特征提取模塊自動(dòng)學(xué)習(xí)的方式來(lái)提取有區(qū)分性的亞細(xì)胞特征；然后采用極限學(xué)習(xí)機(jī)對(duì)提取到的特征進(jìn)行訓(xùn)練及分類，進(jìn)行亞細(xì)胞定位。

圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)框圖

2.1 SE-Deepyeast網(wǎng)絡(luò)模型

采用Deepyeast卷積神經(jīng)網(wǎng)絡(luò)模型作為蛋白質(zhì)亞細(xì)胞定位的基礎(chǔ)網(wǎng)絡(luò)，該網(wǎng)絡(luò)由8個(gè)卷積層、3個(gè)池化層和3個(gè)全連接層構(gòu)成，該網(wǎng)絡(luò)包括多個(gè)卷積層與非線性激活層交替的卷積結(jié)構(gòu)，可較好地提取亞細(xì)胞圖像特征。為了更好的提取部分相似度較高的亞細(xì)胞間有區(qū)分性的特征，引入SE模塊，構(gòu)建SE-Deepyeast網(wǎng)絡(luò)模型。

SE-Deepyeast網(wǎng)絡(luò)模型中卷積核大小均設(shè)置為3×3，步長(zhǎng)為1，網(wǎng)絡(luò)卷積層中卷積核個(gè)數(shù)依次為64、64、128、128、256、256、256和256，每一個(gè)卷積塊包含2～3個(gè)卷積層，使網(wǎng)絡(luò)有更大感受野的同時(shí)也能降低網(wǎng)絡(luò)參數(shù)；修正線性單元作為網(wǎng)絡(luò)的激活函數(shù)，增加網(wǎng)絡(luò)的非線性映射能力，改善深層網(wǎng)絡(luò)在反向傳播時(shí)梯度飽和的問(wèn)題；最大池化作為下采樣函數(shù)，其尺寸為3×3，步長(zhǎng)為2，可以在減少參數(shù)個(gè)數(shù)的同時(shí)，提取亞細(xì)胞圖像的主要特征；3個(gè)全連接層的節(jié)點(diǎn)個(gè)數(shù)分別為512、512和10，將卷積層輸出的二維特征圖轉(zhuǎn)化為一維向量。

2. 2 SE-Deepyeast特征提取

在Deepyeast模型的基礎(chǔ)上引入SE模塊，SE模塊由壓縮操作和激發(fā)操作兩部分構(gòu)成，通過(guò)壓縮激勵(lì)操作提高通道注意力，增強(qiáng)蛋白質(zhì)亞細(xì)胞特征的提取能力。

為使經(jīng)卷積層得到特征圖U充分提取亞細(xì)胞圖像各通道的全局特征信息，對(duì)特征圖U進(jìn)行壓縮操作。通過(guò)在空間維度上使用全局平均池化方法，對(duì)特征圖U的各個(gè)通道進(jìn)行壓縮處理以產(chǎn)生各自的通道描述符。壓縮操作過(guò)程用壓縮函數(shù)Fsq表示，將W×H×C的輸入壓縮為1×1×C的輸出，其中C為通道數(shù)，F(xiàn)sq定義為

1.全社會(huì)要形成關(guān)注藍(lán)天、保護(hù)綠色生態(tài)的共識(shí)?？沙掷m(xù)發(fā)展是長(zhǎng)期的科學(xué)發(fā)展觀念，不以一時(shí)的效益作為發(fā)展目標(biāo)，也不以損害環(huán)境作為生活或者發(fā)展的代價(jià)。想要真正做到可持續(xù)發(fā)展，就必須讓全社會(huì)都行動(dòng)起來(lái)，當(dāng)綠色生活成為一種社會(huì)風(fēng)氣之后，可持續(xù)發(fā)展自然就能夠得以實(shí)現(xiàn)。社會(huì)的每一個(gè)人在使用綠色理念來(lái)指導(dǎo)整個(gè)產(chǎn)業(yè)發(fā)展時(shí)，其通過(guò)嚴(yán)格意義上的自我規(guī)范和約束，從而讓這個(gè)社會(huì)在發(fā)展過(guò)程中的資源成本利用率最高。我國(guó)在未來(lái)實(shí)行可持續(xù)發(fā)展的過(guò)程中，要注重選擇合適的產(chǎn)業(yè)，因?yàn)樵摾砟顚?duì)社會(huì)發(fā)展的影響是全面的和深厚的，所以在當(dāng)前社會(huì)中必須要形成一種全社會(huì)的綠色經(jīng)濟(jì)氛圍。

(1)

其中，un為特征圖U中第n層通道的特征向量，n的取值為1，2，…，C。zn為經(jīng)過(guò)壓縮后第n層通道亞細(xì)胞特征向量的通道描述符。z=[z1，z2，…，zn]為壓縮后的通道描述符構(gòu)成的壓縮通道符向量。

為了全面獲取通道間的依賴性以及非線性作用，提高網(wǎng)絡(luò)對(duì)亞細(xì)胞圖像特征的表達(dá)能力，對(duì)壓縮通道描述符向量z進(jìn)行非線性激發(fā)操作，激發(fā)過(guò)程用激發(fā)函數(shù)Fex表示

S=Fex(z，W)=σ[W2δ(W1，z)]

(2)

但sigmoid門函數(shù)非線性映射能力差，不能有效表達(dá)亞細(xì)胞特征信息，本文在sigmoid門函數(shù)進(jìn)行激發(fā)前引入Relu激活函數(shù)[11]，Relu激活函數(shù)可保留更多的圖像信息，增強(qiáng)網(wǎng)絡(luò)的非線性映射能力，能有效解決深層網(wǎng)絡(luò)在反向傳播時(shí)造成的梯度飽和問(wèn)題。構(gòu)建的Relu激活函數(shù)為

δ=max(0，un)+αmin(0，un)

(3)

其中α為0.01，相比于值為0的情況可保留更多的特征信息，改善深層網(wǎng)絡(luò)在反向傳播時(shí)梯度飽和的問(wèn)題，也可增強(qiáng)網(wǎng)絡(luò)的映射能力。

SE特征提取模塊的輸出由亞細(xì)胞特征向量U與激發(fā)通道描述符向量S對(duì)應(yīng)通道的乘積Fscale得到，即

X=Fscale(U，S)=U·S

(4)

其中，X=[x1，x2，…，xn]為壓縮激發(fā)操作得到的亞細(xì)胞特征圖。Fscale為亞細(xì)胞特征向量U與激發(fā)通道描述符向量S對(duì)應(yīng)通道的乘積。

3 蛋白質(zhì)亞細(xì)胞定位

在SE-Deepyeast模塊提取亞細(xì)胞圖像特征的基礎(chǔ)上，對(duì)提取到的特征進(jìn)行訓(xùn)練分類，以確定分類的蛋白質(zhì)在哪類亞細(xì)胞中，即實(shí)現(xiàn)亞細(xì)胞定位。

現(xiàn)有的亞細(xì)胞定位網(wǎng)絡(luò)模型需要對(duì)所有亞細(xì)胞器圖像數(shù)據(jù)的前向傳播和誤差反向傳播的兩個(gè)過(guò)程進(jìn)行訓(xùn)練，這兩個(gè)過(guò)程均需要使用大量樣本在反復(fù)迭代的情況下才能獲得較理想的網(wǎng)絡(luò)參數(shù)，且梯度下降算法需要調(diào)整所有參數(shù)，導(dǎo)致模型的訓(xùn)練時(shí)間長(zhǎng)。因此，本文采用極限學(xué)習(xí)機(jī)對(duì)10種亞細(xì)胞器圖像進(jìn)行定位，通過(guò)隨機(jī)生成連接權(quán)重和偏差，避免復(fù)雜的迭代訓(xùn)練過(guò)程，從而縮短模型的訓(xùn)練時(shí)間。

極限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)是一種單隱層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[12]，由輸入層、隱藏層和輸出層構(gòu)成，ELM模型如圖2。

圖2 ELM模型

其中x為亞細(xì)胞向量經(jīng)壓縮激發(fā)操作得到的亞細(xì)胞特征向量；l為隱藏層節(jié)點(diǎn)個(gè)數(shù)，可將線性不可分的樣本映射到高層的線性可分空間，再通過(guò)隱藏層與輸出層之間進(jìn)行線性劃分，完成分類功能，以確定蛋白質(zhì)亞細(xì)胞的位置；輸出層節(jié)點(diǎn)的個(gè)數(shù)為m，由定位的類別數(shù)決定。

將SE-Deepyeast特征提取模塊的輸出n維特征向量X作為ELM的輸入，通過(guò)計(jì)算得到隱藏層神經(jīng)元的輸出h為

h=δ(wX+b)

(5)

其中代表Relu激活函數(shù)，可保留更多的有效特征；w和b分別表示輸入層與隱藏層之間的權(quán)值連接權(quán)重和偏置，在網(wǎng)絡(luò)訓(xùn)練之前ELM可隨機(jī)產(chǎn)生w和b，且整個(gè)訓(xùn)練過(guò)程無(wú)需迭代。

把隱藏層神經(jīng)元的輸出h輸入輸出層，可計(jì)算出輸出層神經(jīng)元的輸出y為

y=h(xi)β

(6)

其中i=1，2，…n；β為隱藏層和輸出層之間的權(quán)值。

最終，通過(guò)取輸出層神經(jīng)元結(jié)果的最大值來(lái)判定定位結(jié)果，蛋白質(zhì)亞細(xì)胞定位結(jié)果Llabel為

Llabel=max(yj(x))

(7)

其中j=1，2，…m，本文對(duì)10類亞細(xì)胞進(jìn)行分類定位，故m的取值為10。

4 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)采用的計(jì)算機(jī)硬件配置為Intel c612/2*E5-2620V4、64G內(nèi)存。4塊1080Ti GPU，軟件環(huán)境為Ubuntu16.04，使用CUDA8.0+cuDNN9.0加速訓(xùn)練，深度學(xué)習(xí)框架為Tensorflow，編程語(yǔ)言為Python3.6。

實(shí)驗(yàn)數(shù)據(jù)集為UCSF yeast GFP蛋白熒光圖像數(shù)據(jù)集[13]，其標(biāo)注了酵母細(xì)胞中10類蛋白質(zhì)亞細(xì)胞位置，分別為內(nèi)體、內(nèi)質(zhì)網(wǎng)、高爾基體、線粒體、核外圍、核仁、細(xì)胞核、過(guò)氧物酶體、紡錘體和液泡，亞細(xì)胞圖像如圖3所示。實(shí)驗(yàn)中將ELM的隱藏層節(jié)點(diǎn)個(gè)數(shù)設(shè)為10000，亞細(xì)胞圖片大小調(diào)整為64×64，初始學(xué)習(xí)率為0.01，迭代步數(shù)設(shè)為1625，批處理大小為50。

圖3 數(shù)據(jù)集中10種亞細(xì)胞

本文從兩個(gè)方面進(jìn)行對(duì)比實(shí)驗(yàn)：(1)對(duì)AlexNet特征提取模塊、Deepyeast特征提取模塊和本文提出的SE-Deepyeast特征提取模塊進(jìn)行亞細(xì)胞特征提取性能對(duì)比；(2)將SE-Deepyeast 得到的特征向量分別輸入ELM、Softmax和 SVM進(jìn)行亞細(xì)胞定位性能對(duì)比。

4.1 特征提取模塊性能分析

在UCSF yeast GFP數(shù)據(jù)集上分別對(duì)AlexNet特征提取模塊、Deepyeast特征提取模塊和本文提出的SE-Deepyeast特征提取模塊進(jìn)行特征提取性能對(duì)比，用10種亞細(xì)胞的平均準(zhǔn)確率來(lái)判斷特征提取性能，實(shí)驗(yàn)結(jié)果如表1。

表1 不同特征提取模塊準(zhǔn)確率對(duì)比(%)

由表1可知，利用AlexNet特征提取模塊、Deepyeast特征提取模塊和SE-Deepyeast特征提取模塊得到的定位平均準(zhǔn)確率分別為79.72%、89.45%和93.36%，對(duì)比可得：本文提出的SE-Deepyeast特征提取模塊比AlexNet和Deepyeast分別提高了13.64%和3.91%。

對(duì)于相似度較高的核仁、紡錘體以及液泡三類亞細(xì)胞圖像，將本文的SE-Deepyeast特征提取模塊與Deepyeast特征提取模塊得到的特征圖進(jìn)行可視化比較。將Deepyeast特征提取模塊中3個(gè)卷積池化塊得到的特征圖和SE-Deepyeast特征提取模塊在卷積池化塊過(guò)程中提取到的特征圖進(jìn)行可視化，并在每一個(gè)卷積池化塊中隨機(jī)抽取5張亞細(xì)胞特征圖進(jìn)行展示，如圖4所示。

圖4 部分特征圖

根據(jù)圖4可以明顯看出，這兩種特征提取方法在靠前的卷積池化塊中主要提取到亞細(xì)胞圖像的邊緣、紋理和形狀等特征，利用Deepyeast模塊對(duì)這三種亞細(xì)胞圖像進(jìn)行特征提取時(shí)，從高相似度亞細(xì)胞圖像中提取到的底層特征圖仍有較大相似性，而本文采用的SE-Deepyeast特征提取模塊在提取底層特征時(shí)，也可以展現(xiàn)出一定的區(qū)分性。并且根據(jù)高層提取到的卷積特征圖可以發(fā)現(xiàn)，本文方法提取到的特征信息更抽象、細(xì)致，具有辨別度。

不同特征提取模塊準(zhǔn)確率對(duì)比圖如圖5。從圖5可以看出Deepyeast和SE-Deepyeast對(duì)十種亞細(xì)胞的平均定位準(zhǔn)確率整體趨勢(shì)大致一致，但對(duì)于相似度較高的蛋白質(zhì)亞細(xì)胞的定位準(zhǔn)確率相差較大，其中SE-Deepyeast對(duì)核仁、紡錘體以及液泡的定位準(zhǔn)確率分別為91.68%、86.98%和89.47%，相比AlexNet分別提升了15.16%、17.11%和18.04%，相比Deepyeast提升了7.61%、10.94和8.3%。

圖5 不同特征提取模塊準(zhǔn)確率對(duì)比圖(%)

因AlexNet網(wǎng)絡(luò)層數(shù)較少，無(wú)法獲取亞細(xì)胞圖像中更深層次的特征，導(dǎo)致定位準(zhǔn)確率較低。Deepyeast網(wǎng)絡(luò)較于AlexNet網(wǎng)絡(luò)所得到的亞細(xì)胞定位準(zhǔn)確率有較大提高，但是Deepyeast模塊對(duì)核仁、紡錘體以及液泡的定位準(zhǔn)確率較低，導(dǎo)致Deepyeast模塊的定位準(zhǔn)確率低于本文算法。而本文采用的SE-Deepyeast模塊相比Deepyeast模塊通過(guò)壓縮激勵(lì)模塊，可以更好的對(duì)亞細(xì)胞圖像進(jìn)行特征描述，提取出有效并且具有區(qū)分性的亞細(xì)胞圖像特征，進(jìn)而分辨相似度較高的蛋白質(zhì)圖像。

4.2 亞細(xì)胞定位模塊性能分析

將SE-Deepyeast網(wǎng)絡(luò)得到的特征向量分別輸入ELM、Softmax和 SVM進(jìn)行定位性能對(duì)比，以分析不同分類器在亞細(xì)胞定位方面的準(zhǔn)確率、訓(xùn)練時(shí)間及定位時(shí)間，實(shí)驗(yàn)結(jié)果如表2。

表2 不同分類器實(shí)現(xiàn)定位性能對(duì)比

由表2可知，Softmax和SVM算法的準(zhǔn)確率相差0.22%，SVM較Softmax訓(xùn)練時(shí)間節(jié)省了13.1分鐘，定位時(shí)間節(jié)省了4.7ms，ELM算法的準(zhǔn)確率最高，訓(xùn)練時(shí)間最短，定位時(shí)間只用了6.42ms，相比于Softmax和SVM分別節(jié)省了4.08ms、8.78ms。ELM通過(guò)隨機(jī)生成連接權(quán)值和偏置，避免了復(fù)雜的迭代過(guò)程，訓(xùn)練過(guò)程中需要調(diào)整的參數(shù)少，計(jì)算成本低，實(shí)驗(yàn)結(jié)果表明ELM在保證了準(zhǔn)確率的情況下，訓(xùn)練時(shí)間及定位時(shí)間也最短，能達(dá)到實(shí)時(shí)準(zhǔn)確定位的應(yīng)用要求。

5 總結(jié)

壓縮激勵(lì)卷積神經(jīng)網(wǎng)絡(luò)的蛋白質(zhì)亞細(xì)胞定位算法通過(guò)構(gòu)建壓縮激勵(lì)卷積網(wǎng)絡(luò)模型，采用SE-Deepyeast模塊，引入通道注意力機(jī)制，有效解決了類間差異小的亞細(xì)胞特征表達(dá)能力差的問(wèn)題；利用ELM進(jìn)行定位，使得亞細(xì)胞定位速度快。實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)蛋白質(zhì)亞細(xì)胞定位更為準(zhǔn)確，尤其是核仁、紡錘體以及液泡這三種相似度較高的亞細(xì)胞定位分類的準(zhǔn)確率有較大的提高，分別是7.61%、10.94%、8.3%，且定位時(shí)間為6.42ms，可實(shí)現(xiàn)實(shí)時(shí)定位亞細(xì)胞。