趙亞武 劉毅慧

(齊魯工業(yè)大學(xué)(山東省科學(xué)院)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 山東 濟(jì)南 250353)

0 引 言

蛋白質(zhì)是生命活動的物質(zhì)基礎(chǔ)，是構(gòu)成細(xì)胞的基本有機(jī)物，是生命活動的主要承擔(dān)者。蛋白質(zhì)的結(jié)構(gòu)決定了它的功能，因此對蛋白質(zhì)結(jié)構(gòu)的預(yù)測，具有非常大的研究價(jià)值。在生物信息學(xué)領(lǐng)域，很難從初級結(jié)構(gòu)預(yù)測出蛋白質(zhì)的空間結(jié)構(gòu)，因此蛋白質(zhì)二級結(jié)構(gòu)[1]預(yù)測研究受到很多人的重視。

目前，有很多根據(jù)蛋白質(zhì)的初級結(jié)構(gòu)預(yù)測其二級結(jié)構(gòu)的基本方法。近年來，大數(shù)據(jù)、深度學(xué)習(xí)等技術(shù)應(yīng)用十分廣泛，結(jié)合深度學(xué)習(xí)模型預(yù)測蛋白質(zhì)的二級結(jié)構(gòu)成為研究的一種趨勢。張蕾等[2]融合了基于遞歸神經(jīng)網(wǎng)絡(luò)和前饋神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型來預(yù)測8類蛋白質(zhì)二級結(jié)構(gòu)。Wang等[3]利用支持向量機(jī)(SVM)的策略在CB513數(shù)據(jù)集上得到了76.11%的Q3準(zhǔn)確率，但是該模型只適用于小數(shù)據(jù)集，在大數(shù)據(jù)集上精度難以提高。Liu等[4]在ASTRAL數(shù)據(jù)集上利用小波提取PSSM矩陣特征并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)，在三折交叉驗(yàn)證后，得到76.9%的Q3準(zhǔn)確率。Patel等[5]提出了神經(jīng)網(wǎng)絡(luò)預(yù)測蛋白質(zhì)二級結(jié)構(gòu)方法，在RS126和CB396數(shù)據(jù)集測試中，Q3的精度分別達(dá)到了90%和82%。Spencer等[6]組合特定位置打分矩陣信息和深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu),得到的預(yù)測準(zhǔn)確率為80.7%。Ma等[7]提出了GTPC方法，測試在CASP9和CASP10數(shù)據(jù)集上正確率為83.92%和83.07%。Ma等[8]還提出一種基于數(shù)據(jù)分割和半隨機(jī)子空間方法，在25PDB和CB513數(shù)據(jù)集上測試3態(tài)準(zhǔn)確率為86.38%和84.53%。文獻(xiàn)[9]融合卷積神經(jīng)網(wǎng)絡(luò)和長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)模型，應(yīng)用到蛋白質(zhì)8類二級結(jié)構(gòu)預(yù)測中。

上述模型大都是對深度網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)，靠增加特征來提高預(yù)測精度，但對網(wǎng)絡(luò)模型參數(shù)的選擇基本是手工調(diào)節(jié)，這些模型的參數(shù)并沒有達(dá)到最優(yōu)化。為了解決這一問題，本文融合貝葉斯優(yōu)化和卷積神經(jīng)網(wǎng)絡(luò)模型用于蛋白質(zhì)二級結(jié)構(gòu)的預(yù)測。首先對數(shù)據(jù)集進(jìn)行處理，將數(shù)據(jù)分成訓(xùn)練集、驗(yàn)證集和測試集三個(gè)部分，并構(gòu)建初始的卷積神經(jīng)網(wǎng)絡(luò)模型；然后將卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)、學(xué)習(xí)率、梯度沖量和正則化系數(shù)四種超參數(shù)配合訓(xùn)練集和驗(yàn)證集構(gòu)建貝葉斯優(yōu)化算法，通過訓(xùn)練網(wǎng)絡(luò)，不斷優(yōu)化得到最優(yōu)的網(wǎng)絡(luò)參數(shù)；最后通過測試集數(shù)據(jù)得到準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，本文所提出的模型能夠取得較好的效果。

1 蛋白質(zhì)二級結(jié)構(gòu)預(yù)測模型

蛋白質(zhì)3類二級結(jié)構(gòu)預(yù)測問題是在給定蛋白質(zhì)序列的基礎(chǔ)上來預(yù)測每一個(gè)氨基酸殘基所對應(yīng)的二級結(jié)構(gòu)類型，氨基酸殘基之間的相互作用決定了蛋白質(zhì)序列二級結(jié)構(gòu)。因此本文采用貝葉斯優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的模型提取氨基酸之間的局部作用和位置信息進(jìn)行蛋白質(zhì)二級結(jié)構(gòu)預(yù)測。

1.1 模型結(jié)構(gòu)

為了確定最佳的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，本文選擇使用貝葉斯優(yōu)化的方法優(yōu)化相關(guān)參數(shù)。首先對數(shù)據(jù)進(jìn)行處理，選取PSSM矩陣的前20列,采用滑動窗口的方式對PSSM矩陣處理，在滑動窗口為13時(shí)，在蛋白質(zhì)序列前后補(bǔ)上6個(gè)0，依次對蛋白質(zhì)序列從前往后選取數(shù)據(jù)，得到大小為20×13的二維PSSM矩陣，其次，將PSSM矩陣作為卷積神經(jīng)網(wǎng)絡(luò)的輸入。本文模型結(jié)構(gòu)如圖1所示。

圖1 模型結(jié)構(gòu)圖

1.2 蛋白質(zhì)數(shù)據(jù)集

ASTRAL數(shù)據(jù)集[10]是2013年發(fā)布的版本scope2.03，共包含59 514條蛋白質(zhì)，包含蛋白質(zhì)數(shù)據(jù)庫中65%以上的蛋白質(zhì)結(jié)構(gòu)。本文所用到的ASTRAL數(shù)據(jù)集有6 892條蛋白質(zhì)，序列同一性低于25%，CullPDB[11]數(shù)據(jù)集含有12 288條蛋白質(zhì)。將ASTRAL和CullPDB作為訓(xùn)練集，去除ASTRAL和CullPDB數(shù)據(jù)集中的重復(fù)蛋白質(zhì)后，一共有15 696條蛋白質(zhì)。

本文從CASP數(shù)據(jù)集[12-14]中收集了幾個(gè)用于測試網(wǎng)絡(luò)的數(shù)據(jù)集，CASP9中包含68條蛋白質(zhì),CASP10中包含有51條蛋白質(zhì),CASP11中包含36條蛋白質(zhì),CASP12中含有9條蛋白質(zhì)，CASP數(shù)據(jù)集中的蛋白質(zhì)在訓(xùn)練集中去除。CB513數(shù)據(jù)集[14]和25PDB數(shù)據(jù)集[15]也用于評估本文模型，CB513數(shù)據(jù)集包含513條蛋白質(zhì)序列，任何兩種蛋白質(zhì)彼此的序列同源性均小于25%。25PDB數(shù)據(jù)集的低序列相似性不超過25%，有1 672條蛋白質(zhì)。除去與訓(xùn)練集相同的蛋白質(zhì)序列，CB513和25PDB剩余411條和999條蛋白質(zhì)用于測試。本文用CASP11數(shù)據(jù)集作為驗(yàn)證集。

基于PSI-BLAST的位置特異性評分矩陣(PSSM)含有豐富的生物進(jìn)化信息[16]，可以對蛋白質(zhì)庫中的蛋白質(zhì)序列進(jìn)行比對并打分，得到相對完整的蛋白質(zhì)殘基序列信息，能夠改善蛋白質(zhì)二級結(jié)構(gòu)的預(yù)測精度。本文采用的PSSM進(jìn)化矩陣是在nr數(shù)據(jù)庫上進(jìn)行多序列比對且PSI-BLAST參數(shù)設(shè)置為閾值是0.001和3次迭代得到的PSSM矩陣是20×N矩陣，其中N是氨基酸序列的長度，20是氨基酸類型的數(shù)目，因此PSSM矩陣對蛋白質(zhì)序列中的每一個(gè)殘基都有20個(gè)特征。文獻(xiàn)[2]和文獻(xiàn)[6]都將PSSM矩陣作為特征矩陣輸入來預(yù)測蛋白質(zhì)二級結(jié)構(gòu)。在廣泛使用的蛋白質(zhì)結(jié)構(gòu)定義DSSP中包含有8種二級結(jié)構(gòu)[17]，分別為H(α螺旋)、B(β轉(zhuǎn)角)、E(折疊)、G(3-螺旋)、I(5-螺旋)、T(轉(zhuǎn)角)、S(卷曲)和L(環(huán))。

本文實(shí)驗(yàn)將G、H、I替換為H，B、E替換為E，其他都采用C的劃分方式。

1.3 卷積神經(jīng)網(wǎng)絡(luò)模型

近年來，卷積神經(jīng)網(wǎng)絡(luò)作為流行的深度學(xué)習(xí)算法，它的結(jié)構(gòu)主要包含輸入層、隱含層和輸出層。隱含層又包含了多個(gè)卷積層和池化層，通過卷積層和池化層特征提取，通過輸出層進(jìn)行分類。伴隨著深度學(xué)習(xí)理論的提出和計(jì)算速度的提高，卷積神經(jīng)網(wǎng)絡(luò)得到了快速發(fā)展，被廣泛應(yīng)用于計(jì)算機(jī)視覺[18]、圖像分割[19]和自然語言處理[20]等方面，卷積神經(jīng)網(wǎng)絡(luò)基本框架如圖2所示。

圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖2中卷積層、ReLU層以及池化層能夠充分學(xué)習(xí)數(shù)據(jù)特征，防止過擬合，提高模型的泛化能力。

1.3.1卷積層

卷積層是通過卷積核對輸入的數(shù)據(jù)利用局部連接和權(quán)值共享進(jìn)行局部特征提取。卷積層每個(gè)神經(jīng)元的輸入來自上一層特征圖的特定區(qū)域的神經(jīng)元，這個(gè)特定區(qū)域的大小由卷積核來決定。卷積的過程就是卷積核按照一定的步長在輸入矩陣的感受野上做卷積運(yùn)算，并產(chǎn)生和卷積核個(gè)數(shù)相等的特征圖。每一個(gè)區(qū)域都要通過輸入矩陣和權(quán)重相乘，然后再加上偏置參數(shù)b，可以得到特征圖。令：

(1)

(2)

式中：bk為偏置參數(shù);f為激活函數(shù)，激活函數(shù)選取ReLU函數(shù)。

激活函數(shù)的作用是對卷積層輸出做非線性操作，使得網(wǎng)絡(luò)模型的表達(dá)能力，選用ReLU函數(shù)作為激活函數(shù)。

1.3.2池化層

池化方法作為卷積神經(jīng)網(wǎng)絡(luò)的超參數(shù)，主要包括最大池化和平均池化兩種。最大池化層并不執(zhí)行任何的學(xué)習(xí)，它通常也被稱為一種非線性的下采樣形式。最大池化處理的結(jié)果是使特征維度下降、參數(shù)減少來減少計(jì)算量，提高計(jì)算速度，并且還能有效地減少過擬合，同時(shí)還有平移不變的特性，增加了魯棒性。通過設(shè)置池化層來劃分特征圖的區(qū)域，在每個(gè)區(qū)域進(jìn)行最大池化運(yùn)算來輸出區(qū)域的最大值。平均池化和最大池化的區(qū)別在于平均池化是對區(qū)域內(nèi)的點(diǎn)求平均。

1.3.3全連接層和Softmax層

全連接層每個(gè)神經(jīng)元都要和前面一層的神經(jīng)元連接起來，并且全連接層的神經(jīng)元之間互不連接，從而可以把卷積層和池化層提取到的局部特征綜合起來，得到全局特征。

Softmax層就是輸出層，輸出層是由三個(gè)神經(jīng)元組成，該層的輸出滿足：

(3)

式中：j為類別，對應(yīng)蛋白質(zhì)的H、E、G，使用Softmax函數(shù)輸出3類蛋白質(zhì)二級結(jié)構(gòu)的概率Pj(j=1,2,3)。

1.4 貝葉斯優(yōu)化

近年來，伴隨著計(jì)算機(jī)科學(xué)技術(shù)的發(fā)展，催生了各個(gè)行業(yè)和領(lǐng)域的興起，這些行業(yè)產(chǎn)生的較大的數(shù)據(jù)量也需要用到較為復(fù)雜的決策算法。針對以上復(fù)雜的問題，貝葉斯優(yōu)化(Bayesian optimization, BO)是一種有效的解決方法[21]。伴隨著蛋白質(zhì)序列的不斷增多，將卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用到蛋白質(zhì)二級結(jié)構(gòu)預(yù)測中，調(diào)節(jié)卷積神經(jīng)網(wǎng)絡(luò)的超參數(shù)需要花費(fèi)很長時(shí)間，因此本文使用了貝葉斯優(yōu)化算法優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的超參數(shù)。貝葉斯優(yōu)化算法只需要經(jīng)過幾次目標(biāo)函數(shù)評估就可以獲得較好的結(jié)果，并且貝葉斯優(yōu)化算法已經(jīng)廣泛應(yīng)用于游戲[22]、推薦系統(tǒng)[23]和導(dǎo)航[24]等領(lǐng)域。

本文所提出的模型指定了卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)和要優(yōu)化的變量。要優(yōu)化的變量包括學(xué)習(xí)率、梯度沖量、正則化系數(shù)和網(wǎng)絡(luò)層數(shù)，把這些變量作為訓(xùn)練算法的選項(xiàng)。使用訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù)作為輸入為貝葉斯優(yōu)化器創(chuàng)建目標(biāo)函數(shù)，該函數(shù)把將要優(yōu)化的變量作為輸入來訓(xùn)練、驗(yàn)證網(wǎng)絡(luò)，并保存網(wǎng)絡(luò)用于測試集上。

對于卷積神經(jīng)網(wǎng)絡(luò)超參數(shù)的優(yōu)化可以看作對未知的黑盒函數(shù)的優(yōu)化，貝葉斯優(yōu)化是在有界的集合D上找到損失函數(shù)f(x)最小值，它可以為函數(shù)f(x)構(gòu)造概率模型并利用該模型判斷集合D怎么去評估函數(shù)。首先假設(shè)高斯核函數(shù)為被優(yōu)化的黑盒函數(shù)，再選擇一個(gè)采集函數(shù)來確定下一個(gè)采樣點(diǎn)。超參數(shù)的貝葉斯優(yōu)化是超參數(shù)對損失函數(shù)f(x)進(jìn)行高斯先驗(yàn)建模：

(4)

由于在驗(yàn)證集上觀測是帶有噪聲的，所以給每一個(gè)觀測值加上一個(gè)高斯噪聲，即：

f(x)=L(mx,Vh)+θ

(5)

1.4.1優(yōu)化超參數(shù)

在使用高斯過程回歸時(shí)，不需要聲明具體的函數(shù)形式。任意有限個(gè)超參數(shù)引起了多變量的高斯分布，由協(xié)方差函數(shù)K和均值函數(shù)μX所決定。即：

L～GP(μX,K)

(6)

式中：K*=[k(x*,x1),k(x*,x2),…,k(x*,xn)]T，x*代表超參數(shù)。

假設(shè)輸入超參數(shù)Xi=(x1,x2,…,xn)在驗(yàn)證集上得到輸出Y=L(xi,Vh)(i=1,2，…，n)，在每一次實(shí)驗(yàn)中，高斯函數(shù)根據(jù)超參數(shù)X和驗(yàn)證集輸出Y來評估f(x)，然后再通過采集函數(shù)選擇下一組超參數(shù)。超參數(shù)Xi的預(yù)測分布表示為：

(7)

式中：f(xi)表示超參數(shù)的預(yù)測分布；K表示協(xié)方差函數(shù)。

1.4.2采集函數(shù)

在貝葉斯優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)參數(shù)的過程之中，在每一次迭代過程中，用來采樣下一組超參數(shù)，采集函數(shù)觀察f(x)，再對下一次采樣的超參數(shù)進(jìn)行比較，在最大程度上找到最優(yōu)解。Expected Improvement(EI)[26]定義如下：

a(x|D)=E[max(0,fx-fbest)]

(8)

式中：fbest是基于驗(yàn)證集最優(yōu)解。EI使用標(biāo)準(zhǔn)的black-box優(yōu)化算法進(jìn)行優(yōu)化。

在最優(yōu)提取函數(shù)條件下，貝葉斯優(yōu)化算法在理論上一定可以收斂[21]，目標(biāo)函數(shù)在迭代過程中會選擇最優(yōu)的樣本點(diǎn)進(jìn)行評估，在保證迭代次數(shù)的前提下，算法一定可以收斂到最優(yōu)。貝葉斯優(yōu)化注重于減少評估的代價(jià)，可以大大減少優(yōu)化的時(shí)間，在經(jīng)過幾次目標(biāo)函數(shù)的評估就可以得到卷積神經(jīng)網(wǎng)絡(luò)的最優(yōu)參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)。

2 實(shí)驗(yàn)與結(jié)果分析

本文實(shí)驗(yàn)環(huán)境如下：采用MATLAB R2018b軟件運(yùn)行模型程序，集群硬件由4臺NF5280M5、1臺NF5288M5、兩臺千兆交換機(jī)組成，NF5280M5配置tesla V100 GPU(16 GB顯存)計(jì)算卡，NF5288M5配置tesla V100 GPU(32 GB顯存)計(jì)算卡，集群所有節(jié)點(diǎn)安裝Centos7.4 X64標(biāo)準(zhǔn)系統(tǒng)。

通過貝葉斯優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的超參數(shù)，可以發(fā)現(xiàn)網(wǎng)絡(luò)層數(shù)、學(xué)習(xí)率、梯度沖量和正則化系數(shù)對測試集的準(zhǔn)確率有一定影響，調(diào)節(jié)超參數(shù)過程如表1和表2所示(網(wǎng)絡(luò)層數(shù)包括：輸入層、卷積層、ReLU層、池化層、全連接層和Softmax層)。

表1 13窗口超參數(shù)

表2 19窗口超參數(shù)

通過調(diào)節(jié)超參數(shù)可以得到不同的預(yù)測正確率，和最好準(zhǔn)確率下的網(wǎng)絡(luò)模型結(jié)構(gòu)，如表3和表4所示。

表3 13窗口準(zhǔn)確率

表4 19窗口準(zhǔn)確率

池化方法也是卷積神經(jīng)網(wǎng)絡(luò)的超參數(shù)，表3和表4所示的準(zhǔn)確率所采用的池化方法為最大池化，為了得到最佳網(wǎng)絡(luò)超參數(shù)，將平均池化方法和最大池化方法進(jìn)行對比。平均池化方法的準(zhǔn)確率如表5和表6所示。

表6 19窗口下平均池化準(zhǔn)確率

通過表3、表4和表5、表6對比可以得到最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)模型，滑動窗口為13時(shí)，網(wǎng)絡(luò)模型結(jié)構(gòu)為：4個(gè)卷積層，前兩個(gè)卷積層卷積核大小11，個(gè)數(shù)91，后兩個(gè)卷積層卷積核大小2，個(gè)數(shù)182，每一個(gè)卷積層后都加上ReLU層并且每隔兩個(gè)卷積層后有一個(gè)池化大小為2,步長為2的最大池化層。滑動窗口為19時(shí)，網(wǎng)絡(luò)模型結(jié)構(gòu)為8個(gè)卷積層，前四個(gè)卷積層卷積核大小19，個(gè)數(shù)64，后四個(gè)卷積層卷積核大小8，個(gè)數(shù)128，每一個(gè)卷積層后都加上ReLU層并且每隔四個(gè)卷積層后有一個(gè)池化大小為2步長為2的最大池化層。在滑動窗口為19時(shí)，網(wǎng)絡(luò)模型結(jié)構(gòu)如表7所示。

表7 19窗口下的網(wǎng)絡(luò)模型

續(xù)表7

為了評估本文模型的準(zhǔn)確率，采用六種公開的測試集(CASP9、CASP10、CASP11、CASP12、CB513和25PDB)進(jìn)行測試。本文模型與SPINE-X[26]、SSpro[27]、PSIPRED[28]、RaptorX-SS8[29]和DeepCNF[30]模型一樣(其中SPINE-X、SSpro、PSIPRED、RaptorX-SS8和DeepCNF方法在測試集上的結(jié)果均摘自文獻(xiàn)[30])，采用3類蛋白質(zhì)二級結(jié)構(gòu)預(yù)測準(zhǔn)確率作為評價(jià)本文模型的指標(biāo)，在數(shù)據(jù)集CASP10、CASP11、CB513上進(jìn)行對比，結(jié)果如表8所示。SPINE-X使用多步神經(jīng)網(wǎng)絡(luò)，SSpro采用雙向樸素遞歸神經(jīng)網(wǎng)絡(luò)，PSIPRED使用兩層前饋神經(jīng)網(wǎng)絡(luò)，RaptorX-SS8使用條件神經(jīng)場，DeepCNF是深度神經(jīng)網(wǎng)絡(luò)和條件神經(jīng)場相結(jié)合。

表8 3個(gè)數(shù)據(jù)集上各模型預(yù)測準(zhǔn)確率對比

由表8可以看出，相比SPINE-X、SSpro、PSIPRE和RaptorX-SS8模型，本文模型在3組蛋白質(zhì)數(shù)據(jù)集上的3類蛋白質(zhì)二級結(jié)構(gòu)預(yù)測準(zhǔn)確率有了提高，可以證明通過貝葉斯自動優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)能夠很好地提取蛋白質(zhì)序列的特征，提高了蛋白質(zhì)二級結(jié)構(gòu)預(yù)測性能。本文模型在CB513數(shù)據(jù)集上準(zhǔn)確率均要高于其他方法，但是在CASP10、CASP11數(shù)據(jù)集上要低于DeepCNF模型，主要原因可能是DeepCNF結(jié)合條件隨機(jī)場，考慮氨基酸殘基與標(biāo)簽的關(guān)系來得到全局的最優(yōu)解。

3 結(jié) 語

蛋白質(zhì)二級結(jié)構(gòu)預(yù)測是生物信息學(xué)中的一項(xiàng)重要工作，對研究蛋白質(zhì)的結(jié)構(gòu)和功能有著極其深遠(yuǎn)的意義。本文融合了卷積神經(jīng)網(wǎng)絡(luò)和貝葉斯優(yōu)化模型，自動優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)、學(xué)習(xí)率、梯度沖量和正則化系數(shù)，并應(yīng)用到蛋白質(zhì)3類二級結(jié)構(gòu)預(yù)測中。通過優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)提取氨基酸殘基之間的局部特征進(jìn)行蛋白質(zhì)二級結(jié)構(gòu)預(yù)測。實(shí)驗(yàn)結(jié)果表明，本文模型能夠提高蛋白質(zhì)3類二級結(jié)構(gòu)預(yù)測準(zhǔn)確率。在未來的工作中，將會結(jié)合氨基酸局部和遠(yuǎn)程特征來進(jìn)行蛋白質(zhì)二級結(jié)構(gòu)預(yù)測。