梅 杰 何如吉 呂 強

(蘇州大學計算機科學與技術學院 江蘇 蘇州 215006)(江蘇省計算機信息處理技術重點實驗室 江蘇 蘇州 215006)

0 引 言

RNA和RNA結合蛋白(RNA Binding Proteins,RBP)的交互作用是理解轉錄后調控機制的關鍵，對蛋白質合成、基因融合和可變mRNA加工具有廣泛的影響[1-3]。RNA-蛋白質結合位點預測是指僅以RNA作為模型輸入，并為每一個RBP訓練一個模型用于預測RBP是否結合于輸入的RNA。得益于高通量測序技術的高速發(fā)展如CLIP-Seq[4]，數(shù)以百計的RBP對應的大量RNA-蛋白質結合位點得以發(fā)現(xiàn)[5-8]。因此，通過機器學習方法預測RNA上的RNA-蛋白質結合位點成為了當前的研究熱點。其中深度學習相比傳統(tǒng)機器學習方法由于無需特征工程即可獲得良好的性能，近年來被廣泛應用到此問題上。

DeepBind第一個將卷積神經網絡(Convolutional Neural Network,CNN)用于提取RNA序列特征，在當時取得了突破性的進展[9]。隨后，沈紅斌課題組的系列模型(iDeep[10]、iDeepM[11]、iDeepA[12]、iDeepV[13]、iDeepE[14]、iDeepS[15]和CRIP[16])及Deepnet-rbp[17]、mmCNN[18]、CircSLNN[19]等模型運用深度學習方法對RNA-蛋白質結合位點預測問題進行了廣泛而深入的研究,包括長短時記憶網絡[20](Long Short-Term Memory,LSTM)、殘差神經網絡[21](Residual Network,ResNet)及注意力機制[22](Attention Mechanism)等方法都陸續(xù)被使用。盡管如此，這些方法都沒有考慮將RBP本身作為模型的輸入之一從而進一步擴大數(shù)據集并挖掘不同RNA-蛋白質結合位點問題的聯(lián)系。

從更高的視角來看，不同于RNA-蛋白質結合位點問題，RNA-蛋白質交互作用對問題同時需要RNA和RBP以一定形式作為輸入。由于同時獲取RNA和RBP數(shù)據的成本高昂，有限的數(shù)據量使得端到端的深度學習方法仍不能有效應用于這一問題[23]。而盡管高通量測序技術可以獲得單個RBP在特定細胞系和組織下的大量RNA-蛋白質結合位點，但將不同體內環(huán)境下的RNA-蛋白質結合位點進一步整合并構建更大的數(shù)據集可以進一步發(fā)揮深度學習模型的優(yōu)勢。另一方面，模型通過對其他RNA-蛋白質結合位點數(shù)據的學習可能挖掘出與自身有關的知識。如在命名實體識別任務中，BioNER通過整合不同類型實體的數(shù)據集取得了性能的提升[24]。因此，本文提出一個整合不同CLIP數(shù)據的模型，并將RBP實驗編號以獨熱編碼的形式作為模型的輸入之一用來區(qū)別RNA序列將被哪個RBP結合。

在評估該模型效果時，將該模型在兩個RNA-蛋白質結合位點預測的權威數(shù)據集上與其他模型進行對比，結果表明該模型在這兩個數(shù)據集上相比其他模型均具有一定優(yōu)勢。

1 算法介紹

本文提出的模型將不同RBP對應的實驗數(shù)據合并作為本模型的數(shù)據集，將RNA序列和RBP的實驗編號作為輸入并最終輸出對兩者結合概率的預測，模型結構如圖1所示。

圖1 模型結構

RNA序列以獨熱編碼的形式表示，對于序列不等長的數(shù)據集，取訓練集中序列的最大長度n作為序列的輸入長度，并對長度不足的序列兩端以N補齊，其中N=[0.25,0.25,0.25,0.25]。RBP實驗編號的輸入向量寬度與訓練集中的實驗總數(shù)m一致，如RBP實驗編號為0的獨熱編碼表示為第0位為1而其他m-1位均為0的向量。

將RNA序列的獨熱編碼作為卷積層的輸入。第k個卷積核對齊到RNA序列位置i的輸出如式(1)所示。

(1)

式中：S是RNA序列的獨熱編碼表示，它是一個n×4的矩陣；Mk表示第k個卷積核的權重矩陣；b取值為1到4，表示A、U、C和G四種堿基，l表示卷積核長度；1≤i≤n-l+1且1≤k≤f，其中f指卷積核的數(shù)量。按以上步驟依次計算f個卷積核對RNA序列的輸出，則能得到一個大小為n×f的矩陣，即為CNN的輸出。一個卷積核就相當于一個特征選擇器，這里卷積運算用于學習RNA序列的局部特征，類比于圖像處理任務中的卷積運算得到圖像特征。

CNN層卷積處理后，應用修正線性單元(Rectified Linear Unit,ReLU)激活函數(shù)和批量歸一化層處理[25](Batch Normalization，BN)。ReLU可以對CNN的輸出進行非線性形變，批量歸一化層則可以加速模型收斂，并在一定程度上避免過擬合。

然后使用雙向門控神經單元[26](Bidirectional Gated Recurrent Unit,Bi-GRU)進一步提取RNA序列的全局特征?？紤]到RBP對RNA序列的結合在生物學上并沒有一定的方向，所以這里使用雙向的設計。

一個GRU對于t時的輸入xt按式(2)-式(5)進行運算。而Bi-GRU包含正反兩個方向的GRU，它們在t時的輸出按式(6)合并。

zt=σ(Wz×[ht-1,xt])

(2)

rt=σ(Wr×[ht-1,xt])

(3)

(4)

(5)

(6)

Bi-GRU的輸出經過全局最大池化層，得到了代表序列信息的特征向量。將特征向量與RBP實驗的獨熱編碼拼接起來，作為一個兩層均帶Dropout[27]的全連接層的輸入，它的輸出經過一個Sigmoid單元得到一個0到1之間的預測值，表示RNA序列在RBP實驗中的結合概率。

2 實驗與結果分析

為了評估本文模型的性能，本文選擇在RNA-蛋白質結合位點問題的兩個權威數(shù)據集(RBP-24和RBP-31)上與其他模型進行對比。

2.1 實驗數(shù)據與評價指標

RBP-24可在GraphProt[28]處下載，它由24個CLIP實驗組成并包含了21個不同的RBP。24個實驗中每個實驗的數(shù)據量不同，將24個實驗的訓練集合并并打亂后作為模型的訓練集，總計包含約120萬個樣本，訓練集序列的長度范圍在38個堿基對到375個堿基對之間。由于CLIP數(shù)據僅包含正樣本(即結合序列)，GraphProt通過打亂結合序列順序的方式提供了數(shù)量相當?shù)呢撔蛄小?/p>

RBP-31可在iONMF[29]處下載，它由31個CLIP實驗組成并包含了19個RBP。iONMF為每個CLIP實驗提供了劃分好的三組交叉驗證數(shù)據，每組數(shù)據的訓練集為30 000條，測試集為10 000條。iONMF選擇使用基因組上未被任何RBP結合的序列作為負序列，訓練集和測試集的正負樣本比例均為1 ∶4，序列長度為固定的101個堿基對。

兩組數(shù)據均以AUC(Area Under the ROC Curve)作為評價指標，見式(7)。

(7)

式中：M是正樣本的數(shù)量；N是負樣本的數(shù)量；positiveClass是正樣本的集合；通過對正樣本預測值進行排序，正樣本的最小預測值對應為rank1，以此類推ranki。

2.2 實驗環(huán)境與模型參數(shù)

實驗機器硬件配置為：CPU為兩塊Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10 GHz，GPU為三塊GeForce GTX 1080 Ti(每次訓練只使用一塊)，內存大小為128 GB。模型是由Keras 2.2.2以TensorFlow 1.9.0為后端(backend)編程實現(xiàn)的。

本模型在RBP-24和RBP-31數(shù)據集上的主要參數(shù)設置分別如表1所示。權重和偏置均為Keras 2.2.2的默認設置。本模型的損失函數(shù)為交叉熵損失函數(shù)(CrossEntropy Loss)，優(yōu)化器選擇了Adam[30]，學習率初始值是0.001。同時，本文還使用了早停技術及時中斷訓練，同時設置了檢查點來保存驗證損失最小的模型。

表1 模型主要超參數(shù)

2.3 RBP-24數(shù)據集上的實驗結果

本模型在RBP-24測試集上計算的AUC分布與其他模型對比的結果如圖2所示，對比模型的結果均來源于公開發(fā)表的論文。其中僅以序列作為輸入而不使用其他外源數(shù)據(如RNA的二/三級結構、region type和clip-cobinding等)的模型均以*標記，是對比的主要對象。特別要說明的是，Deepnet-rbp在原文中同時提供了僅以RNA序列作為輸入的結果，以及以RNA序列和RNA三級結構作為輸入的結果，本文使用的是前者。圖2中豎線表示模型在RBP-24測試集上24個RNA-蛋白質結合位點預測的AUC的平均值；圓圈為異常值，表示模型在某個測試集上的表現(xiàn)顯著低于其他測試集。

可以看出，本模型的預測結果整體分布較好，下界和均值分別是84.7%和93.9%，分別比iDeepE高出了8.9百分點和0.8百分點。

2.4 RBP-31數(shù)據集上的實驗結果

本模型在RBP-31測試集上計算的AUC分布和其他模型對比的結果如圖3所示?？梢钥吹?，使用傳統(tǒng)機器學習方法的GraphProt和iONMF盡管使用了RNA序列之外的數(shù)據源，相比深度學習方法仍然沒有優(yōu)勢。而在所有僅以RNA序列作為輸入的模型中，本模型的平均AUC為87.3%排名第一，比DeeperBind[31]高出1.6百分點，甚至比額外使用了RNA結構信息的iDeepS還要高1.2百分點，與iDeepS的成對t-檢驗的單尾p-value遠小于1百分點，具有顯著差異性。而iDeep使用了RNA序列信息、結構信息、region type motif及clip-cobinding作為模型輸入，相比本文模型仍然有較大優(yōu)勢。

圖3 不同模型在RBP-31測試集上的AUC分布

2.5 結果分析

從RBP-24和RBP-31的對比結果來看，本文模型相比現(xiàn)有的僅以RNA序列作為輸入的模型具有一定優(yōu)勢。本文在處理RNA序列信息時使用了獨熱編碼+CNN+Bi-GRU的結構，這與DeeperBind的獨熱編碼+CNN+LSTM及iDeepS的獨熱編碼+CNN+Bi-LSTM均較為相似。但是，本文模型在RBP-31上卻取得了更好的結果，這說明了由于不同的RNA-蛋白質結合位點問題中存在著公共知識，具有生物學上的相關性，通過對其他RNA-蛋白質結合位點任務的學習確實帶來了目標任務的性能提升。同時，本文模型在參數(shù)規(guī)模上也有一定優(yōu)勢。以iDeepS為例，它的卷積核數(shù)為16個，那么在RBP-31上的總卷積核數(shù)為496個，而本文模型僅使用了80個卷積核，這表明本文模型更有效地利用了模型參數(shù)。另外，從表1可以發(fā)現(xiàn)，盡管RBP-24和RBP-31在RNA序列長度上存在巨大差別，數(shù)據規(guī)模和RBP實驗數(shù)量也有不同，但是本文提出的模型卻可以以一套相同的超參數(shù)在兩個數(shù)據集上均取得出色的成績，這說明本文模型具有較強的泛化性能，不易過擬合，這也與訓練集的規(guī)模擴大有關。

3 結 語

本文提出的模型通過CNN-GRU結構提取RNA的序列特征，并通過將RBP的實驗編號以獨熱編碼的形式作為模型的另一輸入，擴展了模型訓練集的規(guī)模，深挖不同RNA-蛋白質結合位點問題的公共知識，進一步發(fā)揮了深度學習模型的優(yōu)勢。在RNA-蛋白質結合位點預測任務中，本文模型在RBP-24和RBP-31這兩個數(shù)據集上均取得了比其他模型更好的結果。但是，如此大規(guī)模的訓練集對于RNA-蛋白質結合位點預測問題是一個相對陌生的領域，盡管使用CNN-GRU這一結構已經取得了一定進步，但是如何使用更復雜的技術、更深的網絡模型去充分挖掘數(shù)據中的信息仍然有進一步研究的空間。