李青青,楊志豪,羅 凌,林鴻飛,王 健

(大連理工大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，遼寧 大連 116024)

0 引言

近年來，隨著生物醫(yī)學(xué)領(lǐng)域的快速發(fā)展，生物醫(yī)學(xué)文獻的數(shù)量呈指數(shù)級增長[1]。海量的生物醫(yī)學(xué)文獻中蘊含著豐富的知識，是生物醫(yī)學(xué)研究者的重要信息資源。生物醫(yī)學(xué)實體關(guān)系抽取技術(shù)，將在生物醫(yī)學(xué)命名實體識別的基礎(chǔ)上，利用文本挖掘技術(shù)，從海量的非結(jié)構(gòu)化的生物醫(yī)學(xué)文本中，自動抽取出生物醫(yī)學(xué)實體，如蛋白質(zhì)、藥物、疾病等之間的關(guān)系。生物醫(yī)學(xué)實體關(guān)系抽取技術(shù)有效緩解了人工抽取信息耗時、耗力的問題，對于生物醫(yī)學(xué)領(lǐng)域的研究具有重要意義。

近年來，深度學(xué)習(xí)方法被廣泛應(yīng)用于實體關(guān)系抽取任務(wù)中。例如，在通用領(lǐng)域中，Zeng[2]等結(jié)合詞向量和相對位置向量特征，使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)進行關(guān)系抽取。Zhang[3]等在Zeng等使用的特征之外，還引入了詞性特征、命名實體特征以及基于斯坦福句法解析器的句法特征，使用雙向長短期記憶網(wǎng)絡(luò)(Bi-directional Long-Short Term Memory，BiLSTM)來解決關(guān)系抽取問題。Vu[4]等分別使用卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)提取基于句子序列的關(guān)系，然后使用決策后處理來結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)果。在生物醫(yī)學(xué)領(lǐng)域的關(guān)系抽取任務(wù)中，李麗雙[5]等利用詞表示和深層神經(jīng)網(wǎng)絡(luò)抽取蛋白質(zhì)之間的交互關(guān)系(Protein-Protein Interaction，PPI)；Zhang[6]等結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)進行藥物交互關(guān)系(Drug-Drug Interaction，DDI)抽取。雖然這些方法在生物醫(yī)學(xué)關(guān)系抽取任務(wù)上已經(jīng)取得了較好的效果，但是在訓(xùn)練模型時往往只關(guān)注某一特定任務(wù)。然而在生物醫(yī)學(xué)關(guān)系抽取任務(wù)之間，常常存在著一定的相關(guān)性。表1給出了一些DDI和PPI示例(淺色字體表示候選實體對，深色字體表示關(guān)系觸發(fā)詞)，可以看到DDI和PPI示例的句1和句2都使用了“interaction”和“effect”觸發(fā)詞來表述兩個實體之間的交互關(guān)系。而目前基于單任務(wù)的關(guān)系抽取方法忽略了這些任務(wù)之間的關(guān)聯(lián)性，使得模型的泛化能力有限。因此本文對基于多任務(wù)學(xué)習(xí)[7]的實體關(guān)系抽取方法進行了探索。

多任務(wù)學(xué)習(xí)的基本思想是同時對多個任務(wù)進行學(xué)習(xí)，利用任務(wù)間的相關(guān)信息來提升模型性能?；谏窠?jīng)網(wǎng)絡(luò)的多任務(wù)學(xué)習(xí)方法主要采用參數(shù)共享的學(xué)習(xí)模式，為多個任務(wù)學(xué)習(xí)一個共享的表示[8]。當(dāng)多個任務(wù)具有共性時，特別是當(dāng)訓(xùn)練數(shù)據(jù)有限時，與僅訓(xùn)練單個數(shù)據(jù)集的模型相比，多任務(wù)學(xué)習(xí)可以取得更好的性能[9-11]。如Marasovi[12]等使用多任務(wù)學(xué)習(xí)方法，利用語義角色標注任務(wù)提升輿論角色標注任務(wù)的性能；Liu[13]等搭建多任務(wù)學(xué)習(xí)模型，使得多個文本分類任務(wù)的性能顯著提升。

由于目前生物醫(yī)學(xué)關(guān)系抽取方法主要采用單任務(wù)學(xué)習(xí)方法，學(xué)習(xí)過程相互獨立，從而忽略了任務(wù)之間的關(guān)聯(lián)性。針對此問題，本文構(gòu)建了全共享多任務(wù)模型(Fully-Shared Model，F(xiàn)SM)、私有共享多任務(wù)模型(Shared-Private Model，SPM)，并在此基礎(chǔ)上提出了一種基于Attention機制的主輔多任務(wù)模型(Attention-based Main-Auxiliary Model，Att-MAM)，來進行生物醫(yī)學(xué)實體關(guān)系抽取多任務(wù)學(xué)習(xí)。在生物醫(yī)學(xué)領(lǐng)域5個公開數(shù)據(jù)集上的實驗結(jié)果表明，多任務(wù)學(xué)習(xí)模型可以有效地利用任務(wù)之間的相關(guān)性，學(xué)習(xí)共享的表示，補充各個單任務(wù)的信息，提升任務(wù)性能(FSM，SPM，Att-MAM多任務(wù)模型相比單任務(wù)模型在5個語料上F值分別平均提升了1.30%，1.97%和2.66%)。尤其是針對單任務(wù)標注訓(xùn)練集規(guī)模小的情況，多任務(wù)學(xué)習(xí)可以彌補先驗知識的不足，抽取性能提升更為明顯。

表1 DDI和PPI數(shù)據(jù)實例展示

1 基于BiLSTM的單任務(wù)實體關(guān)系抽取模型

對于單任務(wù)模型，我們使用了目前關(guān)系抽取常用的BiLSTM模型，并用詞向量和實體相對位置向量拼接作為模型輸入，模型結(jié)構(gòu)如圖1(a)所示。具體地，給定一個包含實體對的句子S，令{w1,…,wt,…wn}表示句子詞序列，n表示句子長度。對于序列中的每個單詞wt，首先通過使用Word2Vec[14]工具訓(xùn)練得到的詞向量表得到對應(yīng)的詞向量et，令每個詞和實體對的相對位置向量為dis1t和dis2t(位置向量使用正態(tài)分布進行隨機初始化)，然后將這些向量拼接起來，得到每個單詞的表示xt= [(et)T，(dis1t)T，(dis2t)T]作為模型的輸入。

長短期記憶網(wǎng)絡(luò)(Long-Short Term Memory，LSTM)[15]可以有效地緩解梯度消失問題，在深度學(xué)習(xí)方法中被廣泛應(yīng)用。在LSTM模型中，根據(jù)當(dāng)前的輸入xt，上一個隱層狀態(tài)ht-1，以及上一個存儲單元ct-1，可以由式(1)～式(6)計算輸入門i，遺忘門f，輸出門ot，抽取的特征向量gt，當(dāng)前的隱層狀態(tài)ht以及當(dāng)前的記憶細胞ct。

圖1 模型架構(gòu)Main表示主任務(wù)，Auxi表示第i個輔助任務(wù)

其中，{W(.)，U(.)}表示LSTM的參數(shù)矩陣集合，{b(.)}是LSTM的偏置向量集合。

2 多任務(wù)實體關(guān)系抽取模型

本節(jié)中，依次闡述本文構(gòu)建的三個多任務(wù)學(xué)習(xí)模型： 全共享模型、私有共享模型以及基于Attention機制的主輔多任務(wù)模型。在多任務(wù)模型中，總是將多個任務(wù)的數(shù)據(jù)集同時作為輸入進行訓(xùn)練。在多個任務(wù)中，定義其中一個任務(wù)為主任務(wù)，其他任務(wù)作為輔助任務(wù)。輔助任務(wù)與主任務(wù)共同訓(xùn)練以達到提升主任務(wù)性能的目的。每個任務(wù)的輸入特征都和上述單任務(wù)使用的特征一樣。

2.1 全共享多任務(wù)模型

全共享多任務(wù)模型(Fully-Shared Model，F(xiàn)SM)的具體架構(gòu)如圖1(b)所示，除了輸出層以外，模型的所有參數(shù)在多個任務(wù)之間都是共享的。每個任務(wù)都有一個任務(wù)特定的輸出層，它根據(jù)全共享BiLSTM網(wǎng)絡(luò)產(chǎn)生的表示進行預(yù)測。在對某個特定任務(wù)的小批量數(shù)據(jù)進行訓(xùn)練時，其他任務(wù)的輸出層參數(shù)不會更新。例如，給定一個主任務(wù)m和一個輔助任務(wù)n，全共享BiLSTM網(wǎng)絡(luò)可以為兩個任務(wù)學(xué)習(xí)一個共享的表示hs，該共享表示被傳遞到兩個任務(wù)各自的輸出層進行分類。

2.2 私有共享多任務(wù)模型

2.3 基于Attention機制的主輔多任務(wù)模型

3 實驗

3.1 實驗數(shù)據(jù)和設(shè)置

本實驗使用生物醫(yī)學(xué)領(lǐng)域的5個公開數(shù)據(jù)集： AImed[20]、BioInfer[21]、ChemProt[22]、DDIExtraction 2011[23]以及I2b2/VA2010[24]。5個語料都是句子級別標注的關(guān)系抽取語料，即在每個句子中標注出了所有關(guān)注的實體，以及存在關(guān)系的實體對。其中AImed和BioInfer是蛋白質(zhì)關(guān)系抽取任務(wù)中被廣泛使用的語料，用來判別兩個候選蛋白質(zhì)是否存在交互關(guān)系。ChemProt是藥物—蛋白質(zhì)關(guān)系數(shù)據(jù)集，語料中的正例被細分為10個具體類別。DDIExtraction 2011是藥物—藥物交互關(guān)系數(shù)據(jù)集，用來判別兩個候選藥物之間是否存在關(guān)系。I2b2/VA2010數(shù)據(jù)集關(guān)注的是醫(yī)學(xué)電子病歷中醫(yī)療問題(Problem)、臨床試驗(Test)和治療方法(Treatment)3類實體中的實體對Treatment-Problem、Test-Problem以及Problem-Problem間的關(guān)系，這3大類關(guān)系又被細分為8類具體關(guān)系。本文實驗只關(guān)注實體間是否存在關(guān)系的二元分類，所以對于非二分類的語料，我們將其所有的正例都合并為一類“存在關(guān)系”，其余的實體對為負例“沒有關(guān)系”。

由于AImed和BioInfer原始數(shù)據(jù)集沒有劃分測試集，因此我們隨機抽出20%作為測試集，剩余的80%作為訓(xùn)練集。此外，我們將ChemProt原始的訓(xùn)練集和驗證集進行合并作為新的訓(xùn)練集。上述5個語料的候選實體對實例數(shù)據(jù)統(tǒng)計在表2中給出。

實驗中，我們從PubMed中下載MedLine摘要，然后加入了本文中使用的5個語料數(shù)據(jù)，使用Word2Vec工具中的skip-gram模型來進行詞向量預(yù)訓(xùn)練。本實驗使用交叉熵損失函數(shù)作為目標函數(shù)，使用RMSprop算法[25]進行參數(shù)優(yōu)化，并從訓(xùn)練集中隨機劃分20%作為驗證集，用于選擇模型超參數(shù)，實驗中的模型主要超參數(shù)如表3所示。此外，本實驗采用生物醫(yī)學(xué)實體關(guān)系抽取任務(wù)中常用的綜合分類率F值評價指標對實驗結(jié)果進行評價。

表2 實驗語料的數(shù)據(jù)統(tǒng)計

表3 超參數(shù)設(shè)置

為了與多任務(wù)模型進行對比，我們用單個任務(wù)的數(shù)據(jù)集訓(xùn)練各自的單任務(wù)模型(Single-Task Model，STM)作為基線系統(tǒng)。此外，我們還將所有語料的訓(xùn)練集合并，使用合并后的訓(xùn)練集訓(xùn)練了一個通用泛化的模型(General Model，GEM)作為對比系統(tǒng)。在訓(xùn)練單任務(wù)模型和通用泛化的模型時，我們根據(jù)單個任務(wù)驗證集上的模型性能，使用早停機制選擇訓(xùn)練迭代次數(shù)。在訓(xùn)練多任務(wù)模型時，根據(jù)當(dāng)前的主任務(wù)驗證集上的模型性能，使用早停機制選擇訓(xùn)練迭代次數(shù)。

3.2 兩兩數(shù)據(jù)集之間的多任務(wù)學(xué)習(xí)效果實驗

在多任務(wù)模型中，為了探究每兩個任務(wù)間的相互作用，我們對5個數(shù)據(jù)集進行了兩兩全共享和兩兩私有共享多任務(wù)實驗。具體來說，對于給定的五個任務(wù)，選出一個為主任務(wù)，在剩余的四個任務(wù)中，每次僅選取一個任務(wù)作為輔任務(wù)，然后使用主任務(wù)與選定的該輔任務(wù)的數(shù)據(jù)集訓(xùn)練一個全共享和私有共享模型，實驗結(jié)果在表4中給出。其中，“STM”“FSM”“SPM”分別表示單任務(wù)模型、兩兩全共享模型和兩兩私有共享模型。相比單任務(wù)模型，多任務(wù)模型在主任務(wù)上預(yù)測性能有提升的結(jié)果用加粗字體表示。

表4 兩兩多任務(wù)模型實驗結(jié)果(%)

實驗結(jié)果表明： 在多任務(wù)模型中，不同的輔任務(wù)對主任務(wù)具有不同影響，輔任務(wù)與主任務(wù)越相關(guān)，越容易促進主任務(wù)的預(yù)測性能。其中，AImed和BioInfer都是PPI數(shù)據(jù)集，這兩個數(shù)據(jù)集中對于蛋白質(zhì)對之間的關(guān)系描述方式是相似的，例如，都會使用“interact”或者“binding”等觸發(fā)詞來表征蛋白質(zhì)對之間存在關(guān)系，因此多任務(wù)學(xué)習(xí)可以更好地學(xué)習(xí)兩個任務(wù)之間的相關(guān)性，使得任務(wù)間彼此促進。ChemProt數(shù)據(jù)集和DDI2011數(shù)據(jù)集中都涉及藥物實體，聯(lián)合訓(xùn)練時，模型會學(xué)習(xí)到兩個任務(wù)之間的共享信息，對單個數(shù)據(jù)集中的信息進行補充，提高模型的預(yù)測性能。另一方面，在FSM中，I2b2/VA2010會降低其他四個任務(wù)的預(yù)測性能。這可能是因為I2b2/VA2010是電子病歷中的數(shù)據(jù)集，包含的實體是醫(yī)學(xué)電子病歷中的臨床試驗、臨床問題和治療手段，與其他四個數(shù)據(jù)集中的實體類型以及交互表示具有較大差異，因此僅使用I2b2/VA2010作為輔助任務(wù)時會降低其他主任務(wù)的預(yù)測性能。

3.3 所有數(shù)據(jù)集之間的多任務(wù)學(xué)習(xí)效果實驗

為了驗證多任務(wù)模型在所有數(shù)據(jù)集上的有效性，我們在表5中列出多任務(wù)模型與單任務(wù)模型的實驗對比結(jié)果。其中，“STM”“GEM”“FSM”“SPM”“Att-MAM”分別代表單任務(wù)模型、通用泛化模型、全共享模型、私有共享模型和基于Attention機制的主輔多任務(wù)模型。相比單任務(wù)模型，多任務(wù)模型在主任務(wù)上預(yù)測性能最好的結(jié)果用加粗字體表示。

表5 單任務(wù)模型與多任務(wù)模型性能比較(%)

*σF表示各個模型相對于單任務(wù)模型的F值變化。

表5中的實驗結(jié)果顯示： 與五個任務(wù)的STM的平均F值69.75%相比，GEM在五個數(shù)據(jù)集上的平均F值(68.92%)下降0.83%。一方面，GEM在ChemProt、DDI2011與I2b2/VA2010數(shù)據(jù)集上的預(yù)測性能下降。GEM將五個任務(wù)的訓(xùn)練集簡單混合在一起進行訓(xùn)練，忽略用實體類型來判斷實體對之間的關(guān)系。當(dāng)一個數(shù)據(jù)集中對正例的描述方式與另一個數(shù)據(jù)集中對負例的描述方式相似時，會影響模型的判斷能力。并且，每個任務(wù)的數(shù)據(jù)集中都存在任務(wù)特定的噪聲，例如，模型的錯誤預(yù)測通常是由于實體對之間的否定表述和并列結(jié)構(gòu)。GEM將數(shù)據(jù)集混合會造成噪聲累積，從而降低模型的預(yù)測能力。另一方面，GEM在AImed和BioInfer數(shù)據(jù)集上的預(yù)測性能有所提高。這是因為簡單地混合數(shù)據(jù)進行訓(xùn)練，相當(dāng)于為特定任務(wù)增加了訓(xùn)練樣本，當(dāng)增加的樣本中的信息與原有的數(shù)據(jù)具有相似且一致的特征時(例如PPI與DDI都用“effect”或者“interact”表征交互關(guān)系)，就有可能提高模型對于原樣本的預(yù)測性能。

FSM、SPM和Att-MAM分別取得了71.05%、71.72%和72.41%的平均F值，比STM分別平均提高1.30%、1.97%、2.66%，比GEM分別提高2.13%、2.80%、3.49%。與STM相比，在多任務(wù)模型中，對主任務(wù)來說，引入輔任務(wù)進行訓(xùn)練，可以更加明顯地區(qū)分某個類別的特征。例如，AImed為蛋白質(zhì)-蛋白質(zhì)交互關(guān)系(PPI)數(shù)據(jù)集，DDI2011為藥物-藥物交互關(guān)系(DDI)數(shù)據(jù)集，PPI和DDI中都是用“interaction”來表征兩個實體間存在關(guān)系的，因此當(dāng)DDI2011作為輔任務(wù)數(shù)據(jù)集和主任務(wù)數(shù)據(jù)集AImed進行聯(lián)合訓(xùn)練時，可以使模型更易學(xué)習(xí)某個類別的特征，從而提高預(yù)測性能。尤其是本文中的三個多任務(wù)模型在AImed數(shù)據(jù)集上的性能較單任務(wù)分別顯著提升2.51%、4.39%、7.98%。由表2可知，相比其他4個數(shù)據(jù)集，AImed訓(xùn)練集規(guī)模相對較小。多任務(wù)學(xué)習(xí)可以彌補小數(shù)據(jù)集先驗知識的不足，使得抽取性能提升更為明顯。另一方面，相比于五個任務(wù)的單任務(wù)模型，F(xiàn)SM在4個數(shù)據(jù)集上的性能都有所提高，其中，在AImed和I2b2/VA2010數(shù)據(jù)集上性能有顯著提升，而在BioInfer數(shù)據(jù)集上的性能略微有所下降。這是因為在FSM中，引入輔任務(wù)和主任務(wù)聯(lián)合訓(xùn)練共享空間時，會保留某些輔任務(wù)特定的特征，輔任務(wù)特定的特征會對主任務(wù)的預(yù)測性能帶來消極影響。

對比3個多任務(wù)模型，其中Att-MAM的效果最好，SPM效果優(yōu)于FSM。FSM利用所有任務(wù)的知識聯(lián)合學(xué)習(xí)多個任務(wù)，并在任務(wù)間共享輸出層外的所有參數(shù)，為所有任務(wù)學(xué)習(xí)一個共享的表示。FSM中的共享表示最大可能地捕獲了所有任務(wù)的共享表示，有效避免了訓(xùn)練過程中的過擬合，使得模型在主任務(wù)的測試集上取得更好的效果。但是，在FSM中，所有任務(wù)僅通過一個共享層無法區(qū)分共享信息與任務(wù)特定信息。SPM也為主任務(wù)和所有輔任務(wù)學(xué)習(xí)一個共享的表示，捕捉所有任務(wù)的共享特征；除此之外，每個任務(wù)還有一個私有的BiLSTM網(wǎng)絡(luò)，學(xué)習(xí)任務(wù)特定的特征。共享特征作為任務(wù)特定特征的補充，可提高模型的預(yù)測能力；私有BiLSTM網(wǎng)絡(luò)最大程度地保留了任務(wù)特定特征，有效防止了共享表示中的噪聲對任務(wù)特定特征影響，因此SPM的性能優(yōu)于FSM。相比SPM，在Att-MAM中，不僅每個任務(wù)有一個私有BiLSTM網(wǎng)絡(luò)，而且每個輔任務(wù)都與主任務(wù)有一個共享的BiLSTM網(wǎng)絡(luò)，然后通過Attention層來學(xué)習(xí)每個輔任務(wù)對主任務(wù)的不同影響。由表4的分析可知，每個輔任務(wù)對主任務(wù)的影響不同，因此所有的共享表示和任務(wù)特定的表示經(jīng)過Attention層時，會根據(jù)對主任務(wù)的不同影響被分配不同的權(quán)重。私有的BiLSTM網(wǎng)絡(luò)可以最大程度地保留任務(wù)特定的特征，主任務(wù)通過與不同輔任務(wù)訓(xùn)練共享表示可以捕獲更多的共享特征，引入Attention機制為不同特征分配權(quán)重，有效避免了輔任務(wù)對主任務(wù)的消極影響，因此Att-MAM的性能優(yōu)于SPM和FSM。

3.4 Attention機制在主輔多任務(wù)模型中的有效性實驗

為了驗證Attention機制在主輔多任務(wù)模型中的有效性，我們做了如下實驗： 構(gòu)建不使用Attention層的主輔多任務(wù)模型，即主任務(wù)與每個輔任務(wù)的共享表示直接和主任務(wù)的私有表示拼接起來，送入主任務(wù)輸出層進行分類。實驗結(jié)果如表6所示，其中“STM”“MAM”“Att-MAM”分別表示單任務(wù)模型、不使用Attention和使用Attention機制的主輔多任務(wù)模型。

表6 Attention機制對主輔多任務(wù)模型性能的影響(%)

從表6結(jié)果可以看到，MAM取得了70.81%的平均F值，比STM平均提高1.06%，但比Att-MAM平均降低1.60%，該結(jié)果說明了Attention機制的有效性。主任務(wù)與輔任務(wù)學(xué)習(xí)的共享表示可以為私有表示提供補充信息，從而提升單任務(wù)的預(yù)測性能；但是由于輔任務(wù)對主任務(wù)的影響不總是積極的，使用Attention機制為消極作用的輔任務(wù)分配較低權(quán)重，可以有效避免輔任務(wù)的噪聲對模型的性能影響；同時，為具有積極影響的共享特征分配更高的權(quán)重，可以使模型學(xué)習(xí)到更易區(qū)分類別的特征，從而提升模型的預(yù)測性能。

3.5 與他人工作方法的對比實驗

由于在本文工作中，我們對于蛋白質(zhì)關(guān)系抽取語料AImed和BioInfer按照8∶2的比例隨機劃分了訓(xùn)練集和測試集，并且將多分類語料處理為二分類語料，所以我們重現(xiàn)了生物醫(yī)學(xué)領(lǐng)域關(guān)系分類任務(wù)上性能較好的三個方法，與我們的方法進行對比。三個方法為，CNN: Sahu等[26]提出的具有最大池化層的多濾波器CNN；CRNN-Max和CRNN-Att： 由Raj等[27]提出的基于CNN和雙向LSTM組合的雙層模型。后兩者在輸出層之前分別采用Max-pooling操作和Attention機制來抽取最顯著的特征。實驗中，我們?nèi)コ嗽~性等額外特征，均保留詞向量特征和相對位置向量特征作為輸入特征。實驗結(jié)果如表7所示。其中，“Ours”表示我們的方法中具有最好性能的基于Attention機制的主輔多任務(wù)模型。預(yù)測性能最好的結(jié)果用加粗字體顯示。

表7 與他人工作方法的對比(%)

表7的實驗結(jié)果顯示： 我們的方法的平均F值比多濾波器CNN提高2.80%，與結(jié)合CNN與RNN的CRNN-Max和CRNN-Att模型相比，分別提升了0.89%和1.12%。實驗結(jié)果驗證了多任務(wù)模型的有效性。Sahu等[26]和Raj等[27]搭建的單任務(wù)模型，利用多濾波器CNN或者組合CNN與RNN的方法，有效地抽取出單一任務(wù)的特定特征。多任務(wù)模型僅使用單層RNN網(wǎng)絡(luò)，在抽取任務(wù)特定特征的同時，通過共享空間有效學(xué)習(xí)到多個任務(wù)之間的共享特征，使得具有關(guān)聯(lián)性的各個單任務(wù)之間互相促進，從何取得了更好的性能。

4 結(jié)束語

針對目前生物醫(yī)學(xué)關(guān)系抽取現(xiàn)存方法僅考慮單任務(wù)而沒有利用多任務(wù)間相關(guān)性的問題，本文對基于多任務(wù)學(xué)習(xí)的生物醫(yī)學(xué)關(guān)系抽取進行了探索?；贐iLSTM模型，我們構(gòu)建了全共享模型(FSM)、私有共享模型(SPM)，并在此基礎(chǔ)上提出了基于Attention機制的主輔多任務(wù)學(xué)習(xí)模型(Att-MAM)。Att-MAM利用Attention機制充分考慮了每個輔任務(wù)對主任務(wù)的不同程度的影響。實驗結(jié)果表明，本文的三個多任務(wù)模型性能優(yōu)于每個任務(wù)的單任務(wù)模型，其中Att-MAM取得了最好的結(jié)果，并且性能優(yōu)于Sahu和Raj等提出的關(guān)系分類方法。多任務(wù)學(xué)習(xí)方法可以利用多個任務(wù)之間的共性，為多個任務(wù)學(xué)習(xí)共享的表示，增加訓(xùn)練樣本數(shù)量的同時，平衡了不同數(shù)據(jù)集中的噪聲，提升模型的性能。

目前我們只使用了最基礎(chǔ)的特征在關(guān)系抽取二分類問題上進行了研究，在未來的工作中，我們將探究關(guān)系抽取中其他額外特征(例如,詞性、依存句法特征等)對多任務(wù)學(xué)習(xí)的影響，也將進一步從簡單的二分類問題擴展到多分類問題。此外，我們也將嘗試引入對抗學(xué)習(xí)方法來降低共享空間中的噪聲，使得模型學(xué)習(xí)到的共享表示更加精確，從而進一步提升模型的預(yù)測性能。