段瑞雪,巢文宇,張仰森

(1.北京信息科技大學(xué) 計(jì)算機(jī)學(xué)院,北京 100192；2.北京信息科技大學(xué) 信息管理學(xué)院,北京 100192；3.國家經(jīng)濟(jì)安全預(yù)警工程北京實(shí)驗(yàn)室,北京 100044)

0 引言

近年來自然語言處理領(lǐng)域發(fā)生了很大的變化，文本表示方法也從傳統(tǒng)的one-hot編碼，發(fā)展為詞嵌入模型。詞嵌入模型將文本內(nèi)容簡化為K維向量運(yùn)算，避免了One-hot編碼的維度災(zāi)難以及無法表示詞間關(guān)聯(lián)關(guān)系的缺點(diǎn)。Word2Vec[1]等詞嵌入表示方法的出現(xiàn)，可以更好地表示詞語之間的語義相似度，在識(shí)別近義詞、詞性分析等領(lǐng)域獲得了廣泛的應(yīng)用。但這些方法都是針對(duì)某一特定任務(wù)和特定語料單獨(dú)訓(xùn)練詞向量，往往無法遷移，只能運(yùn)用于特定領(lǐng)域特定問題，效果也不是很好。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，預(yù)訓(xùn)練語言模型問世。BERT[2](bidirectional encoder representations from transformers)融合了出現(xiàn)在它之前的ELMo[3](embeddings from language model)和GPT[4](generative pre-training)的優(yōu)點(diǎn)，采用基于fine-tuning的雙向語言模型，在語言推理任務(wù)、問答、常識(shí)推理任務(wù)、語義相似度和分類任務(wù)等多項(xiàng)任務(wù)中刷新了之前的記錄。

本文對(duì)BERT模型在下游任務(wù)中的應(yīng)用效果進(jìn)行了綜述。介紹了BERT模型的內(nèi)部結(jié)構(gòu)，BERT模型的輸入、輸出形式，基于BERT模型的預(yù)訓(xùn)練策略；從文本分類、機(jī)器閱讀理解和文本摘要等3個(gè)任務(wù)出發(fā)，闡述了如何將BERT模型應(yīng)用于這類任務(wù)中，通過對(duì)比的方式展示BERT模型的效果；并對(duì)BERT模型的改進(jìn)策略進(jìn)行了展望。

1 BERT模型

1.1 BERT模型概述

BERT模型可以理解為一個(gè)通用的語言模型，為不同的NLP任務(wù)提供支持。目前使用feature-based 和fine-tuning兩種策略來預(yù)訓(xùn)練模型。feature-based的方法需要根據(jù)不同的任務(wù)設(shè)定不同的結(jié)構(gòu)，把預(yù)訓(xùn)練的結(jié)果當(dāng)作額外的特征，比如Word2Vec就是feature-based的。fine-tuning方法針對(duì)特定任務(wù)訓(xùn)練參數(shù)，在實(shí)際使用時(shí)，只需要根據(jù)具體任務(wù)額外加入一個(gè)輸出層進(jìn)行微調(diào)即可，不需為特定任務(wù)而修改模型結(jié)構(gòu)，這是預(yù)訓(xùn)練的BERT模型的主要優(yōu)點(diǎn)。

BERT出現(xiàn)以前，獲取詞向量常用的模型為Word2Vec，它是一種基于淺層結(jié)構(gòu)訓(xùn)練的詞向量。為了讓詞向量融合長距離的語義信息[4]提出了LSTM[5](長短期記憶網(wǎng)絡(luò))模型。但是傳統(tǒng)的LSTM模型只涉及單向的信息，因此Peter等又提出了ELMo模型。ELMo模型是一種雙向的LSTM，其訓(xùn)練的語言模型可以學(xué)習(xí)到句子前后兩個(gè)方面的上下文信息。后來，Radford提出了GPT模型，其中利用Transformer自編碼訓(xùn)練語言模型。GPT模型的優(yōu)點(diǎn)是可以獲取上下文更遠(yuǎn)距離的語言信息，但是GPT模型是單向的。

為了充分利用兩個(gè)方向的上下文信息，Jacob等提出了BERT模型。BERT模型是一種基于微調(diào)的多層雙向Transformer編碼器，需要海量的數(shù)據(jù)以及強(qiáng)大的計(jì)算能力才能實(shí)現(xiàn)訓(xùn)練。跟以往基于特征的語言模型相比，BERT模型的輸出不是固定的，而是根據(jù)上下文信息進(jìn)行調(diào)整的embedding，也就是說即使是同一個(gè)詞語，在不同語境下，對(duì)應(yīng)的編碼輸出也不盡相同，從而解決多義詞的問題。

如圖1所示，BERT模型由多層Transformer模型構(gòu)成(圖中用Trm表示Transformer模型)，右側(cè)是展開后的Transformer Encoder層基本結(jié)構(gòu)，其中包括一個(gè)多頭注意力機(jī)制層、殘差歸一化層、前饋線性轉(zhuǎn)換層，最后再進(jìn)行一次歸一化。Transformer Encoder的輸入和輸出在形式上完全相同，因此，Transformer Encoder同樣可以表示為將輸入文本中各個(gè)字的語義向量轉(zhuǎn)換為相同長度的增強(qiáng)語義向量的一個(gè)黑盒。

在BERT模型上加一層全連接層后進(jìn)行訓(xùn)練，這就是BERT的預(yù)訓(xùn)練。訓(xùn)練之后去掉全連接層的BERT模型就可以用于大部分NLP任務(wù)。

1.2 BERT的輸入

如圖2所示，BERT的輸入由3部分相加組成，即token embeddings、segment embedding以及position embedding。其中token embedding是BERT模型經(jīng)過大規(guī)模無監(jiān)督訓(xùn)練獲取的詞的表示方式，也稱為詞向量，維度為768，相近語義的詞具有相似的詞向量。segment embeddings的作用是劃分文本的句子或段落，position embeddings的作用是融合文本中詞語的位置信息。

1.3 BERT的輸出

每一個(gè)位置輸出一個(gè)向量用來表示編碼當(dāng)前位置的語義信息(長度為隱藏層的大小)，根據(jù)不同的下游任務(wù)，采用不同的方式運(yùn)用BERT的輸出。常用的做法有取特殊位置([CLS],[SEP])的輸出做進(jìn)一步的分類，或者取所有位置的輸出做進(jìn)一步的計(jì)算。

1.4 BERT模型預(yù)訓(xùn)練策略

BERT模型使用兩個(gè)無監(jiān)督預(yù)測任務(wù)來完成預(yù)訓(xùn)練。

任務(wù)1：Mask-LM(遮擋語言模型)。在輸入的詞序列中，隨機(jī)遮擋15%的詞，任務(wù)就是去預(yù)測這些遮擋的詞。然而，預(yù)訓(xùn)練采用[Mask]遮擋詞，而在微調(diào)階段是沒有[Mask]這個(gè)詞的，所以會(huì)出現(xiàn)不匹配。為了解決這個(gè)問題，80%的概率用[Mask]取代被選中的詞，10%的概率用一個(gè)隨機(jī)詞取代它，10%的概率保持不變。

任務(wù)2：Next Sentence Prediction(預(yù)測下一個(gè)句子)。任務(wù)2主要是為了學(xué)習(xí)句子之間的關(guān)系，這種關(guān)系并非根據(jù)語言模型直接獲得，而是選擇句子A和句子B作為訓(xùn)練樣本，其中B有50%的可能是A的下一句，50%的可能來自語料中的隨機(jī)句子。

任務(wù)1和任務(wù)2都是采用交叉熵?fù)p失函數(shù)，總損失Loss采用兩個(gè)任務(wù)的損失值相加。通過大規(guī)模語料預(yù)訓(xùn)練以后，可以得到一組模型的參數(shù)，下游任務(wù)直接利用模型的參數(shù)，再根據(jù)任務(wù)的訓(xùn)練語料有監(jiān)督地微調(diào)，就可以得到不錯(cuò)的效果。

2 BERT應(yīng)用到下游任務(wù)

BERT在大部分主流NLP任務(wù)中都取得了優(yōu)異的成績[6]，僅僅在BERT之上針對(duì)具體任務(wù)做出調(diào)整，讓輸出結(jié)果符合任務(wù)目的，實(shí)驗(yàn)結(jié)果表明BERT具有一定的先驗(yàn)知識(shí)。接下來從3個(gè)下游任務(wù)出發(fā)，介紹BERT模型的效果。

2.1 文本分類

文本分類任務(wù)[7-9]是自然語言處理的一項(xiàng)基本任務(wù)，它的目的是給定一個(gè)句子或者段落，根據(jù)文本特征和上下文內(nèi)容，按照分類目的給文本加上標(biāo)簽。

如圖3所示，模型的輸入首先是一個(gè)[CLS]分類標(biāo)簽，然后緊跟著文本內(nèi)容，模型的輸出是分類結(jié)果。將輸入內(nèi)容經(jīng)過BERT之后，獲取[CLS]所在位置輸出的embedding，再將其輸入到線性分類器做分類。BERT內(nèi)部的雙向Transformer機(jī)制能使句子中每個(gè)位置都融合全文信息，但計(jì)算過程中的embedding仍然和當(dāng)前位置的詞語相關(guān)聯(lián)程度最大，對(duì)分類結(jié)果會(huì)有直接影響。所以在句子首部添加[CLS]分類標(biāo)簽，[CLS]本身不攜帶任何信息，它經(jīng)過BERT之后會(huì)融合全文信息，并且不受某一詞語的絕對(duì)影響，所以它對(duì)應(yīng)的embedding最適合用來做分類任務(wù)。

線性分類器是在BERT之上單獨(dú)添加的網(wǎng)絡(luò)結(jié)構(gòu)，其中的參數(shù)需要隨機(jī)初始化并從頭開始訓(xùn)練，BERT自身的參數(shù)則通過fine-tuning的方式進(jìn)行更新，有效降低模型的訓(xùn)練所需要的時(shí)間。

2.1.1 數(shù)據(jù)集

選取4個(gè)數(shù)據(jù)集Reuters[10]、AAPD、IMDB reviews和Yelp 2014 reviews進(jìn)行評(píng)測。Reuters和AAPD是多標(biāo)簽文檔，IMDB和Yelp2014只包含單一標(biāo)簽。數(shù)據(jù)集中隨機(jī)選取80%作為訓(xùn)練語料，10%作為測試語料，10%作為驗(yàn)證集。表1列出了4個(gè)數(shù)據(jù)集的規(guī)模，其中C表示分類任務(wù)的類別數(shù)，N表示語料包含的文檔數(shù)，W和S分別表示每篇文檔包含的平均單詞數(shù)量和平均句子數(shù)量。

表1 文本分類數(shù)據(jù)集

2.1.2 實(shí)驗(yàn)結(jié)果分析

模型對(duì)epoch的數(shù)量、batch-size的大小，還有MSL(最大序列長度)很敏感，不同的參數(shù)對(duì)結(jié)果影響很大，Reuters不同最大序列長度的性能如圖4所示。

從圖4可以看出，BERT(large)整體的效果要優(yōu)于BERT(base),此外，MSL越長，分類的準(zhǔn)確率越高。

對(duì)于Reuters、AAPD、IMDB、Yelp2014數(shù)據(jù)集，epoch數(shù)量分別選取30、20、4、1時(shí)得到最優(yōu)值。

與Devlin[2]實(shí)驗(yàn)設(shè)置一樣，batch-size設(shè)定為16，學(xué)習(xí)率設(shè)定為2×10-5，MSL長度設(shè)置為512，在這些參數(shù)設(shè)定下，在驗(yàn)證集上4個(gè)數(shù)據(jù)集都取得了最優(yōu)的效果。實(shí)驗(yàn)結(jié)果如表2所示[9]。

表2 文本分類結(jié)果

可以看出BERTbase和BERTlarge的效果要明顯優(yōu)于傳統(tǒng)的LR、SVM、HAN Repl模型的效果，在Reuters數(shù)據(jù)集上Bertbase和Bertlarge的F1值分別達(dá)到了89.0和90.7。

LSTMreg模型在Reuters和IMDB數(shù)據(jù)集上的F1值達(dá)到了87.0和52.8，效果和Bertbase相近。

從實(shí)驗(yàn)結(jié)果中可以看出，BERT模型在文本分類的4個(gè)常見數(shù)據(jù)集上都取得了不錯(cuò)的效果，通過微調(diào)Bert模型，可以很好地將其應(yīng)用于文本分類任務(wù)。

2.2 基于片段抽取的閱讀理解任務(wù)

基于片段抽取的閱讀理解[10-13]是給定一段篇章，針對(duì)這個(gè)篇章和問題，找出答案在原文中的首末位置[14],表3展示的是片段抽取閱讀理解任務(wù)的一個(gè)示例。根據(jù)給定的Document和Query，在Document中抽取答案片段所在的開始位置和結(jié)束位置。

表3 片段抽取閱讀理解示例

圖5表示如何將BERT模型應(yīng)用于片段抽取閱讀理解任務(wù)。模型的輸入將問題放在前面，篇章放在后面，中間用[SEP]分隔開。經(jīng)過BERT之后,由于BERT內(nèi)部具有的自注意力機(jī)制,篇章中每個(gè)詞語的embedding都會(huì)融入問題所表征的信息，因此篇章中每一個(gè)位置的詞除了跟篇章自身有關(guān)，還會(huì)與提出的問題相關(guān)聯(lián)。將篇章對(duì)應(yīng)位置的embedding分別做兩次attention用來找到首和尾最有可能出現(xiàn)的位置，這一步驟中涉及的參數(shù)需要從頭開始訓(xùn)練，再通過Softmax找到關(guān)聯(lián)程度最大的兩個(gè)位置作為模型的輸出結(jié)果。

2.2.1 數(shù)據(jù)集

實(shí)驗(yàn)采用機(jī)器閱讀理解任務(wù)的常用數(shù)據(jù)集CMRC2018，數(shù)據(jù)的規(guī)模詳見表4所示。

表4 閱讀理解數(shù)據(jù)集

2.2.2 實(shí)驗(yàn)結(jié)果分析

采用深度學(xué)習(xí)框架PyTorch對(duì)本文的相關(guān)模型進(jìn)行編碼實(shí)現(xiàn)，并在Ubuntu16.04系統(tǒng)上采用GPU(Tesla P100)進(jìn)行模型的訓(xùn)練和調(diào)試。在實(shí)驗(yàn)過程中，詞向量維度為768，隱藏層的維度為768，Bert中的Transformer層數(shù)設(shè)置為12，mini-batch的大小設(shè)置為16，優(yōu)化函數(shù)采用Adam，Drop out設(shè)為0.2。

1)模型收斂性驗(yàn)證。針對(duì)CMRC訓(xùn)練語料進(jìn)行微調(diào)，采用交叉熵?fù)p失函數(shù)分別計(jì)算開始位置和結(jié)束位置的損失，然后再求和作為總的損失，利用總損失來反向傳播更新參數(shù)。圖6表示的是epoch設(shè)置為2時(shí)loss值的變化，從圖上可以看出，當(dāng)training step大于2 000以后，模型基本收斂。

2)模型學(xué)習(xí)率的確定。學(xué)習(xí)率控制著參數(shù)更新的速度，學(xué)習(xí)率過大可能導(dǎo)致參數(shù)在最優(yōu)解兩端震蕩，學(xué)習(xí)率過小則會(huì)降低模型的收斂速度。

圖7給出了不同學(xué)習(xí)率模型的F1值,由圖7可見，隨著訓(xùn)練次數(shù)(epoch)的增加，模型的F1值趨向穩(wěn)定，當(dāng)學(xué)習(xí)率為1e-5時(shí)，模型的F1值和EM最高，為了保證學(xué)習(xí)效率及性能，學(xué)習(xí)率設(shè)為1e-5。

3)實(shí)驗(yàn)結(jié)果分析。為了對(duì)模型效果進(jìn)行評(píng)估，我們將BERT模型和以下兩個(gè)基線模型進(jìn)行對(duì)比：GM-Reader模型(采用單層Bi-GRU模型)和MCA-Reader[15]模型(采用多層Bi-GRU模型并引入了語法、實(shí)體識(shí)別、后處理等策略)，并用EM和F1值作為衡量模型性能的指標(biāo)。BERT模型和基線模型的性能見表5，從表中可以看出BERT模型比GM-Reader模型在F1值和EM值上分別提高4.412和4.98。由于MCA-Reader模型在GRU模型的基礎(chǔ)上添加了語法等信息，效果比單純使用BERT模型在F1值和EM分別高1.3和2.88?？梢钥紤]為BERT模型也添加語法等信息，從而進(jìn)一步提高BERT模型的性能。

表5 CMRC2018閱讀理解任務(wù)效果

2.3 文本摘要

文本摘要[16]的主要目的是根據(jù)原文內(nèi)容輸出生成更短的文本，用以概括原文內(nèi)容，其實(shí)現(xiàn)方式可分為兩類：一類是生成式摘要，另一類是抽取式摘要。這里主要討論抽取式文本摘要，輸入原文內(nèi)容，從中摘出幾句具有代表性的句子拼接起來作為摘要。

抽取式文本摘要的實(shí)現(xiàn)方式如圖8所示，將文本按照句子劃分，在每個(gè)句子的開頭加上[CLS]分類標(biāo)志作為輸入，經(jīng)過BERT獲取[CLS]位置對(duì)應(yīng)的輸出，用于代表每個(gè)句子的編碼輸入。[CLS]位置的輸出對(duì)單句的內(nèi)容具有表征作用，同時(shí)還融合了上下文的語境信息，再通過Summarization Layer用來提取文章中不同句子之間的關(guān)系，做分類任務(wù)，判斷哪些句子應(yīng)該被納入文章摘要。

每個(gè)文檔中存在多個(gè)句子，采用區(qū)間段的方式區(qū)分文檔中的多個(gè)句子。假設(shè)用Senti來表示區(qū)間段的奇偶，EA表示奇數(shù)段，EB表示偶數(shù)段。對(duì)于句子[sent1,sent2,sent3,sent4,sent5]用[EA,EB,EA,EB,EA]表示。

在模型預(yù)測階段，采用三元組塊來減少冗余。對(duì)于給定的摘要S和一個(gè)候選句子c，如果c和S之間存在三元重疊，那么跳過c，這與最大邊緣關(guān)聯(lián)(MMR)[17]相似。

2.3.1 數(shù)據(jù)集

實(shí)驗(yàn)在CNN/Daily Mail數(shù)據(jù)集上測評(píng)BERT的效果。CNN/Daily Mail數(shù)據(jù)集包含新聞文章和簡要概述。表6描述了數(shù)據(jù)集的具體規(guī)模。

表6 文本摘要數(shù)據(jù)集

2.3.2 評(píng)測指標(biāo)

文本摘要中常用的評(píng)測指標(biāo)是Rouge-N，其中n為n-gram的長度，n=1,表示使用一元模型來評(píng)測，得到指標(biāo)Rouge-1，n=2表示采用二元模型來評(píng)測，得到指標(biāo)Rouge-2。

2.3.3 實(shí)驗(yàn)結(jié)果分析

利用BERT模型實(shí)現(xiàn)文本摘要，需要對(duì)模型微調(diào)，其中,batch-size設(shè)置為36，學(xué)習(xí)率LR的設(shè)定根據(jù)Vaswani[18]的方法：

LR=2e-3×min(s-0.5,sw-1.5)

(1)

式中：s為訓(xùn)練次數(shù)(step),w為預(yù)熱率(warmup)。

在模型的測試中，每次選取分值最高的3個(gè)句子作為最后的摘要。

表7[18]為采用Rouge-1、Rouge-2、Rouge-L三個(gè)指標(biāo)來評(píng)測文本摘要在不同模型下的評(píng)測結(jié)果，其中L表示最長的字串長度。兩個(gè)數(shù)據(jù)集都包含抽象的摘要，也就是數(shù)據(jù)中給出的摘要并不完全是篇章中的原話，所以標(biāo)簽選擇的策略是使Rouge得分最大化，被選中的句子置1，未被選中的句子置0。

表7 文本摘要在不同模型下的評(píng)測結(jié)果

CNN/Daily Mail數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表7所示[19]。其中PGN[14]模型表示采用Pointer Network的方式獲取文本摘要，DCA[14]是2018年提出的采用多Agent通信的方式，并利用多層注意力機(jī)制來實(shí)現(xiàn)Agent的編碼。

根據(jù)實(shí)驗(yàn)結(jié)果可以看到，所有基于BERT模型的效果都比以往最優(yōu)模型要好，BERTSUM+Transformer取得了最好的效果。該模型的Rouge-1、Rouge-2分別達(dá)到了43.25和20.24。而BERTSUM+LSTM并沒有提升BERTSUM模型的效果。

為了分析不同模塊對(duì)BERTSUM模型的影響，采用去除模塊的方式來觀察不同模塊的性能。從表8可以看出奇偶分段模塊可以提升模型的一些性能，篩選三元組對(duì)最終模型的影響更大一些，在Rouge-1上可以提高大約0.7個(gè)點(diǎn)。

表8 去除奇偶分段和三元組篩選后模型的效果

3 結(jié)束語

BERT通過一個(gè)深層的模型，從大量無監(jiān)督的數(shù)據(jù)中學(xué)習(xí)到表示文本的方法，并成功將其運(yùn)用到多種任務(wù)之中取得優(yōu)異成績，僅改變模型的輸出形式和對(duì)參數(shù)進(jìn)行微調(diào)，就在實(shí)驗(yàn)結(jié)果上超越了以往搭建起來的各種各樣復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)。目前有很多基于BERT改進(jìn)的工作，例如Roberta，BERT-wwm，XLNet，ALBERT等模型。其中ALBERT模型采用兩種減少模型參數(shù)的方法，比BERT占用空間少很多，從而提高了模型訓(xùn)練的速度，而且取得了效果的提升。這些強(qiáng)大的語言模型，為下游任務(wù)提供了強(qiáng)大的支持，并不斷地刷新各大下游任務(wù)的性能。然而，不同的下游任務(wù)具有不同的知識(shí)，如何將現(xiàn)有的知識(shí)融合到預(yù)訓(xùn)練模型中需要得到更多的關(guān)注，一些學(xué)者提出了改進(jìn)的K-BERT[20]等融合知識(shí)圖譜的語言模型，相信基于知識(shí)圖譜的預(yù)訓(xùn)練語言模型未來幾年會(huì)成為自然語言處理研究的熱點(diǎn)。