方 紅，馮一鉑，張 瀾

(上海第二工業(yè)大學(xué) 文理學(xué)部，上海 201209)

隨著科技進(jìn)步、信息技術(shù)及人工智能技術(shù)的發(fā)展，愈加龐大的數(shù)據(jù)需要計算機(jī)代替人處理.故事(stories)這種由文本構(gòu)成的海量數(shù)據(jù)，記錄著人類發(fā)展和社會生活，因此發(fā)掘大量故事中潛在的語義關(guān)系并推斷故事發(fā)展方向是一個全新且充滿挑戰(zhàn)的任務(wù).

故事發(fā)展預(yù)測又被稱為故事完形填空測試(story cloze test, 簡稱SCT)，它與自然語言中的知識問答相似，屬于機(jī)器閱讀理解(machine reading comprehension, 簡稱MRC)的一種.SCT任務(wù)于2016年被提出，該任務(wù)的數(shù)據(jù)集——ROC stories全部采樣于生活事件，內(nèi)含6句話及一個正確選項的標(biāo)簽.SCT任務(wù)要求從最后2句話中選擇出由前4句話組成的不完整的故事的正確結(jié)局.由于數(shù)據(jù)集來源廣泛，需要借助多種自然語言處理(natural language processing，簡稱NLP)技術(shù)來解決問題.圖1為一個SCT任務(wù)中的典型實例.

圖1 SCT典型實例

近年基于深度學(xué)習(xí)的方法在SCT任務(wù)研究中應(yīng)用廣泛.Huang等將故事主體與發(fā)展結(jié)局投影到同一個向量空間中，計算兩者距離.Wang等以生成錯誤選項為策略，提出了一種條件生成式對抗網(wǎng)絡(luò).Cai等利用Bi-LSTM(bi-directional long short-term memory)神經(jīng)網(wǎng)絡(luò)進(jìn)行句子序列和詞序列的編碼，計算故事主體與不同發(fā)展方向的相似度.上述研究本質(zhì)上皆通過文本間余弦相似度預(yù)測故事發(fā)展方向，缺乏對故事語義的理解，預(yù)測精度較低.而Chaturvedi等和Li等利用神經(jīng)網(wǎng)絡(luò)，創(chuàng)新性地組合情感和故事發(fā)展邏輯等多個語義特征，更好地挖掘上下文中的信息，使預(yù)測精度有所提升.但隨著自然語言的發(fā)展，研究發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)模型能夠提供的表征能力有限，而語言模型成功解決了這個問題.GPT(generative pre-training)和BERT(bidirectional encoder representations from transformers)通過在開放域的無標(biāo)簽語料庫上使用多層transformer預(yù)先訓(xùn)練語言模型，再進(jìn)行微調(diào)操作，更好地理解故事上下文含義.受文獻(xiàn)[10-11]的啟發(fā)，Li等針對語言模型訓(xùn)練前獲得的知識不足以學(xué)習(xí)到每一個目標(biāo)任務(wù)的不足，提出trans-BERT模型.通過上述研究可以發(fā)現(xiàn)，現(xiàn)階段方法存在兩個主要問題：①神經(jīng)網(wǎng)絡(luò)模型無法在大量無標(biāo)簽的語料庫上獲取常識，對文本理解的能力有限，無法深入挖掘文本的有效信息.②除Chaturvedi等和Li等組合多個任務(wù)結(jié)構(gòu)，其他方法在處理SCT任務(wù)時，模型的關(guān)注點(diǎn)皆基于挖掘單個語義信息的任務(wù)，導(dǎo)致模型泛化性能弱，無法融合不同的語義信息.

BERT和GPT等語言模型的提出，有效解決了第一個問題.針對第二個問題，論文在Li等提出BERT的信息遷移的基礎(chǔ)上，構(gòu)建組合多任務(wù)與遷移學(xué)習(xí)模型(trans-multi-task of incorporating structured，簡稱TMTIS).該模型有效解決了上述缺點(diǎn)：①它利用語言模型與多任務(wù)學(xué)習(xí)(multi-task learning，簡稱MTL)及多任務(wù)深度神經(jīng)網(wǎng)絡(luò)的組合，強(qiáng)化機(jī)器對文本的理解能力，同時關(guān)注多個任務(wù)，提升模型整體泛化能力，使學(xué)習(xí)到的信息在任務(wù)之間具有普遍性.②通過遷移學(xué)習(xí)，遷移多個源任務(wù)中信息，在目標(biāo)任務(wù)中學(xué)習(xí)，挖掘多個語義信息，使機(jī)器能更好理解文本.③將多個語義信息融合，實現(xiàn)各語義信息之間的相互補(bǔ)充.

與Li等論文結(jié)果進(jìn)行比較，TMTIS在精度上更優(yōu)，達(dá)到93.5%，提升了2.9%.通過消融實驗驗證TMTIS中不同特定任務(wù)對語義信息獲取的貢獻(xiàn)情況.

1 相關(guān)工作

BERT模型由于其采用雙向transformer編碼器，克服了傳統(tǒng)詞嵌入模型對不同任務(wù)定義不同網(wǎng)絡(luò)結(jié)構(gòu)的缺點(diǎn).在文本分類、文本相似度計算等領(lǐng)域已經(jīng)得到廣泛應(yīng)用，并在Devlin等和Li等的研究中驗證了BERT模型有效提升SCT任務(wù)的預(yù)測精度.MTL通過正則化，使共享參數(shù)在一定程度上弱化了單個網(wǎng)絡(luò)能力，防止模型過擬合，對于模型泛化能力的提升有顯著效果，并在楊榮欽的研究中驗證了MTL有助于機(jī)器對文本的理解.由于許多 NLP 任務(wù)具有共享語言的常識、任務(wù)之間可以相互學(xué)習(xí)等特點(diǎn)，遷移學(xué)習(xí)能從已學(xué)習(xí)的相關(guān)源任務(wù)中遷移信息來改善目標(biāo)任務(wù)，提升模型在目標(biāo)任務(wù)上的性能.王禹潼將遷移學(xué)習(xí)的思想與注意力機(jī)制相結(jié)合，解決MRC問題.論文提出的新方法中采用由BERT模型與MTL相結(jié)合的MT-DNN(multi-task deep neural networks)模型，其通過遷移學(xué)習(xí)，將特殊任務(wù)中的信息遷移至SCT任務(wù)上，以提升新模型對文本的理解能力.

1.1 BERT模型

隨著語言模型研究深入，從ELMo(embeddings from language models)到GPT再到BERT，皆利用大量未標(biāo)記的數(shù)據(jù)訓(xùn)練而成，不同的是前者使用雙向LSTM結(jié)構(gòu)，后兩者則使用transformer結(jié)構(gòu).由于GPT是單向transformer結(jié)構(gòu)的語言模型，僅能考慮文本單側(cè)信息，而BERT依賴雙向transformer，在處理文本時能考慮文本左右兩側(cè)的上下文信息，對文本理解能力更強(qiáng).BERT模型吸取了自編碼器(auto-encoder)、詞編碼模型(word2vec)等無監(jiān)督模型的設(shè)計思想，又結(jié)合所要捕獲的無序關(guān)系和句與句關(guān)系等信息的特點(diǎn)，提出了對于transformer全新的無監(jiān)督目標(biāo)函數(shù).因此越來越多NLP的下游任務(wù)采用BERT處理.

為實現(xiàn)在開放域語料庫上進(jìn)行無監(jiān)督訓(xùn)練，BERT提出了兩個新的預(yù)訓(xùn)練任務(wù)：掩碼語言模型(masked language，簡稱ML)和后句預(yù)測(next sentence prediction，簡稱NSP).BERT處理任務(wù)過程如圖2所示，其核心基于圖2中編碼層，通過雙向transformer編碼器組合更多信息.輸入的是一個單詞序列(可以是一個句子，也可以是兩個句子連接在一起的序列)：首先通過嵌入層將每個句子的單詞標(biāo)記類別、位置特征、段特征表示為嵌入向量序列；再經(jīng)由編碼層中每個transformer的自注意力機(jī)制，捕獲單詞的上下文信息，生成一系列上下文嵌入，作為輸出嵌入；最后通過使用最小的特定于任務(wù)的參數(shù)進(jìn)行微調(diào)，將其應(yīng)用于每個下游任務(wù).

圖2 BERT模型

1.2 MTL

MTL包括soft參數(shù)共享和hard參數(shù)共享.在共享soft參數(shù)時，各任務(wù)有單獨(dú)的參數(shù)和模型，通過正則化模型之間的參數(shù)距離，鼓勵參數(shù)相似化.共享hard參數(shù)是基于神經(jīng)網(wǎng)絡(luò)的MTL最常用的方法.實際中，隱藏層在所有特定任務(wù)之間共享，并保留任務(wù)的輸出層.

MTL的共享hard參數(shù)同時學(xué)習(xí)多個任務(wù)，模型同時捕獲多個任務(wù)的同一參數(shù)表示，極大降低了模型過擬合的風(fēng)險，提高模型整體的泛化能力，故論文模型中將采用hard參數(shù)共享，結(jié)構(gòu)如圖3所示.

圖3 MTL的hard參數(shù)共享

1.3 遷移學(xué)習(xí)

遷移學(xué)習(xí)是遷移源任務(wù)中信息，并在目標(biāo)任務(wù)中學(xué)習(xí)該信息的過程.遷移學(xué)習(xí)分為基于特征與基于共享參數(shù)兩種方法.基于特征的遷移學(xué)習(xí)關(guān)注的是源領(lǐng)域與目標(biāo)領(lǐng)域之間共同的特征表示，利用特征進(jìn)行信息遷移.基于共享參數(shù)的遷移學(xué)習(xí)是找到源數(shù)據(jù)和目標(biāo)數(shù)據(jù)的空間模型之間的共同參數(shù)或者先驗分布，以此遷移信息.

Phang等和Li等在研究中利用基于共享參數(shù)的遷移學(xué)習(xí)，通過實驗驗證：當(dāng)源任務(wù)和目標(biāo)任務(wù)在語義上相互關(guān)聯(lián)，即兩個任務(wù)擁有共享的信息時，源任務(wù)可以被用作遷移.故論文模型中采用基于共享參數(shù)實現(xiàn)遷移學(xué)習(xí).

2 TMTIS模型

論文提出組合多任務(wù)與遷移學(xué)習(xí)模型，解決了神經(jīng)網(wǎng)絡(luò)理解文本能力有限以及傳統(tǒng)語言模型僅能通過單個語義理解文本的不足.新模型結(jié)構(gòu)如圖4所示，該模型一共包含4個部分：共享層、特定任務(wù)層、遷移層以及組合層.整個模型可以看作一個分類器，用于選擇最合適的故事發(fā)展方向.

圖4 TMTIS模型

針對神經(jīng)網(wǎng)絡(luò)在理解文本能力有限的不足，新模型前兩層組合語言模型和MTL構(gòu)成MT-DNN，其中第一層為所有特定任務(wù)共享的語言模型；第二層基于hard參數(shù)共享的MTL，通過微調(diào)得到特定任務(wù)輸出，挖掘NLP下游任務(wù)中語義信息供遷移層學(xué)習(xí)；第三層利用基于共享參數(shù)的遷移學(xué)習(xí)，將其上一層任務(wù)中的語義信息傳遞至SCT任務(wù)；第四層融合SCT中多種語義信息，解決以往模型僅能從單個語義信息理解文本的不足，并預(yù)測出故事的發(fā)展方向.

2.1 共享層與特定任務(wù)層

模型中的共享層以BERT模型為基礎(chǔ)，該模型基于龐大的數(shù)據(jù)訓(xùn)練而成，解決了神經(jīng)網(wǎng)絡(luò)模型無法通過大型語料庫學(xué)習(xí)常識知識的問題，提升了模型對文本的理解能力.該層將數(shù)據(jù)(一個句子或一對句子)輸入嵌入層，首先表示為一個嵌入向量序列，每個向量對應(yīng)一個單詞.編碼層的transformer捕獲每個單詞的上下文信息，并生成共享的上下文嵌入向量傳入下一層.

在共享層的基礎(chǔ)上設(shè)立特定任務(wù)層，多個特定任務(wù)共享BERT模型，使模型能同時捕獲多個任務(wù)的同一參數(shù)表示，極大降低了模型過擬合的風(fēng)險，提高模型整體的泛化能力.特定任務(wù)層是通過添加線性全連接層，并在訓(xùn)練過程中利用下游任務(wù)數(shù)據(jù)微調(diào)BERT的權(quán)重，以適應(yīng)當(dāng)前的任務(wù).現(xiàn)階段這些下游任務(wù)主要包括文本分類、文本相似度評價、相關(guān)性排序等，其中文本分類又分為單句文本分類和成對文本分類.

TMTIS模型與以往BERT模型不同的是，其利用MTL的hard參數(shù)共享，多個任務(wù)共享相同的語言模型，并在共享層的基礎(chǔ)上使用基于小批量的隨機(jī)梯度下降SGD(stochastic gradient descent)來微調(diào)所有共享層和特定任務(wù)層的參數(shù)，以此提高模型的泛化性能.

2.2 遷移層與組合層

遷移層通過共享參數(shù)的遷移學(xué)習(xí)，將上一層不同特定任務(wù)學(xué)習(xí)到的語義信息遷移至目標(biāo)任務(wù)SCT上.操作過程與微調(diào)操作相同.下列公式表示不同語義信息遷移至SCT任務(wù)后，得到的條件概率為

P

(

y

|

x

,

x

,…,

x

,

e

)=softmax(

W

·

K

),

i

∈(1,2)，

(1)

其中：

e

為兩個故事發(fā)展方向；

y

∈(0,1)為是否正確的標(biāo)簽；

x

,

x

,…,

x

為不完整故事的主體；

T

為不同的特定任務(wù)；

W

為學(xué)習(xí)到的參數(shù)；

K

為學(xué)習(xí)到之前特定任務(wù)語義信息的向量.組合層融合SCT任務(wù)學(xué)習(xí)到不同特定任務(wù)的語義信息，并預(yù)測故事發(fā)展方向.分別計算各向量

K

與其他向量的總余弦相似度，并將其連接成向量

h.

h

=sum(cos_sim(

K

,

K

))，

m

,

n

∈

T

,

m

≠

n

，

(2)

H

=softmax(

W

·

h

+

b

)，

(3)

其中：

W

和

b

為線性層中的參數(shù)，

H

為學(xué)習(xí)到的多個特定任務(wù)語義信息的不同條件概率的權(quán)重.利用向量

H

組合多個條件概率得到TMTIS的最終預(yù)測結(jié)果

P

(

y

|

x

,

x

,…,

x

,

e

)=softmax(sum(

H

⊙[

K

;

K

;…;

K

])),

i

∈(1,2).

(4)

3 實 驗

鑒于遷移學(xué)習(xí)基于源任務(wù)和目標(biāo)任務(wù)在語義上相互關(guān)聯(lián)的準(zhǔn)則.考慮到SCT任務(wù)的數(shù)據(jù)ROC stories講述現(xiàn)實故事，文本之間必然存在包含語義推理關(guān)系、情感極性關(guān)系、事件時序的發(fā)展關(guān)系.因此，為能挖掘故事中多種潛在的語義關(guān)系，實驗在特定任務(wù)層設(shè)定自然語言推理(natural language inference，簡稱NLI)、情感分類(sentiment classification，簡稱SC)、行為預(yù)測(next action predict，簡稱NAP)、文本語義相似度(text similarity，簡稱TS)4個特定任務(wù)，供目標(biāo)任務(wù)SCT學(xué)習(xí)不同的語義信息.在實驗最后，設(shè)立消融實驗展示不同語義信息對于預(yù)測故事發(fā)展方向的貢獻(xiàn)情況.

截至目前，ROC stories共有兩個版本，即SCT_v1.0版和SCT_v2.0版.SCT_v1.0是目前運(yùn)用最廣泛的版本，它的訓(xùn)練集和測試集都包含1 871個由4句話組成的不完整故事、2句不同的故事發(fā)展方向、正確發(fā)展方向的標(biāo)簽.SCT_v2.0與SCT_v1.0結(jié)構(gòu)相同，含1 571個由4句話組成的不完整故事、2句不同的故事發(fā)展方向及正確發(fā)展方向的標(biāo)簽.

在實驗中，視SCT_v1.0數(shù)據(jù)集整體為實驗的訓(xùn)練集，SCT_v2.0中1 571條測試數(shù)據(jù)為實驗的測試集.特定任務(wù)層數(shù)據(jù)主要來自GLUE庫和一個MRC數(shù)據(jù)集，分別為屬于NLI的MNLI(multi-genre natural language inference)和QNLI(question-answering natural language inference)，屬于SC的SST(the stanford sentiment treebank)和IMDB(internet movie database)，屬于NAP的SWAG(situation with adversarial generations)，以及屬于TS的MRPC(microsoft research paraphrase corpus).表1展示了幾個特定任務(wù)的數(shù)據(jù)量和任務(wù)類型.

表1 特定任務(wù)數(shù)據(jù)集

整個實驗過程共4步.首先，實驗將不同特定任務(wù)的數(shù)據(jù)打包輸入共享層.其次，在MTL階段，在每個批次選擇一個小批量數(shù)據(jù)，并根據(jù)特定任務(wù)的目標(biāo)更新模型.該階段保留微調(diào)后的模型和參數(shù)在遷移層使用.第三步為遷移過程，為學(xué)習(xí)源任務(wù)中的語義信息，目標(biāo)任務(wù)SCT使用在特定任務(wù)層中訓(xùn)練好的模型和參數(shù)，得到遷移學(xué)習(xí)后的預(yù)測結(jié)果.最后，模型在組合層將學(xué)習(xí)到的語義信息融合，以此預(yù)測故事發(fā)展方向.

4 實驗結(jié)果與分析

4.1 實驗結(jié)果

該節(jié)通過對比實驗及消融實驗驗證模型的有效性.根據(jù)Devlin等提供的模型，實驗將BERT-base-uncased作為共享層中加載的語言模型.BERT-base-uncased是BERT模型的基本版，它由12個雙向transformer編碼器構(gòu)成，包含768個隱藏層，12個自注意頭，共計110 Mb參數(shù).

表2展示了以往研究與該研究的實驗結(jié)果.該次實驗提出的TMTIS較Li等的trans-BERT模型，準(zhǔn)確率提升了2.9%，充分證明該方法在融合多種特定任務(wù)中學(xué)習(xí)到了更多的語義信息，有效提升了預(yù)測精度.

表2 不同方法的性能比較

基于遷移學(xué)習(xí)的各個特定任務(wù)預(yù)測精度如表3所示.其中屬于NLI的MT-DNN(base)+MNLI預(yù)測精度最高，達(dá)到了91.2%；MT-DNN(base)+QNLI的預(yù)測精度略低，為90.1%.屬于SC的MT-DNN(base)+IMDB與MT-DNN(base)+SST的預(yù)測精度分別為86.8%與88.4%.MT-DNN(base)+MRPC與MT-DNN(base)+SWAG分別取得了89.7%與89.5%的預(yù)測精度.同時與trans-BERT模型結(jié)果相比，除情感分類任務(wù)，其他特定任務(wù)在SCT上基于遷移學(xué)習(xí)后的預(yù)測精度皆有提升.實驗結(jié)果發(fā)現(xiàn)，當(dāng)模型只學(xué)習(xí)一種特定任務(wù)的語義信息時，預(yù)測表現(xiàn)比使用所有語義信息時差，這表明單一類型的語義信息對于故事結(jié)尾選擇是不夠的.

表3 特定任務(wù)遷移后預(yù)測結(jié)果

融合不同任務(wù)的語義信息，得到模型最終的預(yù)測精度，如表4所示.實驗結(jié)果發(fā)現(xiàn)，將所有信息融合后的預(yù)測準(zhǔn)確率僅有91.7%，而論文達(dá)到93.5%.

表4 多任務(wù)的組合

表5展示了消融實驗的結(jié)果，驗證不同特定任務(wù)對理解文本的貢獻(xiàn)情況.不難發(fā)現(xiàn)，模型在組合特定任務(wù)SST，SWAG，MNLI時，剝離NLI任務(wù)后，模型預(yù)測精度僅為89.8%，下降最多.剝離SC任務(wù)后，模型精度下降1.1%.剝離NAP任務(wù)后，模型精度下降最少，僅下降0.3%.

表5 消融實驗對比

4.2 結(jié)果分析

如表2所示，文中提出的TMTIS模型相較trans-BERT模型提升了2.9%，原因是：相較于其他模型，TMTIS使用MTL提升模型整體的泛化能力，同時從不同角度理解文本，組合多個語義任務(wù)并融合其中信息，實現(xiàn)故事發(fā)展方向的預(yù)測.

在各個結(jié)構(gòu)中，目標(biāo)任務(wù)在特定任務(wù)NLI上遷移效果最好，QNLI和MNLI分別達(dá)到了90.1%和91.2%，原因是NLI任務(wù)能在成對文本關(guān)系分類的任務(wù)中更好理解上下文潛在含義，從而判斷兩個文本之間到底是“沖突”、“蘊(yùn)含”還是“中立”的關(guān)系.SCT作為一種閱讀理解任務(wù)，恰好需要分析整個文本中存在的各種關(guān)系，其中不乏類似MNLI的關(guān)系分類，因此該特定任務(wù)的遷移學(xué)習(xí)效果最好，達(dá)到了91.2%.情感極性預(yù)測是一種常見的分類任務(wù)，由于一個詞在不同上下文中可能存在歧義，其情感也會發(fā)生改變.在遷移學(xué)習(xí)的過程中，由于無法保證個別單詞在源任務(wù)與目標(biāo)任務(wù)中保持相同的情感極性，因此最終預(yù)測效果最差，SST與IMDB的預(yù)測精度只有88.4%與86.8%.SCT任務(wù)中，故事主體的行為是連續(xù)的，許多行為都隨著事件的時序發(fā)展而出現(xiàn)，這與特定任務(wù)NAP預(yù)測主體下一步行為的要求一致，屬于事件時序發(fā)展的預(yù)測，因此SWAG在遷移學(xué)習(xí)后預(yù)測精度達(dá)到了89.5%.

選擇并組合NLI，SC，NAP，TS 4個任務(wù)中預(yù)測精度最高的特定任務(wù)，融合其語義信息，即組合MNLI，SST，SWAG，MRPC，結(jié)果如表4所示.實驗發(fā)現(xiàn)，融合所有語義信息，模型理解文本的效果并非最好，預(yù)測精度僅有91.7%，比單一的MT-DNN(base)+MNLI提升了0.5%.各組合中含有MRPC，即包含TS任務(wù)的組合，預(yù)測精度提升皆不明顯.考慮到檢測文本語義的相似度僅能判斷兩個句子是否在語義上等效，機(jī)器雖然可以在單個任務(wù)上取得較高的預(yù)測精度，但完整的故事中包含多種語義信息，在融合時與其他語義信息重合，導(dǎo)致模型理解文本的能力提升不顯著，則預(yù)測精度提升較少.因此論文選擇SST，SWAG，MNLI的組合，其預(yù)測精度達(dá)到了93.5%.

選擇MNLI，SST，SWAG代表的NLI，SC，NAP作為TMTIS模型內(nèi)的特定任務(wù)，并進(jìn)行消融實驗.通過每次剝離一種特定任務(wù)，驗證了不同結(jié)構(gòu)對整個模型的貢獻(xiàn)程度.表5中首先剝離NLI任務(wù)，模型預(yù)測精度下降最高，精度降低了3.7%，表明NLI任務(wù)貢獻(xiàn)最大.原因是NLI任務(wù)能夠有效為其他任務(wù)服務(wù)，使預(yù)測故事發(fā)展變得簡單.在剝離SC任務(wù)時，預(yù)測精度下降了1.1%，表明情感的極性影響了故事發(fā)展的預(yù)測.在剝離NAP任務(wù)時模型預(yù)測精度下降最少，分析認(rèn)為NAP任務(wù)與SCT任務(wù)的數(shù)據(jù)在語義上相差不大，導(dǎo)致該特定任務(wù)貢獻(xiàn)較小.同時側(cè)面驗證了NLI與SC任務(wù)的組合能夠更好理解上下文，并做出合理的預(yù)測.

5 實例研究

圖5為3個典型實例，從圖5可以直觀反應(yīng)搭建的組合模型在故事發(fā)展方向上如何做出決策.

圖5 3個典型實例

第一個實例講述了“Sam”非常喜愛他的腰帶，但因為肥胖無法穿上它的故事.在正確的故事發(fā)展方向中，考慮到NLI和NAP任務(wù)，從他因為“too much weight”到“diet”減輕體重符合邏輯推理與行為發(fā)展.而錯誤的方向中通過NLI和SC任務(wù)分析，“unfortunately”與“happy”是截然相反的兩種情感，相互沖突.第二個實例講述了“Bobby”由于很晚下班乘坐出租車回家，在發(fā)現(xiàn)司機(jī)是熟人并進(jìn)行交流.在正確的故事發(fā)展方向中，考慮到NLI和NAP任務(wù)，從他與司機(jī)“knew”和“chatted”到“time passed quickly”符合行為的發(fā)展與邏輯的推理.而錯誤的方向中同樣通過上述兩個任務(wù)，“get home”與“restaurant”顯然不是一個連貫的行為，故判斷它為錯誤方向.第三個實例講述“Anna”第一次去沙龍修指甲，雖然她很緊張但技師的非常友好，非常專業(yè).在正確的故事發(fā)展方向中，基于NLI，SC和NAP任務(wù)，“went to the salon”與“l(fā)eft the salon”連貫且符合邏輯，“friendly & quickly and expertly”與 “fashionable”在情感上都是積極的.在錯誤的發(fā)展方向中，故事主體中提到“nails”與這里的“hairstyle”相互沖突明顯不符合邏輯推理.

可以從上述實例中看到，模型組合MTL和TL后，在故事發(fā)展方向判斷時能考慮更多的信息，達(dá)到了建立模型的預(yù)期效果.

6 結(jié)束語

論文針對故事預(yù)測發(fā)展研究中模型通過單個語義難以深入理解文本的不足，將模型的關(guān)注點(diǎn)集中在多個語義任務(wù)上，基于遷移學(xué)習(xí)并融合任務(wù)中多個語義信息.實驗驗證了所提出的TMTIS模型在融入語言模型、多任務(wù)、遷移學(xué)習(xí)的基礎(chǔ)上，有效提升了模型的泛化能力及預(yù)測故事發(fā)展方向的精度.