常俊豪 武鈺智

摘要：【目的】探究ERNIE模型 （Enhanced Language Representation with Informative Entities）和雙向門限循環(huán)單元（BiGRU）在醫(yī)療疾病名稱科室分類中的效果及差異。【方法】以醫(yī)療疾病名稱為訓(xùn)練樣本，以BERT（Bidirectional Encoder Representation from Transformers）為對(duì)比模型并在模型之后加入不同網(wǎng)絡(luò)層進(jìn)行訓(xùn)練探究?！窘Y(jié)果】ERNIE模型在分類效果上優(yōu)于BERT模型，精度約高4%，其中精確度可達(dá)79.48%，召回率可達(dá)79.73%，F(xiàn)1分?jǐn)?shù)可達(dá)79.50%。【局限】?jī)H對(duì)其中的八個(gè)科室進(jìn)行分類研究，其他類別由于數(shù)據(jù)量過少而未納入分類體系中?！窘Y(jié)論】ERNIE-BiGRU分類效果較好，可應(yīng)用于醫(yī)療導(dǎo)診系統(tǒng)或者衛(wèi)生統(tǒng)計(jì)學(xué)中。

關(guān)鍵詞：文本分類;醫(yī)療導(dǎo)診系統(tǒng);利用知識(shí)增強(qiáng)語義表示模型;雙向門限循環(huán)單元;人工神經(jīng)網(wǎng)絡(luò)與計(jì)算

中圖分類號(hào)：TP183? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）01-0101-04

1引言

Hinton在1986年提出了分布式表示（Distributed Representation）的思想，分布式表示以其擁有非常強(qiáng)大的特征表達(dá)能力而受到學(xué)術(shù)界的廣泛關(guān)注。Bengio在2003年提出了神經(jīng)網(wǎng)絡(luò)語言模型（NNLM）[1]，之后在google Mikolov 2013年發(fā)表的兩篇有關(guān)詞向量的文章[2]大放異彩，在語義維度上得到了充分驗(yàn)證，使文本分析的進(jìn)程有了極大的提高;Mikolov在2016年7月提出了fastText[3] 的思想，把句子中所有的詞向量進(jìn)行平均化處理然后直接向 softmax 層進(jìn)行輸出，fastText 中的網(wǎng)絡(luò)模型完全沒有考慮詞的順序信息對(duì)結(jié)果所帶來的影響，而它使用的語言模型（N-Gram）卻充分說明了局部序列信息對(duì)實(shí)驗(yàn)結(jié)果所產(chǎn)生的重要意義。卷積神經(jīng)網(wǎng)絡(luò)CNN[4]（Convolutional Neural Network）不僅在圖像處理領(lǐng)域取得了巨大成功，在語音識(shí)別、文本分類等多個(gè)領(lǐng)域也發(fā)揮著重要的作用，但CNN存在一個(gè)問題是特征尺寸的視野為固定的，一方面較長(zhǎng)的序列信息無法建模，另一方面特征尺寸的超參調(diào)節(jié)也很煩瑣。近年來在自然語言處理領(lǐng)域中，比較常用的網(wǎng)絡(luò)模型是遞歸神經(jīng)網(wǎng)絡(luò)RNN[5]（Recurrent Neural Network），它的獨(dú)特性是能夠更加充分地表達(dá)上下文信息。CNN和RNN用在文本分類任務(wù)中雖然都發(fā)揮著巨大的功效，但其模型理解不夠直觀，可解釋性不好的缺點(diǎn)也成為學(xué)者們研究的熱點(diǎn)。近幾年將注意力機(jī)制[6-7]（Attention）應(yīng)用在自然語言處理領(lǐng)域能夠把每個(gè)詞對(duì)結(jié)果的貢獻(xiàn)很直觀地表達(dá)出來，其強(qiáng)大的功能在自然語言處理領(lǐng)域也引發(fā)了對(duì)注意力機(jī)制的各種加工和改進(jìn)。BERT[8-10]（Bidirectional Encoder Representation from Transformers）模型是谷歌公司AI團(tuán)隊(duì)在2018年 10 月發(fā)布的一種基于深度學(xué)習(xí)的新的語言表示模型，即基于轉(zhuǎn)換器的雙向編碼表征模型，在當(dāng)時(shí)基本刷新了很多NLP任務(wù)的最好性能，其具備廣泛的通用性也受到廣泛好評(píng)，在當(dāng)時(shí)自然語言處理領(lǐng)域引起了極大的轟動(dòng)，是NLP領(lǐng)域極為重要的一次突破。ERNIE[11-12]模型是繼BERT模型提出后做出的進(jìn)一步提升，預(yù)訓(xùn)練過程以大量的中文數(shù)據(jù)集為樣本，同時(shí)對(duì)BERT預(yù)訓(xùn)練模型的邏輯過程進(jìn)行了改進(jìn)，ERNIE模型與BERT模型相比，其優(yōu)勢(shì)顯而易見，通過對(duì)訓(xùn)練語料的擴(kuò)展和對(duì)論壇語料的引入來增強(qiáng)模型對(duì)語義表示的能力，通過對(duì)實(shí)體概念知識(shí)的學(xué)習(xí)來進(jìn)行真實(shí)世界完整概念的語義表示，在中文文本任務(wù)的使用中最具有廣泛性。

當(dāng)今社會(huì)，物質(zhì)需求已經(jīng)基本被滿足，身心健康的精神需求也在融入生活中，巨大的生活壓力使很多人的身體狀況處于亞健康甚至不健康狀態(tài)，當(dāng)人們感覺到身體不適需要采用醫(yī)療手段來進(jìn)行干預(yù)的時(shí)候，便是其就醫(yī)活動(dòng)的開始，但在就醫(yī)流程中，存在著諸多影響就醫(yī)效率的問題：1）在醫(yī)院專家診治之前，需要先向相關(guān)的導(dǎo)診醫(yī)師咨詢，這樣無形間增加了就診時(shí)間;除此之外，絕大多數(shù)人診斷前在互聯(lián)網(wǎng)上的“自診”，從浩瀚如煙的互聯(lián)網(wǎng)數(shù)據(jù)中尋找導(dǎo)致自己不適的病因如同大海撈針一般，一方面檢索的效率較低，另一方面檢索結(jié)果的準(zhǔn)確率也被人們所擔(dān)憂，容易出現(xiàn)選錯(cuò)科室等一系列問題，導(dǎo)致不必要的花費(fèi)等;2）掛號(hào)資源緊缺。在大中型城市中，“無論大病小病都要排隊(duì)掛號(hào)”的問題使本身掛號(hào)資源緊缺的情況雪上加霜，同時(shí)還浪費(fèi)了患者寶貴的就診時(shí)間;3）對(duì)于現(xiàn)在網(wǎng)上許多在線問診的情況，不僅非常耗時(shí)耗力，還需要投入一小批專業(yè)性醫(yī)師來回答來自患者各種各樣的問題，比較占用醫(yī)生資源。

具體而言，本文通過醫(yī)療疾病名稱數(shù)據(jù)集，采用ERNIE_BiGRU模型與其他對(duì)比模型設(shè)計(jì)相應(yīng)的分類實(shí)驗(yàn)，探究各種模型的分類效果，并分析分類效果的影響因素。

2數(shù)據(jù)及模型介紹

2.1數(shù)據(jù)集介紹

本文的數(shù)據(jù)主要來源于中國(guó)科學(xué)院軟件研究所劉煥勇老師在2018年搭建的有關(guān)醫(yī)藥領(lǐng)域的知識(shí)圖譜[13]，該項(xiàng)目以疾病為中心，立足于醫(yī)藥領(lǐng)域，以垂直型醫(yī)藥網(wǎng)站為數(shù)據(jù)來源，包含7類規(guī)模為4.4萬的知識(shí)實(shí)體，11類規(guī)模約30萬實(shí)體關(guān)系的知識(shí)圖譜，該項(xiàng)目的數(shù)據(jù)來自垂直類醫(yī)療網(wǎng)站，主要包括診斷項(xiàng)目檢查、醫(yī)療科目、疾病、藥品、食物、癥狀等多個(gè)部分，除此之外，本文還選取了有關(guān)醫(yī)療疾病及健康知識(shí)相關(guān)的專業(yè)互聯(lián)網(wǎng)網(wǎng)站獲取相關(guān)的醫(yī)療知識(shí)信息，如尋醫(yī)問藥網(wǎng)（ http：//jib.xywy.com/）以及39健康網(wǎng)（http：//www.39.net/），從中獲取如疾病名稱、所屬科室、常用藥品、推薦食物等相關(guān)信息，將兩部分?jǐn)?shù)據(jù)經(jīng)過數(shù)據(jù)清洗、數(shù)據(jù)去重、數(shù)據(jù)打散打亂[14]等一系列處理從中抽取需要的數(shù)據(jù)，數(shù)據(jù)的部分結(jié)構(gòu)如圖1所示。

其中，0～7分別代表腫瘤科、皮膚病科、婦產(chǎn)科、五官科、兒科、內(nèi)科、外科和其他科室，每類數(shù)據(jù)的樣本在1000條左右，總共包含了一萬余種常見疾病名稱和疑難雜癥名稱;除以上科室外，還有急診科、中醫(yī)科、精神科、男科、傳染科、肝病等科室，由于其數(shù)據(jù)量較少，容易造成樣本間數(shù)據(jù)不平衡從而影響實(shí)驗(yàn)結(jié)果，故將其放入其他科室中。本文采用隨機(jī)抽取的形式，從該醫(yī)療疾病名稱數(shù)據(jù)集中按2：2：6的比例劃分為訓(xùn)練集train_data、開發(fā)集dev_data和測(cè)試集test_data。

2.2模型介紹

ERNIE模型基于字特征輸入建模，不需要依賴其他信息，具備較強(qiáng)的通用性和可擴(kuò)展性，此外，ERNIE的訓(xùn)練語料引入了多源數(shù)據(jù)知識(shí)，除了對(duì)百科類文章進(jìn)行建模，還對(duì)新聞資訊類、論壇對(duì)話類等數(shù)據(jù)進(jìn)行學(xué)習(xí)，通過對(duì)實(shí)體概念知識(shí)的學(xué)習(xí)以及訓(xùn)練語料的擴(kuò)展，增強(qiáng)了模型的語義表示的能力，ERNIE的模型結(jié)構(gòu)圖如圖2所示。為了能夠更加充分地提取上下文信息的特征，在ERNIE模型的基礎(chǔ)之上加入BiGRU[15]（雙向門限循環(huán)單元），ERNIE模型將醫(yī)療疾病名稱數(shù)據(jù)訓(xùn)練為詞向量的形式輸入到BiGRU中來進(jìn)行更深層次的特征提取。

ERNIE模型的結(jié)構(gòu)主要由抽取知識(shí)信息和訓(xùn)練語言模型兩個(gè)部分構(gòu)成，在抽取知識(shí)信息中，為了得到結(jié)構(gòu)化的知識(shí)編碼使用Transformer[16]作為模型的基本編碼器，保留了詞在文本中的上下文信息，生成對(duì)應(yīng)的詞向量表示，transformer編碼器使用的是全attention機(jī)制，注意力機(jī)制可以提高訓(xùn)練模型的速度，通過對(duì)句子中關(guān)鍵節(jié)點(diǎn)來把控句子的整體意思，其原理為：

[attention（Q，K，V）=softmaxQKTdkV]? ? ? ? ? ? ? ? ? ? （1）

式中：[Q，K，V]代表輸入字向量矩陣;[dk]代表輸入向量維度。

在常見的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，按傳播方向可以分為單向傳播和雙向傳播，在單向的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，狀態(tài)一般是從前往后輸出的，雖然可以得到前向的上下文信息，但是忽略了后文的上下文信息所產(chǎn)生的影響。在自然語言處理任務(wù)中，如果當(dāng)前時(shí)刻的輸出不僅能夠與后一時(shí)刻的狀態(tài)產(chǎn)生聯(lián)系，還能與前一時(shí)刻的狀態(tài)建立聯(lián)系，即從兩個(gè)方向同時(shí)獲取上下文信息對(duì)文本分析的特征提取將會(huì)帶來很有力的影響。雙向門限循環(huán)單元就可以建立這種聯(lián)系，且具有對(duì)詞向量的依賴性小、復(fù)雜系數(shù)低、響應(yīng)時(shí)間快的優(yōu)點(diǎn)。BiGRU模型的輸入是由兩個(gè)單向的、方向相反的GRU組成，輸出由這兩個(gè)GRU[17]的狀態(tài)共同決定，BiGRU的模型結(jié)構(gòu)如圖3所示。

由圖3可以看出，BiGRU當(dāng)前的隱藏層狀態(tài)由當(dāng)前的輸入[xt]、[t-1]時(shí)刻前向的隱藏層狀態(tài)的輸出[ht-1]和反向的隱藏層狀態(tài)的輸出[ht-1]三個(gè)部分共同決定。BiGRU由兩個(gè)單向的、方向相反的GRU組成，輸出由這兩個(gè)GRU的狀態(tài)共同決定，所以BiGRU在t時(shí)刻的隱藏層狀態(tài)通過前向隱藏層狀態(tài)[ht-1]和反向隱藏層狀態(tài)[ht-1]加權(quán)求和得到：

[ht=GRUxt，ht-1]? ? ? ? ? ? ? ? ? ?（2）

[ht=GRUxt，ht-1]? ? ? ? ? ? ? ? ? ? （3）

[ht=wtht+vtht+bt]? ? ? ? ? ? ? （4）

其中，[GRU（）]函數(shù)表示對(duì)輸入的詞向量的非線性變換，把詞向量編碼成對(duì)應(yīng)的GRU隱藏層狀態(tài)。[wt]、[vt]分別表示t時(shí)刻雙向GRU所對(duì)應(yīng)的前向隱藏層狀態(tài)[ht]和反向隱藏層狀態(tài)[ht]所對(duì)應(yīng)的權(quán)重，[bt]表示t時(shí)刻隱藏層狀態(tài)所對(duì)應(yīng)的偏置。

模型通過對(duì)數(shù)據(jù)的處理最終將會(huì)以詞向量表示進(jìn)行輸出，此時(shí)的每個(gè)詞向量表示[T1，T2，T3，…，Tn]都包含了文本的上下文信息。在進(jìn)行多層雙向訓(xùn)練的同時(shí)，它既與后一時(shí)刻的狀態(tài)產(chǎn)生聯(lián)系又與前一時(shí)刻的狀態(tài)產(chǎn)生聯(lián)系，就會(huì)使得需要預(yù)測(cè)的詞在上下文之間被“提前觀測(cè)”，造成信息的泄露，BERT模型為了解決這一問題將模型輸入序列進(jìn)行隨機(jī)遮掩，將對(duì)應(yīng)位置的輸入變成[mask]標(biāo)記，通過序列中其他未被標(biāo)記的詞來預(yù)測(cè)這些被屏蔽的詞，ERNIE模型在此基礎(chǔ)上進(jìn)行了進(jìn)一步的優(yōu)化，將字的遮蔽上升為短語和實(shí)體層面的遮蔽，對(duì)海量數(shù)據(jù)中的實(shí)體概念等先驗(yàn)語義知識(shí)進(jìn)行建模，使得模型學(xué)習(xí)完整概念的語義表示。模型的整體結(jié)構(gòu)圖如圖4所示。

3實(shí)驗(yàn)及結(jié)果分析

3.1實(shí)驗(yàn)環(huán)境

為了驗(yàn)證該醫(yī)療疾病名稱在BERT模型和ERNIE模型中的普適性和可行性及分析各模型的效果，本實(shí)驗(yàn)在運(yùn)行速度較快的v100上進(jìn)行訓(xùn)練，具體的實(shí)驗(yàn)環(huán)境及配置如表1所示。

3.2實(shí)驗(yàn)過程

該分類任務(wù)主要分為兩種訓(xùn)練模式：一種是通過調(diào)整數(shù)據(jù)集構(gòu)成，分別是從八種分類中按比例隨機(jī)抽取和從總樣本中按比例抽取，然后再將打散后的數(shù)據(jù)放入模型中進(jìn)行試驗(yàn);另一種是不斷調(diào)整模型的參數(shù)來獲得模型的最佳效果參數(shù)值。為了驗(yàn)證模型的可靠性，本文在以下模型上進(jìn)行對(duì)比實(shí)驗(yàn)探究。

1）BERT;2）BERT_CNN;3）BERT_RCNN;4）ERNIE;5）ERNIE_BiGRU。

3.3評(píng)價(jià)指標(biāo)

在文本分類任務(wù)中，最普遍最常見的評(píng)估指標(biāo)[18]是包括精準(zhǔn)率P（Precision）、召回率R（Recall）以及F1值（F1-Score）。精準(zhǔn)率又稱查準(zhǔn)率，是針對(duì)預(yù)測(cè)結(jié)果而言的一個(gè)評(píng)價(jià)指標(biāo)，在模型判定為正樣本的結(jié)果中，真正是正樣本所占的百分比。召回率又稱為查全率，是針對(duì)原始樣本而言的一個(gè)評(píng)價(jià)指標(biāo)，在實(shí)際為正樣本中，被預(yù)測(cè)為正樣本所占的百分比，具體計(jì)算公式如下：

[P=TPTP+FP]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （5）

[R=TPTP+FN]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（6）

[F1=2PRP+R]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （7）

式中 TP：預(yù)測(cè)為正，實(shí)際為正;

FP：預(yù)測(cè)為正，實(shí)際為負(fù);

TN ：預(yù)測(cè)為負(fù)，實(shí)際為負(fù);

FN ：預(yù)測(cè)為負(fù)，實(shí)際為正。

3.4實(shí)驗(yàn)參數(shù)

在網(wǎng)絡(luò)模型改進(jìn)的基礎(chǔ)上，還需要對(duì)參數(shù)進(jìn)行調(diào)整來提升模型的效果，在本實(shí)驗(yàn)中使用的主要模型參數(shù)如表2所示。

3.5實(shí)驗(yàn)結(jié)果

為了能夠更加直觀地反映數(shù)據(jù)集在每個(gè)模型的好壞程度，每5個(gè)epoch后使用驗(yàn)證集進(jìn)行一次測(cè)試來得到訓(xùn)練的效果，通過驗(yàn)證集的準(zhǔn)確率[vacc]和損失值[vlocc]的變化來分析每個(gè)模型經(jīng)過一次訓(xùn)練后性能的變化，其中，準(zhǔn)確率[vacc]變化曲線如圖5所示，損失值[vlocc]變化曲線如圖6所示。

由圖5可以發(fā)現(xiàn)，這五個(gè)模型的準(zhǔn)確率從第一次訓(xùn)練后，整體呈上升然后趨于平緩。其中ERNIE_BiGRU模型的準(zhǔn)確率從第一次開始訓(xùn)練就明顯高于其他四個(gè)模型且呈繼續(xù)上升的趨勢(shì)，說明ERNIE_BiGRU模型在特征提取方面效果較好，可以充分提取一個(gè)詞前后文的信息，提高分類的準(zhǔn)確率。繼續(xù)提高epoch，ERNIE模型的準(zhǔn)確率還會(huì)繼續(xù)上漲，還有繼續(xù)學(xué)習(xí)的空間，但是繼續(xù)調(diào)大epoch，最終的分類準(zhǔn)確率仍然沒有ERNIE_BiGRU的高。模型的收斂情況具體可以通過損失值的大小來加以說明。當(dāng)損失值比較大時(shí)，模型出現(xiàn)過擬合的可能性比較高，當(dāng)損失值比較小時(shí)，模型出現(xiàn)欠擬合的可能性比較高，在圖6中，五個(gè)模型的損失值呈下降的趨勢(shì)然后趨于平緩，ERNIE_BiGRU在10個(gè)epoch之后的損失值一直處于較低的平穩(wěn)狀態(tài)，說明該模型具有良好的收斂效果。如果繼續(xù)將epoch調(diào)大，訓(xùn)練集的損失值還會(huì)繼續(xù)減小，但是驗(yàn)證集的損失幾乎不變，說明數(shù)據(jù)的特征不是特別明顯，模型無法充分提取到它的特征。上述結(jié)果表明，在該醫(yī)療數(shù)據(jù)集中，ERNIE_BiGRU模型的分類效果最好。

使用測(cè)試集對(duì)經(jīng)過25個(gè)epoch后的訓(xùn)練模型進(jìn)行測(cè)試，得到8個(gè)類別的精確率、召回率和[F1]分?jǐn)?shù)如表3所示。其中兒科、婦產(chǎn)科、五官科的評(píng)估指標(biāo)略高于其他科室，原因是兒科中“小兒”“嬰兒”、婦產(chǎn)科中“子宮”“卵巢”、五官科中“眼”“鼻”等特征比較明顯，所以模型可以更加充分地提取到它的特征，提高該類別的分類效果。

4結(jié)束語

本文通過對(duì)比分析了ERNIE_BiGRU和BERT的幾種分類模型對(duì)醫(yī)療科室分類效果的影響及產(chǎn)生效果差異的原因，根據(jù)以上的實(shí)驗(yàn)結(jié)果可以得到以下結(jié)論，并分析可以進(jìn)一步提升分類效果的方法。

1）本文的數(shù)據(jù)為醫(yī)療疾病名稱，字符量偏短，樣本量較少，導(dǎo)致特征提取不夠明顯?？蛇x用長(zhǎng)文本模型對(duì)其特征描述進(jìn)行特征提取可能會(huì)有更好的分類效果。

2）有些科室的樣本數(shù)量較少，可采用過采樣欠采樣（Undersampling）、對(duì)原數(shù)據(jù)的權(quán)值進(jìn)行改變、組合集或者特征選擇的方式解決。

3）有些科室由于樣本量過少未納入分類體系中，可以以本文分類模型為例重新構(gòu)建一個(gè)分類器對(duì)其進(jìn)行分類。

在后續(xù)的研究工作中，將進(jìn)一步完成更大樣本量的分類模型實(shí)驗(yàn)，考慮在句子級(jí)、段落級(jí)、文檔級(jí)等不同粒度[19-20]中使用不同的分類模型所產(chǎn)生的效果和差異，來解決實(shí)際問題，促進(jìn)模型的應(yīng)用。

參考文獻(xiàn)：

[1] Bengio Y，Schwenk H，Senécal J S，et al.Neural probabilistic language models[M]//Innovations in Machine Learning.Berlin/Heidelberg：Springer-Verlag，2006：137-186.

[2] Mikolov T， Chen K， Corrado G， et al. Efficient Estimation of Word Representations in Vector Space[C]//Proceedings of the International Conference on Learning Representations （ICLR 2013）， Scottsdale， 2013： 1-12.

[3] Joulin A， Grave E， Bojanowski P， et al. Bag of tricks for efficient text classification[C]//Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics，，2017：427-431.

[4] Kalchbrenner N，Grefenstette E，Blunsom P.A convolutional neural network for modelling sentences[C]//Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics （Volume 1：Long Papers）.Baltimore，Maryland.Stroudsburg，PA，USA：Association for Computational Linguistics，2014.

[5] Liu P F， Qiu X P， Huang X J. Recurrent Neural Network for Text Classification with Multi-Task Learning [C]//International Joint Conference on Artificial Intelligence.AAAI Press，2016：2873-2879.

[6] Du J C，Gui L，Xu R F，et al.A convolutional attention model for text classification[M]//Natural Language Processing and Chinese Computing.Cham：Springer International Publishing，2018：183-195.

[7] Pappas N， Popescu-Belis A. Multilingual Hierarchical Attention Networks for Document Classification[C]//Proceedings of the The 8th International Joint Conference on Natural Language Processing， 2017：1015-1025.

[8] Devlin J， Chang M W， Lee K， et al. BERT： Pre-training of Deep Bidirectional Transformers for Language Understanding[C]//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies，2019：4171-4186.

[9] Sun C，Qiu X P，Xu Y G，et al.How to fine-tune BERT for text classification？[M]//Lecture Notes in Computer Science.Cham：Springer International Publishing，2019：194-206.

[10] Wang Z N，Huang Z L，Gao J L.Chinese text classification method based on BERT word embedding[C]//Proceedings of the 2020 5th International Conference on Mathematics and Artificial Intelligence.Chengdu China.New York，NY，USA：ACM，2020.

[11] Sun Y，Wang S H，Li Y K，et al.ERNIE 2.0：acontinual pre-training framework for language understanding[J].Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（5）：8968-8975.

[12] Wang Y S，Zhang H H，Shi G，et al.A model of text-enhanced knowledge graph representation learning with mutual attention[J].IEEE Access，2020，8：52895-52905.

[13] Farrugia D.Exploring stigma：medical knowledge and the stigmatisation of parents of children diagnosed with autism spectrum disorder[J].Sociology of Health & Illness，2009，31（7）：1011-1027.

[14] Erhan D， Bengio Y， Courville A， et al. Why Does Unsupervised Pre-training Help Deep Learning[J]. Journal of Machine Learning Research， 2010， 11（3）：625-660.

[15] Ning W， Shi-Lin L I， Tang-Liang L， et al. Attention-Based BiGRU on Tendency Analysis of Judgment Results[J]. Computer Systems & Applications， 2019.

[16] Zhang Y，Ding X，Liu Y，et al.An artificial neural network approach to transformer fault diagnosis[J].IEEE Transactions on Power Delivery，1996，11（4）：1836-1841.

[17] Dey R，Salem F M.Gate-variants of Gated Recurrent Unit （GRU） neural networks[C]//2017 IEEE 60th International Midwest Symposium on Circuits and Systems （MWSCAS）.August 6-9，2017，Boston，MA，USA.IEEE，2017：1597-1600.

[18] Aggarwal C C，Zhai C X.A Survey of Text Classification AlgorithmsMining Text Data，2012.

[19] Nigam K，McCallum A K，Thrun S，et al.Text classification from labeled and unlabeled documents using EM[J].Machine Learning，2000，39（2/3）：103-134.

[20] Qian C， Wen L， Long M S， et al. Extracting Process Graphs from Texts via Multi-Granularity Text Classification[EB/OL].[2020-12-20].https：//arxiv.org/abs/1906.02127v2.

【通聯(lián)編輯：唐一東】

收稿日期：2021-10-15

作者簡(jiǎn)介：?？『溃?997—），男，山西臨汾人，碩士，研究方向?yàn)樽匀徽Z言處理;武鈺智（1997—），男，山西臨汾人，碩士，研究方向?yàn)樽匀徽Z言處理。

3806500338212