郭 羽，林麗媛，劉玉良

(天津科技大學(xué)電子信息與自動(dòng)化學(xué)院，天津300222)

文獻(xiàn)分類是圖書情報(bào)學(xué)科的重要研究方向．當(dāng)前的文獻(xiàn)分類主要以《中國圖書館分類法》為依據(jù)[1]，使用題名、摘要、關(guān)鍵詞、刊名、作者和機(jī)構(gòu)等信息進(jìn)行分類[2]．從科技文獻(xiàn)檢索的角度來說，摘要中存在文獻(xiàn)內(nèi)容的顯性特征，包含著文獻(xiàn)的觀點(diǎn)和價(jià)值，因此，相比使用題目、關(guān)鍵詞、刊名等文獻(xiàn)信息，使用摘要信息進(jìn)行文獻(xiàn)分類能提高文獻(xiàn)分類的準(zhǔn)確率，對(duì)圖書情報(bào)學(xué)科的發(fā)展具有重要意義．

文獻(xiàn)摘要分類方法分為傳統(tǒng)的人工方法以及機(jī)器學(xué)習(xí)和深度學(xué)習(xí)[3-4]的方法．機(jī)器學(xué)習(xí)模型的不足之處：一是貝葉斯分類器[5]在屬性個(gè)數(shù)比較多或者屬性關(guān)聯(lián)性較大時(shí)分類效果不好；二是支持向量機(jī)算法(support vector machine，SVM)[6]對(duì)大規(guī)模訓(xùn)練樣本難以實(shí)施，不適于解決多分類的問題．除此之外，決策樹系列模型和隨機(jī)森林[7-8]等方法需要足夠的詞語共現(xiàn)信息完成模型訓(xùn)練，而這些信息恰好是文獻(xiàn)摘要文本所缺少的．對(duì)原始文本數(shù)據(jù)進(jìn)行特征處理后，為了讓計(jì)算機(jī)更好地理解自然語言，需要將處理后的數(shù)據(jù)轉(zhuǎn)換為文本表示．常用的文本表征方式包括詞袋模型[9]、N元模型(N-gram)、詞頻逆文檔頻率(term frequency inverse document frequency，TF-IDF)[10]、Fasttext等[11]．文本表示之后，利用網(wǎng)絡(luò)模型將獲取的有效信息擬合并計(jì)算模型參數(shù)．在過去的幾十年中，短文本分類技術(shù)迅猛發(fā)展，分類性能明顯提升.論文摘要是一類極具研究?jī)r(jià)值的短文本數(shù)據(jù)，所以利用摘要對(duì)論文進(jìn)行分類與推薦具有重要意義．但是，目前可檢索到的摘要自動(dòng)分類的研究卻很少．

隨著深度學(xué)習(xí)技術(shù)[12-15]的廣泛應(yīng)用，為了解決當(dāng)前文獻(xiàn)分類領(lǐng)域存在的問題，將短文本分類方法遷移到摘要自動(dòng)分類中，希望能夠提升摘要自動(dòng)分類性能．以文獻(xiàn)數(shù)據(jù)庫中已廣泛存在的大規(guī)模摘要數(shù)據(jù)集為訓(xùn)練語料，實(shí)現(xiàn)文獻(xiàn)自動(dòng)分類效果的提升．其中，基于預(yù)訓(xùn)練語言模型的方法在這些文本分類任務(wù)中取得較大突破，比如Word2vec[16]和One-hot[17]編碼等．但是，這些預(yù)訓(xùn)練模型對(duì)短文本中詞與詞的關(guān)聯(lián)性把握不準(zhǔn)，不能獲得關(guān)聯(lián)緊密的邊和節(jié)點(diǎn)的特征信息．轉(zhuǎn)換器的雙向編碼器表示模型(bidirectional encoder representation from transformers，BERT)[18]用預(yù)訓(xùn)練中的雙向表示和自注意力機(jī)制模塊進(jìn)行訓(xùn)練，得到上下文語義特征，在短文本分類任務(wù)中獲得了顯著提升．圖卷積神經(jīng)網(wǎng)絡(luò)(graph convolutional networks，GCN)可實(shí)現(xiàn)節(jié)點(diǎn)特征和邊特征的端到端學(xué)習(xí)．但是，用于短文本分類任務(wù)的多層GCN會(huì)導(dǎo)致節(jié)點(diǎn)特征過度平滑，使局部特征收斂到一個(gè)近似值，導(dǎo)致分類性能下降．Yao等[19]提出了文本圖卷積網(wǎng)絡(luò)模型(Text GCN)，可根據(jù)詞共現(xiàn)和文檔詞關(guān)系建立一個(gè)文本圖的語料庫，可學(xué)習(xí)單詞嵌入和文檔嵌入.但Text GCN不能快速生成嵌入向量，對(duì)無標(biāo)簽文檔的預(yù)測(cè)效果不好．

為了改善模型的分類效果，本文提出一種基于BERT-GCN-ResNet的文獻(xiàn)摘要自動(dòng)分類方法，該方法利用BERT得到待分類短文本的詞向量初始特征，進(jìn)而構(gòu)建邊和節(jié)點(diǎn)的特征并將其輸入GCN，然后在圖卷積層之間加入ResNet結(jié)構(gòu)，最后將利用圖卷積層和ResNet層得到的短文本表示輸出至softmax[20]，得到最終的分類結(jié)果．同時(shí)，為了防止過擬合，在圖卷積層引入了Dropout技術(shù)，旨在有效提高短文本分類的準(zhǔn)確率，得到較好的分類效果．

1 BERT-GCN-ResNet模型設(shè)計(jì)

1.1 模型算法

在數(shù)據(jù)輸入BERT-GCN-ResNet模型前，構(gòu)建詞節(jié)點(diǎn)和文檔節(jié)點(diǎn)的異構(gòu)圖．根據(jù)詞頻逆文檔頻率(TF-IDF)和點(diǎn)互信息(PMI)分別計(jì)算文檔節(jié)點(diǎn)、詞節(jié)點(diǎn)之間的邊的權(quán)重和兩個(gè)詞之間的權(quán)重：

式中對(duì)于PMI值定義為

其中：#W(i)為語料庫中包含單詞的滑動(dòng)窗口的數(shù)目；#W(i,j)為滑動(dòng)窗口的數(shù)目，同時(shí)包含單詞i和j的窗口；#W為語料庫中滑動(dòng)窗口的總數(shù)．PMI值為正數(shù)時(shí)，表示語料庫中單詞的語義相關(guān)性較高，反之則表示語料庫中單詞的語義相關(guān)性較低或者沒有相關(guān)性．因此，只需要在PMI值為正數(shù)的詞之間添加邊.

在BERT-GCN-ResNet模型中，使用標(biāo)識(shí)矩陣H作為初始節(jié)點(diǎn)特征，在BERT預(yù)訓(xùn)練模型中得到特征節(jié)點(diǎn)表示向量為

GCN是一個(gè)多層神經(jīng)網(wǎng)絡(luò)，適用于任意拓?fù)浣Y(jié)構(gòu)的節(jié)點(diǎn)與圖，可同時(shí)學(xué)習(xí)節(jié)點(diǎn)特征與結(jié)構(gòu)信息．這種特殊的拓?fù)浣Y(jié)構(gòu)通過一次卷積可使每一個(gè)節(jié)點(diǎn)都擁有其鄰居節(jié)點(diǎn)的信息．因此，在節(jié)點(diǎn)分類與邊預(yù)測(cè)任務(wù)中，GCN效果遠(yuǎn)遠(yuǎn)優(yōu)于其他方法．將其應(yīng)用于文本處理，并根據(jù)節(jié)點(diǎn)的鄰域?qū)傩赃M(jìn)行節(jié)點(diǎn)嵌入向量．第i層GCN層輸出特征矩陣計(jì)算式為

為特征向量的維度；ρ為激活函數(shù)Tanhshrink．本文模型為兩個(gè)GCN層，計(jì)算式為

損失函數(shù)為多分類合頁損失函數(shù)

其中：G為BERT-GCN-ResNet模型經(jīng)過softmax后的最終輸出表達(dá)式，yD為具有標(biāo)簽的文檔索引集合，F(xiàn)為輸出特征的維度，Y為標(biāo)簽矩陣．權(quán)重參數(shù)W0和1W可以通過梯度下降訓(xùn)練．

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的基于BERT-GCN-ResNet文本多分類模型由BERT、GCN和ResNet[21]組成．首先，在文本輸入之前，對(duì)需要的文本進(jìn)行數(shù)據(jù)清洗，去除無用的停詞和錯(cuò)誤的數(shù)據(jù)，目的在于提高數(shù)據(jù)準(zhǔn)確率和節(jié)約計(jì)算成本；其次，使用BERT-base對(duì)數(shù)據(jù)處理后的短文本中每個(gè)詞進(jìn)行初始特征表示．BERT使用MaskedLM可實(shí)現(xiàn)深層雙向聯(lián)合訓(xùn)練，使其更易于理解文中上下兩個(gè)句子之間的聯(lián)系．因此，將BERT生成的詞向量添加到模型中，提升模型分類性能．在特征表示層中，為有效提高分類性能，構(gòu)建了文本圖卷積網(wǎng)絡(luò)GCN，根據(jù)詞共現(xiàn)和文檔詞建立單個(gè)文本圖的語料庫，同時(shí)學(xué)習(xí)單詞嵌入和文檔嵌入．為了充分學(xué)習(xí)上下文的更多語義信息，提高模型分類性能，引入ResNet模塊．在分類輸出層中，使用多分類合頁損失函數(shù)MultiMarginLoss作為訓(xùn)練模型的損失函數(shù)，通過softmax函數(shù)生成每個(gè)類別的概率，并根據(jù)概率值進(jìn)行短文本類別預(yù)測(cè)．

BERT-GCN-ResNet整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，其中左半部分為子結(jié)構(gòu)BERT模型網(wǎng)絡(luò)結(jié)構(gòu)．首先將數(shù)據(jù)清洗后的短文本處理成詞向量的形式[ H1,… ,Hn]T，然后經(jīng)過12個(gè)Multi-layer Transformer模塊得到新的詞向量文本表示[ X1,… ,Xn]T，最后構(gòu)建圖數(shù)據(jù)結(jié)構(gòu)P．Multi-layer Transformer由Multi-head self-Attention模塊和Layer Normalization模塊構(gòu)成，并且引入了殘差模塊R．將BERT處理得到的圖結(jié)構(gòu)數(shù)據(jù)輸入到GCN-ResNet Layers模塊，如圖1右半部分所示．在圖卷積層之間引入 ResNet模塊，這種跳躍連接方式將有助于解決梯度消失和爆炸問題；在訓(xùn)練網(wǎng)絡(luò)時(shí)，可保證良好的性能，進(jìn)而提高網(wǎng)絡(luò)的提取特征能力和模型的分類性能．通過softmax函數(shù)得到最終的輸出結(jié)果Z，生成每個(gè)類別的預(yù)測(cè)值，并根據(jù)預(yù)測(cè)值的大小進(jìn)行短文本類別判定．

圖1 BERT-GCN-ResNet網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 BERT-GCN-ResNet network structure

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)在Win 10(64位)操作系統(tǒng)上進(jìn)行，以深度學(xué)習(xí)框架Pytorch 1.6.0為基礎(chǔ)，編程語言采用Python 3.7．實(shí)驗(yàn)使用的GPU為NVIDIA GeForce RTX 2080 Ti，其顯存為11GB，CPU為 Intel Xeon CPU E5-2678 v3 六核，其內(nèi)存為62GB．

2.2 數(shù)據(jù)集

本文在5個(gè)基準(zhǔn)短文本數(shù)據(jù)集R8、R52、AGNews、TagMyNews、Abstext上進(jìn)行實(shí)驗(yàn)．

R8是Reuters21578數(shù)據(jù)集的一個(gè)子集．R8[19]有8個(gè)類別，被分為6906個(gè)訓(xùn)練文件和768個(gè)測(cè)試文件．

R52是Reuters21578數(shù)據(jù)集的一個(gè)子集．R52[19]有52個(gè)類別，訓(xùn)練集中文件8190個(gè)，測(cè)試集中文件909個(gè)．

AGNews[22]是由2000多個(gè)不同的新聞來源搜集的超過100萬篇新聞文章構(gòu)成的．實(shí)驗(yàn)從中隨機(jī)挑選7600條新聞并分為4類，其中訓(xùn)練集中文件6840個(gè)，測(cè)試集中文件760個(gè)．

TagMyNews是Vitale于2012年[23]發(fā)布的基準(zhǔn)分類數(shù)據(jù)中的新聞標(biāo)題數(shù)據(jù)集．該數(shù)據(jù)包含7類，實(shí)驗(yàn)從中隨機(jī)挑選9794個(gè)數(shù)據(jù)并分為7類，其中訓(xùn)練集中文件8814個(gè)，測(cè)試集中文件980個(gè)．

Abstext是使用網(wǎng)絡(luò)爬蟲技術(shù)在愛思唯爾數(shù)據(jù)庫自動(dòng)獲取的英文文獻(xiàn)摘要數(shù)據(jù)集[24]，經(jīng)過數(shù)據(jù)處理后得到3557條數(shù)據(jù)，分為3個(gè)類別，其中訓(xùn)練集數(shù)據(jù)3200個(gè)，測(cè)試集數(shù)據(jù)357個(gè)．

對(duì)上述數(shù)據(jù)集進(jìn)行預(yù)處理，標(biāo)記文本數(shù)據(jù)，刪除在NLTK(natural language toolkit)庫中定義的停詞以及在R8、R52、AGNews、TagMyNews、Abstext中出現(xiàn)小于5次的低頻單詞．預(yù)處理后數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)見表1，其中平均長度指單詞個(gè)數(shù)．

表1 數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)結(jié)果Tab. 1 Statistical results of the data sets

2.3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)均采用Adam[25]優(yōu)化器優(yōu)化損失，epoch為200，學(xué)習(xí)率為 0.1，在 R8、R52、AGNews、TagMyNews短文本數(shù)據(jù)集上進(jìn)行短文本分類準(zhǔn)確性檢測(cè)，并按照訓(xùn)練集與測(cè)試集比例為9﹕1進(jìn)行劃分?jǐn)?shù)據(jù)集．按照?qǐng)D1所設(shè)計(jì)的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，將預(yù)處理后的短文本轉(zhuǎn)換為BERT詞向量并輸入到BERT-GCN-ResNet網(wǎng)絡(luò)．實(shí)驗(yàn)對(duì)比樸素貝葉斯(naive Bayesian，NB)、決策樹(decision tree，DT)、隨機(jī)森林(random forests，RF)、SVM、Fasttext、卷積長短時(shí)記憶網(wǎng)絡(luò)(convolutional long short-term memory，CLSTM)[26]、卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)、門控循環(huán)單元(gated recurrent unit，GRU)、長短時(shí)記憶網(wǎng)絡(luò)(long short-term memory，LSTM)、雙向長短時(shí)記憶網(wǎng)絡(luò)(bidirectional long short-term memory，Bi-LSTM)和GCN短文本分類的平均準(zhǔn)確率，實(shí)驗(yàn)結(jié)果見表2．

表2 短文本分類任務(wù)準(zhǔn)確率Tab. 2 Accuracy of short text classification task

由表2可知，BERT-GCN-ResNet模型的分類準(zhǔn)確率在R8、R52、AGNews、TagMyNews數(shù)據(jù)集上分類性能表現(xiàn)良好，其中在R8數(shù)據(jù)集上準(zhǔn)確率高達(dá)97.01%，比GCN模型有所提高，說明本文改進(jìn)的模型具有更加理想的短文本分類性能．本文模型在R52、AGNews、TagMyNews數(shù)據(jù)集分類效果也明顯優(yōu)于其他方法，尤其在TagMyNews數(shù)據(jù)集上. TFIDF+NB、TF-IDF+DT和TF-IDF+SVM等傳統(tǒng)的分類模型的分類效果不理想，在數(shù)據(jù)集R8和R52分類準(zhǔn)確率較低，特別是在數(shù)據(jù)集R52上，本文模型分類準(zhǔn)確率比其提高15%．相比于GCN模型，本文模型分類性能最高提升31%，即使是在CNN、Fasttext、CLSTM等其他基準(zhǔn)模型分類效果表現(xiàn)不好的數(shù)據(jù)集TagMyNews上，也能夠表現(xiàn)出良好的分類性能，準(zhǔn)確率為85.54%．實(shí)驗(yàn)結(jié)果表明，本文提出的BERTGCN-ResNet網(wǎng)絡(luò)模型在短文本數(shù)據(jù)集上的分類效果顯著．

為了驗(yàn)證本文提出BERT-GCN-ResNet網(wǎng)絡(luò)模型的有效性，采用上述評(píng)價(jià)指標(biāo)對(duì)各模塊進(jìn)行消融實(shí)驗(yàn)，并計(jì)算在每個(gè)數(shù)據(jù)集上的準(zhǔn)確率，實(shí)驗(yàn)結(jié)果見表3．與GCN相比，本文模型加入BERT模塊后，在數(shù)據(jù)集AGNews和TagMyNews上的準(zhǔn)確率分別提高18.96%和30.22%；在數(shù)據(jù)集R8上，準(zhǔn)確率略微提升；在數(shù)據(jù)集R52上，準(zhǔn)確率略微下降．這表明BERT可獲取上下文相關(guān)的雙向特征表示，在分類任務(wù)上優(yōu)勢(shì)明顯．引入ResNet模塊，本文模型在數(shù)據(jù)集AGNews和TagMynews上，準(zhǔn)確率分別提高19.62%和29.71%；在數(shù)據(jù)集R52上，準(zhǔn)確率略微提升；在數(shù)據(jù)集R8上，準(zhǔn)確率略微下降．實(shí)驗(yàn)結(jié)果證明，引入ResNet可以提高網(wǎng)絡(luò)提取特征能力，提升分類效果．由于個(gè)別短文本語義相近，在文本預(yù)訓(xùn)練時(shí)出現(xiàn)文本表示相同的情況，造成語義混淆，導(dǎo)致在單獨(dú)引入BERT或ResNet模塊時(shí)，在數(shù)據(jù)集R52和R8上的準(zhǔn)確率會(huì)略有下降；同時(shí)引入BERT和ResNet模塊后，在所有實(shí)驗(yàn)數(shù)據(jù)集上準(zhǔn)確率均有所提高．由此可見，本文模型融合了BERT、GCN和ResNet的優(yōu)勢(shì)，增強(qiáng)了文本語義特征提取能力，又憑借GCN適用于任意拓?fù)浣Y(jié)構(gòu)的獨(dú)特優(yōu)勢(shì)，在節(jié)點(diǎn)分類任務(wù)中效果明顯優(yōu)于其他模型，因此，BERT-GCNResNet模型能夠使短文本分類性能提升．

表3 BERT-GCN-ResNet模型消融實(shí)驗(yàn)Tab. 3 BERT-GCN-ResNet model ablation experiment

將該模型在短文本摘要數(shù)據(jù)集Abstext上進(jìn)行驗(yàn)證，結(jié)果見表4．

表4 Abstext實(shí)驗(yàn)結(jié)果Tab. 4 Abstext experimental results

同TF-IDF＋NB、TF-IDF＋DT、TF-IDF＋RF、TF-IDF＋SVM、Fasttext、CNN、GRU、LSTM、CLSTM、Bi-LSTM、GCN等基準(zhǔn)模型對(duì)比，本文模型的文獻(xiàn)摘要自動(dòng)分類結(jié)果準(zhǔn)確率為96.85%，比GCN提高了3.73%，比TF-IDF＋DT網(wǎng)絡(luò)的準(zhǔn)確率提高了4.39%，明顯優(yōu)于其他基準(zhǔn)模型，表明該模型具有良好的泛化能力．由于BERT和ResNet模塊可以提取短文本更多特征信息，進(jìn)而提高短文本分類的準(zhǔn)確率．實(shí)驗(yàn)結(jié)果表明，引入BERT預(yù)訓(xùn)練模型到GCN和ResNet融合網(wǎng)絡(luò)中對(duì)于短文本分類效果的提升具有一定優(yōu)勢(shì)，尤其是在語義較為稀疏的短文本中表現(xiàn)出更好效果．例如在AGNews和TagMyNews數(shù)據(jù)集上，BERT-GCN-ResNet網(wǎng)絡(luò)模型比GCN的實(shí)驗(yàn)結(jié)果分別提高了19.10%和31.26%. 這表明該模型可以充分地學(xué)習(xí)文本中包含的長距離依賴和上下文信息，能夠獲得更加豐富的語義表示，可以極大促進(jìn)短文本文獻(xiàn)摘要分類性能的提升．

3 結(jié) 論

本文提出一種基于BERT-GCN-ResNet的文獻(xiàn)摘要自動(dòng)分類方法．將文獻(xiàn)摘要分類問題轉(zhuǎn)化為短文本節(jié)點(diǎn)分類問題．BERT可以完成深層雙向聯(lián)合訓(xùn)練的任務(wù)，獲得上下文相關(guān)的雙向特征表示，因此，該方法利用BERT模型獲得預(yù)訓(xùn)練的詞向量，進(jìn)而構(gòu)建邊和節(jié)點(diǎn)特征信息，將其輸入融合了ResNet模塊的兩層GCN網(wǎng)絡(luò)中，進(jìn)一步提高網(wǎng)絡(luò)對(duì)文本語義特征的提取能力，實(shí)現(xiàn)淺層網(wǎng)絡(luò)訓(xùn)練，即可達(dá)到深層網(wǎng)絡(luò)訓(xùn)練的效果．將GCN和ResNet層得到的短文本表示輸出至softmax分類器，得到最終分類結(jié)果．該方法在4種不同短文本數(shù)據(jù)集上進(jìn)行準(zhǔn)確性驗(yàn)證，準(zhǔn)確率最高為97.01%，優(yōu)于基準(zhǔn)模型．在本文構(gòu)建的文獻(xiàn)摘要數(shù)據(jù)集Abstext上進(jìn)行驗(yàn)證，結(jié)果表明該模型具有良好的泛化性能，提高了文獻(xiàn)摘要自動(dòng)分類的準(zhǔn)確性．

在未來的研究工作中，本文將從如何構(gòu)建更富含語義信息的圖特征出發(fā)，進(jìn)一步提升模型提取語義特征信息的能力．同時(shí)，本文是將多標(biāo)簽數(shù)據(jù)處理成單標(biāo)簽進(jìn)行多分類，具有一定的局限性，后續(xù)將探索在面對(duì)多標(biāo)簽的分類問題上，如何實(shí)現(xiàn)較好的分類效果.