崔建青　仇測(cè)皓

摘? 要：新聞文本分類是自然語言處理領(lǐng)域中一項(xiàng)重要任務(wù)，本文使用新聞標(biāo)題進(jìn)行文本分類。隨著BERT預(yù)訓(xùn)練模型的崛起，BERT模型在多項(xiàng)NLP（Natural Language Processing）任務(wù)中都取得了較好的效果，并應(yīng)用在新聞分類任務(wù)中。為了提高新聞分類這一主要任務(wù)的效果，本文引入輔助任務(wù)判斷兩個(gè)新聞是否是同類新聞，對(duì)BERT預(yù)訓(xùn)練模型在輔助任務(wù)和主要任務(wù)上進(jìn)行微調(diào)。在THUCNews數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，引入輔助任務(wù)的BERT新聞分類模型在效果上優(yōu)于原BERT模型。

關(guān)鍵詞：新聞文本分類;BERT;輔助任務(wù)

中圖分類號(hào)：TP391? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Research on BERT Chinese News Text Classification based on Auxiliary Tasks

CUI Jianqing， QIU Cehao

Abstract： News text classification is an important task in the field of natural language processing. This paper proposes to use news headlines for text classification. With the rise of BERT （Bidirectional Encoder Representation from Transformers） pre-training model， BERT model has achieved good results in many NLP （Natural Language Processing） tasks， and it is also applied to news classification tasks. In order to improve the effect of the main task of news classification， an auxiliary task is introduced to judge whether the two news are similar ones， and the BERT pre-training model is fine-tuned in the auxiliary task and the main task separately. Experiments are carried out on THUCNews data set. The experimental results show that BERT news classification model with auxiliary tasks is better than the original BERT model.

Keywords： news text classification; BERT; auxiliary task

1? ?引言（Introduction）

近年來，隨著互聯(lián)網(wǎng)的高速發(fā)展與普遍接入，每天有大量的文本數(shù)據(jù)產(chǎn)生，人工方式已無法滿足海量數(shù)據(jù)的處理需求。在這種情況下，對(duì)大規(guī)模文本數(shù)據(jù)的自動(dòng)識(shí)別和處理顯得尤為重要，而新聞文本是其中非常重要的一類數(shù)據(jù)，對(duì)新聞文本的分類是自然語言處理領(lǐng)域中的一項(xiàng)重要任務(wù)。目前，基于傳統(tǒng)機(jī)器學(xué)習(xí)方法的文本分類方法已趨于成熟，常見的機(jī)器學(xué)習(xí)分類算法有樸素貝葉斯算法、KNN算法、SVM算法等[1]，這些算法在文本分類任務(wù)中取得了不錯(cuò)的效果，但是也存在一定的問題，比如在對(duì)文本進(jìn)行特征表示時(shí)不能很好地表示語序和語義信息，而且存在數(shù)據(jù)維度高和稀疏性等問題，這些問題在一定程度上都影響了文本的分類效率。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，CNN、RNN、LSTM等神經(jīng)網(wǎng)絡(luò)模型逐步應(yīng)用在文本分類任務(wù)中，2018 年Google提出了BERT模型[2]，BERT預(yù)訓(xùn)練模型也被應(yīng)用在了文本分類技術(shù)中。本文基于BERT預(yù)訓(xùn)練模型，通過在輔助任務(wù)和主要任務(wù)（新聞分類任務(wù)）上的微調(diào)來提升新聞分類模型的效果。

2? ?相關(guān)研究（Related research）

隨著深度學(xué)習(xí)在自然語言處理中的廣泛應(yīng)用，相關(guān)技術(shù)和研究算法也被應(yīng)用在文本分類任務(wù)中。2014 年，KIM[3]針對(duì)CNN（Convolutional Neural Network）的輸入層做了一些變形，提出了文本分類模型textCNN，該模型基于卷積神經(jīng)網(wǎng)絡(luò)，關(guān)注的是文本的局部信息，無法獲取上下文信息，限制了對(duì)文本語義的理解。萬圣賢等人[4]為了解決LSTM（Long Short-Term Memory）只能獲取整個(gè)句子表達(dá)而不能獲取文本局部特征的問題，提出了局部化雙向LSTM模型，通過對(duì)LSTM模型的中間表示進(jìn)行卷積和最大池化操作，獲取局部的文本特征，再進(jìn)行分類，但由于LSTM在進(jìn)行序列化處理時(shí)需要依賴上一時(shí)刻的計(jì)算結(jié)果，因此存在計(jì)算效率低的問題。2017 年，VASWANI等人[5]提出了Transformer模型，通過引入自注意力機(jī)制實(shí)現(xiàn)計(jì)算的并行化，從而可以在更大的數(shù)據(jù)上訓(xùn)練更大的模型。從2018 年開始，涌現(xiàn)出了一系列基于Transformer的預(yù)訓(xùn)練模型，BERT就是其中被廣泛使用的一個(gè)預(yù)訓(xùn)練模型，它通過掩碼語言模型和下一句預(yù)測(cè)兩個(gè)預(yù)訓(xùn)練任務(wù)得到預(yù)訓(xùn)練模型，并在文本分類任務(wù)上進(jìn)行微調(diào)，得到適用于文本分類的模型，并取得了當(dāng)時(shí)的最優(yōu)效果。林德萍等人[6]在新聞分類任務(wù)上，通過對(duì)比基于BERT的分類模型和基于LSTM的分類模型，得到BERT模型在新聞分類上準(zhǔn)確率更高的結(jié)果。YU等人[7]提出了BERT4TC模型，該模型通過構(gòu)造輔助句子來提升模型性能，它將單句分類任務(wù)轉(zhuǎn)換成句子對(duì)形式的分類任務(wù)進(jìn)行處理，旨在解決有限的數(shù)據(jù)問題和任務(wù)感知問題。張小為等人[8]將BERT當(dāng)作嵌入層接入CNN模型中進(jìn)行中文新聞文本分類。付靜等人[9]通過將BERT輸出的語義特征和word2vec詞向量與LDA（Latent Dirichlet Allocation）模型融合得到的主題擴(kuò)展特征進(jìn)行拼接來進(jìn)行新聞短文本的分類。本文通過構(gòu)建輔助任務(wù)判斷兩個(gè)新聞?wù)Z句是否是同類新聞，對(duì)BERT預(yù)訓(xùn)練模型先在輔助任務(wù)上進(jìn)行微調(diào)，再在主要任務(wù)（新聞文本分類任務(wù)）上進(jìn)行微調(diào)，并進(jìn)行效果驗(yàn)證。

3? ?研究方法（Research method）

3.1? ?BERT模型

3.1.1? ?BERT模型結(jié)構(gòu)

如圖1所示，BERT是基于Transformer的深度雙向語言表征模型。BERT利用Transformer編碼器構(gòu)造了一個(gè)多層雙向的網(wǎng)絡(luò)，由多層Transformer編碼器堆疊而成，每一層編碼器由一個(gè)多頭自注意力子層和一個(gè)前饋神經(jīng)網(wǎng)絡(luò)子層組成。多頭自注意力子層幫助編碼器在對(duì)每個(gè)單詞進(jìn)行編碼時(shí)關(guān)注輸入句子的其他單詞。

3.1.2? ?BERT輸入

BERT的輸入序列既可以是一個(gè)單一的句子，也可以是由兩個(gè)句子組合成的句子對(duì)。BERT輸入中有幾個(gè)有特殊作用的符號(hào)：

[CLS]：BERT輸入序列以[CLS]符號(hào)開始，其經(jīng)過BERT模型得到的隱藏向量可以作為整個(gè)句子的表征向量，從而用于后續(xù)的分類任務(wù)。

[SEP]：此符號(hào)用于分開兩個(gè)輸入句子，例如輸入句子A和B，要在句子A和句子B后面都增加一個(gè)符號(hào)[SEP]，用來區(qū)分這兩個(gè)句子。

本文使用輸入為字粒度的BERT模型。假設(shè)有句子A，它由N 個(gè)字符A1、A2、…、AN按順序組成;有句子B，它由M 個(gè)字符B1、B2、…、BM按順序組成。當(dāng)輸入的是單個(gè)句子A時(shí)，其對(duì)應(yīng)的BERT輸入序列為：“[CLS] A1 A2 … AN”;當(dāng)輸入的是由A、B組合成的句子對(duì)時(shí)，其對(duì)應(yīng)的BERT輸入序列為：“[CLS] A1 A2 … AN [SEP] B1 B2 … BM [SEP]”。

BERT的輸入嵌入由三部分相加構(gòu)成。標(biāo)記嵌入（Token Embedding）是單詞本身的詞向量，位置嵌入（Position Embedding）表示單詞位置信息，片段嵌入（Segment Embedding）用于區(qū)分兩個(gè)句子。由于注意力層并不會(huì)捕獲詞與詞之間的序列信息，因此需要添加位置嵌入提供詞間的位置信息。

3.1.3? ?BERT預(yù)訓(xùn)練

BERT預(yù)訓(xùn)練過程由兩個(gè)無監(jiān)督任務(wù)構(gòu)成：掩碼語言模型（Masked LM）任務(wù)和下一句預(yù)測(cè)任務(wù)（Next Sentence Prediction）。

掩碼語言模型隨機(jī)替換輸入序列中15%的標(biāo)記（Token），被替換的標(biāo)記有80%的概率被替換成符號(hào)[MASK]，有10%的概率被替換為其他任意一個(gè)標(biāo)記，有10%的概率保持原詞。與完形填空題類似，BERT這樣做使得模型被迫從上下文中猜測(cè)被遮掩的詞是什么，從而捕獲文本的深層含義。

在下一句預(yù)測(cè)任務(wù)中，輸入為兩個(gè)句子A和B，其中有50%的概率句子B是句子A的下一個(gè)句子，有50%的概率句子B是從語料中隨機(jī)選取的句子。模型的目標(biāo)是判斷句子B是否是句子A的下一個(gè)句子，使用輸入序列開始的符號(hào)[CLS]經(jīng)過BERT后對(duì)應(yīng)輸出的編碼向量C進(jìn)行預(yù)測(cè)。此任務(wù)的訓(xùn)練使得BERT模型可以理解句子之間的關(guān)系。

3.2? ?基于BERT的分類任務(wù)訓(xùn)練

預(yù)訓(xùn)練得到的BERT模型可以用于后續(xù)的NLP任務(wù)中，通過對(duì)BERT模型進(jìn)行微調(diào)，BERT模型可以適用于多種不同的NLP任務(wù)。本文中文新聞文本分類就是通過在分類任務(wù)上對(duì)BERT模型進(jìn)行微調(diào)實(shí)現(xiàn)的。本文使用新浪新聞的THUCNews中文新聞數(shù)據(jù)集，使用新聞標(biāo)題這樣的短文本進(jìn)行分類。本文除了進(jìn)行新聞主題多分類這一主要任務(wù)，還加入了輔助任務(wù)，即判斷兩個(gè)新聞標(biāo)題是否是同一類新聞的二分類任務(wù)。本文使用新聞主題分類數(shù)據(jù)構(gòu)建同類和不同類的新聞標(biāo)題語句對(duì)，從而進(jìn)行二分類任務(wù)的訓(xùn)練，這樣既可以通過數(shù)據(jù)重構(gòu)有效利用現(xiàn)有的有限的標(biāo)注數(shù)據(jù)，又可以通過對(duì)此二分類任務(wù)的訓(xùn)練，讓BERT模型學(xué)習(xí)到更好的類別特征，幫助BERT模型更好地進(jìn)行主題多分類任務(wù)的學(xué)習(xí)。本文在BERT微調(diào)階段，先進(jìn)行新聞標(biāo)題語句對(duì)二分類（同類/不同類）的訓(xùn)練，再進(jìn)行新聞主題多分類任務(wù)的訓(xùn)練，下面就這兩個(gè)任務(wù)進(jìn)行詳細(xì)闡述。

3.2.1? ?二分類任務(wù)微調(diào)

（1）數(shù)據(jù)的構(gòu)建

對(duì)于任意一個(gè)新聞標(biāo)題，隨機(jī)選取另一個(gè)同類的新聞標(biāo)題構(gòu)建同類新聞?wù)Z句對(duì);等概率選取一個(gè)不同類別，從中隨機(jī)選取一條新聞標(biāo)題構(gòu)建不同類新聞?wù)Z句對(duì)。這樣就構(gòu)建好了二分類任務(wù)的訓(xùn)練數(shù)據(jù)。

（2）網(wǎng)絡(luò)結(jié)構(gòu)

如圖2所示，使用構(gòu)建好的新聞?wù)Z句對(duì)作為輸入，比如有新聞標(biāo)題“異動(dòng)股點(diǎn)評(píng)”和“兩市幾乎平開”，那么輸入的符號(hào)序列為“ [CLS] 異 動(dòng) 股 點(diǎn) 評(píng) [SEP] 兩 市 幾 乎 平 開 [SEP] ”。此符號(hào)序列經(jīng)過嵌入層，分別得到對(duì)應(yīng)的標(biāo)記嵌入、位置嵌入和片段嵌入，將這三個(gè)嵌入相加得到最終的嵌入并傳入BERT預(yù)訓(xùn)練模型中，經(jīng)過BERT模型，得到此語句對(duì)的表征向量，再將表征向量經(jīng)過全連接層對(duì)此二分類任務(wù)進(jìn)行學(xué)習(xí)，最后經(jīng)過Softmax層得到分類的概率，進(jìn)而得到分類結(jié)果。

3.2.2? ?主題多分類任務(wù)微調(diào)

本文對(duì)新聞進(jìn)行主題分類，共分為十個(gè)類別，分別是金融、房地產(chǎn)、股票、教育、科技、社會(huì)、政治、體育、游戲和娛樂。在新聞主題多分類任務(wù)中，輸入是新聞標(biāo)題，輸入序列通過嵌入層得到嵌入表示，再使用上面二分類任務(wù)中微調(diào)得到的BERT模型，將得到的嵌入表示輸入上述微調(diào)后的BERT模型中并得到其表示，再經(jīng)過全連接網(wǎng)絡(luò)和Softmax層，得到十分類的概率值，取概率最高的類別就是模型預(yù)測(cè)的分類結(jié)果。

4? ?實(shí)驗(yàn)與結(jié)果（Experiments and results）

4.1? ?實(shí)驗(yàn)?zāi)康?/p>

本次實(shí)驗(yàn)使用BERT預(yù)訓(xùn)練模型首先進(jìn)行輔助任務(wù)的微調(diào)訓(xùn)練，其次對(duì)經(jīng)過微調(diào)訓(xùn)練后的模型進(jìn)行新聞文本分類任務(wù)訓(xùn)練，下面用BERT+AUX表示此模型，探究其效果是否優(yōu)于直接使用BERT預(yù)訓(xùn)練模型進(jìn)行新聞文本分類。

4.2? ?實(shí)驗(yàn)數(shù)據(jù)集

深度神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)高度依賴數(shù)據(jù)集，一個(gè)好的數(shù)據(jù)集對(duì)模型的優(yōu)劣起決定性作用。我們使用THUCNews大型新聞?wù)Z料庫，它是根據(jù)新浪新聞RSS訂閱頻道2005 年到2011 年的歷史數(shù)據(jù)篩選過濾生成的，包含74萬篇新聞文檔（2.19 GB），均為UTF-8純文本格式。本次實(shí)驗(yàn)使用該語料庫中的十個(gè)類別，即金融、房地產(chǎn)、股票、教育、科技、社會(huì)、政治、體育、游戲和娛樂，每個(gè)類別包含兩萬條數(shù)據(jù)，共20萬條帶類別標(biāo)簽的新聞標(biāo)題數(shù)據(jù)，從中抽取18萬條作為訓(xùn)練數(shù)據(jù)集，1萬條作為測(cè)試集，1萬條作為驗(yàn)證集。

對(duì)于二分類微調(diào)任務(wù)，使用上述20萬條新聞數(shù)據(jù)，對(duì)其進(jìn)行正采樣和負(fù)采樣，得到訓(xùn)練數(shù)據(jù)。對(duì)于任意一條新聞數(shù)據(jù)，正采樣是從同類數(shù)據(jù)中隨機(jī)抽取一個(gè)樣本組成二分類任務(wù)的一個(gè)正樣本，負(fù)采樣是等概率從其他類數(shù)據(jù)中隨機(jī)抽取一個(gè)樣本組成二分類任務(wù)的一個(gè)負(fù)樣本。通過此方式，我們得到36萬個(gè)新聞?wù)Z句對(duì)作為訓(xùn)練數(shù)據(jù)集，兩萬個(gè)新聞?wù)Z句對(duì)作為測(cè)試集，兩萬個(gè)新聞?wù)Z句對(duì)作為驗(yàn)證集。

4.3? ?實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)采用Intel 酷睿i5 8300H四核八線程CPU，顯卡使用4 GB NVIDIA GTX 1050Ti，編程語言使用Python 3.7，深度學(xué)習(xí)框架使用Pytorch 1.7.1+cu101。本次實(shí)驗(yàn)使用BERT開源庫Pytorch Transformers，預(yù)訓(xùn)練模型使用谷歌發(fā)布的BERT中文預(yù)訓(xùn)練模型。為了避免訓(xùn)練結(jié)果產(chǎn)生過擬合現(xiàn)象，本次實(shí)驗(yàn)使用提前終止技術(shù)。

實(shí)驗(yàn)超參數(shù)如下：迭代次數(shù)Epoch設(shè)為5，批量大小batch size設(shè)為16，學(xué)習(xí)率learning rate設(shè)為2e-5，梯度裁剪max grad norm設(shè)為10，提前終止批量大小設(shè)為1000。

4.4? ?評(píng)估指標(biāo)

采用分類任務(wù)中常用的評(píng)估指標(biāo)：準(zhǔn)確率Acc（Accuracy）、精確率P（Precision）、召回率R（Recall）和F1。四種指標(biāo)的計(jì)算方法如下：

（1）

（2）

（3）

（4）

其中，TP表示實(shí)際為正，被預(yù)測(cè)為正的樣本數(shù)量;TN表示實(shí)際為負(fù)，被預(yù)測(cè)為負(fù)的樣本數(shù)量;FN表示實(shí)際為正，被預(yù)測(cè)為負(fù)的樣本數(shù)量;FP表示實(shí)際為負(fù)，被預(yù)測(cè)為正的樣本數(shù)量。

4.5? ?實(shí)驗(yàn)結(jié)果與分析

4.5.1? ?實(shí)驗(yàn)結(jié)果

在測(cè)試集上對(duì)模型效果進(jìn)行驗(yàn)證，表1顯示BERT模型分類準(zhǔn)確率為94.53%，我們的模型BERT+AUX分類準(zhǔn)確率為94.76%，是優(yōu)于BERT模型的。

表2是BERT模型在新聞分類各類別上的精確率、召回率和F1值，表3是我們的模型BERT+AUX在新聞分類各類別上的精確率、召回率和F1值。從中可以看出，BERT+AUX模型在金融、房地產(chǎn)、股票、科技、政治、體育、游戲、娛樂八個(gè)類別上的F1值均高于直接使用BERT模型進(jìn)行新聞分類的效果。

4.5.2? ?實(shí)驗(yàn)分析

本次實(shí)驗(yàn)結(jié)果證明，先使用BERT預(yù)訓(xùn)練模型進(jìn)行兩個(gè)新聞標(biāo)題是否為同一類新聞的微調(diào)訓(xùn)練，然后再對(duì)經(jīng)過微調(diào)訓(xùn)練后的模型進(jìn)行新聞文本分類的訓(xùn)練，要優(yōu)于直接使用BERT預(yù)訓(xùn)練模型進(jìn)行新聞文本分類。由表1可以看出，BERT+AUX模型比BERT模型分類準(zhǔn)確率高0.23%;由表2、表3對(duì)比可以看出，BERT+AUX模型在多個(gè)類別上是明顯優(yōu)于BERT模型的。

通過分析預(yù)測(cè)錯(cuò)誤的樣本，我們發(fā)現(xiàn)，預(yù)測(cè)錯(cuò)誤的樣本很多都是可以被標(biāo)注為多類別的。其中一些分類錯(cuò)誤的樣本如表4所示，比如新聞：“江蘇南京140平方米景觀房7天漲價(jià)50萬元”，標(biāo)注的類別是“社會(huì)”，而模型預(yù)測(cè)的類別是“房地產(chǎn)”，因?yàn)檫@個(gè)新聞既可以是“社會(huì)”類新聞，又可以是“房地產(chǎn)”類新聞。

由于新聞存在多類別的情況，我們除了考慮模型的Top-1準(zhǔn)確率外，繼續(xù)考慮模型的Top-2準(zhǔn)確率和Top-3準(zhǔn)確率。表5就是BERT模型和BERT+AUX模型的Top-1、Top-2、Top-3準(zhǔn)確率對(duì)比。從表5中可以看到，我們的模型BERT+AUX在Top-1、Top-2和Top-3上的準(zhǔn)確率均高于BERT模型，并且Top-3準(zhǔn)確率可以達(dá)到97.73%。

5? ?結(jié)論（Conclusion）

本文針對(duì)中文新聞文本分類問題，在使用BERT預(yù)訓(xùn)練模型進(jìn)行文本表示的基礎(chǔ)上，首先借助輔助任務(wù)進(jìn)行微調(diào)，再使用通過輔助任務(wù)微調(diào)得到的BERT模型對(duì)新聞分類任務(wù)進(jìn)行訓(xùn)練。通過引入輔助任務(wù)，幫助BERT模型學(xué)習(xí)到更多的類別特征，同時(shí)輔助任務(wù)使用的數(shù)據(jù)是基于新聞分類數(shù)據(jù)重構(gòu)得到的，更加充分利用了有限的標(biāo)注數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，基于輔助任務(wù)的BERT分類模型效果更好。本文使用新聞標(biāo)題進(jìn)行文本分類存在信息量少的問題，后續(xù)可以考慮在其中加入更多的特征和知識(shí)以便更好地進(jìn)行短文本分類。

參考文獻(xiàn)（References）

[1] 高潔，吉根林.文本分類技術(shù)研究[J].計(jì)算機(jī)應(yīng)用研究，2004

（07）：28-30，34.

[2] DEVLIN J， CHANG M W， LEE K， et al. Bert： Pre-training of deep bidirectional transformers for language understanding[C]//? BURSTEIN J， DORAN C， SOLORIO T. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， NAACL-HLT 2019. Minneapolis MN USA： ACL， 2019：4171-4186.

[3] KIM Y. Convolutional neural networks for sentence classification[C]// MOSCHITTI A， PANG B， DAELEMANS W.

Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Doha， Qatar： ACL， 2014：

1746-1751.

[4] 萬圣賢，蘭艷艷，郭嘉豐，等.用于文本分類的局部化雙向長(zhǎng)短時(shí)記憶[J].中文信息學(xué)報(bào)，2017，31（3）：62-68.

[5] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need[C]// GUYON I， LUXBURG U V， BENGIO S， et al. Advances in Neural Information Processing Systems 30： Annual Conference on Neural Information Processing Systems 2017. Long Beach， CA， USA： NIPS， 2017：5998-6008.

[6] 林德萍，汪紅娟.基于BERT和RNN的新聞文本分類對(duì)比[J].北京印刷學(xué)院學(xué)報(bào)，2021，29（11）：156-162.

[7] YU S S， SU J D， LUO D. Improving BERT-based text classification with auxiliary sentence and domain knowledge[J]. IEEE Access， 2019， 7：176600-176612.

[8] 張小為，邵劍飛.基于改進(jìn)的BERT-CNN模型的新聞文本分類研究[J].電視技術(shù)，2021，45（07）：146-150.

[9] 付靜，龔永罡，廉小親，等.基于BERT-LDA的新聞短文本分類方法[J].信息技術(shù)與信息化，2021（2）：127-129.

作者簡(jiǎn)介：

崔建青（1989-），女，碩士，助教.研究領(lǐng)域：自然語言處理，人工智能.

仇測(cè)皓（2000-），男，本科生.研究領(lǐng)域：自然語言處理.