亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        對抗網(wǎng)絡(luò)和BERT結(jié)合的電商平臺評論短文本情感分類

        2022-03-18 04:39:42潘夢強(qiáng)黃先開張青川
        關(guān)鍵詞:池化分類器卷積

        潘夢強(qiáng),黎 巎,董 微,黃先開,張青川

        (1.北京工商大學(xué) 電商與物流學(xué)院,北京 100048;2.北京工商大學(xué) 國際經(jīng)管學(xué)院,北京 100048)

        0 引 言

        在互聯(lián)網(wǎng)飛速發(fā)展的大背景下,電商平臺迅速成長,直播帶貨等新興商品銷售手段如雨后春筍般涌現(xiàn)。商品琳瑯滿目,魚龍混雜,消費者難以短時間內(nèi)判斷商品質(zhì)量。以次充好、以假亂真的案例時有發(fā)生,平臺也面臨著監(jiān)管難的問題。消費者購物時,往往會參考已有的評論來輔助自己決策,同時也會根據(jù)自己的使用體驗對商品進(jìn)行評價,大多數(shù)購物平臺也會建立獎勵機(jī)制來鼓勵購買者對商品進(jìn)行評價,這就使根據(jù)評論來進(jìn)行商品質(zhì)量監(jiān)測成為可能。

        情感分析是從用戶意見中分析其觀點、情感等信息的過程[1],在商品推薦[2-3]、銷量預(yù)測[4]、輿情治理[5]等方面均有廣泛應(yīng)用。情感分析也是一項領(lǐng)域敏感度高的技術(shù)[6],針對一個領(lǐng)域訓(xùn)練好的模型在應(yīng)用于其他領(lǐng)域時,效果卻可能不盡人意。例如,“溫度高”在形容熱水袋時往往表達(dá)的是正向情感,但是在形容手機(jī)時,卻是負(fù)向的。達(dá)到較好效果需要針對特定領(lǐng)域進(jìn)行訓(xùn)練,然而又會面臨著優(yōu)質(zhì)標(biāo)簽數(shù)據(jù)不足的情況。在這樣的背景下,遷移學(xué)習(xí)等跨領(lǐng)域的方法應(yīng)運而生[7-8],但是本質(zhì)上還是對于特定領(lǐng)域知識的重新訓(xùn)練模型,難以應(yīng)對類似于輿情監(jiān)測、商品質(zhì)量監(jiān)測等涉及領(lǐng)域廣、實時性要求高的場景。因此,跨領(lǐng)域?qū)ι唐愤M(jìn)行普適性評論情感分析顯得十分重要。

        1 相關(guān)研究

        在基于機(jī)器學(xué)習(xí)的情感分類上,文獻(xiàn)[9]嘗試了多種機(jī)器學(xué)習(xí)方法進(jìn)行情感分類任務(wù)。實驗發(fā)現(xiàn),樸素貝葉斯(naive bayes, NB)、支持向量機(jī)(support vector machines, SVM)等方法能取得較好的效果。文獻(xiàn)[10]利用Boosting方法,將SVM集成起來作為新的情感分類器。實驗表明,使用集成SVM分類效果會好于單一SVM分類器。文獻(xiàn)[11]利用改進(jìn)的NB進(jìn)行電商平臺評論情感分析,文獻(xiàn)[12]通過最大熵方法進(jìn)行情感分類。雖然傳統(tǒng)機(jī)器學(xué)習(xí)方法一直在改進(jìn),但是隨著數(shù)據(jù)量的暴漲,新鮮詞匯不斷涌現(xiàn),傳統(tǒng)方法需要一直保持訓(xùn)練以維持模型性能,因此越來越難以適應(yīng)當(dāng)今時代。

        在深度學(xué)習(xí)方面,文獻(xiàn)[13]與文獻(xiàn)[14]分別提出了Word2Vec模型和Glove模型來對文本中的字詞進(jìn)行表征,解決了傳統(tǒng)的獨特編碼維度災(zāi)難問題。但這些方法都是對于字詞的靜態(tài)表示,一個詞對應(yīng)一個詞向量,對于一詞多義現(xiàn)象并不友好,在中文文本序列中尤其如此。例如,“蘋果”既可以表示一種水果,也可以表示一種電子產(chǎn)品。詞在不同語境下有不同含義,為了應(yīng)對這一現(xiàn)象,ELMO模型[15]提供了較好解決方案,與靜態(tài)表征不同的是,該模型對于同一個詞可以根據(jù)不同語境訓(xùn)練出不同的詞向量。在此基礎(chǔ)上,文獻(xiàn)[16]基于Transformer提出了表征能力更強(qiáng)的BERT模型。在得到詞的向量化表示之后,學(xué)者往往在通過神經(jīng)網(wǎng)絡(luò)來進(jìn)一步提取文本序列的特征,然后輸入到情感分類器中進(jìn)行分類。文獻(xiàn)[17]通過改變池化策略來提升卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)的特征提取能力,文獻(xiàn)[18]將注意力機(jī)制加入CNN中,提升了情感分類性能。但是這些方法往往只適用于固定領(lǐng)域,當(dāng)應(yīng)用于新領(lǐng)域時,需要重新訓(xùn)練,而新領(lǐng)域的優(yōu)質(zhì)人工標(biāo)注數(shù)據(jù)較少,難以支撐海量模型參數(shù),所以往往效果不佳。文獻(xiàn)[19]提出域?qū)?domain adversarial neural network, DANN)方法,并且在圖文跨領(lǐng)域分類任務(wù)上取得了較好結(jié)果。雖然域?qū)狗椒ń鉀Q了新領(lǐng)域人工標(biāo)注數(shù)據(jù)不足的情況,但是每當(dāng)一個新領(lǐng)域出現(xiàn)時都得重新訓(xùn)練模型,在如今商品類型極其豐富的情況下,此方法亦難以應(yīng)對。

        基于此,本文提出一種基于對抗網(wǎng)絡(luò)和BERT的情感分類模型,從領(lǐng)域相關(guān)特征與無關(guān)特征兩個角度對文本特征進(jìn)行提取,將提取的兩種特征進(jìn)行融合之后,傳入情感分類器進(jìn)行情感分類。在模型訓(xùn)練時,利用對抗網(wǎng)絡(luò)對領(lǐng)域無關(guān)特征加以約束,情感分類器可以據(jù)此達(dá)到較好的分類效果,而領(lǐng)域鑒別器難以判別來自哪個領(lǐng)域。針對傳統(tǒng)最大池化卷積神經(jīng)網(wǎng)絡(luò)在提取文本序列特征時效果較差的情況,提出平面金字塔池化(panel pyramid pooling, PPP)改進(jìn)策略,同時以自注意力機(jī)制增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)對文本序列特征的提取能力。模型特點在于:訓(xùn)練模型時,使用情感和領(lǐng)域雙標(biāo)簽數(shù)據(jù);模型訓(xùn)練完成后,則與其他傳統(tǒng)情感分類模型一樣,只需輸入文本序列,無需輸入所屬領(lǐng)域等額外信息。

        2 模型設(shè)計

        本文提出基于對抗網(wǎng)絡(luò)與BERT的電商平臺短文本情感分析模型,見圖1。模型分為輸入層、信息提取層、分類輸出層,包括BERT模型、CNN-PPP網(wǎng)絡(luò)、自注意力機(jī)制、BiLSTM網(wǎng)絡(luò)等。模型訓(xùn)練時,樣本不僅包含情感標(biāo)簽,還包含領(lǐng)域標(biāo)簽,以領(lǐng)域標(biāo)簽作為信息增強(qiáng)的手段。模型訓(xùn)練分為5步:①將經(jīng)過分詞等預(yù)處理操作后的文本輸入到BERT模型中,形成詞向量作為初始詞表征并且作為后續(xù)特征提取層的輸入;②將BERT生成的詞向量傳入到BiLSTM模型中提取文本序列的上下文特征信息;③與②類似,將BERT模型的輸出(即BERT生成的詞向量)作為CNN-PPP的輸入,傳入到CNN-PPP模型中,進(jìn)行局部語義的特征提取,并且將CNN-PPP模型的輸出加以自注意力機(jī)制,提取更深層次的語言信息;④將③的輸出(即經(jīng)過自注意力機(jī)制后的輸出)經(jīng)過一層梯度反轉(zhuǎn)層(gradient reversal layer, GRL)之后作為輸入傳入由全連接網(wǎng)絡(luò)組成的領(lǐng)域鑒別器中,判別來自哪個領(lǐng)域,并且力圖使領(lǐng)域鑒別器無法鑒別文本序列屬于哪個領(lǐng)域;⑤將②與③的輸出進(jìn)行特征融合(即進(jìn)行拼接),然后傳入情感分類器中進(jìn)行情感分類,力圖使情感分類器能準(zhǔn)確分類文本序列的情感傾向。

        圖1 基于對抗網(wǎng)絡(luò)和BERT的情感分類模型Fig.1 Sentiment classification model based on adversarial network and BERT

        2.1 BERT

        BERT模型結(jié)構(gòu)如圖2所示。圖2中,Trm表示Transformer單元,BERT模型由多個Transformer層組成,通過“masked language model”和“next sentence prediction”兩個無監(jiān)督子任務(wù)來訓(xùn)練。在特征嵌入方面,相較于Word2Vec、Glove等模型,BERT有著更強(qiáng)的詞表征能力。

        圖2 BERT模型結(jié)構(gòu)Fig.2 Structure of BERT model

        2.2 BiLSTM

        LSTM是對傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)的改進(jìn),在一定程度上克服了RNN的梯度彌散與長期依賴問題。LSTM的信息傳播方式為

        it=σ(Wi·[ht-1,Xt])+bi

        (1)

        ft=σ(Wf·[ht-1,Xt])+bf

        (2)

        ot=σ(Wo·[ht-1,Xt])+bo

        (3)

        (4)

        (5)

        ht=ot·tanh(Ct)

        (6)

        (1)—(3)式中:it、ft、ot分別表示輸入門、遺忘門、輸出門;σ為激活函數(shù);W和b分別表示權(quán)重矩陣及偏置項;ht-1表示t-1時刻的輸出;Xt表示t時刻的輸入。

        LSTM相比RNN已有較大改進(jìn),但是單向傳播特性使其在進(jìn)行文本情感分類任務(wù),尤其是文本序列較長時,會出現(xiàn)序列后面詞比前面詞重要的問題。在情感分類時,實際突出情感的詞可能出現(xiàn)在文本任何位置,而非一定在文本最后。BiLSTM由前向LSTM以及后向LSTM組成,信息在兩個隱層之間雙向流動,可以在提取上下文信息的同時提取到更多語言信息。圖3為BiLSTM模型的結(jié)構(gòu)圖。

        2.3 CNN-PPP

        在圖像目標(biāo)檢測等視覺領(lǐng)域,采用空間金字塔池化(spatial syramid pooling,SPP)的CNN大放異彩,特殊池化結(jié)構(gòu)使其能提取到圖像的更多信息。而文本情感分類任務(wù)不同于文本分類任務(wù),它有著更為復(fù)雜的情感表達(dá)方式,同時對商品可能有多個角度的評價,且各方面的情感傾向略有差異,直接使用全局最大池化可能會陷入一葉障目的困境。與傳統(tǒng)CNN采用全局最大池化不同,CNN-PPP采用的是平面金字塔池化。

        圖3 BiLSTM模型結(jié)構(gòu)Fig.3 Structure of BiLSTM

        卷積層:使用若干個大小固定的濾波器對上一層的輸出矩陣進(jìn)行卷積操作。在文本序列中,卷積核會沿著序列方向進(jìn)行滑動,第i個卷積核對特征矩陣進(jìn)行卷積之后,得到新的特征ci,j為

        ci,j=f(wi·xj:j+h-1+b)

        (7)

        (7)式中:f為非線性的變化函數(shù),通常為RELU;b為偏置項;h是卷積核口窗口的大小。第i個卷積核沿序列滑動之后得到新特征序列ci。

        ci={ci,1,ci,2,…,ci,n-h+1}

        (8)

        池化層:進(jìn)行卷積操作之后,可以進(jìn)一步提取原始特征。為了充分提取信息,通常會使用多個卷積核進(jìn)行卷積操作,這樣就會得到大量特征向量。如果直接傳入分類層進(jìn)行分類任務(wù),會使模型因參數(shù)過大而難以訓(xùn)練,且易出現(xiàn)過擬合現(xiàn)象,所以往往會在卷積層之后加上池化層來減少參數(shù)。常見的CNN模型結(jié)構(gòu)如圖4所示。經(jīng)過全局最大池化操作后所得特征di可表示為

        di=max(ci,1,ci,2,…,ci,n-h+1)

        (9)

        全局最大池化可以在降維的同時篩選出與任務(wù)關(guān)聯(lián)度最高的特征,常應(yīng)用于圖像領(lǐng)域。由于文本的特殊性,使用全局最大池化難以捕捉句子的語法結(jié)構(gòu),且句子可能對商品進(jìn)行多方面的描述,只選取一個特征難免會以偏概全。RNN雖然可以學(xué)習(xí)文本上下文信息,但是也難以捕捉句子結(jié)構(gòu)特征。受SPP的啟發(fā),本文提出一種適用于一維卷積的PPP池化方式,其結(jié)構(gòu)見圖5。在某個卷積得到新特征序列ci之后,將其分為k段,分別對其中的每一段進(jìn)行全局最大池化操作,得到k個特征記為di;k。將k取不同的值,如k1,k2,k3,由此可以得到(k1+k2+k3)個特征,再將三者進(jìn)行拼接作為PPP池化的輸出,以此來捕獲文本序列的句子結(jié)構(gòu)特征。第i個卷積核在通過PPP池化之后有

        ci={ci;1,ci;2,…,ci;k}

        (10)

        di;k={max(ci;1),max(ci;2),…,max(ci;k)}

        (11)

        di={di;k1,di;k2,di;k3}

        (12)

        圖4 CNN模型結(jié)構(gòu)Fig.4 Structure of CNN

        圖5 CNN-PPP模型結(jié)構(gòu)Fig.5 Structure of CNN-PPP

        2.4 梯度反轉(zhuǎn)層

        加入對抗網(wǎng)絡(luò)的目的是混淆領(lǐng)域特征,使領(lǐng)域鑒別器無法鑒別上一步提取到的特征來自哪個領(lǐng)域,即使得CNN-PPP網(wǎng)絡(luò)提取的序列特征與其領(lǐng)域無關(guān)。假設(shè)CNN-PPP經(jīng)過自注意力機(jī)制層之后得到特征Vc,然后傳入領(lǐng)域鑒別器中,Vc在前向傳播經(jīng)過梯度反轉(zhuǎn)層時保持不變,在反向傳播時,將梯度變?yōu)樵瓉淼?λ倍。前向與反向傳播的公式為

        Rl(X)=X

        (13)

        (14)

        (13)—(14)式中,Rl為梯度反轉(zhuǎn)層的函數(shù),參數(shù)λ可動態(tài)變化。特征Vc最終將傳入到領(lǐng)域鑒別器中進(jìn)行分類。

        (15)

        本文以交叉熵?fù)p失函數(shù)作為領(lǐng)域鑒別器的損失函數(shù),記為Ldom,以二分類為例,表達(dá)式為

        (16)

        (16)式中:yd為實際標(biāo)簽;x為單獨樣本;n為樣本量。

        情感分類器的損失函數(shù)和領(lǐng)域鑒別器的損失函數(shù)相同,也為交叉熵?fù)p失函數(shù),記為Lsen,與情感分類器目的不同,領(lǐng)域鑒別器的目的是約束提取的特征與領(lǐng)域關(guān)聯(lián)度低,即難以通過提取的特征來判斷所屬領(lǐng)域,這一點主要由梯度反轉(zhuǎn)層保證,而情感分類器的目的是根據(jù)提取的特征準(zhǔn)確判斷情感極性。本模型實際有兩個輸出,但在最終訓(xùn)練完成后只關(guān)注情感分類器的輸出。在訓(xùn)練整個模型時,將兩個損失以一定權(quán)重進(jìn)行加和,最終本文模型的損失函數(shù)為

        Ltotal=Lsen+βLdom

        (17)

        (17)式中,β作為模型的超參數(shù),用于調(diào)節(jié)兩個損失函數(shù)的比重,實現(xiàn)Ltotal的最小化。

        3 實驗與結(jié)果分析

        3.1 實驗數(shù)據(jù)

        本文采用的實驗數(shù)據(jù)為公開數(shù)據(jù)集online_shopping_10_cats。數(shù)據(jù)集中包含書籍、水果、計算機(jī)等十個種類總計近6萬條的電商評論數(shù)據(jù)。情感標(biāo)簽分為兩類,標(biāo)簽1為積極情感,標(biāo)簽0為消極情感。為了驗證模型性能,從原始數(shù)據(jù)集中抽取情感標(biāo)簽為1的水果、衣服數(shù)據(jù)各五千條,情感標(biāo)簽為0的水果、衣服各五千條,共計2萬條數(shù)據(jù)作為數(shù)據(jù)集一,數(shù)據(jù)集一代表領(lǐng)域差別較大的樣本。類似地,將商品類型為平板、計算機(jī)的數(shù)據(jù)各1 996條,共計7 984條評論作為數(shù)據(jù)集二,數(shù)據(jù)集二代表領(lǐng)域差別較小的樣本。水果、衣服屬于體驗型商品,平板、計算機(jī)則屬于搜索型商品,這樣設(shè)計數(shù)據(jù)不僅可以在子數(shù)據(jù)集內(nèi)做對比,也方便在子數(shù)據(jù)集間做對比。

        3.2 實驗環(huán)境

        本文所用編程語言為python,深度學(xué)習(xí)框架為tensorflow,CPU為Intel Xeon Silver 4210,GPU為NVIDIA GeForce RTX 2080ti,內(nèi)存為64G。

        3.3 實驗參數(shù)設(shè)置

        本文設(shè)置文本序列最大長度為100,即一條評論文本最多包含100個字,超過100個字則進(jìn)行截斷,少于100字的在向量化之后用零向量進(jìn)行填充。數(shù)據(jù)集一與數(shù)據(jù)集二分詞后所包含詞的個數(shù)分布見表1,可以看到,在100時進(jìn)行截斷可以保留絕大部分的評論數(shù)據(jù)。LSTM中隱藏層單元數(shù)為128,卷積層激活函數(shù)為RELU,PPP分段數(shù)為1段、3段、6段。2個分類器均由2層全連接層組成,第1層神經(jīng)元個數(shù)為128,第2層神經(jīng)元個數(shù)視分類類別數(shù)而定,在本文中為2。優(yōu)化器為Adam,學(xué)習(xí)率為0.001,batch_size為128。為了在一定程度上抑制過擬合問題,分別在分類器前加入值為0.5的dropout機(jī)制。最大訓(xùn)練輪數(shù)為60,并隨機(jī)選取80%的實驗數(shù)據(jù)作為訓(xùn)練集,20%的數(shù)據(jù)作為測試集。

        表1 字個數(shù)的分布Tab.1 distribution of word number /個

        3.4 對比實驗與評估指標(biāo)

        基線模型如下。

        ①SVM[20]:支持向量機(jī)模型。

        ②CNN[21]:以全局最大池化為池化方式的卷積神經(jīng)網(wǎng)絡(luò),后面連接與本文模型相同的全連接層分類器。

        ③CNN-PPP:池化方式為本文提出的平面金字塔池化,其他與CNN相同。

        ④BiGRU[22]:雙向門控循環(huán)單元,后接的情感分類器與CNN相同。

        ⑤BiLSTM[23]:雙向長短期記憶神經(jīng)網(wǎng)絡(luò),后接的情感分類器與CNN相同。

        ⑥本文模型無對抗:為了驗證本文對抗網(wǎng)絡(luò)的有效性,在此模型中移除本文模型的梯度反轉(zhuǎn)層與領(lǐng)域鑒別器,其他參數(shù)同本文模型。

        本文采用準(zhǔn)確率(Accuracy)、F1值、召回率(Recall)作為評價指標(biāo),具體公式如下。

        (18)

        (19)

        (20)

        (21)

        3.5 結(jié)果分析

        采用數(shù)據(jù)集一進(jìn)行仿真得表2。由表2可以看出:在領(lǐng)域差別較大的混合數(shù)據(jù)中,使用PPP池化的CNN,相較于使用全局最大池化的CNN,在Accuracy、Recall和F1值上面均有一定優(yōu)勢;與BiGRU模型相比,在這3個指標(biāo)上相近。說明采用平面金字塔池化的方式能在一定程度上捕獲句子的語法結(jié)構(gòu)特征。在所有模型中,本文模型在3個指標(biāo)上都最優(yōu),準(zhǔn)確率達(dá)到了95.25%,比CNN、BiGRU、BiLSTM模型分別提高了2.48%、1.42%、1.35%;相較于不使用對抗網(wǎng)絡(luò)的本文模型,準(zhǔn)確率提高了0.9%。采用數(shù)據(jù)集二進(jìn)行仿真得表3。從表3可以看出,在領(lǐng)域差別較小的數(shù)據(jù)中,本文提出的模型在3個指標(biāo)數(shù)上依舊高于其他模型,準(zhǔn)確率達(dá)到了93.61%,比CNN、BiGRU、BiLSTM分別提高了1.75%、1.5%、0.94%;與剔除對抗部分的模型相比,準(zhǔn)確率提升了0.4%。說明即使在領(lǐng)域較為相近的數(shù)據(jù)中,使用對抗網(wǎng)絡(luò)的本文模型依舊能保持較好的準(zhǔn)確率。在Recall方面,使用對抗網(wǎng)絡(luò)的模型要高于無對抗網(wǎng)絡(luò)的模型,這一點在領(lǐng)域差別較大的數(shù)據(jù)集一上更為明顯,比無對抗的模型提高了2.1%。

        表2 數(shù)據(jù)集一實驗結(jié)果Tab.2 experimental result of data set 1 %

        綜合而言,本文提出的模型在多領(lǐng)域情感分類任務(wù)中有較好的性能,且在領(lǐng)域差別較大的數(shù)據(jù)集中表現(xiàn)要好于領(lǐng)域差別小的數(shù)據(jù)集,說明加入對抗網(wǎng)絡(luò),可以提升在多領(lǐng)域情況下的情感分類性能。同時,本文提出的CNN-PPP模型在兩個數(shù)據(jù)集上的表現(xiàn)均好于普通CNN,且接近于復(fù)雜度更高的BiGRU模型。

        表3 數(shù)據(jù)集二實驗結(jié)果Tab.3 experimental result of data set 2 %

        通過代表體驗型商品的數(shù)據(jù)集一和代表搜索型商品的數(shù)據(jù)集二上實驗數(shù)據(jù)的縱向?qū)Ρ?,可以發(fā)現(xiàn):即使領(lǐng)域跨度較大,體驗型商品上各模型的總體準(zhǔn)確率依舊要高于搜索型商品,這可能是由于產(chǎn)品屬性的不同導(dǎo)致了在線評論特征的差異化。

        3.6 模型參數(shù)分析

        由上面的結(jié)果看出,本文模型在不同領(lǐng)域跨度的數(shù)據(jù)集上表現(xiàn)有所差異,總損失函數(shù)由情感分類器損失函數(shù)與領(lǐng)域鑒別器損失函數(shù)組成,二者各自占有一定比重,在模型中以超參數(shù)β來調(diào)節(jié)。圖6和圖7分別展現(xiàn)了不同β取值下情感分類器與領(lǐng)域鑒別器的準(zhǔn)確率。從圖6可以看出,在數(shù)據(jù)集一上,當(dāng)β取值為0.01時,情感分類器的準(zhǔn)確率最高,此時的情感分類器準(zhǔn)確率高于95%;領(lǐng)域鑒別器準(zhǔn)確率低于60%,基本無法鑒別特征來自哪個領(lǐng)域。此時CNN-PPP模型提取到的特征與領(lǐng)域關(guān)聯(lián)度較低,達(dá)到了模型預(yù)想的結(jié)果。從圖7可以看出,在β取值為0.01時,情感分類器準(zhǔn)確率較高,但是此時領(lǐng)域鑒別器準(zhǔn)確率在70%左右,高于數(shù)據(jù)集一上的60%。這可能是數(shù)據(jù)集二上平板和計算機(jī)兩類商品領(lǐng)域很接近所致。而當(dāng)β取值為0.001時,數(shù)據(jù)集一和數(shù)據(jù)集二上領(lǐng)域鑒別器的準(zhǔn)確率都較高,情感分類器的準(zhǔn)確率則較差,此時對抗網(wǎng)絡(luò)對于多領(lǐng)域數(shù)據(jù)的優(yōu)勢難以發(fā)揮。

        4 結(jié)束語

        在物流與互聯(lián)網(wǎng)大發(fā)展的今天,傳統(tǒng)購物平臺與視頻平臺的邊界日益模糊,逐漸發(fā)展成你中有我,我中有你的態(tài)勢。商品類型日益豐富,但是質(zhì)量卻參差不齊,時常出現(xiàn)“金玉其外,敗絮其中”的現(xiàn)象,平臺也往往缺乏有效的監(jiān)管。從情感角度分析在線評論文本乃至彈幕文本,輔助進(jìn)行質(zhì)量監(jiān)測,是一項具有實際意義的研究。

        圖6 數(shù)據(jù)集一分類器準(zhǔn)確率Fig.6 Classifier accuracy of data set 1

        圖7 數(shù)據(jù)集二分類器準(zhǔn)確率Fig.7 Classifier accuracy of data set 2

        情感分類任務(wù)領(lǐng)域性較強(qiáng),傳統(tǒng)情感模型在跨領(lǐng)域或者涉及多領(lǐng)域的情況下效果不佳,而遷移學(xué)習(xí)的方法本質(zhì)上仍需根據(jù)新的標(biāo)簽數(shù)據(jù)對模型進(jìn)行重新訓(xùn)練,難以應(yīng)對直播電商等要求的實時質(zhì)量監(jiān)測任務(wù)。本文提出一種適用于多領(lǐng)域的情感分類模型,旨在提升多領(lǐng)域混合情況下文本情感分類準(zhǔn)確率,應(yīng)對諸如電商平臺商品質(zhì)量監(jiān)測、風(fēng)險預(yù)警等涉及領(lǐng)域廣、實時性要求高的情景。首先通過BERT模型獲得字詞的初始詞向量表征;其次,通過對抗網(wǎng)絡(luò)進(jìn)行領(lǐng)域無關(guān)特征的提取,通過雙向LSTM進(jìn)行上下文特征的提取;最后將兩個特征融合進(jìn)行情感分類,通過加入梯度反轉(zhuǎn)層實現(xiàn)對抗網(wǎng)絡(luò)的端到端訓(xùn)練。在公開數(shù)據(jù)集上的實驗結(jié)果表明,本文模型能提高多領(lǐng)域情況下情感分類準(zhǔn)確率。

        猜你喜歡
        池化分類器卷積
        基于緊湊型雙線性網(wǎng)絡(luò)的野生茵識別方法研究
        無線電工程(2024年8期)2024-09-16 00:00:00
        基于Sobel算子的池化算法設(shè)計
        卷積神經(jīng)網(wǎng)絡(luò)中的自適應(yīng)加權(quán)池化
        基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        基于卷積神經(jīng)網(wǎng)絡(luò)和池化算法的表情識別研究
        基于傅里葉域卷積表示的目標(biāo)跟蹤算法
        BP-GA光照分類器在車道線識別中的應(yīng)用
        電子測試(2018年1期)2018-04-18 11:52:35
        加權(quán)空-譜與最近鄰分類器相結(jié)合的高光譜圖像分類
        結(jié)合模糊(C+P)均值聚類和SP-V-支持向量機(jī)的TSK分類器
        人妻少妇中文字幕久久| 亚洲中文字幕巨乳人妻| 日韩av在线不卡观看| 日本高清视频在线观看一区二区| 高潮抽搐潮喷毛片在线播放| 国产内射在线激情一区| 精品午夜一区二区三区久久| 女同舌吻互慰一区二区| 日日摸夜夜添夜夜添高潮喷水| a人片在线观看苍苍影院| 福利视频一二区| 亚洲一区二区岛国高清| 老师开裆丝袜喷水视频| 无码国产色欲xxxxx视频| 97精品国产高清自在线看超| 亚洲专区路线一路线二网| 色综合久久中文娱乐网| 国产va免费精品观看| 久久99亚洲网美利坚合众国| 日本女优中文字幕在线播放| 美女福利视频在线观看网址| 日产乱码一二三区别免费l | 精品视频一区二区三区日本| 国产成人综合亚洲看片| 国产一区免费观看| 中文在线最新版天堂av| 亚洲av日韩av卡二| 国产精成人品| 亚洲男人天堂av在线| 亚洲熟少妇一区二区三区| 在线播放免费人成毛片乱码| 中文在线а√天堂官网| 亚洲国产av自拍精选| 日本熟女中文字幕在线| 又爽又黄又无遮挡网站动态图| 久久精品国产亚洲5555| 中文字幕乱码人妻在线| 久久精品国产亚洲av网站| 一区二区国产在线观看| 激情视频国产在线观看| 深夜放纵内射少妇|