牛成磊

（北京比圖科技有限公司，北京 100102）

目前在建模中，可以充分地采用輸入文本信息。數(shù)字信息目前越來越強(qiáng)大，所以在互聯(lián)網(wǎng)中也會(huì)出現(xiàn)一些信息攔截的情況。用戶在使用互聯(lián)網(wǎng)時(shí)，希望可以快速準(zhǔn)確的得到想要的信息，然而目前信息出現(xiàn)了過度膨脹，所以用戶需要消耗大量的時(shí)間來進(jìn)行搜索查詢。互聯(lián)網(wǎng)商家提供的服務(wù)，其實(shí)是希望能夠精準(zhǔn)掌握客戶的需求，然而為客戶推送的相關(guān)內(nèi)容，有的時(shí)候并不符合客戶的需求。根據(jù)以上的內(nèi)容推薦系統(tǒng)現(xiàn)在已經(jīng)產(chǎn)生了新的推薦系統(tǒng)，就是把用戶的相關(guān)信息進(jìn)行分析，然后再進(jìn)行歷史交互，歷史交互包含用戶的購買記錄以及查閱記錄等。通過這些特點(diǎn)，能夠了解到用戶目前的上網(wǎng)習(xí)慣。所以項(xiàng)目特征也隨著歷史交互被了解。

1 文本信息處理技術(shù)

1.1 概述

文本信息處理簡單的講就是對文本進(jìn)行處理，在里面找到所需要的信息，這一過程對于文本處理來講非常重要。以NLP領(lǐng)域?yàn)橹行恼归_研究，但是推薦系統(tǒng)領(lǐng)域中，可以直接采用研究成果對此領(lǐng)域中的數(shù)據(jù)展開處理，根據(jù)提取的信息，將文本引入到推薦過程，能夠獲得最佳的推薦效果。在自然語言處理領(lǐng)域中文本信息有很多的種類，并且可根據(jù)不同形式展開處理，由于受到篇幅的限制，所以本節(jié)對于設(shè)計(jì)中的推薦模型展開了討論，以及對文本信息處理技術(shù)展開討論。

1.2 深度學(xué)習(xí)模型

深度神經(jīng)網(wǎng)絡(luò)概述。深度神經(jīng)網(wǎng)絡(luò)在進(jìn)行深度學(xué)習(xí)技術(shù)的時(shí)候，是比較基礎(chǔ)的一個(gè)部分，然而感知機(jī)模型想要得到更好的拓展，需要添加隱藏層，這樣才能夠促使非線性激活函數(shù)能夠更加充分的體現(xiàn)自身能力。深度神經(jīng)網(wǎng)絡(luò)在各領(lǐng)域中應(yīng)用的非常廣泛，能夠表現(xiàn)出較強(qiáng)的特征。同時(shí)也可以根據(jù)模型進(jìn)行設(shè)計(jì)，并充分融合深度網(wǎng)絡(luò)，最終達(dá)到模型中的強(qiáng)大功能。最近系統(tǒng)研究領(lǐng)域會(huì)出現(xiàn)各種推薦模型，同時(shí)根據(jù)文中所提出的，采用卷積神經(jīng)網(wǎng)絡(luò)，可以將文本特點(diǎn)進(jìn)行提取，從而促進(jìn)推薦任務(wù)在深度網(wǎng)絡(luò)中所推薦的領(lǐng)域得到具體應(yīng)用，另外，想要捕捉更多用戶的喜好，首先應(yīng)該在推薦模型中使用注意力機(jī)制。在很多工作中，可以使用圖神經(jīng)網(wǎng)絡(luò)充分的與推薦系統(tǒng)相融合，從中能夠得到更好地推薦效果，最終會(huì)形成DNN，并廣泛應(yīng)用到推薦領(lǐng)域。

2 基于文本的注意力神經(jīng)網(wǎng)絡(luò)推薦模型

根據(jù)上文的內(nèi)容，協(xié)同過濾推算法一般可以用于訓(xùn)練時(shí)使用，主要針對數(shù)據(jù)種類比較單一，并且還會(huì)出現(xiàn)信息不完善等情況，所以應(yīng)使用要推薦的模型為用戶建立更好的固定特征向量，但是從而也會(huì)導(dǎo)致忽視用戶的愛好。如果想要找到更好的解決方法，首先應(yīng)該評論文本信息，并適當(dāng)?shù)奶砑拥酵扑]過程之中，然而模型建筑會(huì)獲得更多的信息輸入，最重要的是在文本中，一般會(huì)囊括用戶所選擇的項(xiàng)目以及看法等。另外，在使用時(shí)也會(huì)體現(xiàn)出用戶的感受，能夠幫助模型挖掘用戶更多的喜好，同時(shí)也可體現(xiàn)出模型挖掘的特征。

在用戶使用某一項(xiàng)目的時(shí)候，會(huì)產(chǎn)生不同的想法，例如手機(jī)項(xiàng)目用戶在對手機(jī)項(xiàng)目進(jìn)行評價(jià)的時(shí)候，會(huì)根據(jù)手機(jī)的外觀以及通話質(zhì)量等來發(fā)表自己的意見以及感受。挖掘評論文本所體現(xiàn)出的信息會(huì)支持模型的構(gòu)建，同時(shí)也可以根據(jù)用戶以及項(xiàng)目的不同等級(jí)為用戶來推薦更多的模型輸入，從而能夠獲得更多的補(bǔ)充信息，并且也會(huì)獲得更多的功能。ANAR模型主要分為4個(gè)內(nèi)容，共內(nèi)容主要是用戶嵌入向量、文本特征、項(xiàng)目嵌入向量、項(xiàng)目的文本特征。與傳統(tǒng)的隱語義模型相比，現(xiàn)在用戶所使用的項(xiàng)目能夠體現(xiàn)出隱向量思想，根據(jù)用戶的id，能夠反映出用戶正在使用的嵌入向量Embi∈Rk。

文本特征θu∈RK和項(xiàng)目文本特征Embi∈Rk都是使用特殊設(shè)計(jì)，最終獲得卷積神經(jīng)網(wǎng)（CNN），根據(jù)數(shù)據(jù)集評論去獲得文本。要注意的是，在本文中所采用的實(shí)驗(yàn)大多來自于美國亞馬遜電商網(wǎng)站，因?yàn)檫@些數(shù)據(jù)都屬于公開的，所以在選擇數(shù)據(jù)的時(shí)候，會(huì)對文本進(jìn)行評論，同時(shí)所有的文本均為英文，根據(jù)ANAR模型所提取到的相關(guān)流程可參考如下內(nèi)容，文本數(shù)據(jù)再進(jìn)行清洗時(shí)，首先要考慮真實(shí)語言環(huán)境，因?yàn)楹芏嘣~語，不具備實(shí)際的意義，所以要考慮限定詞以及語氣詞等。在進(jìn)行數(shù)據(jù)清理時(shí)，首先應(yīng)該將這些詞語刪除，另外，如果在數(shù)據(jù)集中，將所有的評論文檔進(jìn)行整合，匯總成為一個(gè)總評論文檔，這與推薦任務(wù)不會(huì)有任何的關(guān)聯(lián),并且對推薦任務(wù)還會(huì)有所影響，主要是因?yàn)楦哳l詞無法正常的體現(xiàn)出用戶的喜好。低頻詞容易出現(xiàn)錯(cuò)誤，導(dǎo)致數(shù)據(jù)中會(huì)產(chǎn)生噪聲，所以應(yīng)該適當(dāng)?shù)谋粍h除，根據(jù)所選擇的數(shù)據(jù)展開評論，并且進(jìn)行統(tǒng)計(jì)分析，最終設(shè)定數(shù)據(jù)總評論文檔應(yīng)該使用低頻詞，如果文檔中低頻詞的數(shù)量已經(jīng)超過3萬，那么此時(shí)應(yīng)該被設(shè)定為高頻詞。

根據(jù)以上的內(nèi)容分析數(shù)據(jù)，在進(jìn)行清洗的時(shí)候，首先總評論文檔不應(yīng)該使用高頻詞或者是低頻詞，因?yàn)檫@些詞語應(yīng)該被刪除，另外在生成用戶或者是評論文檔的時(shí)候，首先要完善。在文本清洗時(shí)，首先應(yīng)該把CNN文本進(jìn)行提取，尤其是其特征，所以在很多環(huán)節(jié)會(huì)產(chǎn)生評論文檔。根據(jù)數(shù)據(jù)分析用戶發(fā)表的評論，會(huì)按照首尾相接的形式進(jìn)行整合。如果集合大于265個(gè)單詞，那么應(yīng)該在此處展開階段，并且保留前面的詞語進(jìn)行評論集合。如果長度小于256個(gè)單詞，那么在這個(gè)集合中的單詞都應(yīng)該被復(fù)制，并且整合到末尾單詞的后邊，要將這個(gè)過程進(jìn)行重復(fù)，直到長度大于256個(gè)單詞。之后，這種方式應(yīng)該及時(shí)中斷，并且應(yīng)該為用戶建立單獨(dú)的256個(gè)單詞的評論集合，針對所獲得的評論集合展開向量化操作，根據(jù)上文所述，目前選擇使用谷歌公司建立的預(yù)訓(xùn)練模型，完成此項(xiàng)任務(wù)，針對評論集合中的每一個(gè)單詞都要掌握維度正常應(yīng)該在300個(gè)單詞向量。從而也應(yīng)該為用戶創(chuàng)建維度在（256，300）的評論文檔，文檔中應(yīng)該具備256個(gè)單詞，并且每300個(gè)單詞為向量維度。

以上是根據(jù)數(shù)據(jù)集中一個(gè)用戶所產(chǎn)生的文檔評論，全部的過程根據(jù)數(shù)據(jù)集中對用戶在使用時(shí)闡述相關(guān)步驟，最終得到數(shù)據(jù)集中對應(yīng)用戶建立的評論文檔，整合數(shù)據(jù)集中的項(xiàng)目評論文檔，最終會(huì)形成相應(yīng)的思路，并且不會(huì)被重復(fù)使用。特殊設(shè)計(jì)的卷積網(wǎng)絡(luò)，并且從中能夠汲取到文檔的特征，另外還要設(shè)計(jì)比較特殊的卷積網(wǎng)絡(luò)，但此時(shí)單層在連接網(wǎng)絡(luò)的時(shí)候，不會(huì)出現(xiàn)向量維度的改變。

注意力交互部分本身屬于核心設(shè)計(jì)，同時(shí)也屬于an AR模型，所以根據(jù)本文的引言能夠分析出用戶在使用各種項(xiàng)目的時(shí)候，也應(yīng)該關(guān)注不同點(diǎn)，所以模型在進(jìn)行推薦時(shí)，應(yīng)該捕捉到更好的多樣性喜好，從而能夠使推薦準(zhǔn)確度獲得提升。

3 基于文本的圖卷積網(wǎng)絡(luò)推薦模型

近幾年，圖卷積網(wǎng)絡(luò)已經(jīng)被廣泛地使用，并且在每一個(gè)領(lǐng)域中都能夠見到這種網(wǎng)絡(luò)，現(xiàn)在這種網(wǎng)絡(luò)的構(gòu)建已經(jīng)存在很大的優(yōu)勢，能夠使信息達(dá)到目標(biāo)節(jié)點(diǎn)，能夠幫助模型去學(xué)習(xí)目標(biāo)節(jié)點(diǎn)。并且形成相應(yīng)的特征，根據(jù)以上的內(nèi)容分析，評論文本信息通過節(jié)點(diǎn)信息再進(jìn)行傳遞，根據(jù)這一過程，文本信息會(huì)得到更好地利用。

3.1 模型介紹

本章節(jié)主要是簡單分析RAGCN模型，首先對此模型的概論進(jìn)行介紹，然后具體分析怎么進(jìn)行，在進(jìn)行訓(xùn)練時(shí)能夠找到關(guān)鍵點(diǎn)以及使用關(guān)鍵的步驟，這樣才可以進(jìn)行設(shè)計(jì)，最后將此模型的訓(xùn)練方法以及如何優(yōu)化進(jìn)行介紹。

3.2 模型概述

在對RAGCN模型展開闡述之前，首先在本文中應(yīng)該注意公式符號(hào)，要盡量設(shè)置正確的符號(hào)，所以在推薦系統(tǒng)中，相關(guān)數(shù)據(jù)以及相關(guān)數(shù)據(jù)包會(huì)對用戶產(chǎn)生一定的影響，同時(shí)也會(huì)建立相應(yīng)的集合，根據(jù)所選項(xiàng)目，所構(gòu)成的集合數(shù)據(jù)集中，用戶一般會(huì)使用量Embi∈Rk。項(xiàng)目量Embi∈Rk，所表示的是自身相對應(yīng)的評論文檔，在文檔中首先應(yīng)該采用bert去提取文本向量，然后根據(jù)這個(gè)向量逐層地將其轉(zhuǎn)化成為項(xiàng)目評論，并與向量Embi∈Rk融合。

3.3 基于圖卷積網(wǎng)絡(luò)的特征學(xué)習(xí)

圖卷積網(wǎng)絡(luò)表示方式，會(huì)通過信息的傳遞以及策略學(xué)習(xí)，用戶選擇項(xiàng)目等。根據(jù)數(shù)據(jù)集中能夠體現(xiàn)出每一個(gè)用戶量Embi∈Rk，并且將其特征與用戶相結(jié)合，能夠得到的嵌入向量會(huì)與用戶節(jié)點(diǎn)的特征相符合，并且能夠查找到評論本文節(jié)點(diǎn)中所有的特點(diǎn)，根據(jù)以上的步驟在圖網(wǎng)絡(luò)結(jié)構(gòu)中會(huì)包含所有節(jié)點(diǎn)，同時(shí)也都包含特征向量，根據(jù)此項(xiàng)任務(wù)能夠知道圖卷積網(wǎng)絡(luò)可以支持用戶節(jié)點(diǎn)以及用戶特征等，能夠使特征不斷地進(jìn)行更新，學(xué)習(xí)優(yōu)化，同時(shí)還可以及時(shí)被利用。要注意一點(diǎn)，再進(jìn)行學(xué)習(xí)時(shí)，首先要評論本文節(jié)點(diǎn)中產(chǎn)生的特點(diǎn)，信息中一般不會(huì)出現(xiàn)更新的狀態(tài)。然而在通過項(xiàng)目節(jié)點(diǎn)進(jìn)行傳輸時(shí)，往往會(huì)以學(xué)習(xí)的方式進(jìn)行參與，很多時(shí)候圖卷積網(wǎng)絡(luò)在系統(tǒng)中會(huì)起到很大的作用。

3.4 注意力機(jī)制

如前文所述，在一個(gè)推薦情境中，不同的相鄰項(xiàng)目節(jié)點(diǎn)對于目標(biāo)用戶節(jié)點(diǎn)的重要程度是不一樣的。例如：假設(shè)某用戶近期購買過《新華字典》和嬰兒紙尿褲兩種商品，那么對于刻畫該用戶特征畫像的作用而言，《新華字典》這個(gè)商品幾乎起不到任何作用，因?yàn)闊o論是什么身份、什么年齡、什么性別的用戶，都有購買《新華字典》的理由；而對于嬰兒紙尿褲則完全不同，因?yàn)橘徺I此商品的用戶，其身份概率大多是剛剛為人父母的人。因此，對于這個(gè)用戶所對應(yīng)的用戶節(jié)點(diǎn)而言，在圖網(wǎng)絡(luò)消息傳遞的過程中，其兩個(gè)相鄰的項(xiàng)目節(jié)點(diǎn)對其傳遞過來的信息重要程度應(yīng)當(dāng)是截然不同的，嬰兒紙尿褲這個(gè)項(xiàng)目對應(yīng)的節(jié)點(diǎn)應(yīng)該被賦予更大的消息傳遞權(quán)重。

4 結(jié)束語

本文主要針對文本信息處理展開了深入研究，尤其是應(yīng)用于深度網(wǎng)絡(luò)技術(shù)中，根據(jù)文本信息以及用戶在使用數(shù)據(jù)進(jìn)行交互時(shí)，對其融合并且深度學(xué)習(xí)相關(guān)技術(shù)以及模型的構(gòu)建，同時(shí)也為用戶推薦模型。根據(jù)現(xiàn)有的文本推薦方法有的時(shí)候會(huì)忽視用戶在使用時(shí)的多樣性以及喜好，由于沒有建立較完善的模型，所以在輸入文本信息時(shí)，首先應(yīng)該給用戶提供更多的推薦任務(wù)，以此滿足用戶的多樣性以及喜好。對于項(xiàng)目特征應(yīng)該更加細(xì)致并且建立模型，首先針對文本，要提高神經(jīng)網(wǎng)絡(luò)模型的推薦。另外，在感知方面也要融合到端神經(jīng)網(wǎng)絡(luò)，同時(shí)也要注意對其預(yù)測進(jìn)行評分，并根據(jù)抽取用戶以及項(xiàng)目評論等推薦模型適當(dāng)?shù)膶μ卣餍畔⑦M(jìn)行提取，同時(shí)要設(shè)計(jì)一個(gè)交互網(wǎng)絡(luò)，通過動(dòng)態(tài)捕獲相關(guān)項(xiàng)目，在進(jìn)行交互的時(shí)候也會(huì)產(chǎn)生多樣性。針對圖卷積網(wǎng)絡(luò)，要適當(dāng)?shù)亓私馄涔?jié)點(diǎn)信息，對圖卷積網(wǎng)絡(luò)傳遞能力要不斷地進(jìn)行提升，不斷學(xué)習(xí)更新以及優(yōu)化用戶節(jié)點(diǎn)。同時(shí)根據(jù)公開的數(shù)據(jù)對其進(jìn)行實(shí)驗(yàn)，入門信息大多都作為輔助，而此時(shí)輔助信息可以構(gòu)建更好的模型，并且完善訓(xùn)練，能夠提升推薦的表現(xiàn)。圖卷積網(wǎng)絡(luò)比較適合處理在推薦系統(tǒng)中所產(chǎn)生的交互關(guān)系，同時(shí)也可以讓文本信息在輸入的過程中能夠得到充分的利用。對于圖卷積網(wǎng)絡(luò)構(gòu)建在進(jìn)行學(xué)習(xí)時(shí)，可以適當(dāng)?shù)耐扑]模型，這樣能夠支持用戶在選擇各種項(xiàng)目的時(shí)候所使用。

如果在文本信息中能夠適當(dāng)?shù)囊幂o助信息則可以構(gòu)建更好的模型，并且能夠更加完善訓(xùn)練，還可以促使推薦表現(xiàn)獲得不斷的提高。在如今的大數(shù)據(jù)時(shí)代，不僅僅要注意文本信息，同時(shí)還要注意其他相關(guān)的數(shù)據(jù)能夠充分的被使用，在推薦系統(tǒng)中，最主要的來源就是信息，其中包含圖片、項(xiàng)目、屬性等。在未來的科技研究中，輔助信息將會(huì)被應(yīng)用的非常廣泛，同時(shí)也會(huì)伴隨著推薦技術(shù)不斷的升級(jí)，不斷的研究，根據(jù)多種輔助信息與模型相融合的狀態(tài)，對多元化信息再進(jìn)行輸入時(shí)，應(yīng)適當(dāng)?shù)牟捎猛扑]系統(tǒng)，相對比較傳統(tǒng)系統(tǒng)已不具備太多優(yōu)越性，所以建議使用推薦系統(tǒng)。