關(guān)鍵詞：深度學(xué)習(xí);多頭注意力機(jī)制;TextCNN;xDeepFM;用戶行為預(yù)測(cè)

中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)志碼：A

0 引言（Introduction）

在互聯(lián)網(wǎng)營(yíng)銷領(lǐng)域[1]，活動(dòng)參與行為預(yù)測(cè)是衡量營(yíng)銷策略成效的重要工具[2]。許多學(xué)者將深度學(xué)習(xí)技術(shù)成功地應(yīng)用于預(yù)測(cè)領(lǐng)域。2016年，谷歌推出了Wide amp; Deep，隨后出現(xiàn)了DeepFM（深度因子分解機(jī)）[3]、xDeepFM、DCN（深度交叉網(wǎng)絡(luò)）、DCN-M（深度矩陣交叉網(wǎng)絡(luò)）[4]等改進(jìn)模型。一些學(xué)者也提出了其他具有創(chuàng)新性的深度學(xué)習(xí)模型。YANG等[5]提出操作感知神經(jīng)網(wǎng)絡(luò)（ONN），該模型旨在學(xué)習(xí)對(duì)不同操作具有區(qū)分性的特征表示;THAIPISUTIKUL等[6]提出一種基于深度順序?qū)W習(xí)方法（CReS）的新穎的上下文感知推薦系統(tǒng);LI等[7]提出GraphFM（圖因子分解機(jī)），使用圖神經(jīng)網(wǎng)絡(luò)代替交互層進(jìn)行特征交互。

同時(shí)，注意力機(jī)制在預(yù)測(cè)領(lǐng)域取得了巨大的成功;TAO等[8]提出HoAFM（高階注意力因子分解機(jī)），在交叉網(wǎng)絡(luò)引入注意力機(jī)制層;ZHANG等[9]提出FAT-DeepFFM（字段注意力-深度字段感知因子分解機(jī)），將深度場(chǎng)感知分解機(jī)（DeepFFM）與復(fù)合激勵(lì)網(wǎng)絡(luò)（CENet）結(jié)合，突出了特征的重要性;YANG等[10]設(shè)計(jì)了一種興趣提取模塊，通過多頭注意力機(jī)制學(xué)習(xí)用戶行為序列關(guān)系;ZHENG等[11]提出融合深度丟失預(yù)測(cè)模型，使用自注意力機(jī)制學(xué)習(xí)不同特征之間的相關(guān)性;DOGANI等[12]將CNN提取的空間特征輸入利用注意力機(jī)制優(yōu)化的GRU網(wǎng)絡(luò)中。

1 本文研究模型（The proposed model）

本研究提出基于文本卷積神經(jīng)網(wǎng)絡(luò)與多頭注意力機(jī)制增強(qiáng)的xDeepFM模型，即xDTCMAFM（圖1）。首先，將輸入信息劃分為用戶特征、活動(dòng)特征、用戶行為的非文本特征及用戶行為的文本特征四大類。對(duì)于前三類特征，通過獨(dú)熱編碼和多值特征編碼進(jìn)行處理后，輸入帶權(quán)重矩陣的嵌入層中，以獲得密集特征向量。文本特征則采用Word2vec進(jìn)行詞嵌入，隨后通過TextCNN提取用戶文本行為中的關(guān)鍵特征和意圖，確保捕獲到的文本信息既具代表性又兼顧多樣性。其次，模型將這些多維度特征輸入多頭注意力機(jī)制中，實(shí)現(xiàn)了從多角度對(duì)用戶興趣點(diǎn)和偏好變化的深度捕捉，以及對(duì)用戶行為的精細(xì)化理解。最后，通過xDeepFM模型的深度學(xué)習(xí)能力，自動(dòng)學(xué)習(xí)不同特征之間的交叉，有效地整合顯式與隱式特征交互。這一模型架構(gòu)的設(shè)計(jì)，旨在為企業(yè)在開展互聯(lián)網(wǎng)營(yíng)銷活動(dòng)時(shí)，提供更高準(zhǔn)確性的用戶參與行為預(yù)測(cè)，從而優(yōu)化營(yíng)銷策略，提高活動(dòng)的參與度和效果。

1.1 數(shù)據(jù)預(yù)處理

本文提出的xDTCMAFM模型的數(shù)據(jù)可分為4組：用戶特征、活動(dòng)特征、用戶行為非文本特征及用戶行為文本特征。用戶特征包括個(gè)人信息，如年齡、性別和所在城市等;活動(dòng)特征包括活動(dòng)類型、持續(xù)時(shí)間和地點(diǎn)等;用戶行為非文本特征指的是用戶在營(yíng)銷活動(dòng)上的行動(dòng)和習(xí)慣，這些特征通常是結(jié)構(gòu)化數(shù)據(jù)，包括瀏覽行為、參與行為等;用戶行為文本特征指的是用戶生成或與之交互的文本內(nèi)容，這些特征可以通過文本挖掘和自然語言處理技術(shù)提取，包括評(píng)論和評(píng)價(jià)行為等。

非文本特征主要進(jìn)行特征編碼處理，對(duì)于單類型特征，通常采用獨(dú)熱編碼處理。獨(dú)熱編碼即One-Hot編碼，又稱一位有效編碼，其方法是使用多位狀態(tài)寄存器對(duì)多個(gè)狀態(tài)進(jìn)行編碼，每個(gè)狀態(tài)都有它獨(dú)立的寄存器位，并且在任何時(shí)候，其中只有一位有效。

文本特征除了去停用詞、分詞等操作，還需要進(jìn)行文本向量化處理。因?yàn)槲谋咎卣魇遣豢捎?jì)算的非結(jié)構(gòu)化的數(shù)據(jù)，所以在進(jìn)行分類之前，需要將文本數(shù)據(jù)轉(zhuǎn)化為計(jì)算機(jī)可以識(shí)別和計(jì)算的向量。詞嵌入模型是目前實(shí)現(xiàn)詞語到其特征向量映射的一種最有效的方法。Word2vec是一種流行的詞嵌入方法，它包括兩個(gè)主要的模型：連續(xù)詞袋（CBOW）模型和跳字（Skipgram）模型。在CBOW 模型中，目標(biāo)是利用周圍的上下文詞預(yù)測(cè)中心詞;而在Skip-gram模型中，策略則相反，通過給定的中心詞預(yù)測(cè)其周圍的上下文詞。這兩種模型的共同目的是通過迭代訓(xùn)練生成一個(gè)包含詞向量的詞典。本文主要采用Skipgram模型，Skip-gram模型結(jié)構(gòu)圖如圖2所示。

在Skip-gram模型中，初始輸入的每個(gè)單詞都通過獨(dú)熱編碼形式表示。向量隨后傳遞至嵌入層，該層包含一個(gè)權(quán)重矩陣，它能將高維的獨(dú)熱編碼轉(zhuǎn)換為一個(gè)低維、稠密的詞嵌入向量。這個(gè)詞向量接下來會(huì)被送入輸出層，輸出層通過輸出權(quán)重矩陣計(jì)算目標(biāo)單詞的詞嵌入與詞匯表中每個(gè)可能的上下文單詞的詞嵌入之間的相似度，從而得到一個(gè)概率分布，表示各個(gè)上下文單詞出現(xiàn)的可能性。跳字模型的基本公式可以表示為最大化對(duì)數(shù)似然函數(shù)，目標(biāo)是最大化給定中心詞時(shí)上下文詞出現(xiàn)的概率，具體公式如下：

1.2 特征向量嵌入層

獨(dú)熱編碼和多值特征編碼通常會(huì)出現(xiàn)稀疏性問題和維度災(zāi)難，比如對(duì)用戶所在城市這一特征進(jìn)行獨(dú)熱編碼，就會(huì)生成高維度的向量，這種高維度的向量不利于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。對(duì)于非文本特征，通常使用帶有權(quán)重矩陣的嵌入層解決數(shù)據(jù)稀疏和維度爆炸的問題，它的核心原理是將原始輸入轉(zhuǎn)化為包含豐富語義信息的低維密集向量，這樣語義上相似的特征會(huì)被映射為相似的向量表示，進(jìn)而減少模型的特征維度。對(duì)于文本特征，本文采用文本卷積神經(jīng)網(wǎng)絡(luò)TextCNN模型進(jìn)行特征提取，該模型通過定義不同的卷積核大小，實(shí)現(xiàn)對(duì)不同的局部特征的提取，從而可以得到用戶文本行為中比較具有代表性和多樣性的特征。TextCNN模型結(jié)構(gòu)如圖3所示。

使用Word2vec訓(xùn)練得到相應(yīng)的文本詞向量作為模型的嵌入層，將其輸入TextCNN。卷積層通過不同大小的卷積核捕捉文本數(shù)據(jù)中的局部特征，對(duì)于用戶行為文本來說，這意味著能夠從單詞和短語級(jí)別提取有用的信息。本文設(shè)定了3種尺寸的卷積核，這些卷積核的運(yùn)算可以通過公式（3）表達(dá)：

1.3 多頭注意力機(jī)制

在本文中，由于涉及多種類型的特征，因此如果單純地采用平均池化融合這些特征，并且僅僅通過拼接的方式將它們結(jié)合起來，可能會(huì)使得模型對(duì)用戶興趣的理解過于泛化，缺乏多樣性和個(gè)性化的洞察。針對(duì)這一問題，通過引入多頭注意力機(jī)制，能夠使模型在多個(gè)獨(dú)立的維度上處理信息，使得不同“頭”可以專注于捕捉數(shù)據(jù)的不同特點(diǎn)。這樣不僅豐富了特征的表示能力，也使得模型能夠更精細(xì)地理解和表達(dá)用戶的興趣特征。

在多頭注意力機(jī)制中，Query代表當(dāng)前關(guān)注的目標(biāo)，Key表示輸入數(shù)據(jù)元素，用于與Query比較后確定相關(guān)性，Value也表示輸入數(shù)據(jù)元素，根據(jù)由Query和Key計(jì)算得到的注意力權(quán)重來生成加權(quán)和輸出。多頭注意力機(jī)制的核心思想是將傳統(tǒng)的單一自注意力機(jī)制分割成多個(gè)“頭”，每個(gè)頭獨(dú)立地進(jìn)行注意力計(jì)算，然后將這些“頭”的結(jié)果合并起來。多頭自注意力機(jī)制結(jié)構(gòu)如圖4所示。

將每一個(gè)特征向量進(jìn)行相同的操作，然后拼接，完成多頭注意力機(jī)制對(duì)特征的處理。

1.4xDeepFM模型

xDeepFM 模型是一種用于預(yù)測(cè)領(lǐng)域的深度學(xué)習(xí)模型，它是在DeepFM的基礎(chǔ)上發(fā)展而來的。該模型旨在自動(dòng)學(xué)習(xí)特征交叉，即不需要手動(dòng)設(shè)計(jì)特征交叉，能夠有效地在低維和高維特征空間中學(xué)習(xí)特征的組合，從而提升了預(yù)測(cè)模型的性能。xDeepFM主要包含邏輯回歸（LR）、深度神經(jīng)網(wǎng)絡(luò)（DNN）和壓縮交互網(wǎng)絡(luò)（CIN）3個(gè)部分。其中，LR用于捕捉特征的線性組合，DNN用于捕捉隱式的特征交互，CIN用于捕捉顯式的特征交互。xDeepFM結(jié)構(gòu)如圖5所示。

其中，CIN是一種用于深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)，主要用于捕捉和表達(dá)數(shù)據(jù)特征間的復(fù)雜交互關(guān)系。在壓縮交互網(wǎng)絡(luò)中，有多個(gè)隱藏層，每一層的輸出都是根據(jù)前一隱藏層的輸出和原始基本特征推算得出的，壓縮交互網(wǎng)絡(luò)特征交互步驟如圖6所示。

2 實(shí)驗(yàn)（Experiment）

2.1 數(shù)據(jù)集

本文使用的原始數(shù)據(jù)來源于某大型互聯(lián)網(wǎng)營(yíng)銷平臺(tái)2023年的營(yíng)銷活動(dòng)數(shù)據(jù)。該數(shù)據(jù)集來源于真實(shí)的互聯(lián)網(wǎng)營(yíng)銷活動(dòng)場(chǎng)景，具有大規(guī)模且完整的特征體系，涵蓋了各種數(shù)據(jù)，可以被用于行為預(yù)測(cè)的研究。本文從該數(shù)據(jù)集中整理了兩條營(yíng)銷活動(dòng)信息：生活光影（營(yíng)銷活動(dòng)A：通過鏡頭捕捉生活中的光與影，發(fā)現(xiàn)日常的非凡之美，記錄每個(gè)獨(dú)特瞬間，分享視覺故事，留住時(shí)間的足跡）和心靈之旅（營(yíng)銷活動(dòng)B：舉辦心靈音樂會(huì)等文藝活動(dòng)，通過藝術(shù)表演傳遞情感，產(chǎn)生內(nèi)心共鳴和思考）。據(jù)統(tǒng)計(jì)，本次實(shí)驗(yàn)采集用戶特征63 020組，活動(dòng)特征29 560組，用戶行為的非文本特征185 591組，用戶行為的文本特征160 100組，具體的數(shù)據(jù)特征和分布見表1至表3。

2.2 評(píng)價(jià)指標(biāo)

使用兩種指標(biāo)對(duì)模型進(jìn)行評(píng)估：AUC（ROC曲線下的面積）和Logloss（交叉熵）。這兩個(gè)指標(biāo)從不同的角度展現(xiàn)了模型的性能：AUC是衡量陽性樣本排名高于隨機(jī)選擇陰性樣本的概率，綜合性能好且對(duì)類不平衡問題不敏感;Logloss是衡量每個(gè)樣本的預(yù)測(cè)分?jǐn)?shù)與真實(shí)標(biāo)簽之間的距離，體現(xiàn)了模型的準(zhǔn)確性。

2.3 對(duì)比實(shí)驗(yàn)

在實(shí)驗(yàn)環(huán)節(jié)中，將提出的xDTCMAFM模型與以下常用的模型進(jìn)行比較。（1）NFM（神經(jīng)網(wǎng)絡(luò)因子分解機(jī)）：結(jié)合了FM的特征交叉能力和DNN的非線性學(xué)習(xí)能力。（2）AFM（注意力因子分解機(jī)）：在FM后引入注意力機(jī)制，能區(qū)分不同特征的重要程度。（3）PNN（產(chǎn)品型神經(jīng)網(wǎng)絡(luò)）：構(gòu)建特征之間的乘積關(guān)系，能捕捉特征間的復(fù)雜相互作用。（4）DeepFM（深度因子分解機(jī)）：同時(shí)提取到低階組合特征與高階組合特征。（5）xDeepFM：CIN+DNN顯隱式的高階特征交叉組合。

同時(shí)，為了全面提升模型的性能和適用性，嘗試各種基于xDeepFM模型的改進(jìn)方案。（1）AFM+xDeepFM：注意力機(jī)制FM與xDeepFM三個(gè)子模型并列。（2）AT+xDeepFM：使用單一注意力機(jī)制整合多層次的特征數(shù)據(jù)。（3）MAT+xDeepFM：使用多頭注意力機(jī)制融合不同層次的特征信息。（4）CNN+MAT+xDeepFM：將CNN 作為嵌入層提取文本中的局部特征。

2.4 實(shí)驗(yàn)設(shè)置

本研究中實(shí)驗(yàn)所涉及的硬件環(huán)境和軟件環(huán)境配置見表4。

為了保證對(duì)比實(shí)驗(yàn)的公平性，一方面要控制各模型超參數(shù)的一致性，以減少變量的干擾;另一方面，需優(yōu)化各模型的超參數(shù)，避免因參數(shù)設(shè)置不當(dāng)而影響模型的性能。通過大量的實(shí)驗(yàn)和探索，本文選擇了一組適用于大部分模型的公共參數(shù)，其中包括學(xué)習(xí)率為1E-3、Embbeding層維數(shù)為32、訓(xùn)練輪數(shù)為5、激活函數(shù)為ReLU、多頭注意力機(jī)制頭數(shù)為8等。

2.5 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)結(jié)果見表5至表8。

通過觀察表5和表6中的數(shù)據(jù)發(fā)現(xiàn)，NFM、AFM 及PNN這3個(gè)模型在單獨(dú)應(yīng)用時(shí)的表現(xiàn)都不好，相比之下，xDeepFM的表現(xiàn)略優(yōu)于DeepFM，而xDTCMAFM 模型的表現(xiàn)較好。造成這種差異的具體原因如下所述。

（1）NFM、AFM 及PNN通常采用串聯(lián)的模型結(jié)構(gòu)，導(dǎo)致計(jì)算必須按順序執(zhí)行，從而影響了整體的計(jì)算效率;雖然它們能夠捕捉到高階特征交互，但在低階及高階特征交互方面，不如采用并聯(lián)結(jié)構(gòu)的模型（如DeepFM 和xDeepFM）那樣直接和有效。

（2）xDeepFM之所以性能優(yōu)于DeepFM，主要是因?yàn)樗肓薈IN，可以顯式地學(xué)習(xí)高階特征交互。這一設(shè)計(jì)優(yōu)化了DeepFM模型，增強(qiáng)了模型捕捉復(fù)雜特征交互的能力，實(shí)現(xiàn)了顯隱式有效的特征組合。

（3）本文提出的xDTCMAFM 在嵌入層方面進(jìn)行了優(yōu)化，使用TextCNN代替原來的嵌入層，捕捉文本深層次的局部特征信息，此外引入的多頭注意力機(jī)制能夠從不同角度捕捉特征之間的交互，增加了模型對(duì)特征的理解深度和廣度。

實(shí)驗(yàn)結(jié)果顯示，在營(yíng)銷活動(dòng)A數(shù)據(jù)集下，本文模型的AUC值比表現(xiàn)較好的xDeepFM模型的AUC值高1.61百分點(diǎn)。在營(yíng)銷活動(dòng)B數(shù)據(jù)集下，本文模型的AUC 值比表現(xiàn)較好的xDeepFM模型的AUC值高1.15百分點(diǎn)。

通過觀察表7和表8中的數(shù)據(jù)發(fā)現(xiàn)，在處理復(fù)雜數(shù)據(jù)時(shí)，AFM+xDeepFM的效果相對(duì)一般，而將多頭注意力機(jī)制融入xDeepFM后，其性能優(yōu)于傳統(tǒng)的注意力機(jī)制。相比之下，xDTCMAFM的表現(xiàn)超過了CNN+MAT+xDeepFM。造成這種差異的具體原因如下所述。

（1）AFM的二階交叉后賦權(quán)的思路并不能很好地提升模型性能，說明數(shù)據(jù)的復(fù)雜性較高。如果模型不具備高階交叉能力，那么模型的預(yù)測(cè)性能將難以得到有效提升。

（2）在模型中引入多頭注意力機(jī)制相較于單頭注意力機(jī)制，能帶來更好的性能，這是因?yàn)槎囝^注意力機(jī)制可以從不同的子空間學(xué)習(xí)信息，其在用戶表示生成時(shí)可以更好地考慮用戶行為背后的序列性質(zhì)，在進(jìn)行預(yù)測(cè)時(shí)能夠生成不同的用戶表示，表現(xiàn)出用戶興趣的多樣性。

（3）與傳統(tǒng)的CNN相比，TextCNN采用了多種尺寸的卷積核，這設(shè)計(jì)能夠使其在不同的尺度上有效地捕獲用戶文本數(shù)據(jù)中的局部上下文信息。

實(shí)驗(yàn)結(jié)果顯示，在營(yíng)銷活動(dòng)A數(shù)據(jù)集下本文提出的模型的AUC值比表現(xiàn)較好的CNN+MAT+xDeepFM 的AUC值高0.66百分點(diǎn)。在營(yíng)銷活動(dòng)B數(shù)據(jù)集下本文提出的模型的AUC值比表現(xiàn)較好的CNN+MAT+xDeepFM的AUC值高0.72百分點(diǎn)。

超參數(shù)例如學(xué)習(xí)率、批大小、網(wǎng)絡(luò)層數(shù)、神經(jīng)元數(shù)量等，會(huì)直接影響模型的結(jié)構(gòu)和學(xué)習(xí)過程。合適的超參數(shù)設(shè)置可以顯著提高模型的準(zhǔn)確性和泛化能力，當(dāng)學(xué)習(xí)率不同時(shí)，模型所表現(xiàn)出的性能也不一樣。

如圖7和圖8所示，學(xué)習(xí)率較高時(shí)，模型在訓(xùn)練初期的表現(xiàn)更佳，但最終性能并不總是隨學(xué)習(xí)率提升而增加的。當(dāng)學(xué)習(xí)率設(shè)置為1E-3時(shí)，模型達(dá)到了最高的最終收斂AUC值。

3 結(jié)論（Conclusion）

為了增強(qiáng)互聯(lián)網(wǎng)營(yíng)銷活動(dòng)中參與預(yù)測(cè)的準(zhǔn)確性，本研究提出了一種創(chuàng)新的融合模型xDTCMAFM。該模型主要從兩個(gè)主要方向著手改進(jìn)：一是增強(qiáng)文本特征提取效率。采用TextCNN代替?zhèn)鹘y(tǒng)的嵌入層，利用不同大小的卷積核，精確提取文本的局部特征。二是強(qiáng)化特征之間的互動(dòng)。通過多頭注意力機(jī)制處理多維特征交互，以獲得更加豐富的用戶特征表示。實(shí)驗(yàn)結(jié)果證實(shí)，這一融合模型在性能上較傳統(tǒng)的深度學(xué)習(xí)模型及其改進(jìn)版本都有所提高，它能夠在元素層和向量層上明確和隱式地進(jìn)行特征交互，同時(shí)捕獲局部文本特征和多維用戶特征，從而顯著提升了模型的預(yù)測(cè)效果。雖然本模型在特定的營(yíng)銷活動(dòng)中表現(xiàn)出較其他模型更優(yōu)的性能，但是其訓(xùn)練參數(shù)的影響及適用性范圍仍需進(jìn)一步探究，模型的潛在改進(jìn)方向也是未來研究的一個(gè)重要議題。

作者簡(jiǎn)介：

邱家杰（1998-），男，碩士生。研究領(lǐng)域：智能計(jì)算與智能系統(tǒng)。

何利力（1966-），男，博士，教授。研究領(lǐng)域：數(shù)據(jù)分析，企業(yè)智能。

鄭軍紅（1978-），男，博士，講師。研究領(lǐng)域：商務(wù)智能，人工智能。