一、引言

目前，個性化和推薦系統(tǒng)已部署于各種互聯(lián)網(wǎng)公司，包括廣告點(diǎn)擊率（CTR）預(yù)測和排名。近幾年，有兩個方法為深度學(xué)習(xí)模型的個性化和推薦作出了貢獻(xiàn)。第一個來自推薦系統(tǒng)。這些系統(tǒng)最初采用內(nèi)容過濾技術(shù)，用戶選擇首選類別后，系統(tǒng)會根據(jù)用戶的喜好進(jìn)行匹配[。隨后，該領(lǐng)域演變出了基于協(xié)同過濾的技術(shù)，它利用了用戶過去的互動行為，如歷史評分記錄。第二種觀點(diǎn)來自預(yù)測分析，它依賴于統(tǒng)計模型來進(jìn)行分類或根據(jù)給定的數(shù)據(jù)預(yù)測事件發(fā)生概率[2]。預(yù)測模型從簡單的模型，如線性和邏輯

回歸到深度網(wǎng)絡(luò)模型。為了處理分類數(shù)據(jù)，這些模型采用了嵌入式轉(zhuǎn)換，將單熱和多熱矢量轉(zhuǎn)換為抽象空間中的密集。這個空間可以解釋為推薦系統(tǒng)發(fā)現(xiàn)的潛在因素的空間。

本文介紹了由兩者結(jié)合的個性化模型。該模型采用嵌入技術(shù)來表示分類數(shù)據(jù)的稀疏特征，并利用多層感知器（MLP）來處理密集特征。隨后，它應(yīng)用了文獻(xiàn)中提出的統(tǒng)計技術(shù)的特征。最后，找到這個事件，通過后處理與另一個MLP的交互概率。我們將此模型稱為深度學(xué)習(xí)推薦模型（DLRM）。最終，通過PyTorch的實現(xiàn)模型評估本論文提出的模型。

二、模型設(shè)計和架構(gòu)

在本節(jié)中，我們將描述DLRM的設(shè)計，從高級組件

入手，闡述其組裝方式及原因，進(jìn)而描述由低級操作符和基元構(gòu)成的模型，并探討其對未來硬件和系統(tǒng)設(shè)計的潛在影響。

（一）DLRM組件

DLRM的高級組件通過回顧早期模型更容易理解。本文聚焦于用于早期模型的四種關(guān)鍵技術(shù)，可以解釋為DLRM的重要高級組件[3]。

1.嵌入

為了處理分類數(shù)據(jù)，嵌入技術(shù)將每個類別映射到一個密集的抽象空間表示中。每次嵌入查找可以解釋為使用一個熱點(diǎn)矢量 e_i （第 i 個位置是1，其他是0，其中索引 i 對應(yīng)于第 i 個類別），獲取相應(yīng)的行向量嵌入表W∈R^m×d ，如下所示：

W_i^T=e_i^TW

在更復(fù)雜的場景中，嵌入也可以表示多重加權(quán)組合項目，具有權(quán)重的多熱點(diǎn)矢量 a^T=[0，…，a_i1，…，a_ik，…，0] ，可以將小批量的 t 嵌入查找寫成：

S=A^TW

2.矩陣分解

在推薦問題的典型表述中，給出了已評定產(chǎn)品的一組用戶。用矢量 w_i∈R^d 表示第 i 個產(chǎn)品 i=1，…n ，對于 j 層用戶通過向量 ?ν_j∈R^d 找到所有評級。其中 j=1，…，m ， n 和 m 分別表示產(chǎn)品和用戶的總數(shù)。集合 s 通過元組 （?_i，j）

來索引，表示第 j 個用戶對第 i 個產(chǎn)品的評價。

矩陣分解方法通過最小化來解決這個問題：

min_{（i，j）∈S}r_ij-w_i^Tν_j

3.分解機(jī)器

FM與具有多項式核的支持向量機(jī)（SVM）明顯不同[4，因為他們將二階相互作用矩陣分解為潛在因子（或嵌入向量）。在矩陣分解中，它能夠有效地處理稀疏數(shù)據(jù)，顯著降低了二階交互的復(fù)雜性，僅通過捕獲不同對象間的交互來生成嵌入向量，從而實現(xiàn)了線性計算復(fù)雜度。

4.分層感知器

最近機(jī)器學(xué)習(xí)的成功歸功于深度學(xué)習(xí)的興起。其中，最基本的模型是多層感知器（MLP），一種預(yù)測功能σ：RR 由完全連接（FC）層的交錯序列和激活功能組成。

這些方法已用于捕獲更復(fù)雜的交互。例如，它已被證明如果給定足夠的參數(shù)，具有足夠深度和寬度的MLP可以使數(shù)據(jù)適應(yīng)任意精度[5。這些方法的變化已廣泛用于包括計算機(jī)在內(nèi)的各種應(yīng)用。

（二）DLRM架構(gòu)

目前為止，我們已經(jīng)描述了推薦系統(tǒng)和預(yù)測分析中使用的不同模型。現(xiàn)在著手構(gòu)建一個最先進(jìn)的個性化模型，該模型通過許多連續(xù)和分類特征來描繪用戶與產(chǎn)品的特性。在分類特征中，每個分類特征將由嵌入向量表示相同的維度，概括了矩陣分解中使用的潛在因素的概念。對于連續(xù)特征的處理，我們將采用MLP（我們稱之為底部或密集的MLP來生成與嵌人向量等同長度的密集表示。

計算不同特征的二階交互處理FMs中提供的稀疏數(shù)據(jù)，可選擇通過MLP傳遞它們。這是通過在所有嵌入向量對和處理的密集特征之間取點(diǎn)積。這些點(diǎn)積與原始處理的密集特征連接并進(jìn)行后處理另一個MLP（頂部或輸出MLP），并輸入Sigmoid函數(shù)以給出概率。

（三）與先前模型的比較

許多基于深度學(xué)習(xí)的推薦模型[使用類似的基礎(chǔ)生成高階項以處理稀疏特征，例如，DeepFM和xDeepFM網(wǎng)絡(luò)系統(tǒng)設(shè)計了專用網(wǎng)絡(luò)構(gòu)建高階交互。然后，這些網(wǎng)絡(luò)對其專業(yè)模型和MLP的結(jié)果進(jìn)行求和，通過線性層和Sigmoid激活傳遞到最終可能性。DLRM通過模仿分解的結(jié)構(gòu)化方式，專門設(shè)計用于交互嵌入，它僅考慮交叉項，從而顯著降低模型維數(shù)，這些交叉項由最終MLP中的嵌人對之間的點(diǎn)積產(chǎn)生。我們認(rèn)為，在其他網(wǎng)絡(luò)中發(fā)現(xiàn)的超出二階的更高階交互可能會帶來額外的計算和

內(nèi)在成本。

DLRM與其他網(wǎng)絡(luò)之間的關(guān)鍵區(qū)別主要體現(xiàn)在它們處理嵌入式功能向量的方式上，特別是，DLRM和xDeepFM[將每個特征向量視為代表單一類別的獨(dú)立單元，而Deep和Cross等網(wǎng)絡(luò)則將每個類別特征向量中的元素視為能夠生成不同交叉項的新單元。因此，Deep和Cross網(wǎng)絡(luò)不僅能在來自不同特征向量的元素之間產(chǎn)生交叉項，如在DLRM中通過點(diǎn)積，但也能生成相同元素之間的交叉項特征向量，這導(dǎo)致了更高的維度。

三、數(shù)據(jù)集

為了測量模型的準(zhǔn)確性，就要測試其整體性能，并對其進(jìn)行表征。針對個體運(yùn)營商，需要為實施創(chuàng)建或獲取適當(dāng)?shù)臄?shù)據(jù)集。目前該模型的實現(xiàn)提供三種類型的數(shù)據(jù)集：隨機(jī)、合成和公共數(shù)據(jù)集。

前兩個數(shù)據(jù)集可用于從系統(tǒng)角度試驗?zāi)Ｐ?。特別是，它允許我們在移除數(shù)據(jù)存儲系統(tǒng)的依賴關(guān)系時，通過運(yùn)用不同的硬件屬性和瓶頸動態(tài)獲取數(shù)據(jù)。后者允許我們對實際數(shù)據(jù)進(jìn)行實驗，并測量模型的準(zhǔn)確性。

（一）隨機(jī)數(shù)據(jù)集

DLRM接受連續(xù)和分類特征作為輸入。前者可以建模，通過使用均勻或正態(tài)（高斯）分布生成隨機(jī)數(shù)矢量，使用默認(rèn)參數(shù)的Numpy.random包Rand或Randn調(diào)用。然后是一個小批量可以通過生成矩陣來獲得輸入，其中每行對應(yīng)元素小批量。

（二）合成數(shù)據(jù)集

有許多理由支持自定義生成與分類特征相對應(yīng)的索引。例如，如果應(yīng)用程序使用特定數(shù)據(jù)集，但出于隱私不愿共享，可通過分布表達(dá)分類特征。這可以作為應(yīng)用程序中使用的隱私保護(hù)技術(shù)的替代方案[8。另外，為訓(xùn)練系統(tǒng)組件（如學(xué)習(xí)記憶行為），需捕獲原始痕跡訪問的基本位置以合成痕跡。

為解釋如何使用合成數(shù)據(jù)集，假設(shè)有一系列指數(shù)對應(yīng)于嵌入單個分類特征的查找。那么，可以在該跡線中記錄重復(fù)訪問之間的唯一訪問和距離頻率，然后生成文獻(xiàn)中提出的合成跡線。

值得注意的是，只能生成一個堆棧距離，最多達(dá)到已經(jīng)看過的多個唯一訪問。因此，s用于控制Alg.2中分布p的支持。給定一定數(shù)量的唯一訪問，較長的輸入跟蹤將導(dǎo)致在Alg.1中分配給它們的概率較低。這將導(dǎo)致更長的時間在Alg.2中實現(xiàn)完全分發(fā)支持。為了解決這個問題，需要將唯一訪問的概率提升至最小閾值，并在用戶查看完所有內(nèi)容后，調(diào)整支持系統(tǒng)以排除唯一訪問的情況。

（三）公共數(shù)據(jù)集

很少有公共數(shù)據(jù)集可用于推薦和個性化系統(tǒng)。CriteoAILabsAdKaggle6和Terabyte7數(shù)據(jù)集是由點(diǎn)擊日志組成的開源數(shù)據(jù)集。每個數(shù)據(jù)集包含13個連續(xù)和26個分類特征。通常連續(xù)特征使用簡單的對數(shù)變換日志進(jìn)行預(yù)處理。絕對的功能被映射到相應(yīng)的嵌人索引，具有未標(biāo)記的分類特征或標(biāo)簽映射為0或NULL。

CriteoAdKaggle數(shù)據(jù)集在7天內(nèi)包含大約4500萬個樣本。在實驗中，通第7天分為驗證和測試集，而前6天用作培訓(xùn)組。CriteoAdTerabyte數(shù)據(jù)集在24天內(nèi)進(jìn)行采樣，其中第24天被分為驗證和測試集，前23天用作訓(xùn)練集。

四、實驗

本節(jié)說明DLRM的性能和準(zhǔn)確性。該模型在PyTorch框架中實現(xiàn)并在GitHub8上提供。它采用FP32浮點(diǎn)數(shù)和模型參數(shù)的 Int32 （Caffe2）/Int64（PyTorch）類型和指數(shù)進(jìn)行實驗，并在配備雙插槽IntelXeon6138CPU和8個NvidiaTeslaV10O16GBGPU的BigBasin上進(jìn)行實驗，相關(guān)信息可通過OpenComputeProject獲取。

（一）公共數(shù)據(jù)集的模型準(zhǔn)確性

我們在CriteoAdKaggle數(shù)據(jù)集上評估模型的準(zhǔn)確性，并比較其性能。針對深度和跨網(wǎng)絡(luò)（DCN）的DLRM沒有進(jìn)行大量調(diào)整[0]。比較使用DCN，因為它是少數(shù)幾個在同一數(shù)據(jù)集上具有全面結(jié)果的模型之一。在這種情況下，模型的大小適合于存在的特征數(shù)量數(shù)據(jù)集。特別是，DLRM由底部MLP組成，用于處理密集特征，其中包含三個隱藏層，節(jié)點(diǎn)數(shù)分別為512、256和64。

頂部MLP由兩個隱藏層組成，節(jié)點(diǎn)數(shù)分別為512和256 另一方面，DCN由六個交叉層和一個交叉層組成，這會產(chǎn)生DLRM和DCN，均具有大約540M參數(shù)。

我們在完整的單個訓(xùn)練時期繪制了訓(xùn)練（固體）和驗證（虛線）準(zhǔn)確度。對于具有SGD和Adagrad優(yōu)化器的兩種模型，沒有使用正則化。在這個實驗中，DLRM獲得稍高的訓(xùn)練和驗證準(zhǔn)確度。

（二）單個插座/設(shè)備上的模型性能

為了分析單個插座設(shè)備上模型的性能，我們采用了示例模型，該模型包含8個分類功能和512個連續(xù)特征。每個分類功能都通過處理包含1M向量的嵌人表，向量維度為64；而連續(xù)特征則被組裝成尺寸為512的矢量。讓底部MLP有兩層，而頂部MLP有四層。在具有2048K隨機(jī)生成樣本的數(shù)據(jù)集上分析該模型，則被組織成1K小批量進(jìn)行處理。

PyTorch中的這種模型實現(xiàn)在CPU上運(yùn)行大約256。正如預(yù)期，大部分時間都是用于執(zhí)行嵌入查找和完全連接的層。在CPU上，完全連接層占據(jù)了計算的很大一部分，而在GPU上它們幾乎可以忽略不計。

五、結(jié)束語

本文利用分類數(shù)據(jù)的模型提出并開源了一種新穎的基于深度學(xué)習(xí)的建議。雖然推薦和個性化系統(tǒng)仍然存在，在今天的行業(yè)中，深入學(xué)習(xí)取得了很大的實際成功，但在學(xué)術(shù)界很少受到關(guān)注。本文詳細(xì)描述了推薦系統(tǒng)及其開源實現(xiàn)，旨在引起學(xué)者們的關(guān)注。這類網(wǎng)絡(luò)以可訪問的方式呈現(xiàn)的獨(dú)特挑戰(zhàn)，進(jìn)一步實現(xiàn)算法實驗、建模、系統(tǒng)協(xié)同設(shè)計和基準(zhǔn)測試。

作者單位：高璐 端木青云 金肯職業(yè)技術(shù)學(xué)院

參考文獻(xiàn)

[1]王嫣然，陳梅，王翰虎，等.一種基于內(nèi)容過濾的科技文獻(xiàn)推薦算法[J].計算機(jī)技術(shù)與發(fā)展，2011，21（02）：66-69.

[2]曹宗杰，閔銳，龐伶俐，等.基于統(tǒng)計模型的變分水平集SAR圖像分割方法[J].電子與信息學(xué)報，2008，30（12）：2862-2866.

[3]李同歡.基于深度學(xué)習(xí)的多角度綜合推薦模型[J].大數(shù)據(jù)時代，2018，21（12）：34-39.

[4]丁世飛，齊丙娟，譚紅艷.支持向量機(jī)理論與算法研究綜述[J].電子科技大學(xué)學(xué)報，2011，40（01）：2-10.

[5]騫宇澄，劉昭策.深度學(xué)習(xí)的實現(xiàn)與發(fā)展——從神經(jīng)網(wǎng)絡(luò)到機(jī)器學(xué)習(xí)[J].電子技術(shù)與軟件工程，2017（1）：30-31.

[6]Gentry C.Afully homomorphic encryption scheme[M].Stanford University，2009.

[7]胡松波，何洪波，肖云.ConvFNN：一種基于深度學(xué)習(xí)的個性化推薦算法[J].科研信息化技術(shù)與應(yīng)用，2017，8（05）：3-10.

[8]譚娟，王勝春.基于深度學(xué)習(xí)的交通擁堵預(yù)測模型研究[J].計算機(jī)應(yīng)用研究，2015，32（10）：2951-2954.

[9]曾旭禹.一種基于深度學(xué)習(xí)的混合推薦算法[J].計算機(jī)科學(xué)，2019，46（01）：133-137.

[10]孟祥申.基于深度神經(jīng)網(wǎng)絡(luò)的跨模態(tài)檢索技術(shù)研究[D].南昌：江西師范大學(xué)，2017.