徐建鵬,徐 祥,王 暉,伍 瓊,王 杰

(安徽省農(nóng)村綜合經(jīng)濟(jì)信息中心，安徽 合肥 230001)

0 引 言

隨著信息技術(shù)的迅猛發(fā)展，信息過(guò)載已成為亟待解決的難題，作為解決信息缺乏針對(duì)性的有效方法，信息內(nèi)容推薦算法得到了廣泛的研究與應(yīng)用。它通過(guò)分析系統(tǒng)中顯式或隱式信息，根據(jù)用戶的關(guān)注和喜好為用戶提供關(guān)聯(lián)性強(qiáng)的信息和商品推薦服務(wù)，有效地解決了信息服務(wù)不精準(zhǔn)的問(wèn)題[1]。推薦算法是信息內(nèi)容推薦服務(wù)的關(guān)鍵，是提升推薦內(nèi)容精準(zhǔn)性的重要前提，目前信息服務(wù)相關(guān)推薦算法有內(nèi)容、知識(shí)、協(xié)同過(guò)濾以及混合4種方式，其中基于協(xié)同過(guò)濾的推薦算法是相關(guān)服務(wù)系統(tǒng)應(yīng)用最廣的推薦算法[2]。

在農(nóng)業(yè)信息服務(wù)中，個(gè)性化推薦技術(shù)可以解決信息服務(wù)的精準(zhǔn)性和針對(duì)性的難題，傳統(tǒng)基于行為的推薦算法能挖掘農(nóng)業(yè)信息服務(wù)中用戶對(duì)服務(wù)內(nèi)容的關(guān)注點(diǎn)和興趣點(diǎn)，但隨著時(shí)間的變化，用戶所處農(nóng)業(yè)生產(chǎn)的關(guān)鍵生產(chǎn)階段發(fā)生了變化，同時(shí)受各類社會(huì)因素影響，農(nóng)戶對(duì)資源的需求隨著時(shí)間的推移不斷改變，其關(guān)注點(diǎn)和興趣點(diǎn)也會(huì)發(fā)生變化。已有的基于瀏覽行為的推薦算法通常基于顯式反饋，但實(shí)際應(yīng)用中農(nóng)戶基本采用匿名訪問(wèn)方式，反饋信息也十分有限，存在嚴(yán)重的冷啟動(dòng)問(wèn)題[3]。為此需要結(jié)合顯式、隱式反饋信息，充分挖掘農(nóng)戶行為，同時(shí)考慮到農(nóng)業(yè)生產(chǎn)的周期性、農(nóng)業(yè)行情的波動(dòng)性以及天氣變化等因素，盡可能向農(nóng)戶推薦當(dāng)前熱點(diǎn)的農(nóng)業(yè)新聞以及用戶可能感興趣的、對(duì)其有價(jià)值的信息。

近年來(lái)，改進(jìn)時(shí)效性的協(xié)同過(guò)濾算法受到關(guān)注。張新香[4]提出了情境感知和興趣適應(yīng)的農(nóng)業(yè)信息推薦模型，引入情境因素、瀏覽行為和興趣改變等向量空間模型；劉江冬等人[5]提出基于信息熵和時(shí)效性的協(xié)同過(guò)濾推薦，利用用戶訪問(wèn)評(píng)分?jǐn)?shù)據(jù)獲得項(xiàng)目時(shí)效性模型，并將項(xiàng)目時(shí)效性和用戶信息熵2個(gè)模型相耦合。董晨露等人[6]提出的基于用戶興趣變化和評(píng)論的協(xié)同過(guò)濾算法，將用戶評(píng)論和遺忘曲線引入傳統(tǒng)協(xié)同過(guò)濾算法中，將評(píng)論文本作為商品特征描述文本，計(jì)算系統(tǒng)提供商品的主題特征，引入艾賓浩斯遺忘曲線來(lái)協(xié)同計(jì)算用戶的評(píng)論分布及評(píng)論相似度。肖紅等人[7]針對(duì)農(nóng)業(yè)科技信息共享率低、分散分布等問(wèn)題,應(yīng)用Web信息抽取方法實(shí)現(xiàn)自動(dòng)采集多源農(nóng)業(yè)科技信息入庫(kù),采用改進(jìn)的K-means聚類方法建立用戶訪問(wèn)模式,并得到訪問(wèn)模式的網(wǎng)頁(yè)特征詞及權(quán)重的集合,構(gòu)建用戶興趣模型庫(kù)。

本文針對(duì)農(nóng)業(yè)新聞時(shí)效性和周期性特點(diǎn)，提出一種基于用戶行為和農(nóng)業(yè)信息時(shí)效性的協(xié)同過(guò)濾推薦算法，綜合用戶的隱式、顯式反饋數(shù)據(jù)等多維因素，同時(shí)考慮農(nóng)業(yè)信息的分類特征及周期性特征，采用熱度系數(shù)及人工參數(shù)提高農(nóng)業(yè)新聞推薦的針對(duì)性和時(shí)效性。

1 相關(guān)工作

1.1 用戶行為分析

用戶行為數(shù)據(jù)獲取及其量化是新聞個(gè)性化推薦的前提，一般而言用戶對(duì)新聞的興趣主要體現(xiàn)為顯性反饋行為和隱式反饋行為[8]，顯性反饋主要是指用戶針對(duì)物品做出的明確性的評(píng)價(jià)，如評(píng)分、點(diǎn)贊、收藏等，主要優(yōu)點(diǎn)是量化方便，缺點(diǎn)是依賴用戶主動(dòng)貢獻(xiàn)，通常數(shù)據(jù)稀疏不全[9]。隱式反饋主要是用戶的瀏覽行為，包括瀏覽的頁(yè)面及停留時(shí)間等，顯式與隱式用戶反饋的主要特點(diǎn)如表1所示。

表1 用戶反饋數(shù)據(jù)分類及其特點(diǎn)

針對(duì)網(wǎng)頁(yè)瀏覽，用戶u針對(duì)新聞s的顯式行為可用公式(1)表示：

(1)

其中,fi代表行為i如點(diǎn)贊、收藏、轉(zhuǎn)發(fā)、評(píng)分等是否觸發(fā)或用戶打出的評(píng)分。

注意到每種行為表示用戶的偏好度是不同的，因此需要為每種行為賦予權(quán)重值，可用公式(2)表示：

IW={w1,w2,…,wY}

(2)

則用戶顯式行為評(píng)分為：

(3)

隱式反饋行為指的是那些不能明確反應(yīng)用戶喜好的行為，最具代表性的就是頁(yè)面瀏覽行為。基于用戶瀏覽行為可以計(jì)算2個(gè)新聞的相似度，即：

(4)

其中，|N(i)|、|N(j)|分別表示瀏覽過(guò)新聞i、j的用戶數(shù)，|N(u)|表示同時(shí)瀏覽過(guò)新聞i、j的用戶數(shù)。

研究表明，如果對(duì)ICF的相似度矩陣進(jìn)行最大值歸一化，可以有效提高推薦的準(zhǔn)確率、覆蓋率和多樣性[10]。歸一化的公式為：

(5)

1.2 基于項(xiàng)目的協(xié)同過(guò)濾算法(ICF)

傳統(tǒng)基于項(xiàng)目的協(xié)同過(guò)濾算法認(rèn)為，用戶對(duì)目標(biāo)項(xiàng)目的評(píng)分與用戶對(duì)該項(xiàng)目的相似項(xiàng)目評(píng)分接近，因此該算法的核心是計(jì)算項(xiàng)目間的相似度，主要步驟為：

1)建立m行n列的用戶—項(xiàng)目評(píng)分矩陣。

2)計(jì)算目標(biāo)項(xiàng)目i與其他項(xiàng)目j的相似度[6]。

皮爾遜相關(guān)系數(shù)公式為：

(6)

3)將其他項(xiàng)目按照計(jì)算出的相似度由高到低進(jìn)行排列，選取其中前k個(gè)項(xiàng)目作為目標(biāo)項(xiàng)目的最近鄰集合。

4)計(jì)算用戶u對(duì)目標(biāo)項(xiàng)目i的最近鄰集合評(píng)分的加權(quán)和，以此作為用戶u對(duì)目標(biāo)項(xiàng)目i的預(yù)測(cè)評(píng)分。項(xiàng)目間相似度的計(jì)算是基于共同評(píng)分的用戶集進(jìn)行的，公式如下：

(7)

其中,Iu表示用戶u給過(guò)評(píng)分的項(xiàng)目集合，S(i,k)表示和項(xiàng)目i最相似的k個(gè)項(xiàng)目的集合，PC(i,j)表示項(xiàng)目i、j的相似度，ru,j表示用戶u對(duì)項(xiàng)目j的評(píng)分。

由于基于項(xiàng)目的協(xié)同過(guò)濾算法在計(jì)算項(xiàng)目相似度時(shí)是根據(jù)項(xiàng)目的共同評(píng)分集合來(lái)進(jìn)行的，因此只有在2個(gè)項(xiàng)目的共同評(píng)分較多的情況下得出的項(xiàng)目相似度才較為準(zhǔn)確。但在現(xiàn)實(shí)中，由于系統(tǒng)數(shù)據(jù)量龐大，評(píng)分?jǐn)?shù)據(jù)存在著較大的稀疏性，2個(gè)項(xiàng)目的共同評(píng)分?jǐn)?shù)據(jù)較少，導(dǎo)致有些與目標(biāo)項(xiàng)目實(shí)際有較大差異的項(xiàng)目因計(jì)算得出的相似度較高而被納入項(xiàng)目最近鄰集合，同時(shí)，單純地依靠評(píng)分計(jì)算項(xiàng)目相似度而未考慮項(xiàng)目自身特點(diǎn)的算法策略，也在一定程度上降低了最近鄰選取的準(zhǔn)確性，影響了推薦效果。

2 基于用戶行為和新聞時(shí)效性的協(xié)同過(guò)濾推薦算法

農(nóng)業(yè)信息服務(wù)系統(tǒng)提供的農(nóng)業(yè)信息服務(wù)大多為文章形式，與一般的新聞網(wǎng)站類似。用戶在訪問(wèn)服務(wù)系統(tǒng)提供的信息服務(wù)時(shí)，會(huì)產(chǎn)生大量的瀏覽記錄，以及實(shí)時(shí)交互和反饋信息，如閱讀、點(diǎn)贊、評(píng)論等，能反映用戶短時(shí)間內(nèi)的興趣焦點(diǎn)，而對(duì)這些交互反饋信息進(jìn)行長(zhǎng)期累積，就能形成貼近用戶長(zhǎng)期偏好的歷史數(shù)據(jù)。因此可以基于實(shí)時(shí)反饋信息以及大量的歷史瀏覽信息維護(hù)新聞相似度矩陣，基于相似度舉證就能在考慮用戶長(zhǎng)期固有偏好的同時(shí)也能關(guān)注用戶短時(shí)間內(nèi)的興趣焦點(diǎn)變化。

2.1 新聞相似度矩陣及其更新

新聞相似度矩陣通過(guò)維護(hù)新聞閱讀量矩陣實(shí)現(xiàn)，矩陣如下：

(8)

該矩陣主要保存新聞i的閱讀用戶數(shù)N(i)以及新聞i、j的同時(shí)閱讀的用戶數(shù)N(i,j)。通過(guò)該矩陣以及公式可快速計(jì)算新聞相似度。

2.2 農(nóng)業(yè)信息分類及周期規(guī)則

農(nóng)業(yè)信息具有分類特點(diǎn)，農(nóng)業(yè)信息服務(wù)網(wǎng)站主要是依據(jù)服務(wù)的類別進(jìn)行欄目劃分，如天氣信息、行情信息、供求信息等，不同類別的農(nóng)業(yè)信息農(nóng)戶的關(guān)注度是不同的，可以根據(jù)歷史用戶閱讀數(shù)據(jù)統(tǒng)計(jì)各欄目的關(guān)注度變化情況。農(nóng)業(yè)信息還表現(xiàn)為周期性和區(qū)域性特征，如水稻播種時(shí)用戶傾向于查看水稻播種相關(guān)新聞，臺(tái)風(fēng)發(fā)生時(shí)傾向于查看臺(tái)風(fēng)防范新聞，皖北地區(qū)用戶關(guān)注小麥信息的程度比皖南地區(qū)用戶高，皖南地區(qū)用戶關(guān)注水稻細(xì)膩的程度比皖北地區(qū)高等，根據(jù)不同周期和用戶的區(qū)域分布可對(duì)熱度系數(shù)進(jìn)行一定的調(diào)整。

關(guān)注度(Attention)是指歷年同一天各欄目閱讀量的歷史平均值，主要反映一年內(nèi)農(nóng)戶關(guān)注的信息類別周期性變化情況。由于皖南、皖北的種植作物、氣候差異較大，因此分別做了關(guān)注度統(tǒng)計(jì)。表2為某日關(guān)注度統(tǒng)計(jì)值，計(jì)算方式如公式(9)所示，即欄目的關(guān)注度系數(shù)等于該欄目的閱讀用戶數(shù)除以各欄目的平均閱讀用戶數(shù)，根據(jù)實(shí)際情況，有時(shí)也做一定的人工調(diào)整。

(9)

表2 某日關(guān)注度統(tǒng)計(jì)值

新聞表現(xiàn)出熱度變化情況，突發(fā)性的輿論熱點(diǎn)能引起某類別的新聞大量閱讀，如豬肉價(jià)格上漲引起生豬養(yǎng)殖類新聞熱度較高。同時(shí)，農(nóng)業(yè)信息服務(wù)具有一定的時(shí)效性，用戶對(duì)信息服務(wù)的熱度值會(huì)隨著時(shí)間流逝而衰減，并且趨勢(shì)應(yīng)該是衰減越來(lái)越快，直至趨近于0[5,11-12]。新聞i的熱度系數(shù)公式如下：

(10)

2.3 推薦步驟

1)服務(wù)網(wǎng)站以文本日志的方式記錄用戶訪問(wèn)情況，主要信息包括用戶ID、用戶IP、文章ID、訪問(wèn)時(shí)間等。

2)將用戶點(diǎn)贊、轉(zhuǎn)發(fā)、留言等用戶在網(wǎng)站的操作行為數(shù)據(jù)信息記錄到用戶行為數(shù)據(jù)庫(kù)，包括用戶IP、文章ID、行為ID、行為內(nèi)容、分值、操作時(shí)間等。

3)每日服務(wù)器和網(wǎng)絡(luò)空閑時(shí)(如夜里0時(shí))讀取前一日日志信息，更新新聞、文章等信息的訪問(wèn)用戶數(shù)據(jù)，同時(shí)更新相似度矩陣、欄目關(guān)注度等信息。根據(jù)用戶訪問(wèn)數(shù)據(jù)，更新當(dāng)日各類信息的熱度系數(shù)。

4)當(dāng)檢測(cè)到當(dāng)前用戶是匿名訪問(wèn)的用戶時(shí)，依據(jù)新聞、文章的熱度系數(shù)排名向其推薦相關(guān)信息服務(wù)。

5)當(dāng)前系統(tǒng)訪問(wèn)用戶有訪問(wèn)記錄，依據(jù)相似度矩陣形成推薦列表，根據(jù)預(yù)測(cè)分值排序前N條數(shù)據(jù)新聞作為待推薦列表，按照當(dāng)日熱度系數(shù)排序分頁(yè)(分頁(yè)值取15)向其推薦信息服務(wù)內(nèi)容。

2.4 算法實(shí)現(xiàn)及復(fù)雜度分析

算法主要依托維護(hù)的新聞相似度矩陣以及新聞熱度值進(jìn)行推薦，首先依托TopN算法獲取最相似的新聞列表，然后按熱度排名向其推薦新聞，具體偽代碼如算法1所示。

算法1推薦算法。

輸入：待推薦用戶User

輸出：N條推薦新聞

var UserId=GetUserId();

var IP=GetUserIP();

If(UserId>0)//登錄用戶

{

//獲取該用戶的歷史閱讀新聞列表

List Read= GetReadNewsList(UserId);

//依據(jù)新聞相似度矩陣獲取k個(gè)最相似新聞

var Neighbor=GetNeighborNews(Read,k);

//推薦顯式反饋評(píng)分推薦評(píng)分最高的N條新聞

Return SimilarNews(Neighbor,Ir,N);

}

Else//匿名用戶

{

If(IP=="0.0.0.0")//無(wú)法獲取用戶IP

{

//無(wú)法獲取IP推薦熱度最高的N條新聞

Return HotNews(N);

}

Else

{

//獲取該IP閱讀過(guò)的新聞列表

List Read= GetReadNewsList(IP);

if(Read.Length<10)

{

//訪問(wèn)較少推薦熱度最高的N條新聞

Return HotNews(N);

}

Else

{

//依據(jù)新聞相似度矩陣獲取k個(gè)最相似新聞

var Neighbor=GetNeighborNews(Read,k);

//從鄰居新聞中返回?zé)岫茸罡叩腘條新聞

return HotNews(Neighbor, N);

}

}

}

算法復(fù)雜性分析：設(shè)新聞總數(shù)為m，選取鄰居數(shù)量為k，推薦新聞數(shù)量為N。針對(duì)匿名用戶直接采用熱度排序推薦法的時(shí)間復(fù)雜度為O(m×N)；基于IP隱式反饋推薦方法的時(shí)間復(fù)雜度為O(m×k×N)；基于顯式反饋的時(shí)間復(fù)雜度為O(m×k×N)。

3 評(píng)價(jià)標(biāo)準(zhǔn)與實(shí)驗(yàn)結(jié)果

3.1 評(píng)價(jià)標(biāo)準(zhǔn)

評(píng)估推薦系統(tǒng)的好壞通常采用準(zhǔn)確率(Precision)和召回率(Recall)以及兩者結(jié)合的綜合測(cè)度值F等方式。

(11)

(12)

(13)

其中，D(s)為推薦系統(tǒng)為用戶u推薦的項(xiàng)目集合；T(s)是用戶u在測(cè)試集上的項(xiàng)目集合。a是參數(shù)，當(dāng)a=1時(shí)，F(xiàn)a即是常見(jiàn)的F1-Measure。

3.2 實(shí)驗(yàn)設(shè)計(jì)及結(jié)果

為檢驗(yàn)算法的可靠性及可用性，選擇安徽省農(nóng)業(yè)信息服務(wù)門戶網(wǎng)站——安徽農(nóng)網(wǎng)(全國(guó)優(yōu)秀農(nóng)業(yè)信息網(wǎng)，網(wǎng)址http://www.ahnw.cn)發(fā)布日期在2018-01-01—2018-12-31之間共計(jì)9個(gè)農(nóng)業(yè)欄目的多達(dá)180萬(wàn)條的訪問(wèn)記錄，通過(guò)對(duì)數(shù)據(jù)進(jìn)行初步整理，提取了其中訪問(wèn)穩(wěn)定的1500個(gè)獨(dú)立IP的訪問(wèn)記錄數(shù)據(jù)作為訓(xùn)練樣本，將2019-01-01—2019-06-01的訪問(wèn)記錄作為測(cè)試集，在訓(xùn)練集階段主要計(jì)算各類參數(shù)值，包括：

1)各信息類別皖南、皖北的關(guān)注度系數(shù)。

2)依據(jù)公式(8)計(jì)算用戶通過(guò)IP區(qū)分的基于隱性反饋行為的相似度矩陣。

在測(cè)試集上生成推薦結(jié)果，依據(jù)相似度矩陣形成推薦列表，并按當(dāng)日熱度系數(shù)排名分頁(yè)向用戶推薦新聞，與實(shí)際用戶的訪問(wèn)數(shù)據(jù)集依據(jù)公式(11)～公式(13)計(jì)算推薦效果。

表3展示了隨著推薦項(xiàng)目N的增大，算法的準(zhǔn)確率和召回率的變化，當(dāng)推薦量較小時(shí)，推薦準(zhǔn)確率和召回率達(dá)到了較高水平，算法推薦效果良好；基于關(guān)注度、熱度以及隱式反饋數(shù)據(jù)解決了農(nóng)業(yè)信息推薦中的冷啟動(dòng)問(wèn)題。

表3 算法在不同推薦量下的準(zhǔn)確率、召回率及F1值

表4展示了本文算法在較低推薦量下與ItemCF算法準(zhǔn)確率的比較，本文算法在準(zhǔn)確率及召回率上都優(yōu)于ItemCF算法，由于采用熱度排名推薦，本文算法的首頁(yè)(Top15)推薦準(zhǔn)確率有較大提升，召回率也有一定的提高。

表4 本文算法與傳統(tǒng)ItemCF算法比較

圖1展示了本文算法(AHCF)即采用欄目關(guān)注度以及熱度系數(shù)的推薦算法與分別只采用欄目關(guān)注度(AttentionICF)、近期熱度(HotICF)推薦算法的正確率比較，采用欄目關(guān)注度即考慮農(nóng)業(yè)信息的分類特征、周期性和區(qū)域性與傳統(tǒng)推薦算法相比能較大幅度對(duì)農(nóng)業(yè)新聞提升推薦準(zhǔn)確率，集成熱度系數(shù)后，推薦準(zhǔn)確率進(jìn)一步提高。

圖1 本文算法與分別采用關(guān)注度、熱度推薦算法以及傳統(tǒng)ICF算法正確率比較

4 結(jié)束語(yǔ)

本文基于隱式、顯式反饋數(shù)據(jù)等多維因素，采用基于用戶行為和新聞時(shí)效性的協(xié)同過(guò)濾算法，考慮到農(nóng)業(yè)信息的分類特征、周期性和區(qū)域性特征，采用熱度系數(shù)及人工參數(shù)提高農(nóng)業(yè)新聞推薦的針對(duì)性和時(shí)效性，在一定程度上解決了推薦算法冷啟動(dòng)的問(wèn)題。同時(shí)在推薦時(shí)采用離線和在線相結(jié)合的方式，提高了實(shí)時(shí)推薦速度。由于農(nóng)業(yè)信息推薦問(wèn)題本身的復(fù)雜性，下一步還可以從農(nóng)業(yè)知識(shí)圖譜、農(nóng)戶信息采集以及擴(kuò)大數(shù)據(jù)規(guī)模優(yōu)化參數(shù)等方面對(duì)算法進(jìn)行優(yōu)化。