郭新華，高 禹，林玉梅

(泉州信息工程學(xué)院 軟件學(xué)院,福建 泉州 362000)

0 引言

當前圖書館正朝著智慧化的方向發(fā)展，其中圖書館的個性化推薦更是圖書館智慧服務(wù)的重要組成部分.圖書館資源利用情況關(guān)鍵看讀者對館藏資源的使用程度，所以要加強圖書館的智慧服務(wù)，特別是加強對讀者的個性化推薦.

近年來個性化推薦技術(shù)被應(yīng)用到很多領(lǐng)域，電商平臺如淘寶、京東、唯品會等，及影視推薦平臺如優(yōu)酷、芒果、騰訊視頻等.很多圖書館的推薦系統(tǒng)也采用了個性化推薦技術(shù)，這也逐漸成為近些年研究的熱點.目前基于內(nèi)容推薦、基于協(xié)同過濾的圖書館的推薦系統(tǒng)是占大多數(shù)的，比如王波提出了基于內(nèi)容導(dǎo)向的圖書館知識服務(wù)模式研究[1]，張麒麟等提出了基于文獻內(nèi)容的圖書推薦機制研究[2]，車毅光等提出了基于內(nèi)容過濾的數(shù)字圖書館推薦系統(tǒng)研究[3]，王仲鈺等提出了基于協(xié)同過濾和關(guān)聯(lián)分析的圖書推薦系統(tǒng)[4]，安德智等提出了基于協(xié)同過濾的圖書推薦模型[5]，席歡提出了基于協(xié)同過濾的高校圖書推薦系統(tǒng)設(shè)計探析[6]，還有混合推薦算法，如Ozbal等提出了一種基于內(nèi)容提升的協(xié)同過濾算法，協(xié)同過濾算法的數(shù)據(jù)稀疏性問題得到了一定的解決[7].

目前圖書館的推薦系統(tǒng)基于內(nèi)容的推薦技術(shù)和基于協(xié)同過濾的推薦技術(shù)占多數(shù)，都存在一些缺點.基于內(nèi)容推薦存在的問題：1.item(產(chǎn)品)的特征抽取一般較難，如特征難以抽取、抽取不精準、無法區(qū)分抽取出來的特征完全相同的item；2.無法挖掘出用戶的潛在深層次的興趣，即個性化的推薦；3.無法為新用戶產(chǎn)生推薦.協(xié)同過濾存在的問題：1.“冷啟動”問題，沒有歷史數(shù)據(jù)的情況下較難對用戶進行較好的推薦；2.忽略情景差異、小眾喜好，即忽略了讀者的潛在的個性化的特征.無論是基于內(nèi)容推薦、基于協(xié)同過濾的推薦技術(shù)都存在共同的問題：只統(tǒng)計、分析了讀者大眾特征，而忽略讀者潛在的個性化的特征；無法為新用戶產(chǎn)生推薦.為了改進圖書館的推薦系統(tǒng)，本文提出基于實值的受限玻爾茲曼機及Top N算法(RT-RBM)的協(xié)同過濾的圖書館個性化推薦系統(tǒng).

1 RT-RBM協(xié)同過濾的圖書館個性化推薦系統(tǒng)

1.1 協(xié)同過濾算法

協(xié)同過濾(Collaborative Filtering)作為誕生最早最經(jīng)典的一種推薦算法，主要是用于預(yù)測和推薦.這種算法是基于用戶歷史性的行為數(shù)據(jù)，進行挖掘與分析，發(fā)現(xiàn)用戶的偏好，再根據(jù)不同偏好對用戶進行以群組的方式進行劃分，并為用戶推薦相似或相近的商品.在協(xié)同過濾推薦算法中常見的類型除了基于user-based(用戶)的、基于item-based(項目)的，還有一種是基于model based(模型)的，本文所介紹的就是后者.基于模型的協(xié)同過濾作為目前主流的協(xié)同過濾類型之一，要解決利用歷史的數(shù)據(jù)來預(yù)測未評分物品的評分，且把得到的最高評分物品列表推薦給用戶.對于上面的問題，可以用機器學(xué)習(xí)來建模解決，常見的主要方法可分類為：關(guān)聯(lián)算法、聚類算法、神經(jīng)網(wǎng)絡(luò)，還有圖模型、分類算法、矩陣分解、回歸算法以及隱語義模型.本文所采用的是基于神經(jīng)網(wǎng)絡(luò)來做協(xié)同過濾.

1.2 受限玻爾茲曼機

深度學(xué)習(xí)是機器學(xué)習(xí)研究中的一個新的領(lǐng)域，是指在多層神經(jīng)網(wǎng)絡(luò)上利用不同的機器學(xué)習(xí)算法解決如圖像、文本等各類問題，可以看作是一個框架算法的集合.深度學(xué)習(xí)從大類上可以歸為神經(jīng)網(wǎng)絡(luò)，它的核心為特征學(xué)習(xí)，利用低層特征的組合形成更加抽象的高層，來表示屬性類別或特征，來得出數(shù)據(jù)的分布式特征表示.深度學(xué)習(xí)可以看作是一個框架，包含多個重要算法： CNN(卷積神經(jīng)網(wǎng)絡(luò))、AutoEncoder自動編碼器、Sparse Coding稀疏編碼、 RBM(受限波爾茲曼機)、 DBN(深信度網(wǎng)絡(luò))、RNN(多層反饋循環(huán)神經(jīng)網(wǎng)絡(luò)).

圖1 RT-RBM的協(xié)同過濾的圖書館個性化推薦系統(tǒng)框架

近來年，國內(nèi)外不少學(xué)者把深度學(xué)習(xí)的技術(shù)應(yīng)用到推薦系統(tǒng)中并進行了研究，其中受限波爾茲曼機也逐漸成為近幾年的研究熱點.在波爾茲曼機基礎(chǔ)上， Smolensky于1986 年提出受限波爾茲曼機，是一種生成式的隨機神經(jīng)網(wǎng)絡(luò)，也是一種概率圖模型.這里的隨機指的是網(wǎng)絡(luò)中的神經(jīng)元是未激活或激活這樣的兩種狀態(tài)，即隨機，可以用0和1(二進制)來表示，這兩種狀態(tài)的取值由概率分布函數(shù)來決定.RBM在推薦系統(tǒng)也有一定的研究成果，如劉宇寧等提出了基于RBM模型的豆瓣小組推薦系統(tǒng)設(shè)計與實現(xiàn)[8]，鄭志蘊等提出了一種基于云計算的受限玻爾茲曼機推薦算法研究[9]，李飛等提出了一種基于權(quán)值動量的RBM加速學(xué)習(xí)算法研究[10]，孫天凱等提出了一種基于對稱受限玻爾茲曼機的協(xié)同過濾算法[11].為了改進圖書館的個性推薦系統(tǒng)的功能，本文提出了RT-RBM的協(xié)同過濾的圖書館個性化推薦系統(tǒng).

1.3 RT-RBM的協(xié)同過濾的圖書館個性化推薦系統(tǒng)框架

RT-RBM的協(xié)同過濾的圖書館個性化推薦系統(tǒng)框架可分為三層：分別是輸入層、算法模層、輸出層.輸入層輸入的數(shù)據(jù)分為兩種情況,一種是讀者的歷史借閱記錄，另一種是新讀者；算法層模型根據(jù)輸入層的數(shù)據(jù)情況分別由兩種子算法模型組成，一種為R-RBM協(xié)同過濾推薦算法模型，另一種為Top N協(xié)同過濾推薦算法模型，這兩種模型分別處理讀者的歷史借閱記錄和新讀者的情況.輸出層用于輸出圖書推薦列表的結(jié)果.RT-RBM的協(xié)同過濾的圖書館個性化推薦系統(tǒng)框架如圖1所示.

2 RT-RBM的協(xié)同過濾的圖書館個性化推薦算法

RT-RBM的協(xié)同過濾的圖書館個性化推薦算法由兩種子算法模型組成，一種為R-RBM協(xié)同過濾推薦算法模型，另一種為Top N協(xié)同過濾推薦算法模型，這兩種模型分別處理讀者的歷史借閱記錄和新讀者的情況，下面就分別介紹這兩種算法.

2.1 R-RBM協(xié)同過濾推薦算法

2.1.1 RBM模型原理

受限波爾茲曼機(RBM)包含可見層(visible layer)、隱藏層(hidden layer) 兩個層.所有神經(jīng)元的連接具有層間全連接而層內(nèi)無連接的特點.其中層內(nèi)無連接是指可見層(或隱藏層)層內(nèi)的神經(jīng)元之間無連接.層間全連接是指可見層(或隱藏層)中的每一個神經(jīng)元，與隱藏層(或可見層)中的全部神經(jīng)元都有連接.由此可知，把神經(jīng)元作為頂點、神經(jīng)元之間的連接作為邊，則RBM所對應(yīng)的圖可以看出是一個二分圖.圖2給出了受限玻爾茲曼機結(jié)構(gòu)圖示意圖，其中：

圖2 受限玻爾茲曼機結(jié)構(gòu)圖

n表示可見層v神經(jīng)元的個數(shù)，m表示隱藏層h神經(jīng)元的個數(shù)，隱含層h與可見層v神經(jīng)元之間連接的權(quán)值矩陣為W，假設(shè)a為隱藏層h的偏置向量，b為可見層v的偏置向量.假定可見層單元、隱藏層單元都是均為二值的，即狀態(tài)取值為{0,1} .

V=(v1，v2…,vn)T:為可見層v的狀態(tài)向量，vi表示可見層v中第i個神經(jīng)元的狀態(tài).

h=(h1，h2…,hm)T:為隱藏層h的狀態(tài)向量，hj表示隱藏層h中第j個神經(jīng)元的狀態(tài).

a=(a1，a2…,an)T:為可見層v的偏置向量，ai表示可見層v中第i個神經(jīng)元的偏置.

b=(b1，b2…,bm)T:為隱藏層h的偏置向量，bi表示隱藏層h中第j個神經(jīng)元的偏置.

W=(wij)n×m∈Rn×m：為隱藏層h與可見層v連接的權(quán)值矩陣，Wi,j表示隱藏層h中第i個神經(jīng)元和可見層v中第j個神經(jīng)元的連接權(quán)重.

記θ=(W,a,b)表示RBM中的未知參數(shù)的組合,即將W、a、b中的所有分量組合起來得到的長向量.

對于一組給定的狀態(tài)(v,h),可定義RBM模型的能量函數(shù)為：

(1)

(1)中對?i,j有vi,hj∈{0,1}.利用RBM模型的能量函數(shù)(1)，在給出狀態(tài)(v，h)的聯(lián)合概率分布：

(2)

其中

(3)

為歸一化因子.

由于RBM 模型的層內(nèi)無連接,在給定可見層h的單元狀態(tài)值時,隱藏層v的各單元的激活條件是獨立的,由式(1)和式( 2)可導(dǎo)出隱藏層v的各單元的條件激活概率公式:

(4)

當給定隱藏層h單元的狀態(tài)時，根據(jù)RBM的對稱性，可知可見層v單元的激活也是條件獨立.同樣可得:

(5)

2.1.2 R-RBM協(xié)同過濾推薦算法及參數(shù)

RBM模型的學(xué)習(xí)目標就是最大程度地擬合觀測數(shù)據(jù).RBM模型通過條件概率公式P(h|v)來計算輸出向量h(隱藏層),再由向量h及條件概率公式P(v|h)反過來計算向量v(可見層),得到新的可見層向量v和原始輸入樣本向量v進行比較,不斷修正參數(shù),最終使得最新得到的向量v(可見層)向原始輸入樣本向量v不斷靠近,以達到誤差的要求.

實際上如果用吉布斯采樣來估計RBM的分布,其復(fù)雜度很高.一般采用Hinton教授的 Contrastive Divergence(CD)，即對比散度算法，可用k步的CD算法(CD-K)來近似RBM的分布,當k取1即可獲得良好的效果.所以在CD-K算法中在給定一個訓(xùn)練樣本Q(|Q|=g)后，只需要1步Gibbs采樣就可以獲得較好的RBM的參數(shù)估計.使用CD-K實現(xiàn)RBM參數(shù)更新，wij、ai、bj參數(shù)的更新公式如式(6)、(7)：

(6)

Δbi=Δbi+[P(hj=1|v(0))-P(hj=1|v(k))]

(7)

算法1 RBM模型訓(xùn)練算法：

第1部分 初始化

1)確定訓(xùn)練樣本集合Q(|Q|=g).

2)確定F為訓(xùn)練周期,并確定學(xué)習(xí)率η、CD-K算法的參數(shù)k.

3)給出可見層v、隱藏層h的單元數(shù)目n,m

4)初始化a、b(偏置向量)，初始化W(權(quán)值矩陣)

第2部分 訓(xùn)練

FORiter= 1,2,...,FDO

1.調(diào)用CDK(k,Q,RBM(W,a,b); △W,△a,△b)，得到新的△W,△a,△b

2.更新參數(shù)式(7)

}

在RBM模型訓(xùn)練算法中，參數(shù)的初始化一般利用正態(tài)分布N(0,0.01) 產(chǎn)生的隨機數(shù)進行權(quán)重矩陣W的初始化.隱藏層h偏置b初始化的值為零.可見層v偏置a按如下公式進行初始化:

(8)

其中pi表示訓(xùn)練樣本中第i個特征取值為1的樣本所占的比例.

讀者對圖書的興趣評分矩陣作為R-RBM模型可見層v的輸入數(shù)據(jù).實際中，讀者對圖書的評分是非常稀疏的，這樣可能難以精準地預(yù)測圖書的評分，也就較難實現(xiàn)個性化的推薦.在本文中以讀者的借閱圖書的歷史記錄為依據(jù)，這些歷史記錄包括圖書類型、圖書借還周期、是否續(xù)借、圖書借閱時間、還書日期等信息.以借閱時間為主來定義讀者對圖書的興趣度，這樣可以較有效地解決數(shù)據(jù)稀疏的問題.讀者對圖書的興趣度的計算如公式(9)：

(9)

其中，In表示讀者對圖書的興趣度，γ表示讀者所有借閱圖書中最小的時長，δ表示圖書最大的借閱時長.t為某圖書被借閱時長，t的取值特殊情況的處理：當t≤γ時，t取值為γ；當t≥δ時，t取值δ.接下來要對In的值如式(10)進行轉(zhuǎn)換，即轉(zhuǎn)換為1～5的評分值，其中Mri為轉(zhuǎn)換后的評分值.

(10)

假設(shè)圖書館的圖書總本數(shù)為N本，圖書館讀者人數(shù)為O人，式(10)中的i取值從1到N.未借的圖書用x來表示其評分狀態(tài),為讀者對圖書的興趣評分1～5，用M表示.基于用戶行為矩陣的構(gòu)建方法，構(gòu)造的讀者圖書興趣評分矩陣如表1.R-RBM模型中的可見層v替換為N*M的矩陣(讀者圖書興趣評分列矩陣)，其中M為M個二值評分結(jié)果，設(shè)M=5.

表1 讀者圖書興趣評分列矩陣

2.2 Top-N協(xié)同過濾新用戶推薦算法

對于新用戶由于沒有歷史借閱記錄，所以很難用R-RBM協(xié)同過濾推薦算法模型去推薦，本文采用Top-N協(xié)同過濾推薦算法對新用戶進行推薦.算法的思路：1.新用戶對圖書大類進行選擇并進行興趣度的評分；2.根據(jù)新用戶所選的大類，篩選出相關(guān)大類所有圖書的其他用戶的評分；3.求第2步中每個大類的所有圖書用戶的平均評分；4.利用協(xié)同過濾Top-N篩選出第3步中每個大類評分最高的前5個；5.把第4步評分高的推薦給新用戶， 如果沒有第1步，那么可以把所有圖書用戶平均評分最高的前5個圖書、最熱門的前5個圖書推薦給用戶.

2.3 基于RT-RBM協(xié)同過濾的圖書館個性化推薦系統(tǒng)算法設(shè)計

結(jié)合2.1.2 R-RBM協(xié)同過濾推薦算法及2.2 Top-N協(xié)同過濾新用戶推薦算法，確定基于RT-RBM協(xié)同過濾的圖書館個性化推薦系統(tǒng)模型中的各個參數(shù)：N*M的矩陣(讀者圖書興趣評分列矩陣)作為訓(xùn)練樣本Q(|Q|=g)，新用戶訓(xùn)練樣本為Q1(|Q1|=g1)；基于訓(xùn)練數(shù)據(jù)對可見層和隱藏層的狀態(tài)進行初始化時，利用對比散度方法僅需1步Gibbs采樣即可獲得不錯的RBM的參數(shù)估計.訓(xùn)練的次數(shù)F為10[12]，隱藏層的單元數(shù)最佳為30[7]；學(xué)習(xí)率η取值較大時，算法的收斂速度快，但可能導(dǎo)致算法的不穩(wěn)定，而當η較小時，雖可避免算法的不穩(wěn)定的情況,但算法的收斂速度變慢.為克服這一矛盾，學(xué)習(xí)率η的初始值可設(shè)置為0.001，η的更新通過Adam方法實現(xiàn).

下面是基于RT-RBM協(xié)同過濾的圖書館個性化推薦系統(tǒng)算法設(shè)計：

1)輸入：讀者r，圖書d;

2)判斷讀者r為新用戶還是老用戶(是否有借閱歷史記錄)；

3)讀者r為老用戶時執(zhí)行4)，為新用戶時執(zhí)行5)；

4)R-RBM協(xié)同過濾推薦算法;

5)Top-N協(xié)同過濾新用戶推薦算法;

6)通過4)或5)得出訓(xùn)練好的預(yù)測分數(shù)，利用協(xié)同過濾TOP-N算法得出讀者評分最高的前N本書；

7)輸出：評分最高的前N本書，并推薦給用戶.

3 實驗仿真

3.1 仿真實驗環(huán)境配置

進行仿真實驗來驗證本文提出的算法的有效性.仿真實驗都是在MATLAB 10.0 、Windows 7旗艦版的操作系統(tǒng)環(huán)境、聯(lián)想i5-9400F 16G 512GB純固態(tài) GTX1660SP-6G進行的.以本學(xué)院圖書館的借閱數(shù)據(jù)為例進行實驗，選擇2 000名老用戶讀者的8 000條圖書借閱記錄，400名新用戶(沒有借閱記錄)，5 000條圖書數(shù)據(jù),對于抽取的數(shù)據(jù)加以修改，作為仿真實驗的測試、訓(xùn)練集.將8 000條的記錄及400名新用戶按隨機的方式劃分為10個部分，隨機選取2個部分作為仿真實驗的測試集，剩下的8個部分數(shù)據(jù)集作為訓(xùn)練集.

3.2 實驗評價

仿真實驗的評價指標采用準確率Pr，設(shè)Q3是仿真實驗的訓(xùn)練集合即8 000 條圖書借閱記錄，其中用戶r1感興趣的圖書集為S(r1);以老用戶讀者圖書借閱記錄為基礎(chǔ)，通過R-RBM協(xié)同過濾算法模型為用戶r1推薦的圖書列表，記作I(r1)，長度設(shè)置為n1,;給用戶r1圖書推薦準確率的計算見公式(11).

(11)

圖3 兩種推薦算法的準確率對比圖

利用本系統(tǒng)模型輪流在10個數(shù)據(jù)集中分別進行了協(xié)同過濾推薦算法和R-RBM協(xié)同過濾算法的實驗，對兩種算法的準確率如圖3所示，進行了比較，發(fā)現(xiàn)本系統(tǒng)的R-RBM協(xié)同過濾算法準確率明顯較高.

圖4 新用戶評分圖

另外在仿真實驗中Q4為400名新用戶(沒有借閱記錄)，上面公式(12)的推薦都是基于用戶歷史借閱數(shù)據(jù)進行評價的，但對于新用戶而言并沒有歷史借閱記錄,所以對其推薦質(zhì)量評估是存在一定困難的.本文通過400名新用戶(本校的師生)對推薦結(jié)果進行1分-5分的評分，評分結(jié)果如圖4所示：約23%的新用戶評分為5分，對于推薦結(jié)果非常滿意；26%新用戶評分為4分，對于推薦結(jié)果滿意；36%新用戶評分為3分，對于推薦結(jié)果較滿意；10%的新用戶評分為2分，對于推薦結(jié)果感覺一般；5%的新用戶評分為1分，對于推薦結(jié)果感覺較差.評分的結(jié)果表明新用戶對于本系統(tǒng)的推薦是較滿意的.

4 小結(jié)

本文提出的RT-RBM的協(xié)同過濾的圖書館個性化推薦系統(tǒng)，比協(xié)同過濾推薦的算法準確率較高，這表明了本系統(tǒng)更能挖掘讀者個性化信息的深層次特征，能為讀者提供更精準的推薦.同時本推薦系統(tǒng)還可以通過Top-N協(xié)同過濾新用戶推薦算法對新用戶進行推薦，從新用戶的評分來看，還是較滿意的，這也較好地解決了受限波爾茲曼的協(xié)同過濾推薦算法存在的“冷啟動”問題.但本系統(tǒng)對于新用戶這塊算法還需要完善，以加強這部分算法的泛化性，這是本系統(tǒng)后續(xù)需要進一步研究的問題.