盧　棪　劉應(yīng)安

(南京林業(yè)大學(xué)信息科學(xué)技術(shù)學(xué)院　南京　210037)

基于缺失值迭代預(yù)測(cè)填充的協(xié)同過(guò)濾推薦算法

盧棪劉應(yīng)安

(南京林業(yè)大學(xué)信息科學(xué)技術(shù)學(xué)院南京210037)

摘要推薦系統(tǒng)是目前在電子商務(wù)中用的較為廣泛的一種技術(shù)。伴隨著數(shù)據(jù)量的增大,評(píng)分矩陣的稀疏性成為了一大難題。對(duì)于評(píng)分?jǐn)?shù)據(jù)較為稀疏的矩陣,提出了一種基于缺失值迭代預(yù)測(cè)填充的協(xié)同過(guò)濾算法。這種算法以迭代的方式對(duì)評(píng)分矩陣填充,直到缺失值個(gè)數(shù)恒定在某一數(shù)值。而在迭代的過(guò)程中,每一次用于填充計(jì)算的相似度度量又是依據(jù)均值填充后的相似度來(lái)動(dòng)態(tài)計(jì)算的。說(shuō)明該算法即可以降低數(shù)據(jù)稀疏性,又提高了用戶相似度計(jì)算精度的問(wèn)題。實(shí)驗(yàn)研究表明,利用該算法能夠提高評(píng)分矩陣的密度,并降低了系統(tǒng)的推薦誤差。

關(guān)鍵詞推薦系統(tǒng); 協(xié)同過(guò)濾; 迭代; 預(yù)測(cè); 相似度計(jì)算; 缺失值填充; 數(shù)據(jù)密度

Class NumberTP311

1引言

協(xié)同過(guò)濾是在電子商務(wù)系統(tǒng)中使用非常廣泛的一類推薦算法,其基本思想是在用戶群中找到指定用戶的相似(興趣)用戶,綜合這些相似用戶對(duì)某一信息的評(píng)價(jià),形成系統(tǒng)對(duì)該指定用戶對(duì)此信息的喜好程度預(yù)測(cè)。

隨著電子商務(wù)系統(tǒng)的進(jìn)一步擴(kuò)大,用戶數(shù)目和項(xiàng)目數(shù)目日益劇增,這樣就會(huì)導(dǎo)致用戶評(píng)分的極度稀疏性。在這樣的情況下,系統(tǒng)的推薦質(zhì)量就會(huì)急劇下降。通常,針對(duì)推薦系統(tǒng)數(shù)據(jù)稀疏的問(wèn)題,有一種最簡(jiǎn)單的方法就是對(duì)未評(píng)分的用戶設(shè)定一個(gè)為評(píng)分域中所有評(píng)分的均值的值,這種改進(jìn)方法可以改善稀疏性并且提高提高推薦系統(tǒng)的推薦精度,但是用戶的主觀評(píng)分不可能完全相同,所以此方法在用戶評(píng)分?jǐn)?shù)據(jù)稀疏的情況下計(jì)算相似性還是存在著一定的弊端。目前,已有很多研究者提出了更有效的解決數(shù)據(jù)稀疏性的方法。文獻(xiàn)[1]提出了一種通過(guò)計(jì)算項(xiàng)目相似度填充用戶評(píng)分矩陣的方法,有效緩解了數(shù)據(jù)的稀疏性。文獻(xiàn)[3]將奇異值分解技術(shù)應(yīng)用到協(xié)同過(guò)濾中來(lái),通過(guò)降低輸入矩陣的維數(shù)來(lái)降低數(shù)據(jù)的稀疏性。文獻(xiàn)[5]提出了基于用戶相似度傳遞的方法來(lái)緩解稀疏性。文獻(xiàn)[6]提出了一種解決數(shù)據(jù)稀疏性的迭代協(xié)同過(guò)濾算法,該算法根據(jù)項(xiàng)目評(píng)分的相似性來(lái)反復(fù)填充評(píng)分矩陣,雖然能夠很大程度上改善數(shù)據(jù)的稀疏性問(wèn)題,但是卻沒(méi)有考慮到項(xiàng)目評(píng)分相似性不高,項(xiàng)目本身相似度很高的情況。文獻(xiàn)[7]提出了一種在稀疏數(shù)據(jù)集中使用巴氏距離計(jì)算相似度的方法來(lái)提高評(píng)分的相似性,但計(jì)算巴氏距離較為復(fù)雜,而且也沒(méi)有改善數(shù)據(jù)稀疏的問(wèn)題。文獻(xiàn)[9]提出了一種基于云模型的方法來(lái)預(yù)測(cè)填充矩陣,該算法可以適用于任何數(shù)據(jù)集并且改善稀疏性,但是巨大的計(jì)算開(kāi)銷還是需要考慮。文獻(xiàn)[10]提出了一種算法,該算法對(duì)相似性很高但卻沒(méi)有評(píng)分的用戶進(jìn)行評(píng)分預(yù)測(cè),從而降低稀疏性提高推薦質(zhì)量。文獻(xiàn)[13]提出了一種基于神經(jīng)網(wǎng)絡(luò)的方法,通過(guò)構(gòu)建B-P神經(jīng)網(wǎng)絡(luò)來(lái)填充評(píng)分矩陣中的缺失值,充分緩解數(shù)據(jù)稀疏性問(wèn)題。但是B-P神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)成本較大,計(jì)算效率的提高需要進(jìn)一步考慮。文獻(xiàn)[14]提出了一種分布填充的協(xié)同過(guò)濾算法,該算法首先通過(guò)相似度和評(píng)分?jǐn)?shù)量都達(dá)到一個(gè)特定值的用戶作為鄰居用戶,其次通過(guò)這些用戶來(lái)預(yù)測(cè)并填充為評(píng)分的項(xiàng)目,最后通過(guò)填充后的用戶評(píng)分矩陣來(lái)預(yù)測(cè)用戶的評(píng)分。這種方法能在降低數(shù)據(jù)稀疏性的同時(shí)提高推薦質(zhì)量。

為了進(jìn)一步緩解評(píng)分矩陣的稀疏性,本文提出了一種基于缺失值迭代預(yù)測(cè)填充的協(xié)同過(guò)濾算法,此算法以迭代的方式對(duì)評(píng)分矩陣填充直到缺失值個(gè)數(shù)恒定在某一數(shù)值。而在迭代的過(guò)程中,每一次用于填充計(jì)算的相似度度量又是依據(jù)均值填充后的相似度來(lái)動(dòng)態(tài)計(jì)算的。即在降低數(shù)據(jù)稀疏性的同時(shí)又改善了在用戶評(píng)分極端稀疏情況下用戶相似性計(jì)算準(zhǔn)確度的問(wèn)題。

2協(xié)同過(guò)濾算法相關(guān)概念

2.1相似相關(guān)性

2.1.1項(xiàng)目類別相似性

根據(jù)文獻(xiàn)[15]可知,通過(guò)項(xiàng)目間的類別距離度量項(xiàng)目類別相似性如式(1)所示:

(1)

其中,l(i,j)為返回項(xiàng)目i和j節(jié)點(diǎn)到達(dá)公共雙親的最長(zhǎng)路徑長(zhǎng)度,H為項(xiàng)目類別樹(shù)的樹(shù)高。

2.1.2用戶相似性

設(shè)Iuv表示用戶u和用戶v共同評(píng)分項(xiàng)目集,則用戶u和v的相似性sim(u,v)如下式:

(2)

通過(guò)上述方法可以基于用戶對(duì)項(xiàng)目的評(píng)分作相似性的判斷。

2.2產(chǎn)生推薦

目標(biāo)用戶對(duì)任意項(xiàng)目i的評(píng)分:設(shè)目標(biāo)用戶的最近鄰集合為Nu={vi1,…,vik},u?N,則目標(biāo)用戶u對(duì)項(xiàng)目i的預(yù)測(cè)評(píng)分Pui如下式所示。

(3)

式中,rv和ru分別表示用戶v和u對(duì)項(xiàng)目的平均評(píng)分值。

3基于缺失值迭代預(yù)測(cè)填充的協(xié)同過(guò)濾算法

3.1評(píng)分矩陣缺失值的預(yù)測(cè)及填充

為了有效地解決評(píng)分矩陣極端稀疏的情況下相似度可信度不高的問(wèn)題,本文提出對(duì)評(píng)分矩陣的缺失值進(jìn)行預(yù)測(cè)并填充的方法。

設(shè)項(xiàng)目中未評(píng)分的缺失值集合為Nup,對(duì)任意項(xiàng)目p∈Nuj,使用如下方法預(yù)測(cè)用戶u對(duì)項(xiàng)目p的評(píng)分Pu,p。

1) 計(jì)算所有項(xiàng)目之間的相似性

對(duì)于項(xiàng)目本身而言,存在項(xiàng)目類別的相似性和項(xiàng)目評(píng)分的相似性。在計(jì)算項(xiàng)目類別的相似性時(shí),考慮到若某個(gè)項(xiàng)目可能存在多個(gè)類別。為了解決此問(wèn)題,本文對(duì)式(1)的方法進(jìn)一步改進(jìn)。如式(4)所示:

(4)

其中,若只存在一個(gè)公共父節(jié)點(diǎn),就取最長(zhǎng)路徑長(zhǎng)度。若存在多個(gè)公共父節(jié)點(diǎn),就取距離項(xiàng)目i和j節(jié)點(diǎn)最短的公共父節(jié)點(diǎn)中最長(zhǎng)路徑長(zhǎng)度。

故可用式(5)來(lái)動(dòng)態(tài)加權(quán)計(jì)算項(xiàng)目之間的相似性,

(5)

其中,sim(i,j)*是最終加權(quán)得出的相似性結(jié)果,sim(i,j)是項(xiàng)目評(píng)分之間的相似性,s(i,j)是項(xiàng)目類別之間的相似性,simaverage(i,j)是均值填充所計(jì)算的項(xiàng)目的相似性,α為權(quán)重系數(shù)并與simaverage(i,j)有關(guān),具體關(guān)聯(lián)如式(6)所示

(6)

2) 缺失值的預(yù)測(cè)

通過(guò)上述方法處理后便得到項(xiàng)目之間的相似性,將相似性最高的若干項(xiàng)目作為p的鄰居項(xiàng)目集合。即在整個(gè)項(xiàng)目空間中查找與項(xiàng)目p相似度最高的項(xiàng)目集合Kp={I1,I2,…,In},并且sim(p,I1)最高,sim(p,I2)次之,依次類推。

得到Kp后,采用文獻(xiàn)中[4]提出的方法預(yù)測(cè)用戶u對(duì)項(xiàng)目p的評(píng)分Pu,p:

(7)

其中,Ru,n表示用戶u對(duì)相似度最高的項(xiàng)目集合中項(xiàng)目n的評(píng)分,simp,n表示項(xiàng)目p和項(xiàng)目n的相似性。

3) 缺失值的填充

通過(guò)上述方法處理后,對(duì)整個(gè)項(xiàng)目空間中的任意項(xiàng)目的評(píng)分Ru,j則可以表示為

圖1　預(yù)測(cè)值填充流程

經(jīng)過(guò)如上方法后可以對(duì)評(píng)分矩陣的缺失值進(jìn)行填充。

具體填充方法如圖1所示。

3.2迭代預(yù)測(cè)及填充

隨著迭代的次數(shù)增加,填充的值可能會(huì)趨向某一固定的數(shù)值,這樣就導(dǎo)致填充的值失去真實(shí)性。故需要引入一個(gè)修正值來(lái)動(dòng)態(tài)控制填充值的大小。通過(guò)用戶屬性的相似度來(lái)預(yù)測(cè)缺失值,并以此預(yù)測(cè)值為基準(zhǔn)來(lái)動(dòng)態(tài)的調(diào)整迭代后的預(yù)測(cè)的值。用以下公式進(jìn)行調(diào)整:

(8)

其中,Pcorrrect為修正后的填充值,Piterate為迭代后的填充值,Pproperty為基于用戶屬性的填充值。α則是用來(lái)控制修正范圍大小的參數(shù),即當(dāng)Piterate與Pproperty相差較大時(shí),則修正的范圍較大。反之,當(dāng)Piterate與Pproperty相差較小時(shí),則修正的范圍較小。并且當(dāng)Piterate與Pproperty相同時(shí),則說(shuō)明當(dāng)前迭代后的填充值為離真實(shí)值最接近的填充值。對(duì)于系數(shù)k的判定,則根據(jù)評(píng)分制度來(lái)判定,則k的大小始終與評(píng)分的最大值相同。比如,評(píng)分標(biāo)準(zhǔn)為5分制,k就為5,若為3分制,k就為3。

通過(guò)上述的方法就能動(dòng)態(tài)的對(duì)填充值進(jìn)行修正。

故加入修正值后的具體迭代方法如圖2所示。

圖2　迭代流程

通過(guò)上述方法,可以有效地降低原始評(píng)分矩陣的稀疏性,并改善在用戶評(píng)分極端稀疏情況下用戶相似性計(jì)算準(zhǔn)確度的問(wèn)題。

4實(shí)驗(yàn)結(jié)果與分析

4.1數(shù)據(jù)來(lái)源

本文采用MovieLens站點(diǎn)提供的數(shù)據(jù)集(http://movielens.umn.edu/)。它由美國(guó)Minnesota大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院的GroupLens項(xiàng)目組創(chuàng)辦,并且用于接收用戶對(duì)電影的評(píng)分并提供相應(yīng)的電影推薦列表。目前,該Web站點(diǎn)的用戶評(píng)分的電影超過(guò)3500部,用戶已經(jīng)超過(guò)43000人。但實(shí)際評(píng)分?jǐn)?shù)據(jù)的密度為100000/(943*1682)=6.3%,說(shuō)明此數(shù)據(jù)是相當(dāng)稀疏的。我們從用戶評(píng)分?jǐn)?shù)據(jù)庫(kù)中隨機(jī)選取了三組數(shù)據(jù),每組數(shù)據(jù)包括150個(gè)用戶,1682部電影,并將每組數(shù)據(jù)進(jìn)一步劃分為訓(xùn)練集和測(cè)試集。整個(gè)數(shù)據(jù)集的80%作為訓(xùn)練集,20%作為測(cè)試集。

4.2推薦質(zhì)量的度量標(biāo)準(zhǔn)

評(píng)價(jià)推薦系統(tǒng)推薦質(zhì)量的度量標(biāo)準(zhǔn)主要包括統(tǒng)計(jì)精度度量方法和決策支持精度度量方法兩類。統(tǒng)計(jì)精度度量方法中的平均絕對(duì)偏差(Mean Absolute Error,MAE)是最常用的一種推薦質(zhì)量度量方法,該方法是通過(guò)計(jì)算預(yù)測(cè)的用戶評(píng)分與實(shí)際的用戶評(píng)分之間的偏差度量預(yù)測(cè)的準(zhǔn)確性。若MAE越小,則說(shuō)明推薦質(zhì)量越高。反之,說(shuō)明推薦質(zhì)量越低。

設(shè)預(yù)測(cè)的用戶評(píng)分集合表示為{p1,p2,…,pn},對(duì)應(yīng)的實(shí)際用戶評(píng)分集合為{q1,q2,…,qn},則平均絕對(duì)偏差MAE定義為

(9)

4.3實(shí)驗(yàn)結(jié)果

為了檢驗(yàn)本文提出算法的有效性,分別以傳統(tǒng)的基于用戶的協(xié)同過(guò)濾推薦算法(UBCF),均值填充的協(xié)同過(guò)濾算法(AFCF)以及本文提出的基于缺失值迭代的協(xié)同過(guò)濾算法(IFCF)來(lái)做比較,計(jì)算其MAE值,鄰居個(gè)數(shù)從5增加到30,間隔為5。實(shí)驗(yàn)結(jié)果如圖3～圖5所示。

圖3　不同鄰居數(shù)對(duì)MAE的影響(數(shù)據(jù)1)

其中圖3為第一組數(shù)據(jù)的三種算法的比較,圖4為第二組數(shù)據(jù),圖5為第三組數(shù)據(jù),可以觀察出當(dāng)鄰居個(gè)數(shù)越大時(shí),算法的推薦精度就越好。

5結(jié)語(yǔ)

本文通過(guò)分析傳統(tǒng)協(xié)同過(guò)濾面臨的數(shù)據(jù)稀疏性問(wèn)題及現(xiàn)有的解決方法,提出了一種基于缺失值迭代預(yù)測(cè)填充的協(xié)同過(guò)濾算法。利用項(xiàng)目和用戶的相似性來(lái)預(yù)測(cè)缺失值,并利用迭代的方式來(lái)進(jìn)一步緩解評(píng)分矩陣的稀疏性。由于每一次都是基于上一次填充后的矩陣進(jìn)行迭代,因此也改善了在用戶評(píng)分極端稀疏情況下用戶相似性計(jì)算準(zhǔn)確度的問(wèn)題。實(shí)驗(yàn)結(jié)果表明,基于缺失值迭代預(yù)測(cè)填充的協(xié)同過(guò)濾算法可以有效的解決用戶評(píng)分?jǐn)?shù)據(jù)的稀疏性問(wèn)題,提高推薦的準(zhǔn)確度。

圖4　不同鄰居數(shù)對(duì)MAE的影響(數(shù)據(jù)2)

圖5　不同鄰居數(shù)對(duì)MAE的影響(數(shù)據(jù)3)

參 考 文 獻(xiàn)

[1] 鄧愛(ài)林,朱揚(yáng)勇,施伯樂(lè).基于項(xiàng)目評(píng)分預(yù)測(cè)的協(xié)同過(guò)濾推薦算法[J].軟件學(xué)報(bào),2003,14(9):1621-1628.

DENG Ailing, ZHU Yangyong, SHI Bole. Collaborative filtering recommendation algorithm based on item score prediction[J]. Journal of Software,2003,14(9):1621-1628.

[2] 鄧愛(ài)林,左子葉,朱揚(yáng)勇.基于項(xiàng)目聚類的協(xié)同過(guò)濾推薦算法[J].小型微型計(jì)算機(jī)系統(tǒng),2004,25(9):1665-1670.

DENG Ailing, ZUO Ziye, ZHU Yangyong. Collaborative filtering recommendation algorithm based on item clustering[J]. Journal of Chinese Computer Systems,2004,25(9):1665-1670.

[3] Sarwar BM, Karypis, Konstan JA, Riedl J. Application of dimensionality reduction in recommender system-A case study[C]//ACM WebKDD 2000 Workshop,2000:80-90.

[4] Sarwar B, Karypis, Konstan J, Riedl J. Item-Based collaborative filtering recommendation algorithms[C]//Proceedings of the 10thInternational World Wide Web Conference,2001:285-295.

[5] HUETE J F, FEMANDEZ-LUNA J M, De CAMPOS L M, et al. Using past-prediction accuracy in recommender systems[J]. Information Science: an International Journal,2012,199(9):78-92.

[6] Zhuo Zhang, Paul Cuff, Sanjeev Kulkarni. Iterative collaborative filtering for recommender systems with sparse data[C]//2012 IEEE International Workshop On Machine Learning For Signal Process,2012,SEPT:23-26.

[7] Bidyut Kr. Patra, Raimo Launonen, Ville Ollikainen, et al. A new similarity measure using Bhattacharyya coefficient for collaborative filtering in sparse data[J]. Knowledge-Based Systems,2015,82:163-177.

[8] Mohsen Ramezani, Parham Moradi, Fardin Akhlaghian. A pattern mining approach to enhance the accuracy of collaborative filtering in sparse data domains[J]. Physica A,2014,408:72-84.

[9] 張光衛(wèi),李德毅,李鵬,等.預(yù)計(jì)云模型的協(xié)同過(guò)濾算法[J].軟件學(xué)報(bào),2007,18(10):2403-2411.ZHANG Guangwei, LI Deyi, LI Peng, et al. Cloud model based collaborative filtering algorithm[J]. Journal of Software,2007,18(10):2403-2411.

[10] 張學(xué)勝.面向數(shù)據(jù)稀疏的協(xié)同過(guò)濾推薦算法研究[D].合肥:中國(guó)科技大學(xué),2011.

ZHANG Xuesheng. Research on Collaborative Filtering Recommendation Algorithm Based on data sparse[D]. Hefei: University of Science and Technology of China,2011.

[11] 楊炎.基于項(xiàng)目聚類的協(xié)同過(guò)濾推薦算法的研究[D].吉林:東北師范大學(xué),2005.

YANG Yan. Research on Collaborative Filtering Recommendation Algorithm Based on item clustering[D]. Jilin: Northeast Normal University,2005.

[12] 李濤,王建東,葉飛躍,等.一種基于用戶聚類的協(xié)同過(guò)濾推薦算法[J].系統(tǒng)工程與電子技術(shù),2007,29(7):1176-1182.

LI Tao, WANG Jiandong, YE Feiyue, et al. Collaborative filtering recommendation algorithm based on user clustering[J]. Systems Engineering and Electronics,2007,29(7):1176-1182.

[13] 張鋒,常學(xué)友.使用BP神經(jīng)網(wǎng)絡(luò)緩解協(xié)同過(guò)濾推薦算法的稀疏性問(wèn)題[J].計(jì)算機(jī)研究與發(fā)展,2006,43(4):667-672.

ZHANG Feng, CHANG Xueyou. Sparsity problem of collaborative filtering recommendation algorithm based on BP neural network[J]. Computer Research and Development,2006,43(4):667-672.

[14] 張玉芳,代金龍,熊忠陽(yáng).分步填充緩解數(shù)據(jù)稀疏性的協(xié)同過(guò)濾算法[J].計(jì)算機(jī)應(yīng)用研究,2013,30(9):2603-2605.

ZHANG Yufang, DAI Jinglong, XIONG Zhongyang. Collaborative filtering algorithm for sparse data filtering by step filling[J]. Application Research of Computers,2013,30(9):2603-2605.

[15] 黃創(chuàng)光,印鑒,汪靜,等.不確定近鄰的協(xié)同過(guò)濾算法[J].計(jì)算機(jī)學(xué)報(bào),2010,33(8):1369-1377.

HUANG Chuangguang, YIN Jian, WANG Jing. Collaborative filtering algorithm for uncertain nearest neighbor[J]. Chinese Journal of Computers,2010,33(8):1369-1377.

[16] Sarwar B, Karypis G, Konstan J, et al. Analysis of recommendation algorithm for E-commerce[C]//Proc. Of the 2ndACM Conference on Electronic Commerce. New York: ACMPress,2000:158-167.

[17] 吳一帆,王浩然.結(jié)合用戶背景信息的協(xié)同過(guò)濾推薦算法[J].計(jì)算機(jī)應(yīng)用,2008,28(11):2973-2975.WU Yifan, WANG Haoran. Collaborative filtering recommendation algorithm based on user background information[J]. Computer Application,2008,28(11):2973-2975.

[18] 黃霞,韋素云,業(yè)寧,等.基于用戶屬性和項(xiàng)目類別的協(xié)同過(guò)濾算法[J].計(jì)算機(jī)與數(shù)字工程,2012,40(10):5-8.

HUANG Xia, WEI Suyun, YE Ning, et al. Collaborative filtering algorithm based on user attributes and item categories[J]. Computer & Digital Engineering,2012,40(10):5-8.

[19] STOLCK A, ZHENG Jing, WANG Wen, et al. SRILM at sixteen:update and outlook[C]//Proc of IEEE Workshop on Speech Hecognition and UnderStanding,2011.

A Collaborative Filtering Algorithm Based on Predicting and Filling Missing-Data by Iterated

LU YanLIU Ying’an

(College of Information Science and Technology, Nanjing Forestry University, Nanjing210037)

AbstractRecommendation system is a widely used technology in the electronic commerce. Along with the increase of the amount of data, sparsity of rating data become a big question. To improve sparsity of rating data more effectively, a collaborative filtering algorithm based on predicting and filling miss-data by interated is proposed. This method fills the rating data by iterated until the number of missing-data stably. During the iterating, the method of similarity analysis based on the result-data at last step. So not only this method improves sparsity of rating data more effectively, but else efficiently improves the accuracy of similarity analysis under the exreme sparsity of rating data.The experimental results show that this method can improve the quality of recommendation.

Key Wordsrecommendation, collaborative filtering, iteration, prediction, similarity computing, filling missing-data, data density

收稿日期:2015年12月7日,修回日期:2016年1月30日

基金項(xiàng)目:國(guó)家自然科學(xué)基金(編號(hào):11471161)資助。

作者簡(jiǎn)介:盧棪,男,碩士研究生,研究方向:數(shù)據(jù)挖掘。劉應(yīng)安,男,博士,教授,研究方向:數(shù)據(jù)挖掘,統(tǒng)計(jì)診斷,林業(yè)統(tǒng)計(jì)分析。

中圖分類號(hào)TP311

DOI:10.3969/j.issn.1672-9722.2016.06.002