劉麗萍,黃曉娜,楊 珊,潘家輝

(華南師范大學 軟件學院,佛山 528225)

1 引言

隨著消費市場規(guī)模的進一步擴大,以及移動互聯(lián)網(wǎng)和智能手機的普及,當前已經(jīng)出現(xiàn)了信息過載(information overload)的現(xiàn)象,用戶將面對更多的產(chǎn)品,購物將變得更加復雜[1].為了讓產(chǎn)品的設(shè)計開發(fā)和消費人群定位更加實效,并幫助用戶在信息過載的情況下獲取對自己有用的信息,通過智能化技術(shù)對商品消費者進行研究和結(jié)合推薦系統(tǒng)(recommender system)手段進行產(chǎn)品推薦是應(yīng)對信息過載和短生命周期產(chǎn)品“短、頻、快”發(fā)展非常有用的方法[2,3].

消費者研究是所有市場營銷活動的中心和出發(fā)點,如何深入洞察消費者的基本行為與態(tài)度,并將他們的消費行為碎片轉(zhuǎn)換成營銷整體策略是消費者研究的精髓和重點所在[4].傳統(tǒng)的消費者分析方法如文獻資料法、問卷調(diào)查法、數(shù)理統(tǒng)計法非常耗時[5]、耗力,使得數(shù)據(jù)調(diào)查、收集、分析等工作會消耗大量的人力資源和時間,不但分析成本上升,還會消耗產(chǎn)品熱度.同時在人工調(diào)查方法中被調(diào)查者具有一定的保守性,會導致產(chǎn)品的市場定位偏差.因此我們在收集顯性評價數(shù)據(jù)的同時,結(jié)合非接觸式技術(shù)的使用來收集和利用隱性評價數(shù)據(jù),使得產(chǎn)品的滿意度調(diào)查更加有說服力.

推薦系統(tǒng)是信息過濾的重要手段,智能推薦已成為當前人工智能和大數(shù)據(jù)領(lǐng)域研究的重點[6].Resnick和Varian 在1997 給出它是幫助用戶決定應(yīng)該購買什么產(chǎn)品,模擬銷售員幫助客戶完成購買過程的概念[7].當前著名的推薦系統(tǒng)有Amazon 的個性化產(chǎn)品推薦、Netflix 的視頻推薦、Pandora 的音樂推薦、Facebook的好友推薦和Google Reader 的個性化閱讀等.推薦系統(tǒng)的商業(yè)化應(yīng)用,不僅給企業(yè)和運營商帶來了利益,也滿足了人民日益增長的美好需要[8].

因此,該系統(tǒng)結(jié)合了當前最熱門的人臉、人眼和語音識別技術(shù),致力發(fā)開一款可多維度收集消費人群數(shù)據(jù)并進行智能產(chǎn)品推薦的系統(tǒng),幫助企業(yè)和生產(chǎn)商快速獲得大量產(chǎn)品的消費人群數(shù)據(jù)、進行產(chǎn)品宣傳推薦服務(wù)以及進行相應(yīng)生產(chǎn)模式和營銷策略的調(diào)整.系統(tǒng)總體業(yè)務(wù)流程如圖1 所示.

系統(tǒng)開啟時呈現(xiàn)輪播頁狀態(tài),中間包含推薦按鈕,點擊按鈕時,將開始人臉屬性識別,快速獲取客戶的人臉屬性并存入數(shù)據(jù)庫.然后,使用基于用戶人臉屬性的推薦模型生成推薦產(chǎn)品,反饋給系統(tǒng)主頁面.主頁還包含5 個子頁面,當客戶點擊某個推薦產(chǎn)品時,系統(tǒng)將顯示該產(chǎn)品的詳情頁面,該頁面提供消費者產(chǎn)品評分版塊來獲取產(chǎn)品的顯性評分數(shù)據(jù),同時進行語音和人眼識別來獲取客戶的隱性評分數(shù)據(jù)存入數(shù)據(jù)庫.

2 獲取消費者人臉特征

人臉識別具有非接觸式、友好、方便、速度快[9]的特點,不容易引起人們的反感,易于為用戶所接受,當前已得到了廣泛的研究與應(yīng)用[10].

人臉屬性識別模塊主要包含3 個步驟:用戶人臉圖像獲取、人臉屬性分析及人臉屬性值提取.

圖1 系統(tǒng)總體流程圖

2.1 用戶人臉圖像獲取

通過視頻采集設(shè)備檢測人臉,掃描和判斷當前圖像區(qū)域,調(diào)用OpenCV 中基于HOG(Histogram of Oriented Gradient)和SVM(Support Vector Machine)算法的分類器獲取當前圖像區(qū)域中面積最大的人臉圖像,并默認識別人臉數(shù)量為1.為使人臉屬性識別結(jié)果足夠客觀,將截取數(shù)幀人臉圖像并計算屬性平均值.

2.2 人臉屬性分析

獲取人臉識別API 的權(quán)限,創(chuàng)建新應(yīng)用,獲取該應(yīng)用的API Key 和Secret Key,并獲取接口調(diào)用所需的access token.再將需要被識別的圖片轉(zhuǎn)換成BASE64位編碼制,對人臉圖片進行預(yù)處理.預(yù)處理階段包括150 個關(guān)鍵點定位、人臉圖像對齊等.預(yù)處理結(jié)束后將展示人臉屬性信息,該信息以result 字典的方式返回.具體人臉屬性分析流程圖圖2 所示.

2.3 人臉屬性值提取

本系統(tǒng)并不需要所有的關(guān)鍵點信息,因此需從result 字典中提取出所需的具體屬性值,本系統(tǒng)目前提取的屬性值有年齡、性別、顏值、佩戴眼鏡狀態(tài)以及種族.

3 跟蹤計算人眼停留和注視產(chǎn)品的時長

3.1 Haar 分類器

Haar 分類器就是Haar-like 特征、AdaBoost 算法、積分圖運算和分類器級聯(lián)的綜合.因此,對于Haar 分類器,其算法的步驟為:首先使用Haar-like 特征對于輸入的原始圖像做特征檢測,檢測完成之后利用積分圖對Haar-like 矩形特征數(shù)計算進行加速,再利用AdaBoost 算法對分類器進行訓練,最后將訓練出的強分類器進行級聯(lián),提高準確率[11].

圖2 人臉屬性識別流程圖

3.2 記錄用戶瀏覽商品頁面時間

在用戶瀏覽商品頁面時,系統(tǒng)會調(diào)用人眼識別模塊的方法,在用戶打開商品詳情頁面時進行計時,直到用戶離開商品詳情頁面時停止,以此記錄用戶停留在某商品詳情頁面的總時間.其中Python 語音中datetime模塊中的datetime.now()函數(shù)可用來獲取系統(tǒng)當前時間.

3.3 記錄用戶注視的時間

Yantis S 等[12]提出獲取消費者對產(chǎn)品的注視時間,尤其首次注視時長,可獲取消費者對產(chǎn)品的感興趣程度,時間越長,代表著越高的購買意愿和購買行為傾向.

該部分通過使用OpenCV 中的Haar 特征進行人臉檢測實現(xiàn).OpenCV 中支持的目標檢測的方法是利用樣本的Haar 特征進行的分類器訓練,不僅適用于正面人臉檢測,而且對于側(cè)面人臉、眼睛、嘴巴、鼻子等都適用[11].利用Haar 特征分類器實現(xiàn)人臉識別,其特點主要表現(xiàn)為檢測速度快,性能好[13].

通過使用OpenCV 中已經(jīng)訓練好的XML 格式的分類器進行人臉檢測.首先通過人臉分類器獲取人臉之后,再進行判斷是否能檢測到眼睛.在用戶停留在商品詳情頁面的過程中實時檢測用戶的眼睛存在情況,記錄檢測到用戶眼睛的總幀數(shù),通過時間=幀數(shù)/幀率,而一般視頻文件的幀率為25 幀/s,因而將幀數(shù)進行轉(zhuǎn)化為時間.記錄用戶注視的時間的流程圖如圖3 所示.

圖3 記錄用戶注視時間流程圖

3.4 對人眼識別模塊進行量化估分

從心理學的角度講,興趣是指個人對客觀事物的選擇性態(tài)度,表現(xiàn)為一個人認識、探索、接近或獲得某種客觀事物的傾向,它是個性最明顯的表現(xiàn)[14].因此,我們將用戶對商品的觀察時間,以及注視程度作為用戶對于某種商品的情感傾向.首先,我們將人眼部分的分數(shù)拆分為2 個部分,一個是用戶停留頁面的時間,另一個是檢測到用戶眼睛的時間.首先我們初始化score為0 分,在用戶停留頁面部分的最高分數(shù)score為5分,各種情況加分如下:在用戶停留頁面時間T＜12 時score+1;當12＜T＜=24 時score+2;當24＜T＜=36 時,score+3;當36＜T＜=48 時score+4;當T＞48 時,score+5.而檢測到用戶眼睛的時間,即用戶注視時間部分的score最高分為5 分,加分情況如下:用戶注視時間占頁面停留時間的比值為0-0.2 時,score+1;用戶注視時間占頁面停留時間的比值為0.2-0.4 時,score+2;用戶注視時間占頁面停留時間的比值為0.4-0.6 時,score+3;用戶注視時間占頁面停留時間的比值為0.6-0.8 時,score+4;用戶注視時間占頁面停留時間的比值為0.8-1 時,score+5.

4 獲取文本情感極性和評價關(guān)鍵詞

語音識別是計算機通過識別把語音信號轉(zhuǎn)變?yōu)橄鄳?yīng)文本的技術(shù),屬于多維模式識別和智能計算機接口的范疇[15].語音識別在人機交互技術(shù)中具有非常重要的地位,擁有非常廣闊的應(yīng)用領(lǐng)域和市場.隨著時代的發(fā)展和科技的進步,為了能使機器聽懂人的語義和分析人類語言的情感狀態(tài),語音識別已經(jīng)開始向更深入的自然語言處理等研究領(lǐng)域發(fā)展[16].語音識別也是獲取數(shù)據(jù)的來源,語音數(shù)據(jù)的采集以及識別在不考慮背景噪音的情形下,相比其他模態(tài)數(shù)據(jù)均具有一定的便捷性,具有對用戶的干擾小等優(yōu)點[17],能幫助系統(tǒng)獲取消費者對產(chǎn)品的評價信息,提高系統(tǒng)的智能性.因此如果能夠獲取消費者的語音信息,并且使用自然語言分析出語音的情感極性及評價關(guān)鍵詞,那么就能有效避免評價數(shù)據(jù)信息過載的現(xiàn)象.

4.1 音頻文件錄制存儲過程

音頻文件錄制主要使用Python 的PyAudio 和wave庫來讀取、寫入、生成wav 文件.由于百度語音識別接口嚴格控制音頻文件的大小,因此程序使用線程將錄音時長控制在60 s 之內(nèi),若超時或用戶退出頁面則停止對該文件的音頻數(shù)據(jù)輸入,具體過程如圖4.

圖4 音頻文件錄制存儲流程圖

4.2 語音識別和自然語言處理

如圖5 所示,當程序接收到錄音文件時,開始調(diào)用百度語音識別接口,對識別的文本進行預(yù)處理.如果沒有識別到有效的文本數(shù)據(jù),則做丟棄處理.如果數(shù)據(jù)有效則再次調(diào)用百度自然語言處理接口對文本數(shù)據(jù)進行自然語言處理,分析文本的情感傾向和抽取評論觀點,將最后量化的結(jié)果存入數(shù)據(jù)庫.

4.3 對語音識別模塊進行量化估分

百度情感傾向分析返回部分參數(shù)如表1,評論觀點抽取返回部分參數(shù)如表2.我們對情感傾向分析和評論觀點抽取返回的參數(shù)進行了選取,對其中共同部分sentiment 中返回的分類結(jié)果進行統(tǒng)計求平均,獲得介于0～2 之間的平均值.我們將該平均值乘以5 量化成0～10 的分數(shù),作為消費者在語音識別模塊的分數(shù),該分數(shù)越靠近0 分,說明語音中文本的情感更多為負向,當分數(shù)越靠近10 分,說明語音中文本的情感更多為正向,當分數(shù)在中間時,表示語音中文本的情感正負向大致參半或者中性居多,當音頻文件無效并且數(shù)據(jù)被丟棄時則作為中性處理,予以5 分,此外,對于語音識別模塊記錄的評價關(guān)鍵詞則直接使用評論觀點抽取中prop 參數(shù)的返回數(shù)據(jù).

圖5 語音轉(zhuǎn)文自然語言分析流程圖

表1 情感傾向分析部分返回參數(shù)表

表2 評論觀點抽取部分返回參數(shù)表

5 推薦模型的設(shè)計和實現(xiàn)

根據(jù)系統(tǒng)人臉識別功能的特點,系統(tǒng)只獲取當前消費者的人臉屬性而不存儲人臉圖片,因此不同的消費者可能擁有相同的人臉屬性,我們無法追蹤當前消費者曾經(jīng)對產(chǎn)品的評價數(shù)據(jù)來進行推薦.然而系統(tǒng)需要在獲取人臉屬性后對其進行產(chǎn)品推薦服務(wù),因此設(shè)計了基于用戶人臉屬性的推薦模型.從用戶屬性的角度出發(fā),通過識別到的人臉屬性,作為當前用戶標識搜索相近年齡段消費人群對產(chǎn)品的評價數(shù)據(jù),以產(chǎn)品評分的平均分數(shù)高低排序生成產(chǎn)品推薦列表.該推薦模型主要基于用戶-產(chǎn)品評價關(guān)系的數(shù)據(jù)來推薦,其結(jié)果與數(shù)據(jù)積累有密切關(guān)系,其推薦結(jié)果表現(xiàn)了同齡消費者群體對產(chǎn)品的喜好趨勢,對于廣大消費者具有較好的適用性,且推薦準確率隨著數(shù)據(jù)的增加而提高.

5.1 用戶評分

從產(chǎn)品評分中獲取顯性評分數(shù)據(jù),從語音和人眼識別中獲取隱性評分數(shù)據(jù).對于這些數(shù)據(jù),可以用一個三元組表示產(chǎn)品系統(tǒng).

其中,U={U1,U2,···,Ux}表示用戶關(guān)系且U1為主鍵,U1{u1,u2,···,un}表示所有用戶的有限集合且|U1|=n,表示產(chǎn)品關(guān)系且R1為主鍵,R1{r1,r2,···,rm}表示所有產(chǎn)品的有限集合且|R2|=m,表示用戶對產(chǎn)品的評分關(guān)系且{U1,R1}是主鍵,表示第ui個用戶對rj產(chǎn)品的評分分數(shù),分值在1-100 之間,i∈[1,n],如表3 所示n=4,j∈[1,m],m=4.

表3 用戶對產(chǎn)品的評分表

5.2 尋找相似人群

假設(shè)在U關(guān)系中Ua表示年齡、Us表示性別,若當前消費者的性別為s、年齡為a,設(shè)相似人群關(guān)系為A,那么尋找消費者相似人群的關(guān)系代數(shù)式為:

5.3 尋找相似人群評價過的產(chǎn)品及其評分分數(shù)

假設(shè)相似人群評價過的產(chǎn)品及其產(chǎn)品評分關(guān)系為B,則尋找B的步驟為:首先自然連接相似人群A關(guān)系和用戶對產(chǎn)品的評價數(shù)據(jù)Q關(guān)系,后生成一個新關(guān)系D,D中包含A、Q所有屬性,并在結(jié)果中把重復的屬性去掉.由于我們只需要尋找產(chǎn)品及其評分分數(shù),為去掉多余的數(shù)據(jù),對D關(guān)系使用R1和Q1屬性投影,此時B關(guān)系只有R1和Q1這2 個元組.

5.4 尋找K 個平均分最高的產(chǎn)品作為推薦產(chǎn)品集合

對于關(guān)系B,可對R1域所有的產(chǎn)品進行評分求和取平均,選取前K個平均分最高的產(chǎn)品推薦給客戶.假設(shè)求rm產(chǎn)品平均分,運算式子表達如下:

6 實驗和測試

6.1 系統(tǒng)架構(gòu)和實驗環(huán)境

基于Windows 系統(tǒng),我們搭建了系統(tǒng)的開發(fā)環(huán)境,主要由PyCharm 開發(fā)工具、PyQt5 界面開發(fā)工具、MySQL 數(shù)據(jù)庫組成，如圖6 所示.系統(tǒng)的功能和表現(xiàn)層主要由人臉、人眼和語音識別、基于用戶人臉屬性的推薦模型和界面設(shè)計這5 大模塊構(gòu)成.在第三方資源上,系統(tǒng)使用到了百度API 和OpenCV 開源計算機視覺類庫.

圖6 系統(tǒng)架構(gòu)圖

實驗所用的測試機為聯(lián)想電腦,型號為拯救者R720-15IKBN,處理器為Intel(R)Core(TM)i5 一7300HQ CPU @ 2.50GHz,所用系統(tǒng)為Win10.

6.2 實驗過程

本次實驗分為兩大模塊,分別為功能測試和性能測試.其中功能測試包括3 個部分,第1 部分為測試系統(tǒng)中人臉、人眼和語音識別3 個模塊的準確率;第2 部分為測試系統(tǒng)推薦的合理性;第3 個部分為用戶使用該系統(tǒng)的滿意度調(diào)查;性能測試為測試本系統(tǒng)的響應(yīng)時間.各實驗過程如下:

6.2.1 功能測試

(1)在測試人臉識別準確率中,有20 個實驗者,其中男性10 人,女性10 人,真實年齡為19～22 歲,測試年齡為22～27 歲,誤差范圍1～7 歲,該系統(tǒng)的年齡誤差為±3 歲,超過范圍,將對產(chǎn)品推薦產(chǎn)生影響.實驗測試產(chǎn)生的數(shù)據(jù)如表4 所示.

(2)在測試人眼識別準確率中,實驗者的個數(shù)為10 個,假設(shè)每個用戶真實觀察商品的時間為30 s,用系統(tǒng)獲取用戶的實驗觀察時長,以實驗觀察時長除于用戶真實觀察時長來獲得相應(yīng)的比值來衡量系統(tǒng)人眼識別的準確率.測試數(shù)據(jù)如表5 所示.

(3)在語音識別中,調(diào)用百度接口,百度官方技術(shù)文檔中表示其語音識別的準確率達到90%以上.

(4)測試系統(tǒng)收集數(shù)據(jù)的可信度測試分為兩個部分:首先通過問卷調(diào)查收集10 位男實驗者和10 位女實驗者喜歡的商品數(shù)據(jù),年齡在19～24 歲,實驗數(shù)據(jù)如圖7,下方為商品的編碼,上方柱狀圖對應(yīng)顯示各商品被喜歡的次數(shù).另外,再通過系統(tǒng)收集另10 位男實驗者和10 位女實驗者的操作數(shù)據(jù),年齡均為19～24 歲,分析訓練的結(jié)果是否和問卷調(diào)查結(jié)果相似,表6 為問卷調(diào)查中用戶最喜愛的前5 個產(chǎn)品,表7 為系統(tǒng)經(jīng)訓練后所得出最受用戶喜愛的前5 個產(chǎn)品.

表4 人臉識別測試結(jié)果表

表5 人眼識別測試結(jié)果表

(5)測試系統(tǒng)的推薦合理性

本測試使用已經(jīng)經(jīng)過訓練的系統(tǒng),對20 位未使用過系統(tǒng)的實驗者進行推薦產(chǎn)品的滿意度調(diào)查,實驗者年齡均為19～24 歲,實驗結(jié)果如表8 所示.

6.2.2 性能測試

由于本系統(tǒng)的在用戶使用過程中需要收集用戶的操作信息,因此在用戶使用系統(tǒng)的過程中需要等待系統(tǒng)處理.本次測試主要為測試系統(tǒng)在用戶停留不同時長下的用戶等待時間,測試情況如圖8 所示.

圖7 問卷調(diào)查數(shù)據(jù)結(jié)果圖

表6 用戶問卷調(diào)查數(shù)據(jù)分析表

表7 系統(tǒng)后臺推薦數(shù)據(jù)分析表

表8 用戶對推薦產(chǎn)品的滿意度調(diào)查表

圖8 系統(tǒng)響應(yīng)時間測試圖

6.3 實驗結(jié)果

在功能測試實驗過程中,人臉識別的準確率為95%(19/20=95.0%),準確率較高,證明其人臉識別是可行的.人眼注視頁面時長的準確率為72.96%,而在本系統(tǒng)中,對于眼睛注視頁面時長的比值中0.6-0.8 為一個梯度,0.8-1.0 為另一個梯度,則實驗中系統(tǒng)得出的結(jié)果與實際值相差一個梯度,但是,在實際量化打分中每個梯度的區(qū)別比較小,所以,可以得出我們的獲取人眼時長的方式是可行的.語音識別的準確率在90%以上,說明系統(tǒng)對語音數(shù)據(jù)的收集和處理是可行的.在測試系統(tǒng)收集數(shù)據(jù)的可信度中,系統(tǒng)推薦頁面包含問卷中排名前5 的商品個數(shù)比為:男:60%,女:80%,平均覆蓋率70%,由此我們可以看到,通過系統(tǒng)獲取到的數(shù)據(jù)與使用問卷調(diào)查所獲取的數(shù)據(jù)在商品覆蓋面上具有一致性,說明本系統(tǒng)所收集的數(shù)據(jù)是可信的.在測試系統(tǒng)的推薦合理性中,80%的實驗者對在經(jīng)過20 位其他實驗者進行訓練的系統(tǒng)所推出的前5 個推薦商品表示滿意,說明本系統(tǒng)在商品的推薦方面具有合理性.在性能測試實驗過程中,系統(tǒng)頁面平均響應(yīng)時間為8.689 s,屬于可以接受范圍,但靠近用戶忍耐極限邊界,需要提高系統(tǒng)性能.

7 討論與結(jié)果

本系統(tǒng)基于成熟的人臉識別、人眼識別和語音識別等技術(shù),采用非接觸式的方式進行數(shù)據(jù)采集并使用基于用戶人臉屬性的推薦模型進行產(chǎn)品推薦.相比于傳統(tǒng)的數(shù)據(jù)收集方法,該系統(tǒng)使用到了更多便捷有效的數(shù)據(jù)收集技術(shù),在很大程度上節(jié)省了時間和人力,且系統(tǒng)在用戶交互界面上更加智能化,形式更加新穎有趣,互動性較強,能吸引更多的消費者使用.

本團隊對該系統(tǒng)的最新版本進行了充分測試,經(jīng)調(diào)查及測試結(jié)果顯示,該系統(tǒng)具有準確的人臉屬性識別能力、人眼追蹤功能以及語音識別功能,實驗數(shù)據(jù)主要受硬件及環(huán)境的影響,屬性識別在誤差范圍內(nèi)的準確度高達95%,人眼注視時長準確率為72.96%,語音識別的準確率為90%以上;數(shù)據(jù)收集和傳統(tǒng)問卷調(diào)查的結(jié)果有70%的覆蓋率;且實驗人群中,80%以上的實驗對象表示該系統(tǒng)體驗感良好,商品推薦符合預(yù)期期望.以上實驗證明本系統(tǒng)提高了商品推薦的用戶體驗并解決了消費者數(shù)據(jù)收集的問題.但本系統(tǒng)仍然存在受使用環(huán)境影響、系統(tǒng)性能有待優(yōu)化等問題.

綜上所述,本系統(tǒng)對于人臉、人臉和語音識別等技術(shù)進行了有效的實踐,在商品推薦的智能化中做出了實質(zhì)性的探索.