湖北民族學(xué)院 李雙稀 王 強(qiáng) 嚴(yán)梓歡 李 超
基于人臉識(shí)別的商業(yè)大數(shù)據(jù)分析
湖北民族學(xué)院 李雙稀 王 強(qiáng) 嚴(yán)梓歡 李 超
廣告推薦系統(tǒng)通過建立用戶與信息產(chǎn)品之間的二元關(guān)系, 利用已有的選擇過程或相似性關(guān)系挖掘每個(gè)用戶潛在感興趣的對(duì)象, 進(jìn)而進(jìn)行個(gè)性化推薦, 其本質(zhì)就是信息過濾.個(gè)性化推薦系統(tǒng)不僅在社會(huì)經(jīng)濟(jì)中具有重要的應(yīng)用價(jià)值, 而且也是一個(gè)非常值得研究的科學(xué)問題。
數(shù)據(jù)挖掘;人臉識(shí)別;廣告推薦
互聯(lián)網(wǎng)的發(fā)展,信息技術(shù)的日漸成熟,海量的數(shù)據(jù)中蘊(yùn)藏著豐富的知識(shí),一方面商家無法準(zhǔn)確判斷這些指數(shù),另一方面客戶無法發(fā)現(xiàn)自己的真正愛好,大數(shù)據(jù)分析技術(shù)可以發(fā)現(xiàn)其中知識(shí)。廣告行業(yè),同樣存在可以挖掘的知識(shí),如:什么樣的廣告在什么時(shí)段位置投放可以取得理想的效果,商品關(guān)注趨勢(shì),客戶對(duì)商品的關(guān)注度分析,客戶對(duì)推薦廣告的滿意度,客戶喜歡的廣告模式……考慮到以上市場(chǎng)需求,利用現(xiàn)有技術(shù)開發(fā)出這樣一款產(chǎn)品不僅能夠提高商家對(duì)市場(chǎng)的了解程度,而且可以有效地做出相應(yīng)決策,幫助商家為客戶提供更好的服務(wù),同時(shí)可以幫助客戶發(fā)現(xiàn)自己真正感興趣的商品,幫助客戶法向一些閃人問津的“暗信息”。
本系統(tǒng)主要是幫助商家做出更加合理的決策為客戶提供更有好多服務(wù)。我們借助于人臉識(shí)別技術(shù),采集用戶對(duì)商品的反饋信息。在各大商場(chǎng)的數(shù)字標(biāo)牌廣告機(jī)安裝我們的圖片采集器并上傳到服務(wù)器,然后利用人臉分析技術(shù)分析出客戶的年齡、性別、表情、姿勢(shì)、關(guān)注時(shí)長(zhǎng)、關(guān)注時(shí)間段、關(guān)注的廣告信息……有了這些基礎(chǔ)數(shù)據(jù),現(xiàn)在可以在數(shù)據(jù)預(yù)處理階段計(jì)算出商場(chǎng)各時(shí)段的客流量、客戶性別年齡性格分布情況、客戶位置分布、天氣信息……數(shù)據(jù)處理階段我們利用統(tǒng)計(jì)學(xué)習(xí),機(jī)器學(xué)習(xí)算法對(duì)客戶的各種特征數(shù)據(jù)和廣告的特征數(shù)據(jù)建立各種關(guān)系模型,利用上面得出的數(shù)據(jù)學(xué)習(xí)出模型;對(duì)客戶分類,對(duì)特定的類型客戶學(xué)習(xí)出模型;基于上面學(xué)習(xí)出的模型在數(shù)字標(biāo)牌廣告機(jī)中投放廣告;最后評(píng)估模型的好壞,反復(fù)學(xué)習(xí),反復(fù)訓(xùn)練出更好的模型。
本系統(tǒng)主要涉及兩大技術(shù)難點(diǎn):人臉分析、數(shù)據(jù)處理。人臉分析模塊采用深度學(xué)習(xí)框架CNTK做人臉檢測(cè)、人臉對(duì)齊,使用opencv圖像處理。數(shù)據(jù)分析模塊采用spark框架中的機(jī)器學(xué)習(xí)子框架做模型訓(xùn)練、分類、關(guān)聯(lián)分析、頻繁模式挖掘。同時(shí)為了提高計(jì)算能力,我們將整個(gè)系統(tǒng)移植到hadoop平臺(tái)并采用spark作為計(jì)算框架。
經(jīng)過這么長(zhǎng)時(shí)間的努力,我們學(xué)習(xí)到了許多東西,有工程實(shí)踐方面的,也有學(xué)習(xí)方法上面的,還有團(tuán)隊(duì)合作方面的……這些寶貴的東西才是值得我們學(xué)習(xí)銘記。同樣也折射出相當(dāng)多的問題,系統(tǒng)運(yùn)行速度方面、系統(tǒng)安全方面、信息采集、算法優(yōu)劣、等等。這些小方面的問題累積起來最終都會(huì)對(duì)我們系統(tǒng)的整體性能造成極大的影響,因此今后在開發(fā)的過程中在考慮將現(xiàn)有技術(shù)使用到系統(tǒng)中的時(shí)候不能總是追求技術(shù)的新,要從整體出發(fā),綜合考慮,在做出詳細(xì)的計(jì)劃,最后一步一步的實(shí)現(xiàn)。
[1]MENG Xiang-wu, JI Wei-yu, ZHANG Yu-jie. A Survey of Recommendation Systems in Big Data .
[2]Tu DD, Shu CC, Yu HY. Using unified probabilistic matrix factorization for contextual advertisement recommendation. Ruanjian Xuebao/Journal of Software, 2013,24(3):454 464 (in Chinese). http:// www.jos.org.cn/1000-9825/ 4238.htm
指導(dǎo)老師:李超。