劉海 宋陽陽 王寶 孫瑞霜 蘇云飛 于改露

摘 要：隨著信息技術(shù)的高速發(fā)展，網(wǎng)絡購物已經(jīng)走進千家萬戶。網(wǎng)絡購物便捷化的方式使得人們可以隨時隨地選購自己喜歡的物品和服務。在此背景下，網(wǎng)絡購物行為數(shù)據(jù)呈現(xiàn)爆發(fā)式增長。本文通過使用Hadoop大數(shù)據(jù)處理技術(shù)對網(wǎng)絡購物行為數(shù)據(jù)進行了系統(tǒng)性分析，并使用SSM框架技術(shù)對大數(shù)據(jù)分析的結(jié)果進行了可視化展示。系統(tǒng)的實現(xiàn)將為網(wǎng)購賣家提供更加具有實際指導意義的進貨需求服務和客服服務，也可以為買家提供較為精準的購物參考服務，以幫助買家找到理想商品，提高購物效率。

關(guān)鍵詞：Hadoop技術(shù);SSM框架;購物行為;大數(shù)據(jù)技術(shù)

中圖分類號：F713.55;TP311.13 文獻標識碼：A 文章編號：1003-5168（2021）28-00-03

Abstract： With the rapid development of information technology， online shopping has entered thousands of households. The convenient way of online shopping allows people to buy their favorite items and services anytime and anywhere. In this context， online shopping behavior data has shown explosive growth. This paper uses the Hadoop big data processing technology in the big data technology to systematically analyze the online shopping behavior data， and uses the SSM framework technology to visualize the results of the big data analysis. The implementation of the system will provide online shopping sellers with more practical guidance for purchase demand services and customer service. At the same time， it can also provide buyers with more accurate shopping reference services to help buyers find ideal products and improve shopping efficiency.

Keywords： Hadoop technology;SSM framework;shopping behavior;big data technology

隨著網(wǎng)絡信息技術(shù)越來越成熟，網(wǎng)絡購物逐漸改變了人們的生活。如今的網(wǎng)絡購物可以讓人們實現(xiàn)足不出戶，動動手指，產(chǎn)品就會隨著物流及時送到消費者的手中[1]。日常生活中所需要的衣服、食品、電器甚至汽車等商品，都可以通過互聯(lián)網(wǎng)來進行購買，因此互聯(lián)網(wǎng)購物給人們的生活帶來了極大的便利。在網(wǎng)購領(lǐng)域，目前淘寶、京東、拼多多等購物平臺銷售額逐年增長，已在市場中占據(jù)主導地位。尤其是京東每年推出的“618”購物節(jié)和淘寶推出的“雙11”購物節(jié)，當天銷售額更是成為全民關(guān)注的焦點?！半p11”購物節(jié)誕生以來，淘寶和天貓銷售額2009年為0.52億元，到2020年時已經(jīng)達到了4 982億元[2]。在此背景下，網(wǎng)絡購物行為數(shù)據(jù)量迅速增長，數(shù)據(jù)的增多給數(shù)據(jù)處理帶來了挑戰(zhàn)。如何快速高效地處理購物行為數(shù)據(jù)，并從中提取出有價值的信息，成為近年來的研究熱點。筆者將對網(wǎng)絡購物行為大數(shù)據(jù)處理與分析系統(tǒng)的設計與實現(xiàn)過程進行詳述。

1 系統(tǒng)需求分析

對于數(shù)據(jù)分析，首要的工作是確定數(shù)據(jù)集的來源。本系統(tǒng)的數(shù)據(jù)集全部來自天池大數(shù)據(jù)眾智平臺（https：//tianchi.aliyun.com/），通過注冊申請即可得到公開的淘寶用戶行為數(shù)據(jù)集。該數(shù)據(jù)集中約有100萬條用戶行為信息數(shù)據(jù)，每一條數(shù)據(jù)內(nèi)容包括用戶ID、商品ID、商品類目ID、行為類型和時間戳等信息。數(shù)據(jù)集中包含商品類目數(shù)量9 439個，用戶數(shù)量987 994個，商品數(shù)量4 162 024個，所有行為數(shù)量之和高達1億個。面對如此龐大的數(shù)據(jù)集，傳統(tǒng)的MySQL或者Oracle數(shù)據(jù)庫已經(jīng)不足以支撐數(shù)據(jù)的分析和查詢操作，而大數(shù)據(jù)技術(shù)中的Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）數(shù)據(jù)存儲技術(shù)是專門針對大量數(shù)據(jù)而設計的。HDFS的高可靠性、高獲得性和分布式等特點為龐大的數(shù)據(jù)集存儲提供了保障，完全可以滿足數(shù)據(jù)存儲的需求。數(shù)據(jù)存儲完畢之后，它可按照功能需求對數(shù)據(jù)進行系統(tǒng)性的處理和分析。目前，市場上的大數(shù)據(jù)分析工具較多。Hadoop作為出現(xiàn)較早的典型開源分布式計算平臺，因其可以運行在Linux平臺上，且具有可靠性、可擴展性、容錯性、低成本和支持多種編程語言等優(yōu)點，被廣泛應用于各種大數(shù)據(jù)處理的場景。百度、網(wǎng)易、華為、中國移動及淘寶等企業(yè)都用Hadoop處理大量的數(shù)據(jù)信息[3]，再加上Hadoop與HDFS的完美兼容性，完全可以滿足數(shù)據(jù)處理與分析的需求?？紤]到前端的數(shù)據(jù)可視化SSM技術(shù)需要頻繁地訪問數(shù)據(jù)分析的結(jié)果，將數(shù)據(jù)分析結(jié)果存儲到MySQL數(shù)據(jù)庫中是比較合理的一種方案。

通過對數(shù)據(jù)集進行查看可知，每一條行為數(shù)據(jù)主要包含用戶ID、商品ID、商品類目ID、行為類型和時間戳5個字段。其中，行為類型字段包括點擊、購買、加購及喜歡4種屬性。通過分析消費者的行為類型占比，可以滿足各店家調(diào)整營銷策略的需求;通過分析一天中各個時間段的購物人數(shù)，可以滿足賣家了解消費者購物時間的需求;通過分析每日的購物人數(shù)，可以滿足賣家了解消費者購物時間傾向的需求;通過分析商品數(shù)量排名，可以滿足賣家了解消費者商品喜好的需求;通過分析商品類目排名，可以滿足商家及時調(diào)整商品營銷策略以適應消費者購物導向的需求。

2 系統(tǒng)可行性分析

2.1 技術(shù)可行性

本系統(tǒng)所有的操作都計劃在Linux操作系統(tǒng)下實現(xiàn)。Linux操作系統(tǒng)操作命令簡單，較易上手。整個大數(shù)據(jù)技術(shù)環(huán)境的搭建，包括JDK、Hadoop、Sqoop和MySQL數(shù)據(jù)庫也都計劃在Linux系統(tǒng)上完成。Linux與大數(shù)據(jù)技術(shù)的兼容性良好，將使整個搭建過程更具簡潔性和易操作性。對于大數(shù)據(jù)分析結(jié)果的數(shù)據(jù)可視化，本系統(tǒng)計劃使用易學易用的SSM框架技術(shù)實現(xiàn)，且前端與后端之間通過MySQL數(shù)據(jù)庫實現(xiàn)分離。綜上所述，本系統(tǒng)在技術(shù)層面完全可行。

2.2 操作可行性

本平臺計劃采用交互性較強的Web界面，操作簡單、直觀，對使用者沒有太多的技術(shù)要求[4]。用戶使用系統(tǒng)之前不需要經(jīng)過專業(yè)的培訓指導，并且系統(tǒng)對用戶的計算機專業(yè)素養(yǎng)要求也不高，只要具備日常的上網(wǎng)能力和一些基本的計算機操作常識，就可以理解并且熟練地使用系統(tǒng)。綜上所述，本系統(tǒng)在操作層面完全可行。

2.3 經(jīng)濟可行性

本系統(tǒng)所計劃使用的開發(fā)工具都是開源的，數(shù)據(jù)集全部來自天池大數(shù)據(jù)眾智平臺，通過注冊申請可以免費得到。本系統(tǒng)計劃由團隊成員獨立完成，遇到難以解決的問題一般通過互聯(lián)網(wǎng)查詢即可解決，沒有產(chǎn)生其他額外費用。此外，本系統(tǒng)面向的用戶也極其廣泛，無論是商家還是消費者，應用價值都頗高。綜上所述，本系統(tǒng)在經(jīng)濟層面也完全可行。

3 系統(tǒng)設計與實現(xiàn)

3.1 數(shù)據(jù)處理流程設計

在搭建好大數(shù)據(jù)系統(tǒng)環(huán)境的基礎上，按照大數(shù)據(jù)的數(shù)據(jù)處理流程，需要先將申請下載好的原始淘寶用戶行為數(shù)據(jù)集進行篩選，篩選后的數(shù)據(jù)上傳到分布式文件存儲系統(tǒng)HDFS中，而后在數(shù)據(jù)倉庫Hive中進行數(shù)據(jù)分析。Hive是Hadoop的一個數(shù)據(jù)倉儲工具，可將結(jié)構(gòu)化數(shù)據(jù)文件映射為數(shù)據(jù)庫表并存儲到HDFS上，可把SQL語句轉(zhuǎn)換為MapReduce程序運行[5]。數(shù)據(jù)分析完畢后，因為結(jié)果數(shù)據(jù)一般不大，因此可將分析結(jié)果數(shù)據(jù)存儲到MySQL數(shù)據(jù)庫中，使數(shù)據(jù)看起來井然有序，直觀易懂。服務端通過讀取MySQL數(shù)據(jù)庫中的數(shù)據(jù)，利用數(shù)據(jù)可視化SSM框架技術(shù)將分析結(jié)果進行更加直觀的圖表化展示。綜上所述，數(shù)據(jù)整體處理流程設計過程如圖1所示。

3.2 功能設計

下載好的數(shù)據(jù)集中，每一條用戶行為數(shù)據(jù)主要包含用戶ID、商品ID、商品類目ID、行為類型和時間戳5個字段。

通過分析可知，行為類型字段又包括點擊、購買、加購、喜歡4種行為屬性。通過對所有用戶的行為類型屬性進行統(tǒng)計，可得到每種屬性在4種行為屬性中的占比，對于賣家進一步提升自己的服務讓更多的用戶購買甚至是回購至關(guān)重要。

已知數(shù)據(jù)集中包括各個商品ID字段，通過統(tǒng)計各個商品的銷售數(shù)據(jù)，可以分析出商品銷售量排名;已知數(shù)據(jù)集中包括各個商品類目ID字段，通過統(tǒng)計各個商品類目銷售數(shù)據(jù)，可以分析出商品銷售類目排名;已知數(shù)據(jù)集中消費者購物的具體時間字段，通過切分時間，只保留具體的日份值，可以分析出用戶購物的日份人數(shù)和比例;通過切分時間，只保留精確的小時值，并對小時值的數(shù)量進行統(tǒng)計分析，就可確定一天中各時間段具體的購物人數(shù)和比例，對于賣家集中時間點提升服務人員數(shù)量和質(zhì)量以充分滿足消費者購物需求具有重要價值。

3.3 系統(tǒng)實現(xiàn)

上述設計完成之后，通過大數(shù)據(jù)編程和前端編程實現(xiàn)本系統(tǒng)。本系統(tǒng)在數(shù)據(jù)可視化方面選用了SSM框架實現(xiàn)，主要原因在于SSM中的Spring MVC組件和MyBatis組件均屬于比較輕量級的功能開發(fā)組件，其部署應用對于平臺的資源要求比較低，且邏輯處理過程充分發(fā)揮了輕量級的優(yōu)點，可以獲得較高的處理效率，降低系統(tǒng)的編碼難度[6]。

從圖2可以看出，買家點擊行為數(shù)量在各個時間點都要遠高于同時間段的其他行為，在一天24 h中，買家點擊、購買、添加購物車和收藏等行為數(shù)量從18：00開始增長，直到22：00到達頂峰后開始減少，到晚上23：00后各種行為數(shù)量開始趨于平緩。因此，對于商家和賣家來說，服務的主要精力應該放在18：00—23：00。

4 結(jié)語

隨著互聯(lián)網(wǎng)和移動開發(fā)技術(shù)的快速發(fā)展，網(wǎng)絡購物人數(shù)日益增多，海量的商品使人應接不暇，一定程度上給消費者和商家造成了困擾。消費者如何在大量的商品中購買到理想的高性價比商品，商家如何掌握消費者的喜好對產(chǎn)業(yè)進行系統(tǒng)優(yōu)化調(diào)整成為了當務之急，而購物行為分析系統(tǒng)的設計與實現(xiàn)有助于解決這一難題。通過分析各個商品的排名和商品類目排名，可以幫助消費者在琳瑯滿目的商品中鎖定心儀商品，并且進行初步了解和客觀判斷，極大地節(jié)省挑選商品的時間，同時可以使商家了解消費者的需求和喜好，以便對產(chǎn)業(yè)及時作出相應的調(diào)整。通過了解一天中各個時間段的購物人數(shù)，商家可以及時對客服和工作人員的數(shù)量做出調(diào)整，以改善消費者的購物體驗，提高銷售量。

綜上所述，本系統(tǒng)中商品排名和商品類目排名、消費者行為類型占比等各個功能的實現(xiàn)，不論是對商家還是消費者都助益良多，具有極高的參考價值，能夠滿足用戶的需要，適應市場的需求。

參考文獻：

[1]顧璟.智慧物流企業(yè)配送效率影響因素分析[J].時代汽車，2021（19）：21-22.

[2]任曉寧.雙十一“靜悄悄”[N].經(jīng)濟觀察報，2021-11-15（18）.

[3]石方夏，高屹.Hadoop大數(shù)據(jù)技術(shù)應用分析[J].現(xiàn)代電子技術(shù)，2021（19）：153-157.

[4]劉海，王壯壯，喬昭源，等.基于SSM框架的校園幫平臺的設計與開發(fā)[J].數(shù)字化用戶，2020（45）：20-22.

[5]張鳳斌.高校圖書館學科服務小數(shù)據(jù)系統(tǒng)的構(gòu)建與優(yōu)化[J].圖書館，2021（11）：64-68.

[6]尤洋.供電公司機房環(huán)境集中監(jiān)控系統(tǒng)設計與實現(xiàn)[D].成都：電子科技大學，2019：58-60.

3534500338261