摘要：隨著信息技術(shù)的不斷發(fā)展，目前各個行業(yè)操作流程都越來越自動化，與此同時，各個行業(yè)對于信息的記錄、收集與分析、處理意識也越來越強，傳統(tǒng)的存儲模式已經(jīng)不能滿足信息化時代電商發(fā)展的新需求。尤其是全球經(jīng)濟一體化推動之下，各個地區(qū)數(shù)據(jù)的樣式越來越多樣化，數(shù)據(jù)的復雜性也同步提升。單機存儲容量有限，而且查詢效果比較低，人們在數(shù)據(jù)訪問的過程中運行速度也很慢，已經(jīng)不能滿足當前快速發(fā)展的電商設(shè)計需求。大數(shù)據(jù)信息處理平臺，目前已經(jīng)得到互聯(lián)網(wǎng)行業(yè)的青睞，在電子商務(wù)平臺設(shè)計與研究方面得到了廣泛應用?，F(xiàn)以東盟電子商務(wù)協(xié)議為例，淺談Hadoop大數(shù)據(jù)平臺的核心組件、技術(shù)優(yōu)勢和應用意義，并就更好地基于Hadoop完善電商數(shù)據(jù)的收集方案，整合電商網(wǎng)站用戶數(shù)據(jù)進行統(tǒng)計分析和應用，提升用戶粘性，發(fā)現(xiàn)更多創(chuàng)新性商業(yè)價值展開論述，以此來推進東盟電子商務(wù)平臺系統(tǒng)的研究與設(shè)計。

關(guān)鍵詞：Hadoop;數(shù)據(jù)分析;協(xié)同過濾;業(yè)務(wù);用戶;盈利

中圖分類號：F724?文獻識別碼：A?文章編號：2096-3157（2020）24-0015-03

2018年11月12日，東南亞國家聯(lián)盟各國在新加坡簽署東盟電子商務(wù)協(xié)議，旨在促進區(qū)域內(nèi)跨境電商貿(mào)易便利化。東盟電子商務(wù)協(xié)議的簽訂，為東南亞國家步入電商新時代帶來了有利的契機。與此同時，在電商平臺系統(tǒng)的研究與設(shè)計方面也需要加快步伐，這樣才能夠更好地滿足電商企業(yè)入駐的需求。同時，用戶訪問過程中信息瀏覽、商品推送的效率也能大大提升。東南亞國家本身區(qū)域跨度比較大，人們的一些消費理念，購物需求也各不相同，在這一模式之下，要想更好地推動東南亞電子商務(wù)的發(fā)展，就必須要因地制宜，做好數(shù)據(jù)的提取、處理和分析，為企業(yè)提供更多精準信息，這樣企業(yè)才能夠更好地調(diào)整戰(zhàn)略方向，提高資源配置的靈活性，進而為企業(yè)發(fā)展創(chuàng)造更多價值。至于Hadoop的系統(tǒng)研發(fā)已經(jīng)成為電商發(fā)展的核心生態(tài)圈，大量的業(yè)務(wù)數(shù)據(jù)和日志文件的產(chǎn)生，不僅需要有效的存儲，同時更要能夠快速分析，科學挖掘，這樣才能夠是電商平臺的運營更加穩(wěn)定，也能更好地結(jié)合用戶的需求，發(fā)現(xiàn)更多商業(yè)增長點。

一、Hadoop架構(gòu)與優(yōu)勢分析

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，在此基礎(chǔ)上用戶可以開展多角度的分布式程序開發(fā)，具體顯著的集群威力、高速運算和海量存儲能力。Hadoop框架設(shè)計的核心是HDFS和MapReduce。HDFS設(shè)計部署在低廉的硬件上，具有較高容錯性，用以提供高吞吐量應用程序訪問數(shù)據(jù)，可以以信息流形式并行訪問系統(tǒng)中多組數(shù)據(jù)，實現(xiàn)了數(shù)據(jù)的海量存儲;而MapReduce是一種編程模型，是一種高性能并行計算平臺，方便了編程人員把自己的程序運行在分布式系統(tǒng)上，結(jié)合映射概念，通過系統(tǒng)高效進行數(shù)據(jù)分布存儲、數(shù)據(jù)通信、容錯處理等并行計算，使得海量數(shù)據(jù)的計算過程大大簡化。

1.Hadoop生態(tài)圈組件解讀

Hadoop框架結(jié)構(gòu)的實現(xiàn)不是單純依賴基礎(chǔ)組件，而是將一些核心組件整合在了一起，共同構(gòu)成了Hadoop生態(tài)圈（見圖1），這些組件的類型非常多元化，同時各個組件精確分工，密切合作。根據(jù)不同的業(yè)務(wù)需要，人們既可以整體運用全部組件，又能進行有選擇的增刪搭配，還能將服務(wù)器嵌入分布式構(gòu)架之中，整個系統(tǒng)仍然保持穩(wěn)定流暢安全可靠。Hadoop的基礎(chǔ)組件涵蓋了多個類型，其中比較主要的由HDFS——分布式存儲;Hive——分布式結(jié)構(gòu)化數(shù)據(jù)存儲;HBase——分布式非結(jié)構(gòu)化數(shù)據(jù)存儲;Storm、Kafka——分布式消息傳遞;Yarn——資源調(diào)度;Ambari——監(jiān)控;MapReduce框架——分布式計算;Saprk——內(nèi)存式分布型運算;Flink——實時流處理計算組件等組成，很多基礎(chǔ)組件共同支撐著Hadoop生態(tài)圈的流暢運轉(zhuǎn)。

2.Hadoop生態(tài)圈優(yōu)勢分析

Hadoop生態(tài)圈架構(gòu)的完整和靈活使得它在互聯(lián)網(wǎng)電商中被廣泛運用，其優(yōu)勢體現(xiàn)在以下幾個方面：

第一，高可靠性。Hadoop對數(shù)據(jù)處理采用的是能夠同時存儲大量數(shù)據(jù)并進行分布式處理的框架，因此可以有效存儲并行運算，使得數(shù)據(jù)的提取和處理更加可靠，獲得了人們的高度信賴。

第二，高擴展性。Hadoop系統(tǒng)架構(gòu)的形式非常靈活，它可以在計算機集簇間高效完成數(shù)據(jù)任務(wù)的分配，并進行海量數(shù)據(jù)的計算與分析。這種集簇處理不是只著眼于一組數(shù)據(jù)，而是可以非常方便的擴展到數(shù)以千計的節(jié)點之中，因而它的高擴展性決定了其應用面非常廣泛。

第三，高時效性。Hadoop在實施大容量數(shù)據(jù)存儲的同時，還能夠在節(jié)點之間進行動態(tài)的數(shù)據(jù)移動，而且分布式運算可以保證各節(jié)點之間動態(tài)平衡，使得整個系統(tǒng)反應速度非常快，用戶的瀏覽體驗可以有效增強，數(shù)據(jù)反饋和呈現(xiàn)的時效性，顯著提升。

第四，高容錯性。Hadoop本身是一個分布式計算平臺，因此它能夠自動對數(shù)據(jù)進行多副本存儲，一旦任務(wù)失敗也能夠重新進行任務(wù)分配，方便任務(wù)繼續(xù)往下推進。它的伸縮式處理方式，可以使數(shù)據(jù)處理的速度大大加快，任務(wù)失敗的頻率也能大大降低。

第五，低成本性。Hadoop本身是開放式的平臺模式。與數(shù)據(jù)集市相比Hadoop在多個平臺上的運行都非常理想，而且對于延展性功能也可以用其他語言來編寫，最后合并入應用程序之中。它的框架兼容性非常強，這就使軟件本身使用的成本大大降低。一些碎片化任務(wù)可以直接發(fā)送到節(jié)點上，開發(fā)人員只需要實現(xiàn)相應的接口，不需要考慮數(shù)據(jù)流、容錯程序、變形等細節(jié)，這就使得分布式程序開發(fā)的難度大大降低，兼容性大大提升，軟件使用成本顯著降低。

二、借助Hadoop開展大數(shù)據(jù)處理的意義

進入新世紀以來，互聯(lián)網(wǎng)思維已經(jīng)改極大的改變了人們的生活模式，網(wǎng)絡(luò)的便利性也正引導著人們的購物習慣產(chǎn)生較大的改變。在這一契機之下，越來越多的互聯(lián)網(wǎng)企業(yè)崛起，其中數(shù)量最多、規(guī)模影響力比較大的當屬電商平臺。國內(nèi)的淘寶、京東、拼多多等都已經(jīng)成為一流平臺，商品的種類非常多，而且吸引了大量優(yōu)質(zhì)用戶。在人們使用這些電商平臺的過程中，大量的數(shù)據(jù)信息也被提取出來，呈現(xiàn)出強大的應用優(yōu)勢。因此，我們在進行新的電商平臺設(shè)計時，也要從中吸取經(jīng)驗。依托數(shù)據(jù)分析，嘗試向客戶推送優(yōu)質(zhì)商品，提升用戶復購率，通過一些品牌產(chǎn)品的打折、促銷等，提升用戶粘性，使企業(yè)和用戶之間的互動交流越來越頻繁，而平臺本身的商業(yè)價值及社會影響力也能顯著提升。東盟電子商務(wù)平臺的建立也要以此為契機，搭建起一個有力的平臺，為商戶、企業(yè)與客戶締造良性溝通橋梁。

1.基于Hadoop生態(tài)圈優(yōu)化數(shù)據(jù)的挖掘和利用

東盟國家是近年來世界發(fā)展最快的互聯(lián)網(wǎng)市場，在此之前，東盟國家的互聯(lián)網(wǎng)電商發(fā)展并不完善，中小企業(yè)發(fā)展的空間非常非常少。東盟電子商務(wù)協(xié)議的簽訂為東盟企業(yè)的騰飛奠定了有效基礎(chǔ)。要想進一步提升電商平臺對東盟企業(yè)的影響力，就必須要使電商平臺能夠以較低的門檻走入千家萬戶，這樣才可以更好地帶動消費市場的發(fā)展。在這個過程中，東盟企業(yè)不僅要生產(chǎn)出優(yōu)質(zhì)的產(chǎn)品，更重要的是要能夠有效挖掘客戶潛在的消費價值。依托數(shù)據(jù)的存儲和運用，使電商企業(yè)能夠更好地找準未來發(fā)展方向，實現(xiàn)產(chǎn)業(yè)升級。

以往傳統(tǒng)銷售模式下，東盟國家的很多企業(yè)都是先生產(chǎn)后銷售，這就會使生產(chǎn)成本的占用大大增加，而且會有產(chǎn)品滯銷的可能，企業(yè)的經(jīng)營風險顯著提升。電商平臺的建立及大數(shù)據(jù)的挖掘，可以更好地結(jié)合市場需求來優(yōu)化生產(chǎn)作業(yè)，以進一步降低企業(yè)經(jīng)營的風險，提升企業(yè)總體效益。

2.基于數(shù)據(jù)分析凸顯用戶至上進行個性化推送

目前中國的電商市場發(fā)展已經(jīng)非常完善，比較著名的如淘寶，本身系統(tǒng)比較流暢，商品的種類也很全，用戶粘合度自然就非常好。這是因為它除了將用戶的一些消費信息、消費數(shù)據(jù)進行有效記錄之外，還會針對用戶過往的購買喜好進行一些個性化推薦或新品速遞，這樣就極大的方便了用戶在海量商品中快速尋找自己的心儀產(chǎn)品，進而更好地帶動用戶的消費需求。

東盟電子商務(wù)平臺設(shè)計的過程中也要引入這一理念，除了要建立起一個流暢度較高的電商平臺之外，還要能夠更好地貼合用戶的喜好來進行產(chǎn)品的推送。Hadoop平臺本身有強大的數(shù)據(jù)存儲和分析功能，尤其是它的高效擴展性和容錯性，非常方便進行并行處理和任務(wù)分配。東南亞地區(qū)不同國家的用戶消費需求帶有很大的差異性，在統(tǒng)一電商平臺構(gòu)建的過程中，我們要正視用戶的這一差異，并以此來完成數(shù)據(jù)的挖掘和優(yōu)化工作，這樣就可以在較短的時間內(nèi)把優(yōu)質(zhì)產(chǎn)品推送向推送給用戶，而且也能為企業(yè)的生產(chǎn)加工與內(nèi)部升級提供有效參考。

3.激活電商市場良性競爭氛圍促進企業(yè)優(yōu)化升級

隨著互聯(lián)網(wǎng)思維的逐步發(fā)展，傳統(tǒng)企業(yè)要想在競爭中脫穎而出，除了要生產(chǎn)出優(yōu)質(zhì)的產(chǎn)品之外，還要能夠貼近用戶需求，提升用戶使用的體驗，以優(yōu)質(zhì)的服務(wù)迎合客戶的需求，以更好地留住客戶，吸引客戶，進行復購或其他類產(chǎn)品的選擇。因此，電商平臺除了要完成數(shù)據(jù)的推送，幫助客戶挑選之外，還要完善一體化服務(wù)評價系統(tǒng)。

借助大數(shù)據(jù)分析，讓用戶將使用過程中的一些體驗，包括產(chǎn)品品質(zhì)、服務(wù)的安全性、交易效率周期等都進行有效的收集和反饋，從而更好地幫助企業(yè)進一步做好優(yōu)化升級。淘汰一些不良企業(yè)，引導企業(yè)樹立較強的風險意識，實現(xiàn)從短期效益，向企業(yè)的長遠性發(fā)展有機邁進，這樣才可以更好地提升平臺的運轉(zhuǎn)效率，對于企業(yè)自身而言，也是實現(xiàn)轉(zhuǎn)型升級的一個重要契機。

三、基于Hadoop的東盟電子商務(wù)平臺的研究與設(shè)計框架分析

1.東盟電子商務(wù)平臺的框架分析

東盟電子商務(wù)平臺的設(shè)計要體現(xiàn)出簡潔性和層次性，對頁面要進行有效的劃分，在不同的位置著重進行不同欄目的推薦，以更好地提升用戶粘性，優(yōu)化用戶的使用體驗?；贖adoop的東盟電子商務(wù)平臺框架要包含四個基礎(chǔ)部分：數(shù)據(jù)展示層、數(shù)據(jù)分析層、數(shù)據(jù)層和基礎(chǔ)設(shè)施層，以Hadoop集群為基礎(chǔ)設(shè)施，對數(shù)據(jù)層的日志文件和業(yè)務(wù)數(shù)據(jù)進行處理分析，最后在Web界面進行分析展示。以下為東盟電子商務(wù)平臺的總體架構(gòu)圖（見圖2）。

2.東盟電子商務(wù)平臺的特色功能分析

東盟電子商務(wù)的主頁要凸顯出廣告位、優(yōu)推薦、購精品三個模塊。

廣告位主要是為商家預留的重點商品合作展示欄目，可以采用圖片輪換的樣式，滾動顯示一些優(yōu)質(zhì)商家的推廣鏈接，從而更好地為平臺創(chuàng)造經(jīng)濟效益。而從用戶的角度，還要推薦出優(yōu)推薦這一重點模塊，結(jié)合大數(shù)據(jù)運算得出的結(jié)果，每天定時推送一些秒殺產(chǎn)品、熱銷貨品或其他應季主打單品，同樣以滾動展示的方式，以此供用戶瀏覽和秒殺。購精品則是從用戶反饋的角度，推薦一些評價比較好、回購率比較高的商品，凸顯出平臺本身的產(chǎn)品優(yōu)勢。

同樣在主頁的最上方，要預留出商品搜索欄，方便用戶直接搜索想要購買的商品。搜索出來商品之后，還可以結(jié)合平臺大數(shù)據(jù)對商品進行有效的排行，比如根據(jù)商品的價格進行排行，或根據(jù)用戶的購買數(shù)量即綜合銷量排行榜。結(jié)合數(shù)據(jù)運算和學習能力，還可以推薦一些類似衍生商品。如用戶購買了鋼筆之后，可以推薦之前其他同類別的鋼筆、字帖及其他類別的文具等，為客戶會去購買，提供更多選擇空間。另外，對于用戶的瀏覽足跡也要有效記錄，根據(jù)他們的瀏覽方向，可以推送可能具有購買欲望的商品，這類算法的應用可以更好地體現(xiàn)出電子商務(wù)平臺的學習技能。

總之，東盟電子商務(wù)平臺的研究與設(shè)計旨在更好地借助大數(shù)據(jù)理念來優(yōu)化電子商務(wù)平臺的運營和管理。同時依托Hadoop的數(shù)據(jù)分析來提升企業(yè)本身的風險意識，優(yōu)化企業(yè)質(zhì)量管理，提升電商行業(yè)在市場的整體管控能力，完善電商平臺日常數(shù)據(jù)的分析與運用，推動電商行業(yè)科學決策，穩(wěn)定健康、良性發(fā)展。

參考文獻：

[1]趙正陽.基于Hadoop及深度學習的電商個性化推薦平臺的設(shè)計與實現(xiàn)[D].北京交通大學，2018.

[2]嚴亞寧.基于Hadoop的數(shù)據(jù)處理平臺的設(shè)計與開發(fā)研究[J].現(xiàn)代信息科技，2019，003（003）：5～7.

[3]李文強.基于Hadoop的電子商務(wù)大數(shù)據(jù)分析綜合實訓平臺建設(shè)[J].現(xiàn)代工業(yè)經(jīng)濟和信息化，2018，008（011）：46～47.

[4]劉溪怡.基于Hadoop用戶數(shù)據(jù)分析系統(tǒng)的研究與設(shè)計[J].數(shù)碼設(shè)計（下），2019，（011）：234～234.

[5]郭旭.基于Hadoop的AIS數(shù)據(jù)分析平臺設(shè)計與實現(xiàn)[J].通訊世界，2019，26（04）：34～35.

[6]彭航.基于Hadoop的高校大數(shù)據(jù)平臺的設(shè)計與實現(xiàn)[J].知識文庫，2019，（019）：45～46.

[注]基金項目：2018年度廣西高校中青年教師基礎(chǔ)能力提升項目“基于Hadoop的東盟電子商務(wù)平臺的研究與設(shè)計”（項目編號：2018KY1139，主持人：任璇炫）

作者簡介：

任璇炫，廣西工商職業(yè)技術(shù)學院講師，碩士;研究方向：計算機應用技術(shù)。