邱敏 梁婷婷 梁天友

摘? 要： 對提供大數據技術服務的電商，分析其現(xiàn)狀和商業(yè)需求，并通過爬蟲技術爬取大型電商網站關于大數據分析服務的真實信息。研究當前小型數據分析服務和個人數據分析服務的銷售價格、月銷數量、顧客評分等。結合詞頻分析和統(tǒng)計技術，分析大型電商網站的大數據分析服務質量、價格、服務種類。研究發(fā)現(xiàn)，現(xiàn)有的基于大數據技術的電商服務存在定價不清、質量難以保證、客戶評價真實性存疑等問題。針對問題提出標準化數據市場、引入第三方監(jiān)管、建立成熟的收益機制的建議。

關鍵詞： 數據分析; 大數據; 可視化; 電商服務; 大數據技術

中圖分類號：TP30? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2021）07-10-04

Market analysis of the data analysis service in the context of big data

Qiu Min， Liang Tingting， Liang Tianyou

（School of Information Engineering， Nanning University， Nanning， Guangxi 530000， China）

Abstract： This paper analyzes the current situation and business needs of e-commerce company which provides big data technology services， and crawls the real information about big data analysis services on large e-commerce websites through crawler technology. The current sales price， monthly sales volume and customer ratings of small data analysis service and personal data analysis service are researched. Combining with word frequency analysis and statistical technology， the quality， price and service type of big data analysis service of large-scale e-commerce websites are analyzed. Through the research， it is found that the existing e-commerce services based on big data technology have some problems， such as unclear pricing， difficult quality assurance， and doubt about the authenticity of customer evaluation. In view of the problems， the suggestions of standardizing the data market， introducing the third-party supervision， and establishing a mature revenue mechanism are put forward.

Key words： data analysis; big data; visualization; e-commerce service; big data technology

0 引言

近年來，隨著移動互聯(lián)網、云計算、大數據、人工智能的迅猛發(fā)展，全球大數據存儲量持續(xù)快速增長，其中中國數據量的增長最為迅速。根據國際數據公司（IDC）的監(jiān)測數據顯示，2013年至2018年全球大數據儲量分別為4.3ZB、 6.6ZB、8.6ZB、16.1ZB、21.6ZB、33.0ZB，近年全球大數據儲量的增速每年都保持在40%左右。根據IDC最新發(fā)布的統(tǒng)計數據，中國的數據產生量約占全球數據產生量的23%[1]。

IDC最新發(fā)布的《全球半年度大數據支出指南，2018H2》預測在2019年度，大數據與商業(yè)分析解決方案全球市場的整體收益將達到1896.6億美元，相比2018年增長12.1%。IDC預測，2019年中國大數據市場總體收益將達到96.0億美元，2019-2023年預測期內的年CAGR（復合年均增長率）為23.5%，增速高于全球平均水平。到2023年，市場規(guī)模則將增長至224.9億美元[2]。

在這樣的背景下，數據在全球市場經濟運轉中的價值日趨顯著，所以數據分析服務應當順應當前國家政策以及未來市場，收集大型電商網站的數百條關于大數據分析服務的真實信息和數據相關的門戶網站，研究當前小型數據分析服務和個人數據分析服務的銷售情況與大型門戶網站的定價、服務，從小型數據分析服務和個人數據分析服務的需求程度、服務反饋，來分析小型數據分析服務和個人數據分析服務的發(fā)展趨勢，并分析兩者之間的優(yōu)缺點。

1 電商服務現(xiàn)狀分析

1.1 淘寶

淘寶網是中國現(xiàn)下最受歡迎的專業(yè)網購零售平臺之一，注冊用戶數量高達5億，日均瀏覽量超過1.3億。在淘寶出售數據分析等相關服務，在沒有知名度的情況下，前期不需要投入大量宣傳投入，靠著淘寶自帶的流量，也不會擔憂沒有人流量。但淘寶的數據分析服務也存在如下問題。

⑴ 數據和人工成本估算，以及數據收益機制還不成熟，導致商品的定價沒有統(tǒng)一標準，也沒有可參考的依據，價格相差過大，客戶無法判斷商家所給的定價是否與自己的需求相匹配。

⑵ 交易雙方信任機制難以建立，把握數據使用流向問題難以解決[3]。淘寶商家在淘寶注冊商鋪資質最低費用為1000元，若是發(fā)生糾紛，商家跑路所需承擔的風險很小，個人的權益難以保障。

⑶ 交易評價真實性不可查，涉及電商銷售，難免會存在刷單行為，客戶也很難辨別商品評論的真實性，存在被誤導以及引誘消費的風險。

1.2 大型門戶網站

本研究以數據為關鍵詞，找尋了四個大型門戶，分別對它們的框架、定價、服務對象進行研究分析。

火車采集器主打數據采集，有較為清晰的定價，有免費版供需求不多、不需要太深入處理數據的人群使用，更多的版本選擇讓用戶可以自由的根據自己的需求做選擇。除此之外，還有在線客服可進行咨詢、指導。

八爪魚采集器主打數據采集，操作簡單，是人人可用的數據采集器。采集教程有圖文版和視頻教程，讓客戶更容易上手。采集軟件也有不同的定價，方便客戶選擇。問題的解決方案也有細分，涵蓋了新聞采集、電商采集、金融采集數據服務、市場洞察等十幾種，可為不同領域的客戶提供有針對性的方案。

前嗅主打數據采集和大數據可視化。比起前兩個按軟件的版本來定價，前嗅的定價更為詳細些。前兩者的數據采集需要自己動手完成，而前嗅有ForeSpider數據采集引擎可自己爬取數據，也可以選擇數據代采。在數據采集這個模塊，前嗅就分出了6種服務及定價，對客戶來說更詳細也更好理解?？梢暬瘓蟾娣殖隽?種不同的需求，預存云數據系統(tǒng)，研究報告和定制報告。還可根據客戶數據進行情感分析、用戶畫像分析、語義識別等。

集搜客主打網頁抓取和內容分析，主要是對文本的處理和情感分析。集搜客有專門的爬蟲軟件，分為4個版本，每個版本都有自己的定價。除此之外，也有定制服務的價格，劃分出了6個定制項目，并顯示每個服務最低的價格。

火車采集器、八爪魚采集器、前嗅、集搜客在頁面下方都放了合作的企業(yè)，其中有中國人民銀行、中國電信、可口可樂、鳳凰網、中國平安等知名大型企業(yè)，對它們是一種能力的認證，也是交易的認可。

2 數據分析服務的商業(yè)需求

2.1 淘寶：小型數據服務方

本研究以“數據分析”為關鍵詞，于2020年8月通過爬蟲技術爬取淘寶電商網站的529條信息。其中包括9個字段：商品名、鏈接、圖片、價格、郵費、店鋪名、月銷數量、店鋪評分、發(fā)貨地等。去除重復、不符主題的噪聲數據，留取了202條有效數據。去除對本次研究沒有研究意義的字段，本研究將對這202條有效數據的價格、月銷數量、高頻關聯(lián)詞、發(fā)貨地這四個字段進行分析。

2.2 門戶網站：大型數據服務方

2.2.1火車采集器

火車采集器是目前互聯(lián)網上應用最廣泛的數據處理、分析和挖掘軟件。軟件憑借其靈活的配置與強大的性能領先國內其他數據采集類產品，并贏得眾多企業(yè)和用戶認可。目前共客戶使用的有五個版本，可以免費使用，有需要更強大功能的付費版本，價格在960元至8600元，購買后的版本均可終身使用。

2.2.2 八爪魚采集器

八爪魚采集器是一款擁有百萬用戶的數據采集軟件，其使用方法簡單易懂，不懂網絡爬蟲技術，也能輕松采集想要的數據。目前共客戶使用的有七個版本，有免費的版本，付費版本價格在49元至69800元以及根據顧客要求制定節(jié)點再定價格。私有部署版、數據服務都沒有明確的價格，需要根據客戶需求來制定方案，再根據方案制定價格。

2.2.3 前嗅智能大數據專家

前嗅是可提供數據采集、定制和研究可視化報告、自然語言處理以及大數據周邊配套產品等且擁有國內唯一自主知識產權Web服務器系統(tǒng)的大型門戶網站。在價格的制定上，比前兩者分的更細，許多服務的起步價多為200元至400元。劃分板塊多，衍生的服務更為多樣。

2.2.4 集搜客GooSeeker

集搜客GooSeeker是一款網頁抓取和內容分析，把互聯(lián)網裝進表格和數據庫的軟件。網絡爬蟲軟件目前有四個版本，除了免費版本外，其他三個版本的價格在49元至20000元之間，還有根據需求的定制服務。

通過對以上四個大型門戶網站的調研，發(fā)現(xiàn)每個服務方所服務的人顧客群體有所區(qū)別，需求存在著明顯的差異?；疖嚥杉骱桶俗︳~采集器都是主打數據采集的軟件，但價格上卻有所差別，火車采集器的價格明顯比八爪魚便宜，可見針對的目標客戶是不一樣的。前嗅智能大數據專家針對的是有大數據技術需求方面的人群，大數據的衍生服務也包括在內，多樣且全能。集搜客是針對有網頁抓取和內容分析，主要是對文本的處理和情感分析的需求的顧客群體。以上四個大型門戶網站都有自己明確的市場定位，針對不同的需求，發(fā)展自己的特點。

3 數據調查與分析的方法及過程

利用爬蟲技術爬取了2020年8月大型電商網站的數百條關于大數據分析服務的真實信息，研究當前小型數據分析服務和個人數據分析服務的銷售價格、月銷數量、顧客評分等，結合詞頻分析和統(tǒng)計技術，以及分析大型電商網站的大數據分析服務質量、價格、服務種類。

3.1 價格分析

在本次爬取的信息中，價格較為多樣化，單價從1元到500元不等，數字較為隨機，可見淘寶的數據分析標準沒有統(tǒng)一，差異性較大。大多標價也非實際交易價格，實際交易價格往往是在雙方交流后才確定的價格。沒有統(tǒng)一的定價標準，會導致顧客在購買服務之前難以了解實際交易價格與自己心理預期價格的差距，從而難以選擇與自己心理預期相符的服務。

3.2 月銷數量

在本次爬取的信息中，單項付款最多人數為717人，最少為0人，月銷數量大于100的占總收集信息的10%。但僅看付款數量無法判斷實際交易人數，因為一人可拍下數量不可知（如：單價100元，在交流后，所需服務實際需要為400元，可以單價*4拍下）。如圖1所示。

3.3 高頻次關聯(lián)詞

在本次爬取的信息中，標題中除了數據分析出現(xiàn)的高頻詞匯有：spss、可視化、爬蟲、python、stata、統(tǒng)計。出現(xiàn)的頻次分別為：可視化出現(xiàn)61次、spss出現(xiàn)59次、stata出現(xiàn)30次、python出現(xiàn)31次、爬蟲出現(xiàn)23次、統(tǒng)計出現(xiàn)19次。其中spss、stata、python都是數據分析工具，不同的行業(yè)與需求對數據分析工具有不同的要求，可視化的高頻次出現(xiàn)體現(xiàn)著客戶對數據可視化的需求強烈。如圖2所示。

3.4 發(fā)貨地分析

在本次爬取的信息中，發(fā)貨地有北京、上海、杭州、深圳、南京、成都和武漢等地址。其中出現(xiàn)次數較多的為北京、上海、南京，分別為44次、29次、16次。這三大城市的占比為44%，可見這三大城市的數字經濟發(fā)展明顯優(yōu)于其他城市。如圖3所示。

從價格、月銷量、高頻次關聯(lián)詞、發(fā)貨地址的分析結果看，以淘寶網為代表的小型數據服務方的定價模糊，沒有清晰、明確的定價標準，月銷量有高有低，但由于定價模糊的關系，并不能判斷它的真實銷量。從高頻關聯(lián)詞數據分析與可視化關系緊密這一點看，數據可視化是數據分析中的一大需求點，發(fā)貨地點多為一線城市，可見經濟與數據經濟關系成正比關系。

4 結論與建議

經過研究和分析電商數據分析服務的多方面數據，獲知了以淘寶電商為主體的小型數據分析服務在體系上的不完善，多數是在商品標題添加相關詞，但商品詳情頁面沒有詳細的服務名稱、服務范圍、服務價格，大多需要咨詢客服才能了解;以大型門戶網站為主題的數據分析服務為主體的數據分析服務都有著自己明確且清晰的體系，有詳細的產品分類，可提供服務的范圍，有標準的定價，以及自己的主打的特色產品，火車采集器、八爪魚采集器、集搜客也提供有免費的服務，供客戶體驗產品、了解產品。當前我國數據資源流通存在諸多瓶頸問題，尚不具備作為一種生產要素的商品化、資產化機制，無法界定權屬、無法評估質量、無法有效定價、無法可信流通等問題較為突出[3]。在此提出以下建議供參考。

⑴ 推進建立商品化、資產化和規(guī)范化的數據商品體系。

⑵ 建立第三方數據監(jiān)督機構。市場的數據質量難以保障，已過期數據、錯誤數據、沒有意義的數據俯拾皆是，第三方機構可監(jiān)督數據的來源，評判數據的可用性。

⑶ 小型數據分析服務應確立自己的基本框架，將所能提供的服務、服務范圍、服務價格，進行清晰的劃分并標明，讓顧客能更加簡單便捷、有對比性的了解所提供的服務。

⑷ 建立成熟的數據和人工成本估算以及數據收益機制?？v觀淘寶和大型門戶網站對同類服務的定價，價格相差懸殊。建立成熟的數據和人工成本估算以及數據收益機制可以為客戶避免“貴的就是對的”的心理;也可以避免客戶一味的貪圖便宜買到假數據。

5 結束語

伴隨著“數據創(chuàng)造價值，智慧引領經濟”的潮流，越來越多的行業(yè)加入到數據經濟的行列中來。本文分別對幾個不同類型的數據電商服務的框架、定價、服務對象進行了研究，從目前的數據看來，數據電商服務的在定價和數據來源方面存在一定的模糊地帶，但隨著國家層面推進大數據政策，數據電商服務也會進一步完善，最終形成一個成熟的體系。

參考文獻（References）：

[1] 從全球大數據市場看未來發(fā)展趨勢[EB/OL].（2019-08-16）[2020-01-12].http：//bigdata.idcquan.com/news/168822.shtml.

[2] IDC發(fā)布最新版全球大數據市場規(guī)模預測，中國持續(xù)穩(wěn)定增長[EB/OL].（2019-09-12）[2019-12-06].http：//www.elecfans.com/d/1070471.html.

[3] 于施洋，王建冬，郭巧敏.我國構建數據新型要素市場體系面臨的挑戰(zhàn)與對策[J].電子政務，2020.3：2-12

[4] 徐鑫.大數據環(huán)境下競爭情報分析的變化與方法創(chuàng)新[J].科技情報研究，2020.2：25