路明

數(shù)據(jù)已經(jīng)滲透到了全世界市場(chǎng)中的各個(gè)領(lǐng)域，并逐漸成為重要的組成因素，對(duì)海量數(shù)據(jù)的運(yùn)用將提升人們對(duì)市場(chǎng)以及未來(lái)走向的預(yù)知和把控。在互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)本身就是資產(chǎn)，而大數(shù)據(jù)則意味著這些資產(chǎn)正在變得龐大無(wú)比，在現(xiàn)實(shí)生活中，善于運(yùn)用大數(shù)據(jù)的企業(yè)已經(jīng)從數(shù)據(jù)中獲得了豐厚的回報(bào)。

大數(shù)據(jù)在當(dāng)今市場(chǎng)研究中的重要意義

大數(shù)據(jù)是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多的數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合，可通過(guò)云計(jì)算的處理技術(shù)與應(yīng)用模式，在合理時(shí)間內(nèi)達(dá)到選取、管理、處理并整理成為可以幫助企業(yè)經(jīng)營(yíng)決策的資訊。大數(shù)據(jù)具有數(shù)量大、實(shí)時(shí)性、多樣性、真實(shí)性等特點(diǎn)。

從2009年開(kāi)始，“大數(shù)據(jù)”逐漸成為互聯(lián)網(wǎng)信息技術(shù)的熱門(mén)詞匯。美國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心指出，互聯(lián)網(wǎng)上的數(shù)據(jù)平均每年增長(zhǎng)50%，每?jī)赡瓯惴环?，所以目前世界?0%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。此外，數(shù)據(jù)不光指人們?cè)诨ヂ?lián)網(wǎng)上發(fā)布的信息，全世界的工業(yè)設(shè)備、汽車、電表上有著無(wú)數(shù)的數(shù)碼傳感器，隨時(shí)測(cè)量和傳遞著有關(guān)位置、運(yùn)動(dòng)、震動(dòng)、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化，也產(chǎn)生了海量的數(shù)據(jù)信息。

數(shù)據(jù)已經(jīng)滲透到了全世界市場(chǎng)中的各個(gè)領(lǐng)域，并逐漸成為重要的組成因素，對(duì)海量數(shù)據(jù)的運(yùn)用將提升人們對(duì)市場(chǎng)以及未來(lái)走向的預(yù)知和把控。在互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)本身就是資產(chǎn)，而大數(shù)據(jù)則意味著這些資產(chǎn)正在變得龐大無(wú)比，在現(xiàn)實(shí)生活中，善于運(yùn)用大數(shù)據(jù)的企業(yè)已經(jīng)從數(shù)據(jù)中獲得了豐厚的回報(bào)。

例如，華爾街的德溫特資本市場(chǎng)公司通過(guò)分析3.4億個(gè)微博賬戶的留言判斷民眾情緒，依據(jù)人們?cè)诟吲d時(shí)買(mǎi)股票、焦慮時(shí)拋售股票的規(guī)律來(lái)決定公司股票的買(mǎi)入或賣出。阿里巴巴根據(jù)天貓網(wǎng)上中小企業(yè)的交易狀況篩選出財(cái)務(wù)健康和講究誠(chéng)信的企業(yè)，對(duì)他們發(fā)放無(wú)需擔(dān)保的貸款。目前已放貸300多億元，壞賬率僅0.3%，低于商業(yè)銀行的平均水平。在宏觀經(jīng)濟(jì)預(yù)測(cè)方面，2008年，阿里巴巴根據(jù)對(duì)交易數(shù)據(jù)的分析結(jié)果提前預(yù)測(cè)了金融危機(jī)的爆發(fā)，幫助一些企業(yè)躲過(guò)了金融危機(jī)的沖擊。印第安納大學(xué)利用谷歌公司推出的心情分析工具，從近千萬(wàn)條網(wǎng)民留言中歸納出六種心情，進(jìn)而對(duì)道瓊斯工業(yè)指數(shù)的變化進(jìn)行預(yù)測(cè)，準(zhǔn)確率高達(dá)87%。

在公共事業(yè)領(lǐng)域，大數(shù)據(jù)也在發(fā)揮著不可小覷的重要作用。歐洲多個(gè)城市通過(guò)分析實(shí)時(shí)采集的交通流量數(shù)據(jù)，指導(dǎo)司機(jī)選擇最佳出行路線，從而改善城市交通狀況。聯(lián)合國(guó)也推出了名為“全球脈動(dòng)”的項(xiàng)目，希望利用“大數(shù)據(jù)”來(lái)促進(jìn)全球經(jīng)濟(jì)發(fā)展?！按髷?shù)據(jù)是未來(lái)的新石油”，這已經(jīng)成為社會(huì)的共識(shí)。

國(guó)際知名企業(yè)在大數(shù)據(jù)上

的前瞻研究

大數(shù)據(jù)在市場(chǎng)研究中的精髓是價(jià)值，即數(shù)據(jù)本身可以給企業(yè)帶來(lái)的商業(yè)價(jià)值，在未來(lái)4-5年中，越來(lái)越多的公司會(huì)像IBM、Google、阿里巴巴、Facebook等技術(shù)領(lǐng)先的公司一樣，學(xué)會(huì)如何在大數(shù)據(jù)集群中運(yùn)用技術(shù)來(lái)發(fā)展自己的業(yè)務(wù)。下面我們來(lái)看幾個(gè)國(guó)際知名企業(yè)運(yùn)用大數(shù)據(jù)在市場(chǎng)研究中的前沿走向。

IBM

——大數(shù)據(jù)可視化

IBM近些年來(lái)，一直致力于大數(shù)據(jù)的前瞻研究，有自己的數(shù)據(jù)管理系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)、Hadoop System 、Stream Computing流計(jì)算、信息整合管理平臺(tái)這一整套的大數(shù)據(jù)技術(shù)，其中數(shù)據(jù)可視化功能是IBM 的一個(gè)重要大突破，即分析工具生成的信息以可視化形式呈現(xiàn)在用戶面前，給用戶一個(gè)非常強(qiáng)烈的直覺(jué)判斷?？梢暬治龇椒ǎ饕梢暬樵?、鏈接分析、路徑分析、群集分析、社會(huì)網(wǎng)絡(luò)分析等分析算法與分析工具。

未來(lái)IBM在大數(shù)據(jù)可視化商業(yè)化研發(fā)的三大工作方向：一是從結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的音頻和視頻當(dāng)中抽取特殊數(shù)據(jù)，即語(yǔ)義分析和語(yǔ)境分析，來(lái)幫助企業(yè)進(jìn)行決策和分析；二是將分析得出的結(jié)果以可視化的方式讓業(yè)務(wù)用戶能夠理解；三是可視化與地理位置信息相結(jié)合，例如在港口監(jiān)控所有船只時(shí)，一旦出現(xiàn)異常情況，可視化軟件可以讓工作人員更準(zhǔn)確的判斷現(xiàn)實(shí)情況并得到更快的解決方案。

Facebook

——通過(guò)大數(shù)據(jù)精準(zhǔn)定位客戶群

Facebook一直是大數(shù)據(jù)技術(shù)最積極的應(yīng)用者和開(kāi)拓者，因?yàn)樗鼡碛械臄?shù)據(jù)量極其巨大。

目前，F(xiàn)acebook在全球有9億用戶，其中日常活躍用戶達(dá)5.26億，每天會(huì)采集到500+TB的數(shù)據(jù)。面對(duì)這大量的數(shù)據(jù)，F(xiàn)acebook正在分類、提煉，發(fā)揮數(shù)據(jù)真正的價(jià)值，根據(jù)海量用戶的使用習(xí)慣做數(shù)據(jù)挖掘，然后對(duì)用戶進(jìn)行“畫(huà)像”，更精準(zhǔn)地把握用戶需求和廣告主的需求，F(xiàn)acebook大數(shù)據(jù)技術(shù)被廣泛應(yīng)用在廣告、新聞源、消息聊天、搜索、站點(diǎn)安全、特定分析、報(bào)告等各個(gè)領(lǐng)域。

海量數(shù)據(jù)處理的第一步就是歸類，將用戶發(fā)表的評(píng)論、上傳的圖片、音樂(lè)、視頻這些碎片化、非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行分析，使其集結(jié)、歸類成結(jié)構(gòu)化的數(shù)據(jù)信息。第二步是要將這些結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行解讀，深入到數(shù)據(jù)背后的潛在意義。每當(dāng)用戶登錄Facebook，Cookie會(huì)一直駐留在用戶的瀏覽器中，從此用戶的瀏覽行為、瀏覽頁(yè)面的關(guān)鍵字會(huì)被記錄，通過(guò)對(duì)關(guān)鍵字和上傳信息的持續(xù)分析，F(xiàn)acebook很容易得出用戶的長(zhǎng)期愛(ài)好和近期需求。再加上對(duì)你朋友圈的分析，可以獲得你的教育、工作、收入、地理位置等諸多方面，這種挖掘和解讀往往比個(gè)人主動(dòng)填寫(xiě)的信息還要全面、真實(shí)。

為了更便捷、更真實(shí)地獲得用戶的資料，F(xiàn)acebook發(fā)布了一款大數(shù)據(jù)新產(chǎn)品——“時(shí)間線”Timeline，它是一個(gè)用戶可以自我編輯的個(gè)人時(shí)間軸，在這條時(shí)間線的頁(yè)面記錄個(gè)人生活故事的應(yīng)用。Timeline通過(guò)幫用戶創(chuàng)建個(gè)人的時(shí)間線和電子傳記這一形象化的工具，進(jìn)行用戶數(shù)據(jù)捕獲、存儲(chǔ)，將Facebook的數(shù)據(jù)收集工作帶入歷史領(lǐng)域。而一旦擁有了這些歷史數(shù)據(jù)，F(xiàn)acebook就如同一個(gè)和你從小一起長(zhǎng)大的人，對(duì)你的檔案了如指掌。用戶留下的數(shù)據(jù)越多，F(xiàn)acebook就越了解用戶，投放的廣告就會(huì)更加精準(zhǔn)。

Google

——大數(shù)據(jù)作預(yù)測(cè)

Google就是大數(shù)據(jù)時(shí)代的開(kāi)拓者，Google的大數(shù)據(jù)技術(shù)架構(gòu)一直都是全球互聯(lián)網(wǎng)企業(yè)爭(zhēng)相學(xué)習(xí)和研究的重點(diǎn)，在市場(chǎng)研究中Google所提供的大數(shù)據(jù)分析主要是客戶情緒分析、交易風(fēng)險(xiǎn)分析、產(chǎn)品推薦、客戶流失預(yù)測(cè)、法律文案分類、電子郵件內(nèi)容過(guò)濾、政治傾向預(yù)測(cè)、物種鑒定等多個(gè)方面。據(jù)稱，大數(shù)據(jù)已經(jīng)給Google每天帶來(lái)2300萬(wàn)美元的收入。具體應(yīng)用如下：

其一，基于Map Reduce（映射化簡(jiǎn)模式），Google提供了包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、日志分析、搜索質(zhì)量以及其他數(shù)據(jù)分析應(yīng)用。

其二，基于Dremel系統(tǒng)（在線可視化系統(tǒng)）， Google推出其強(qiáng)大的數(shù)據(jù)分析軟件BigQuery，它也是Google自主開(kāi)發(fā)的一個(gè)云數(shù)據(jù)分析引擎。BigQuery引擎可以快速掃描高達(dá)70TB未經(jīng)壓縮處理的數(shù)據(jù)，并且可馬上得到分析結(jié)果。這個(gè)服務(wù)，能幫助企業(yè)用戶在數(shù)秒內(nèi)完成萬(wàn)億字節(jié)的掃描。

其三，Google的趨勢(shì)圖應(yīng)用。通過(guò)用戶對(duì)搜索詞的關(guān)注度，很快地了解社會(huì)上的熱點(diǎn)是什么。對(duì)廣告主來(lái)說(shuō)，它的商業(yè)價(jià)值就是很快地知道現(xiàn)在用戶在關(guān)心什么，他們應(yīng)該在什么地方投入一個(gè)廣告。如“Brand Lift in Adwords”、“Active GRP”等工具，可以幫助廣告客戶分析和評(píng)估其廣告活動(dòng)的效率，再利用Google Analytics，可全面掌控營(yíng)銷投資回報(bào)率。

Google的大數(shù)據(jù)平臺(tái)架構(gòu)仍在演進(jìn)中，追求的目標(biāo)是更大數(shù)據(jù)集、更快、更準(zhǔn)確的分析和計(jì)算，這將進(jìn)一步引領(lǐng)大數(shù)據(jù)技術(shù)發(fā)展的方向。

阿里巴巴

——大數(shù)據(jù)下的新C2B模式

阿里巴巴作為中國(guó)最大的電商企業(yè)，已經(jīng)通過(guò)所掌握的數(shù)據(jù)以及分析成果，去指導(dǎo)這些生產(chǎn)線的研發(fā)、設(shè)計(jì)、生產(chǎn)、定價(jià)。

用戶的搜索瀏覽、駐留時(shí)間、商品對(duì)比、購(gòu)物車、下單、評(píng)價(jià)數(shù)據(jù)被全程記錄，同時(shí)用戶的個(gè)人資料，例如性別、地域、年齡、職業(yè)、消費(fèi)水平、偏好、星座等也已進(jìn)行畫(huà)像。這時(shí)候阿里巴巴可以對(duì)用戶進(jìn)行交叉分析、定點(diǎn)分析、抽樣分析、群體分析，基于這些分析結(jié)果得出市場(chǎng)需求趨勢(shì)，再通過(guò)地域和時(shí)間分析指導(dǎo)生產(chǎn)線不同季節(jié)不同物品的產(chǎn)量和不同地域不同產(chǎn)品的庫(kù)存，適時(shí)調(diào)整生產(chǎn)、銷售、推銷策略。

阿里巴巴已經(jīng)啟動(dòng)了數(shù)據(jù)共享計(jì)劃，將它們沉淀的行業(yè)數(shù)據(jù)分享給廠商，從價(jià)格分布、關(guān)鍵屬性、流量、成交量、消費(fèi)者評(píng)價(jià)等維度建模，挖掘出功能賣點(diǎn)、主流價(jià)格段分布、消費(fèi)者需求、增值賣點(diǎn)等來(lái)指導(dǎo)廠家的研發(fā)、設(shè)計(jì)、生產(chǎn)。并可以將這種模式復(fù)制到更多廠家，讓他們?nèi)コ邪a(chǎn)線，引入更多廠商。

這是一種用戶不知不覺(jué)參與的C2B模式，可以總結(jié)為“大數(shù)據(jù)定制”。它既幫助廠家更好地滿足用戶的需求，也有助于幫助廠家減少庫(kù)存、提升銷量。這種C2B模式的C是全網(wǎng)用戶，所以就不再需要興師動(dòng)眾地組織團(tuán)購(gòu)，組織投票，組織調(diào)研。

未來(lái)這種基于大數(shù)據(jù)的C2B模式將會(huì)從小家電擴(kuò)展到服裝、家居以及一些日用品。除承包生產(chǎn)線之外，阿里巴巴還會(huì)嘗試其他的一些大數(shù)據(jù)C2B定制模式，例如有償提供大數(shù)據(jù)成果或定制服務(wù)給一些廠家、其他電商賣家或普通互聯(lián)網(wǎng)。

大數(shù)據(jù)時(shí)代市場(chǎng)研究的

新方式

傳統(tǒng)的市場(chǎng)研究雖然以嚴(yán)謹(jǐn)?shù)某闃永碚摓榛A(chǔ)，但由于受制于主持人的訪問(wèn)技巧、街頭攔訪的不確定性等缺點(diǎn)，不能完全真實(shí)反映總體的客觀情況。而大數(shù)據(jù)的調(diào)研方法為市場(chǎng)研究人員提供了以“隱形人”身份觀察消費(fèi)者的可能性，超大樣本量的統(tǒng)計(jì)分析使得研究成果更接近市場(chǎng)的真實(shí)狀態(tài)，同時(shí)具有豐富性、實(shí)時(shí)化、低投入等特點(diǎn)?？偨Y(jié)如下，在大數(shù)據(jù)時(shí)代下新的市場(chǎng)研究方法主要有以下兩點(diǎn)：

搭建網(wǎng)絡(luò)平臺(tái)進(jìn)行市場(chǎng)調(diào)研

無(wú)論是IBM、Google、Facebook，還是中國(guó)的阿里巴巴，都是基于強(qiáng)大的網(wǎng)絡(luò)平臺(tái)來(lái)進(jìn)行大數(shù)據(jù)的采集、分析、研究、盈利。通過(guò)網(wǎng)絡(luò)平臺(tái)獲取海量的非結(jié)構(gòu)化數(shù)據(jù)，從大量的音頻、視頻、搜索記錄等數(shù)據(jù)中抽取特殊數(shù)據(jù)用來(lái)市場(chǎng)的決策和分析，包括影像背后語(yǔ)義分析、語(yǔ)境分析、消費(fèi)者態(tài)度和心理分析，得出的結(jié)果通過(guò)可視化的方法讓用戶能夠理解、分析、判斷。這些數(shù)據(jù)都屬于用戶主動(dòng)披露的，與傳統(tǒng)訪談形式的被動(dòng)挖掘相比信息的真實(shí)性更高?？傊W(wǎng)絡(luò)調(diào)研具有傳統(tǒng)調(diào)研無(wú)可比擬的便捷性和經(jīng)濟(jì)性。

基于云計(jì)算的數(shù)學(xué)分析模型

傳統(tǒng)市場(chǎng)調(diào)研的采集數(shù)據(jù)的結(jié)構(gòu)化較好，一般的統(tǒng)計(jì)軟件SPSS甚至Excel就能滿足數(shù)據(jù)處理過(guò)程，而大數(shù)據(jù)的數(shù)據(jù)是海量的、非結(jié)構(gòu)化的，需要如HadoopMapReduce、InfoSphere Streams等云計(jì)算的數(shù)據(jù)處理技術(shù)來(lái)實(shí)現(xiàn)數(shù)據(jù)分析，即通過(guò)單遍掃描實(shí)現(xiàn)對(duì)海量數(shù)據(jù)集的高效聚類，是對(duì)AP聚類算法的擴(kuò)展，通過(guò)稀疏化各子集，然后融合各子集稀疏化后的數(shù)據(jù)再次AP聚類，從而實(shí)現(xiàn)對(duì)大規(guī)模數(shù)據(jù)的高速聚類?；谠朴?jì)算的數(shù)學(xué)分析模型可以將碎片化信息還原為完整的消費(fèi)過(guò)程信息鏈條，更好地幫助營(yíng)銷人員研究消費(fèi)行為及消費(fèi)心理。這些碎片化的信息包括消費(fèi)者在不同時(shí)間、不同地點(diǎn)、不同網(wǎng)絡(luò)應(yīng)用上發(fā)布的消費(fèi)信息、購(gòu)買(mǎi)信息、商品評(píng)論信息等，并且通過(guò)連續(xù)追蹤可以形成一個(gè)專屬的時(shí)間鏈，更加精準(zhǔn)的對(duì)想得到的結(jié)果作趨勢(shì)性判斷。

未來(lái)大數(shù)據(jù)的Hadoop平臺(tái)將普及，云計(jì)算智能化分析的成本低、效率高、收益大的特點(diǎn)促使著IBM、Google、Facebook等這些技術(shù)領(lǐng)先的公司不斷開(kāi)拓新的大數(shù)據(jù)分析軟件和模型。

大數(shù)據(jù)時(shí)代新的市場(chǎng)研究方法使“無(wú)干擾”真實(shí)還原消費(fèi)過(guò)程成為可能，智能化的信息處理技術(shù)使低成本、大樣本的定量調(diào)研成為現(xiàn)實(shí)，這將推動(dòng)消費(fèi)行為及消費(fèi)心理研究達(dá)到一個(gè)新的高度，幫助企業(yè)更為精準(zhǔn)地捕捉商機(jī)。