張玉葉，孫延坤

（1. 濟(jì)南職業(yè)學(xué)院計(jì)算機(jī)學(xué)院，濟(jì)南 250014; 2. 濟(jì)南沃爾菲斯科技有限公司，濟(jì)南 250014）

0 引言

隨著移動互聯(lián)網(wǎng)和智能手機(jī)的迅速普及，電子商務(wù)、云計(jì)算、虛擬現(xiàn)實(shí)、人工智能等技術(shù)的不斷發(fā)展，傳統(tǒng)產(chǎn)業(yè)不斷被重塑，大數(shù)據(jù)產(chǎn)業(yè)成為了新的產(chǎn)業(yè)革命核心［1］。各行各業(yè)正在以前所未有的速度每天產(chǎn)生海量數(shù)據(jù)，數(shù)據(jù)正在成為一種新的資源和新的生產(chǎn)要素［2］。大數(shù)據(jù)產(chǎn)業(yè)當(dāng)前仍處于技術(shù)高速發(fā)展時(shí)期，用到的框架和工具有很多，其中用于做數(shù)據(jù)分析處理及可視化的方案也有很多，可根據(jù)實(shí)際使用場景來選擇。本文選用的是Zeppelin 和Hive，Zeppelin 是一個(gè)基于Web 的notebook，提供交互式數(shù)據(jù)分析和可視化功能。后臺支持接入多種數(shù)據(jù)處理引擎，如Spark、Hive 等。同時(shí)支持多種編程語言，如Scala、Python、Spark、Markdown、Shell 等；Hive 是一個(gè)基于Hadoop 的數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，然后通過相應(yīng)的SQL 語句來對海量數(shù)據(jù)進(jìn)行聯(lián)機(jī)分析處理［3］。Zeppelin 本身內(nèi)置了柱狀圖、折線圖、餅圖、散點(diǎn)圖、面積圖等最常用的幾種基本圖形，只要將相應(yīng)的數(shù)據(jù)查詢出來，不需要寫任何代碼就可直接實(shí)現(xiàn)數(shù)據(jù)可視化，使用起來相對比較簡單，因此利用Zeppelin和Hive做數(shù)據(jù)分析與可視化是目前業(yè)界應(yīng)用較廣也是比較容易掌握的一種方案。

本文利用Zeppelin 和Hive 來對一組房屋銷售數(shù)據(jù)進(jìn)行分析處理及可視化，通過此例來展示使用方法，從而快速上手?jǐn)?shù)據(jù)分析與可視化。

1 數(shù)據(jù)集

數(shù)據(jù)來源于某地區(qū)的房屋銷售記錄，選取了某一年的銷售記錄作為原始數(shù)據(jù)集，數(shù)據(jù)集中的部分?jǐn)?shù)據(jù)如圖1所示。

圖1 數(shù)據(jù)集中部分?jǐn)?shù)據(jù)

數(shù)據(jù)集中各字段含義依次為銷售日期、銷售價(jià)格、臥室個(gè)數(shù)、房屋面積、樓層數(shù)、房屋評分、房屋建造年代和房屋修繕年代。

2 環(huán)境準(zhǔn)備

要使用Zeppelin和Hive，首先需要先搭建好相應(yīng)的Hadoop，可根據(jù)實(shí)際情況選擇搭建偽分布式或完全分布式，然后安裝好相應(yīng)的Hive［4］。確保Hadoop 和Hive 能夠正常使用，然后安裝部署Zeppelin。本文示例所使用的是Hadoop 偽分布式，各組件相應(yīng)的版本為Hadoop2.7.7、Hive2.3.4和Zeppelin0.10.0。

3 數(shù)據(jù)分析及可視化

數(shù)據(jù)分析是指用適當(dāng)?shù)姆治龇椒▽κ占瘉淼拇罅繑?shù)據(jù)進(jìn)行分析，提取有用信息和形成結(jié)論，對數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過程。數(shù)據(jù)分析包括狹義的數(shù)據(jù)分析和廣義的數(shù)據(jù)分析。狹義的數(shù)據(jù)分析是指根據(jù)分析目的，采用對比分析、分組分析、交叉分析等分析方法，對收集的數(shù)據(jù)進(jìn)行處理與分析，提取有價(jià)值的信息的過程；廣義的數(shù)據(jù)分析是指依據(jù)一定的目標(biāo)，通過統(tǒng)計(jì)分析、聚類、分類、回歸等方法發(fā)現(xiàn)數(shù)據(jù)中隱含的信息的過程。即狹義的數(shù)據(jù)分析主要是從數(shù)據(jù)中提取顯性的信息，而廣義的數(shù)據(jù)分析則主要是從數(shù)據(jù)中挖掘隱含的信息，因此廣義的數(shù)據(jù)分析實(shí)際上是狹義的數(shù)據(jù)分析加上數(shù)據(jù)挖掘［5］。

數(shù)據(jù)可視化就是以圖形化方式表示數(shù)據(jù)。要想把數(shù)據(jù)可視化，必須知道它表達(dá)的是什么。數(shù)據(jù)是對現(xiàn)實(shí)世界的簡化和抽象表達(dá)，當(dāng)可視化數(shù)據(jù)時(shí)，其實(shí)是在將對現(xiàn)實(shí)世界的抽象表達(dá)可視化。數(shù)據(jù)可視化可幫助人們從一個(gè)個(gè)獨(dú)立的數(shù)據(jù)點(diǎn)中解脫出來，換一個(gè)不同的角度去探索和理解它們。

通常，使用自然語言、數(shù)字等形式表達(dá)的概念是枯燥的、不易懂的，而可視化的技術(shù)可增加數(shù)據(jù)的生動性，圖表的應(yīng)用可使數(shù)據(jù)更具有可讀性?！耙粓D抵千言”，數(shù)據(jù)可視化能讓決策者通過圖形快速直觀地看到數(shù)據(jù)分析結(jié)果，從而更容易理解業(yè)務(wù)變化趨勢或發(fā)現(xiàn)新的業(yè)務(wù)模式［6］。

在人工智能和大數(shù)據(jù)時(shí)代，數(shù)據(jù)分析與可視化是人類理解和處理海量數(shù)據(jù)的關(guān)鍵技術(shù)，可以幫助人們快速從海量數(shù)據(jù)中發(fā)現(xiàn)和獲取相應(yīng)的信息或者幫助人們在錯(cuò)綜復(fù)雜的數(shù)據(jù)中發(fā)現(xiàn)和驗(yàn)證不同維度和指標(biāo)之間的關(guān)聯(lián)。

不同的數(shù)據(jù)集有不同的分析目標(biāo)和數(shù)據(jù)指標(biāo)。通常情況下可將數(shù)據(jù)分為三類：用戶數(shù)據(jù)、行為數(shù)據(jù)和商品數(shù)據(jù)。用戶數(shù)據(jù)通常是記錄用戶基本信息的；行為數(shù)據(jù)則是記錄用戶做過什么，如對于電商數(shù)據(jù)則可能是用戶的購買行為、瀏覽行為或是收藏行為等；而商品數(shù)據(jù)則是記錄商品的基本信息。對于不同的數(shù)據(jù)有不同的數(shù)據(jù)分析指標(biāo)，如對于用戶數(shù)據(jù)比較關(guān)注的是新增用戶數(shù)、用戶活躍率和留存率等，對于行為數(shù)據(jù)則比較關(guān)注訪問次數(shù)、訪問人數(shù)、轉(zhuǎn)換率等指標(biāo)，而對于商品數(shù)據(jù)比較關(guān)注的則是成交量、成交額等。

上面列舉的只是一些通用數(shù)據(jù)指標(biāo)，對于具體的數(shù)據(jù)集除了一些通用數(shù)據(jù)指標(biāo)外還可以根據(jù)具體情況來分析其它的一些相關(guān)數(shù)據(jù)指標(biāo)。本數(shù)據(jù)集屬于商品數(shù)據(jù)，因此對于此數(shù)據(jù)集，其分析目標(biāo)主要是房屋的成交量、成交額，除此之外還可以分析房屋面積與價(jià)格之間的關(guān)系、不同評分或不同類型的房屋數(shù)量等。

3.1 統(tǒng)計(jì)每月的房屋銷量

數(shù)據(jù)集中存放了2014 年的房屋銷售數(shù)據(jù)，通過統(tǒng)計(jì)每月的房屋銷量，可以得出每個(gè)月的銷量情況。相應(yīng)的代碼及查詢結(jié)果如圖2所示。

圖2 每月的房屋銷量查詢結(jié)果

Zeppelin 中，默認(rèn)情況下數(shù)據(jù)查詢結(jié)果是以二維表格的形式顯示的?？赏ㄟ^點(diǎn)擊數(shù)據(jù)上方的相應(yīng)按鈕來快速實(shí)現(xiàn)數(shù)據(jù)的可視化。如單擊折線圖按鈕，則數(shù)據(jù)以折線圖顯示。結(jié)果如圖3所示。也可以直接通過點(diǎn)擊柱狀圖按鈕，將其以柱狀圖顯示，結(jié)果如圖4所示。柱狀圖適宜展示各分組數(shù)據(jù)之間的數(shù)量比較。

圖3 每月房屋銷量折線圖

圖4 每月房屋銷量柱狀圖

如果是想查看各月的銷量占比情況，則可直接點(diǎn)擊餅圖按鈕，將其以餅圖顯示，結(jié)果如圖5所示。餅圖適宜描述各分組數(shù)據(jù)在總數(shù)據(jù)中的占比情況。

圖5 每月房屋銷量占比餅圖

同樣的方法可統(tǒng)計(jì)分析每月的房屋銷售額，還可以按季度來統(tǒng)計(jì)房屋的銷量和銷售額等。對于統(tǒng)計(jì)得到的數(shù)據(jù)可根據(jù)需要以相應(yīng)的圖形進(jìn)行展示。

3.2 房屋面積與銷售價(jià)格之間的關(guān)系

如果想要了解房屋面積與房價(jià)之間的關(guān)系，可通過繪制相應(yīng)的散點(diǎn)圖來查看。散點(diǎn)圖適宜展示兩個(gè)變量之間的相關(guān)性。代碼及結(jié)果如圖6所示。

圖6 房屋面積與房價(jià)散點(diǎn)圖

通過上述結(jié)果可以看出，房屋面積與房價(jià)之間具有一定的正相關(guān)性，即房屋面積越大，其房價(jià)越高。

3.3 不同評分的房屋數(shù)量

如果想要了解用戶對房屋的評分情況，可通過分析不同評分的房屋數(shù)量來獲取。代碼及結(jié)果如圖7所示。同樣，如果是想查看數(shù)量，可用柱狀圖展示，如果想查看不同評分的房屋占比，則可改用餅圖展示。類似的方法還可統(tǒng)計(jì)不同樓層數(shù)或不同臥室數(shù)的房屋數(shù)量等。

圖7 不同評分的房屋數(shù)量柱狀圖

4 結(jié)語

大數(shù)據(jù)時(shí)代如何快速有效處理海量數(shù)據(jù)，從中發(fā)現(xiàn)和提取人們所需要的有用信息已經(jīng)成了各行各業(yè)的急需。而基于Zeppelin 和Hive 的數(shù)據(jù)分析及可視化可用相對簡短的代碼幫助人們快速有效地處理數(shù)據(jù)并獲取到相關(guān)信息，掌握Zeppelin 和Hive 的使用已經(jīng)成了各行業(yè)數(shù)據(jù)分析師所必備的基本技能。本文通過一個(gè)實(shí)際數(shù)據(jù)集展示了如何利用Zeppelin 和Hive 來進(jìn)行數(shù)據(jù)分析及可視化，其實(shí)現(xiàn)簡單方便，在目前大數(shù)據(jù)時(shí)代背景下有著廣泛的應(yīng)用領(lǐng)域和良好的使用前景。讀者可參考其實(shí)現(xiàn)思路稍微改動一下即可實(shí)現(xiàn)更多類似的數(shù)據(jù)分析及可視化效果，從而快速提高數(shù)據(jù)分析及可視化能力。