董勤

摘要 汽車行業(yè)某垂直門戶網(wǎng)站（下稱汽車網(wǎng)）從2006年初開始上線到今天已經(jīng)成功運營十多年，在全國各大城市均設(shè)有獨立的服務(wù)器和分站，主要提供汽車資訊、廣告、當(dāng)?shù)仄噲髢r、經(jīng)銷商門店、車主投訴處理等功能。由于地區(qū)性差異，各分站發(fā)展到今天雖然界面形式上一致，但數(shù)據(jù)格式上卻各自演化無法統(tǒng)一，管理層無法及時得到準(zhǔn)確的全局決策信息。為了徹底解決該問題，經(jīng)調(diào)研決定在總部開發(fā)一套決策支持系統(tǒng)，集成各分站數(shù)據(jù)，讓管理層隨時都可以得到準(zhǔn)確、及時的信息。該系統(tǒng)的成功實施提升了公司的決策效率，使高管們在第一時間掌控全國行業(yè)動態(tài)，及時調(diào)整廣告策略，給經(jīng)銷商們提供符合市場的價格信息，企業(yè)也因此獲得了客戶的廣泛好評。

【關(guān)鍵詞】汽車網(wǎng) 決策支持系統(tǒng) 數(shù)據(jù)倉庫數(shù)據(jù)中心

1 引言

作為業(yè)內(nèi)排名靠前的汽車行業(yè)垂直門戶，汽車網(wǎng)隨著業(yè)務(wù)的不斷發(fā)展，在全國主要大中城市均有分布式服務(wù)器集群。北京、上海、廣州、武漢、成都的客戶可以就近訪問電信或者網(wǎng)通甚至是其他更小規(guī)模服務(wù)商的網(wǎng)絡(luò)內(nèi)的服務(wù)器，以便得到最好的網(wǎng)絡(luò)速度體驗，并且，隨著業(yè)務(wù)的飛速發(fā)展，用戶產(chǎn)生的內(nèi)容和數(shù)據(jù)也越來越多，對存儲要求也越來越高，集中式的網(wǎng)站服務(wù)根本無法滿足全國各地用戶的多種需求，分布式網(wǎng)站的策略到現(xiàn)在依然有效，可以根據(jù)IP將用戶訪問分流到各地。但是這種策略對公司的高層領(lǐng)導(dǎo)來說也帶來了新問題，高層領(lǐng)導(dǎo)無法及時得到一個全局的數(shù)據(jù)視圖以準(zhǔn)確掌控業(yè)務(wù)狀態(tài)，需要各分公司配合出各地報表，匯總到總裁辦公室合并為Excel，最后得到全局視圖。這種人工的方式費力，延遲，經(jīng)常出錯，公司高層領(lǐng)導(dǎo)已經(jīng)無法接受這種傳統(tǒng)模式，因此立項研發(fā)決策支持系統(tǒng)以徹底解決問題。

決策支持系統(tǒng)通常來講分為三部分：數(shù)據(jù)采集處理、數(shù)據(jù)存儲和數(shù)據(jù)展現(xiàn)。通常的做法是采購大型軟件公司的成熟方案，如IBM的DataStage，DB2，Portal系列;Oracle公司的Oracle DB，ApplicationServer，F(xiàn)orm系列以及Microsoft公司的BI解決方案。這些方案的優(yōu)點是成熟可靠，缺點也很明顯：不能靈活應(yīng)對特殊場景，服務(wù)按小時計費價格昂貴。

汽車網(wǎng)選擇從開源軟件入手，以開源的Linux操作系統(tǒng)為核心，采用Java語言編寫數(shù)據(jù)采集與清洗軟件，使用Hadoop、Spark、Hbase作為分析處理和數(shù)據(jù)存儲服務(wù)器，并用G2框架為基礎(chǔ)開發(fā)個性化報表系統(tǒng)。最后同樣能夠達(dá)到一流商用BI方案的效果，并且可以針對自己的業(yè)務(wù)需求靈活快速地調(diào)整，而且開源軟件本身免費，取得了極佳的性價比。

2 需求分析

決策支持系統(tǒng)需要的數(shù)據(jù)種類繁多，比較典型的有以下幾種，其一是各種頁面的訪問量，廣告位曝光、點擊、報名轉(zhuǎn)化，從而分析廣告效果，以便進行動態(tài)調(diào)整廣告策略;其二是監(jiān)控當(dāng)?shù)亟?jīng)銷商網(wǎng)店優(yōu)惠活動及車型價格，采集分析其他重點汽車網(wǎng)站的報價信息進行對比，統(tǒng)計分析價格規(guī)律，從而讓管理層做出最優(yōu)決策，以配置各地庫存數(shù)量及制定相關(guān)報價策略;其三是監(jiān)控用戶輿論方向，對每一款車型的提問、回答，分析出當(dāng)前用戶比較關(guān)注的焦點，從而做相關(guān)活動提高社區(qū)粘度;其四是收集車主投訴，匯總統(tǒng)計得出質(zhì)量問題規(guī)律，對接車廠從而更好地服務(wù)于最終消費者。因此技術(shù)上需要每日從全國20多個分站抽取相關(guān)增量數(shù)據(jù)到總部數(shù)據(jù)中心，對處理好的數(shù)據(jù)進行分析和挖掘。

3 系統(tǒng)設(shè)計方案

傳統(tǒng)的決策支持系統(tǒng)分為ETL、DaraWarehouse、BI三部分;其中ETL部分一般采用IBM的SataStage工具來實現(xiàn);數(shù)據(jù)中心主要采用NAS和IP SAN相結(jié)合的方式分別滿足共享文件存儲和數(shù)據(jù)存儲的功能，容量擴展主要依賴于磁盤陣列和磁帶庫;BI部分則采用水晶報表作為展現(xiàn)工具。考慮到這么設(shè)計代價昂貴，尤其是數(shù)據(jù)中心部分的集中存儲方式擴展起來不是很方便，性能也難以保障，因此在汽車網(wǎng)的決策支持系統(tǒng)中，采用新的設(shè)計方式，如圖1所示。

如圖1所示，該設(shè)計主要采用了以開源框架Hadoop為基礎(chǔ)的分布式處理與存儲思想，規(guī)避了傳統(tǒng)收費軟件，使用相對廉價的PC服務(wù)器集群取代昂貴的專用磁盤陣列存儲設(shè)備，使得海量數(shù)據(jù)的處理存儲變得相對簡單、便宜。其中數(shù)據(jù)采集部分，使用kafla、flume等分布式組件遠(yuǎn)程收集各分站的業(yè)務(wù)數(shù)據(jù)，匯總到總部數(shù)據(jù)中心，然后采用Spark Streaming對數(shù)據(jù)流進行實時處理，結(jié)果再以鍵值對的方式存入Hbase，對于需要進行多維分析的數(shù)據(jù)可以存入傳統(tǒng)的RDBMS中，也可以自己寫OLAP方法針對需求進行定制分析。

4 實施

4.1 數(shù)據(jù)采集與清洗

汽車網(wǎng)各種業(yè)務(wù)數(shù)據(jù)，如各分站經(jīng)銷商的報價數(shù)據(jù)，各車型的用戶口碑，各地用戶的投訴與評論，各分站的汽車專業(yè)文章及廣告位，閱讀量、點擊量等均需要及時傳送匯總到數(shù)據(jù)中心。這個過程分為數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)傳送三個環(huán)節(jié)。首先各分站的分布式數(shù)據(jù)抽取工作并不容易，如果直接連接到各地生產(chǎn)庫上，可能會影響性能，因此對于數(shù)據(jù)庫類型的數(shù)據(jù)源，各分站先做主備模式，只需要連接到備機上根據(jù)時間抽取增量數(shù)據(jù)再通過kafka隊列傳輸?shù)娇偛繑?shù)據(jù)中心;對于日志文件，則采取先集中備份到日志轉(zhuǎn)發(fā)機，再采用消息隊列kafka傳輸?shù)娇偛繑?shù)據(jù)中心;fiume管道對HDFS格式的文件傳輸比較友好，專門用來傳輸這類格式的數(shù)據(jù)。這些數(shù)據(jù)在進入隊列或者管道之前進行統(tǒng)一的格式轉(zhuǎn)換，即完成數(shù)據(jù)清洗工作。數(shù)據(jù)傳輸任務(wù)設(shè)置在每天夜間定時完成，最后匯總到數(shù)據(jù)中心，由Spark Streaming進行實時分析、處理、分類，最后存到Hbase數(shù)據(jù)倉庫，也有少量存入Mysql數(shù)據(jù)庫中。

4.2 數(shù)據(jù)分析與處理

Spark Streaming從消息隊列中獲取數(shù)據(jù)流，并按照時間分塊，轉(zhuǎn)化為rdd，然后通過滑動窗口對數(shù)據(jù)進行實時的統(tǒng)計分析計算。Spark Streaming中提供了很多封裝好了的簡單易用的算子，例如map，flatMap，filter，sort，reduceByKey，collect等，通過這些算子的組合，可以完成不同的計算需求。這些算子會創(chuàng)建很多map/reduce子任務(wù)，分發(fā)到不同的集群子節(jié)點，進行分布式運算。例如要統(tǒng)計10分鐘內(nèi)多款車型詳情頁面的閱讀次數(shù)，則可以采用10分鐘作為滑動窗口的大小，而滑動頻率決定了觸發(fā)計算任務(wù)的頻率，需要根據(jù)實際的數(shù)據(jù)量、集群的算力、實時性等統(tǒng)一考慮，設(shè)置適當(dāng)?shù)拇翱诨瑒宇l率可以讓集群運行更加穩(wěn)定;計算的過程如下：從日志中篩選出這幾款車型的訪問記錄（filter算子），然后轉(zhuǎn)換為鍵值對（url，1），最后通過reduceByKey統(tǒng)計出每款車型的總訪問量。在處理更復(fù)雜的情況時，還需要從數(shù)據(jù)中抽取出重要的數(shù)據(jù)字段（主要通過正則匹配來實現(xiàn)），然后轉(zhuǎn)換為對象實例，方便后續(xù)的處理;在計算的過程中，有的時候還可以把需要重復(fù)使用的數(shù)據(jù)緩存起來，后續(xù)就會直接使用cache，而不是重新計算，這可以極大地提高計算速度。

4.3 多維分析與報表展現(xiàn)

Hbase本身是key-value存儲格式，適合海量存儲，但對于復(fù)雜的多維分析運算需要額外編寫程序，另外還可以借助傳統(tǒng)的RDBMS來實現(xiàn)。在汽車網(wǎng)廣告分析模塊中，利用開源的Mysql作為補充進行報表運算。多維分析的表結(jié)構(gòu)設(shè)計與普通的事務(wù)處理表結(jié)構(gòu)設(shè)計并不相同，它更多的傾向于數(shù)據(jù)分析，要求從多個維度考察度量指標(biāo)，比方說在廣告點擊量分析數(shù)據(jù)倉庫，記錄了每個廣告的曝光量點擊量，這個廣告發(fā)布在哪個位置，哪天發(fā)布的。多維數(shù)據(jù)庫由事實表和維度表組成，其中事實表由維度和度量組成，度量是廣告的點擊量和曝光量，維度是時間、位置、廣告。有了這樣一個多維數(shù)據(jù)庫記錄歷史到今天的廣告數(shù)據(jù)，很容易鉆?。╠rill down）和上卷（roll up）來分析廣告效果。以前靠人工收集數(shù)據(jù)，EXCEL匯總的模式，已經(jīng)被高度自動化的數(shù)據(jù)抽取、清洗、分析、匯總、生成報表的流程取代，延遲從以前的好幾天變成現(xiàn)在的幾小時，報表數(shù)據(jù)精確無誤，高層能隨時查看最新動態(tài)，對用戶關(guān)心的汽車投訴問題、行情信息、銷售量、熱銷和滯銷車型了如指掌。另外也不需要采購昂貴的水晶報表軟件來完成這項工作，開源引擎G2是一個非常好的工具，被深度應(yīng)用于汽車網(wǎng)的報表展現(xiàn)中。

5 結(jié)論

決策支持系統(tǒng)的數(shù)據(jù)采集模塊分布在全國多個分站，在帶寬充足的前提下和總部數(shù)據(jù)中心的通信穩(wěn)定可靠，項目成功運行半年多充分證實最初的設(shè)計正確可行。

數(shù)據(jù)流實時分析處理部分，快速高效，超過預(yù)期。實踐證明采用Spark Streaming在內(nèi)存中實時處理的效果要優(yōu)于先將數(shù)據(jù)存入HDFS攢到一定量再進行批處理的方式。

自動化報表程序快速高效，準(zhǔn)確率高。高管隨時掌握全國各分公司業(yè)務(wù)的最新動態(tài)，準(zhǔn)確抓住業(yè)務(wù)的敏感點，及時調(diào)整市場策略實現(xiàn)效益最大化，充分體現(xiàn)了數(shù)據(jù)的價值。

參考文獻(xiàn)

[1]姚雄飛，覃海生，多品牌汽車銷售集團的業(yè)務(wù)決策支持系統(tǒng)的架構(gòu)設(shè)計[J].電腦編程技巧與維護，2016.

[2]莊玉良，賀超.基于物聯(lián)網(wǎng)的汽車業(yè)再制造信息采集與決策支持系統(tǒng)研究[J]，物流技術(shù)，2016 （06）.

[3]張若儒，基于HBase的OLAP多維數(shù)據(jù)聚集計算[J].東南大學(xué)，2012.

[4]尹國明，汽車維修故障診斷智能決策支持系統(tǒng)的研究[J].中國新技術(shù)新產(chǎn)品， 2013（23）.

[5]楊春瑩，杜小芳，王維.汽車企業(yè)訂單生產(chǎn)決策支持系統(tǒng)[J]，汽車工程師，2011 （10）.

[6]楊艷霞，于海平.基于數(shù)據(jù)倉庫的汽車配件銷售決策支持系統(tǒng)[J].計算機與數(shù)字工程，2010 （07）.