黃 莉

（武漢商學(xué)院 信息工程學(xué)院，湖北 武漢 430056）

汽車企業(yè)大數(shù)據(jù)應(yīng)用平臺的總體設(shè)計探討

黃 莉

（武漢商學(xué)院 信息工程學(xué)院，湖北 武漢 430056）

大數(shù)據(jù)平臺的應(yīng)用正在深刻影響著汽車領(lǐng)域生產(chǎn)方式的變革、服務(wù)模式的轉(zhuǎn)換以及消費者生活方式的改變。汽車企業(yè)只有通過對大數(shù)據(jù)的分析和挖掘，才能為公司運營決策提供數(shù)字化支持。文章主要從技術(shù)層面探討建設(shè)汽車企業(yè)大數(shù)據(jù)應(yīng)用平臺的總體設(shè)計問題。

大數(shù)據(jù)；汽車企業(yè)；面向服務(wù)的架構(gòu)

大數(shù)據(jù)和云計算帶來新的業(yè)務(wù)模式變革，使人們進入了大規(guī)模生產(chǎn)、分享和利用數(shù)據(jù)的時代。大數(shù)據(jù)是一個比較抽象的概念，從文字上來解釋，大數(shù)據(jù)指的是規(guī)模十分龐大的數(shù)據(jù)。麥肯錫全球研究院將大數(shù)據(jù)定義為“無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合”。業(yè)界用4個“V”概括大數(shù)據(jù)的基本特征，即Volume（大量）、Variety（多樣）、Velocity（高速）和Value（價值）。大數(shù)據(jù)的分析和應(yīng)用，無疑會為各行各業(yè)創(chuàng)造新機遇和無限的可能性[1]。

在過去的10年里，數(shù)據(jù)總量增長了750倍，并還在持續(xù)加速增長中。大數(shù)據(jù)的收集、分析與應(yīng)用，正在深刻地影響著互聯(lián)網(wǎng)大潮下的汽車工業(yè)領(lǐng)域。無論是在汽車的生產(chǎn)過程，還是在面向客戶的服務(wù)環(huán)節(jié)中，大數(shù)據(jù)平臺的應(yīng)用正在深刻影響著汽車領(lǐng)域生產(chǎn)方式的變革、服務(wù)模式轉(zhuǎn)換，以及消費者生活方式的改變[2]。

本文以某汽車公司為例，主要從技術(shù)層面來探討該汽車企業(yè)在建設(shè)大數(shù)據(jù)應(yīng)用平臺時的總體設(shè)計。該汽車公司計劃在2017年對公司各經(jīng)營數(shù)據(jù)進行分析和挖掘，實現(xiàn)該企業(yè)決策層、管理層、業(yè)務(wù)層分別享受信息化成果。為支持公司的經(jīng)營管理需求及汽車IT規(guī)劃，收集企業(yè)資源管理、生產(chǎn)管理、營銷管理等領(lǐng)域?qū)嵤ɑ蛘趯嵤┢髽I(yè)資源計劃（Enterprise Resource Planning，ERP）、制造執(zhí)行系統(tǒng)（Manufacturing Execution Systems，MES）、數(shù)據(jù)庫管理系統(tǒng)（Database Management System，DMS）等系統(tǒng)分析數(shù)據(jù)，計劃實施企業(yè)大數(shù)據(jù)應(yīng)用平臺，為公司運營決策提供數(shù)字化支持。

1 遵循經(jīng)濟與技術(shù)相結(jié)合的原則

汽車大數(shù)據(jù)應(yīng)用平臺建設(shè)要遵循統(tǒng)一性、系統(tǒng)性、規(guī)范性和安全性的原則，按照“統(tǒng)籌規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)”的要求進行搭建，在當(dāng)前總體架構(gòu)的基礎(chǔ)上，應(yīng)用先進的大數(shù)據(jù)技術(shù)平臺；采用成熟技術(shù)和公共組件開展底層數(shù)據(jù)存儲建設(shè)；采用分析模型等相關(guān)技術(shù)實現(xiàn)數(shù)據(jù)信息多方位、多視角、靈活多樣的展示及應(yīng)用；基于行業(yè)標(biāo)準(zhǔn)提煉和完善企業(yè)的技術(shù)標(biāo)準(zhǔn)；按照行業(yè)數(shù)字安全認(rèn)證體系及相關(guān)安全規(guī)范進行項目建設(shè)，確保數(shù)據(jù)安全[3]。

1.1 繼承性與復(fù)用性

為保護已有投資，體現(xiàn)統(tǒng)一性和連貫性，充分利用現(xiàn)有的基礎(chǔ)架構(gòu)和軟硬件設(shè)備，進行總體設(shè)計和實施，并根據(jù)新需求進行新技術(shù)應(yīng)用、完善和拓展，滿足汽車信息化建設(shè)“統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一平臺”的需要。增強信息資源整合、數(shù)據(jù)共享的靈活性，為汽車信息化應(yīng)用的建設(shè)提供基礎(chǔ)支撐。

1.2 開放性與先進性

基于開放式標(biāo)準(zhǔn)與技術(shù)，利于移植，滿足所有應(yīng)用系統(tǒng)建設(shè)的共用化需求，同時采用先進成熟的設(shè)備和技術(shù)，確保系統(tǒng)的技術(shù)先進性，保證投資的有效性和延續(xù)性。

1.3 靈活性與可擴展性

系統(tǒng)應(yīng)易于擴展、升級和移植，并具備支持業(yè)務(wù)處理的靈活的參數(shù)化配置、技術(shù)架構(gòu)可以適應(yīng)業(yè)務(wù)功能的重組。

1.4 安全性與可靠性

提供良好的數(shù)據(jù)安全可靠性策略，充分利用汽車認(rèn)證授權(quán)（Certificate Authority，CA）安全認(rèn)證平臺、網(wǎng)絡(luò)安全體系等，采用多種安全可靠的技術(shù)手段，保證系統(tǒng)及數(shù)據(jù)的安全與可靠。

2 分層設(shè)計規(guī)劃數(shù)據(jù)存儲

數(shù)據(jù)資源管理系統(tǒng)能夠永久存儲聚合后的汽車優(yōu)質(zhì)資源以及互聯(lián)網(wǎng)優(yōu)質(zhì)資源，并能夠長期存儲全部的數(shù)據(jù)，并對外提供訪問服務(wù)接口，實現(xiàn)數(shù)據(jù)資源的共享。數(shù)據(jù)資源管理系統(tǒng)底層數(shù)據(jù)統(tǒng)一存儲規(guī)劃能夠滿足上層應(yīng)用對底層數(shù)據(jù)的存儲及使用需求，具體規(guī)劃如下。

系統(tǒng)根據(jù)數(shù)據(jù)匯總層（B/S）（Data Warehouse，DW）模型，按照各個應(yīng)用層次對數(shù)據(jù)的需求，對數(shù)據(jù)存儲進行了劃分，共分為5個層級，每個層次滿足不同的應(yīng)用，分別是數(shù)據(jù)準(zhǔn)備層（Operational Data Store，ODS）、數(shù)據(jù)明細層（Data Warehouse Detail，DWD）、DW、數(shù)據(jù)集市層（DataMart，DM）、數(shù)據(jù)應(yīng)用層（ST）。

ODS/DWD層使用分布式文件系統(tǒng)hdfs、kafka等存儲原始數(shù)據(jù)，以及明細數(shù)據(jù)；DW層使用hive存儲應(yīng)用數(shù)據(jù)、匯總數(shù)據(jù)；DM層將業(yè)務(wù)主題應(yīng)用數(shù)據(jù)、匯總數(shù)據(jù)存儲在關(guān)系型數(shù)據(jù)庫統(tǒng)或者hive中；ST層將使用Hbase、es等保存分析結(jié)果數(shù)據(jù)以及匯總加工后的數(shù)據(jù)（標(biāo)簽、累積數(shù)據(jù)等）；另外MDW層則使用關(guān)系型數(shù)據(jù)庫mysql或者非關(guān)系型數(shù)據(jù)庫Mongodb存儲元數(shù)據(jù)以及基礎(chǔ)數(shù)據(jù)；關(guān)系型數(shù)據(jù)庫和Mongodb互為備份，包括內(nèi)容數(shù)據(jù)和分類元數(shù)據(jù)。在其中一個數(shù)據(jù)庫出現(xiàn)問題后，另一個數(shù)據(jù)庫可以單獨對外提供主要功能服務(wù)，提高數(shù)據(jù)庫的可用性。

3 采用基于架構(gòu)的方法進行總體設(shè)計

汽車大數(shù)據(jù)應(yīng)用平臺是涉及數(shù)據(jù)中心、業(yè)務(wù)系統(tǒng)等數(shù)據(jù)集成、管理、應(yīng)用和服務(wù)的系統(tǒng)，要保證系統(tǒng)能夠順利實施并發(fā)揮預(yù)期的效用，必須借助科學(xué)的方法。本文將借鑒基于架構(gòu)的規(guī)劃方法進行總體設(shè)計，即從企業(yè)的業(yè)務(wù)架構(gòu)入手，明確各業(yè)務(wù)條線的戰(zhàn)略需求和數(shù)據(jù)集，統(tǒng)一規(guī)劃系統(tǒng)的數(shù)據(jù)架構(gòu)、應(yīng)用架構(gòu)和技術(shù)架構(gòu)，制訂系統(tǒng)運行維護的治理架構(gòu)，使系統(tǒng)數(shù)據(jù)層面達到標(biāo)準(zhǔn)、規(guī)范、分布清晰、模型完整；應(yīng)用層面對業(yè)務(wù)、管理和決策的支撐作用明顯；技術(shù)層面先進、高效、準(zhǔn)確、安全；運維管理層面有能力管、容易管、管得住、管得好[4]。

汽車大數(shù)據(jù)應(yīng)用平臺架構(gòu)設(shè)計過程中，遵循“業(yè)務(wù)驅(qū)動”的設(shè)計方法，通過業(yè)務(wù)架構(gòu)分析，推演出應(yīng)用架構(gòu)設(shè)計和數(shù)據(jù)架構(gòu)設(shè)計，再結(jié)合應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)的要求進行技術(shù)架構(gòu)設(shè)計，從而形成汽車大數(shù)據(jù)應(yīng)用平臺的完整架構(gòu)體系，保證系統(tǒng)對業(yè)務(wù)的有效支撐。汽車大數(shù)據(jù)應(yīng)用平臺的總體架構(gòu)包括業(yè)務(wù)架構(gòu)、應(yīng)用架構(gòu)、數(shù)據(jù)架構(gòu)、技術(shù)架構(gòu)（見圖1）。

圖1 汽車大數(shù)據(jù)應(yīng)用平臺的總體架構(gòu)

業(yè)務(wù)架構(gòu)從業(yè)務(wù)角度對汽車大數(shù)據(jù)應(yīng)用平臺進行細化、抽象、歸納、總結(jié)，形成整體業(yè)務(wù)能力視圖，為應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)提供關(guān)鍵輸入；應(yīng)用架構(gòu)基于業(yè)務(wù)架構(gòu)，從系統(tǒng)應(yīng)用功能的角度定義應(yīng)用功能、應(yīng)用劃分和應(yīng)用分布，形成汽車大數(shù)據(jù)應(yīng)用平臺應(yīng)用架構(gòu)藍圖；數(shù)據(jù)架構(gòu)基于業(yè)務(wù)架構(gòu)和應(yīng)用架構(gòu)，從系統(tǒng)數(shù)據(jù)支撐的角度對數(shù)據(jù)模型、數(shù)據(jù)分類、數(shù)據(jù)存儲、數(shù)據(jù)流轉(zhuǎn)等方面進行規(guī)劃設(shè)計；技術(shù)架構(gòu)基于應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)，從系統(tǒng)技術(shù)實現(xiàn)的角度定義各類系統(tǒng)組件、集成關(guān)系、部署方式和系統(tǒng)安全防護體系。

4 采用基于SOA的思想進行技術(shù)設(shè)計

面向服務(wù)的架構(gòu)（Service-Oriented Architecture，SOA）是當(dāng)今信息系統(tǒng)開發(fā)的重要方法。是當(dāng)前開發(fā)靈活、可配置、可復(fù)用的信息系統(tǒng)的技術(shù)路線。汽車大數(shù)據(jù)應(yīng)用平臺要面向多種業(yè)務(wù)系統(tǒng)，動態(tài)采集數(shù)據(jù)，要適時調(diào)整應(yīng)用展現(xiàn)等，有必要采用SOA系統(tǒng)架構(gòu)進行設(shè)計。SOA架構(gòu)系統(tǒng)具有高內(nèi)聚、低耦合的特點，有利于系統(tǒng)的調(diào)整、重組。

SOA的中心思想是模塊化與封裝這兩大原則，模塊化將復(fù)雜的大任務(wù)分解成相對簡單的小步驟，封裝則將其內(nèi)部的復(fù)雜性屏蔽代之以用清晰的接口。在這兩項原則指導(dǎo)下，開發(fā)人員只需關(guān)注應(yīng)用中與其相關(guān)的部分而無須知道其他部分的細節(jié)，只要各個組件都遵守接口“契約”，這些組件的開發(fā)、測試和修改都相對獨立，無須太多的協(xié)調(diào)，使得基于SOA的應(yīng)用易于開發(fā)和維護。

很多的企業(yè)應(yīng)用由于缺乏統(tǒng)一的、長遠的規(guī)劃，通常情況下很少共享數(shù)據(jù)，幾乎從不共享程序邏輯。但很多的服務(wù)具有通用性，而非某一應(yīng)用獨有，一個通用服務(wù)架構(gòu)能幫助企業(yè)在上述的原則下共享部分?jǐn)?shù)據(jù)和程序邏輯。

最后對企業(yè)發(fā)展戰(zhàn)略、管控模式、組織架構(gòu)、業(yè)務(wù)模式和運營流程進行深刻的理解，據(jù)此對本系統(tǒng)進行頂層設(shè)計和整體規(guī)劃，并且充分尊重信息化的建設(shè)規(guī)律，對實施階段和系統(tǒng)模塊進行重點把握，分階段、分步驟有序建設(shè)。同時在項目總體建設(shè)目標(biāo)的指導(dǎo)下，在項目建設(shè)過程中建立階段性目標(biāo)，確認(rèn)階段建設(shè)成果，降低項目總體建設(shè)風(fēng)險，便于企業(yè)快速認(rèn)識建設(shè)成果，并且為后期建設(shè)提供良好基礎(chǔ)。在實施過程中把握重點問題、關(guān)鍵問題，運用正確的方法，尋找恰當(dāng)?shù)耐黄泣c，集中力量進行突破。

[1]胡熙.汽車企業(yè)與大數(shù)據(jù)融合趨勢分析（上）[J].商用汽車，2015（12）：104-107.

[2]胡熙.汽車企業(yè)與大數(shù)據(jù)融合趨勢分析（下）[J].商用汽車，2016（1）：100-103.

[3]張懿，劉焰.大數(shù)據(jù)時代下的智能網(wǎng)聯(lián)汽車發(fā)展研究[J].江蘇科技信息，2016（24）：7-9.

[4]夏妍娜.大數(shù)據(jù)在德國汽車制造商寶馬集團中的應(yīng)用[J].智慧工廠，2017（2）：81-84.

Discussion on overall design of big data application platform in auto corporations

Huang Li
(Information Engineering Department, Wuhan Business University, Wuhan 430056, China)

Application of big data platform is profoundly affects the production mode reform of automobile industry, conversion of service mode and change of consumer lifestyle. Only through the analysis and mining of big data, auto companies can provide digital support for the company’s operational decision-making. This article mainly discusses the overall design of big enterprise application platform for automobile enterprises from the technical level.

big data; auto corporations; service-oriented architecture

黃莉（1984— ），女，湖北武漢人，講師，碩士；研究方向：矩陣分析及其應(yīng)用。