蘭慧峰　左旭濤　王美霞　岳陽　周凡

摘? 要：該文對(duì)線網(wǎng)數(shù)據(jù)中心進(jìn)行了簡要介紹，從邏輯架構(gòu)、處理機(jī)制和數(shù)據(jù)存儲(chǔ)3個(gè)方面，對(duì)實(shí)時(shí)數(shù)據(jù)處理過程進(jìn)行了分析。從邏輯架構(gòu)、數(shù)據(jù)清洗、配置工作流、任務(wù)調(diào)度和數(shù)據(jù)存儲(chǔ)5個(gè)方面，對(duì)離線數(shù)據(jù)處理過程進(jìn)行了分析。青島地鐵利用大數(shù)據(jù)技術(shù)，結(jié)合地鐵運(yùn)營業(yè)務(wù)，對(duì)有關(guān)運(yùn)營生產(chǎn)數(shù)據(jù)的實(shí)時(shí)及離線處理流程進(jìn)行了研究，實(shí)現(xiàn)了線網(wǎng)實(shí)時(shí)生產(chǎn)數(shù)據(jù)及離線生產(chǎn)數(shù)據(jù)的數(shù)據(jù)處理服務(wù)，為運(yùn)營決策提供數(shù)據(jù)支撐。

關(guān)鍵詞：數(shù)據(jù)中心;實(shí)時(shí)數(shù)據(jù)處理;離線數(shù)據(jù)處理;工作流

中圖分類號(hào)：TP311? ? ? ? ? 文獻(xiàn)標(biāo)志碼：A

0 引言

隨著城市軌道交通線路的不斷增加，青島地鐵已步入網(wǎng)絡(luò)化運(yùn)營階段。隨著新業(yè)務(wù)需求的產(chǎn)生，地鐵運(yùn)營管理日益復(fù)雜，運(yùn)營生產(chǎn)數(shù)據(jù)呈爆炸式增長。因此尋求有效地海量數(shù)據(jù)處理技術(shù)、數(shù)據(jù)治理方法和手段已經(jīng)成為非常迫切的需求。青島地鐵是國內(nèi)首個(gè)基于Hadoop大數(shù)據(jù)技術(shù)搭建線網(wǎng)中心的地鐵公司[1]，其結(jié)合實(shí)際業(yè)務(wù)應(yīng)用，合理選擇技術(shù)路線，實(shí)現(xiàn)了線網(wǎng)實(shí)時(shí)生產(chǎn)數(shù)據(jù)及離線生產(chǎn)數(shù)據(jù)的數(shù)據(jù)處理服務(wù)，為運(yùn)營指揮系統(tǒng)、應(yīng)急指揮系統(tǒng)、線網(wǎng)統(tǒng)計(jì)分析、線網(wǎng)運(yùn)營評(píng)估、信息服務(wù)等上層應(yīng)用提供了數(shù)據(jù)支撐。

1 線網(wǎng)數(shù)據(jù)中心簡介

線網(wǎng)數(shù)據(jù)中心是青島地鐵線網(wǎng)中心的核心[2]，基于Hadoop大數(shù)據(jù)技術(shù)搭建[3]，是線網(wǎng)上層業(yè)務(wù)系統(tǒng)的數(shù)據(jù)來源。線網(wǎng)數(shù)據(jù)中心主要包括數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)分析和數(shù)據(jù)輸出等功能模塊，其中數(shù)據(jù)處理是數(shù)據(jù)中心的核心。數(shù)據(jù)處理根據(jù)數(shù)據(jù)傳輸?shù)臅r(shí)效性要求可分為實(shí)時(shí)數(shù)據(jù)處理和離線數(shù)據(jù)處理2個(gè)部分。實(shí)時(shí)數(shù)據(jù)是指對(duì)數(shù)據(jù)時(shí)效性要求較高的突發(fā)類事件信息、人員定位信息、突發(fā)事件處置意見等。同時(shí)，時(shí)效性在5 min、15 min等的客流類近線數(shù)據(jù)，在處理中也算作實(shí)時(shí)數(shù)據(jù)進(jìn)行處理。離線數(shù)據(jù)主要是指時(shí)間范圍為昨日及昨日以前的結(jié)構(gòu)化數(shù)據(jù)。每天通過采集層從接口服務(wù)器采集離線數(shù)據(jù)，并把采集數(shù)據(jù)存儲(chǔ)到HDFS臨時(shí)文件存儲(chǔ)區(qū)，經(jīng)數(shù)據(jù)的清洗、加工和轉(zhuǎn)換后，存儲(chǔ)到數(shù)據(jù)中心。

2 實(shí)時(shí)數(shù)據(jù)處理

城市軌道交通實(shí)時(shí)數(shù)據(jù)主要包括線路、車站的客流情況，列車運(yùn)行情況，設(shè)備的工作狀態(tài)、能耗等現(xiàn)場的信息，數(shù)據(jù)中心通過對(duì)這些數(shù)據(jù)進(jìn)行采集和處理，將其反映到線網(wǎng)指揮中心，供指揮中心了解整個(gè)線網(wǎng)的運(yùn)行情況，為列車調(diào)度、設(shè)備運(yùn)維、突發(fā)事件處理等運(yùn)營決策提供數(shù)據(jù)支撐和服務(wù)。

大數(shù)據(jù)的計(jì)算模式主要分為批量計(jì)算（batch computing）、流式計(jì)算（stream computing）、交互計(jì)算（interactive computing）、圖計(jì)算（graph computing）等?；谇鄭u地鐵的線網(wǎng)數(shù)據(jù)中心建設(shè)主要應(yīng)用了批量計(jì)算和流式計(jì)算2種。流式計(jì)算和批量計(jì)算是2種主要的大數(shù)據(jù)計(jì)算模式，分別適用于不同的大數(shù)據(jù)應(yīng)用場景。對(duì)于處理實(shí)時(shí)性要求嚴(yán)格的線網(wǎng)實(shí)時(shí)數(shù)據(jù)，流式計(jì)算具有明顯的優(yōu)勢。對(duì)于先存儲(chǔ)后計(jì)算、實(shí)時(shí)性要求不高并且數(shù)據(jù)比較全面的線網(wǎng)離線數(shù)據(jù)，批量計(jì)算更適合。

在流式計(jì)算中，數(shù)據(jù)往往是最近時(shí)間段的增量數(shù)據(jù)，如實(shí)時(shí)客流數(shù)據(jù)、行車數(shù)據(jù)及綜合監(jiān)控?cái)?shù)據(jù)等，數(shù)據(jù)的延時(shí)往往較短，實(shí)時(shí)性較強(qiáng)，但數(shù)據(jù)的信息量相對(duì)較少，只局限于該時(shí)間段內(nèi)的數(shù)據(jù)信息，不具有全量信息的特征。

從數(shù)據(jù)來源方面來講，其與批量計(jì)算相比一個(gè)明顯的區(qū)別是其數(shù)據(jù)通常來源于“數(shù)據(jù)預(yù)處理服務(wù)”的實(shí)時(shí)供給（如Kafka），而不像批量計(jì)算那樣從數(shù)據(jù)存儲(chǔ)中獲取已存儲(chǔ)的數(shù)據(jù)。

線網(wǎng)數(shù)據(jù)中心從技術(shù)路線的統(tǒng)一性角度以及功能要求等角度出發(fā)，選用了Spark作為分布式計(jì)算的框架，選擇Spark Streaming技術(shù)作為流式計(jì)算的基礎(chǔ)框架。

2.1 邏輯架構(gòu)

實(shí)時(shí)數(shù)據(jù)處理架構(gòu)圖如圖1所示。

系統(tǒng)的邏輯架構(gòu)主要描述實(shí)時(shí)數(shù)據(jù)處理模塊建設(shè)的關(guān)鍵主體。根據(jù)實(shí)時(shí)數(shù)據(jù)處理業(yè)務(wù)的相關(guān)主體類別，將系統(tǒng)的邏輯架構(gòu)分為數(shù)據(jù)源層、數(shù)據(jù)采集層和分析層3個(gè)層次。

數(shù)據(jù)源層定義了實(shí)時(shí)數(shù)據(jù)的數(shù)據(jù)來源、數(shù)據(jù)格式等。

采集層定義了數(shù)據(jù)采集的清洗規(guī)則、轉(zhuǎn)換規(guī)則、采集頻率、消息格式等。

分析層定義了數(shù)據(jù)加工算法、實(shí)時(shí)指標(biāo)的存儲(chǔ)規(guī)則等。

2.2 處理機(jī)制

數(shù)據(jù)中心的數(shù)據(jù)采集層將采集到的實(shí)時(shí)數(shù)據(jù)通過Kafka消息的方式傳輸?shù)終afka消息隊(duì)列中，數(shù)據(jù)消費(fèi)者需要掃描Kafka MQ消息隊(duì)列，當(dāng)消息隊(duì)列中存在數(shù)據(jù)時(shí)，接收這些數(shù)據(jù)并對(duì)其進(jìn)行解析，根據(jù)業(yè)務(wù)要求輸出到Redis等內(nèi)存數(shù)據(jù)庫，供上層使用。

Kafka消費(fèi)者程序的數(shù)據(jù)處理流程有4步。1）對(duì)約定的消息隊(duì)列（Topic）進(jìn)行定時(shí)掃描。2）當(dāng)掃描到消息數(shù)據(jù)時(shí)，根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)協(xié)議完成數(shù)據(jù)解析。3）將解析后的數(shù)據(jù)根據(jù)應(yīng)用場景進(jìn)行加工處理，并將處理結(jié)果輸出到Redis內(nèi)存數(shù)據(jù)庫中。4）繼續(xù)步驟（1），進(jìn)行下一個(gè)消息隊(duì)列數(shù)據(jù)的掃描。

2.3 數(shù)據(jù)存儲(chǔ)

因傳統(tǒng)關(guān)系庫不能滿足實(shí)時(shí)系統(tǒng)快速響應(yīng)的要求，該系統(tǒng)選擇Redis作為實(shí)時(shí)數(shù)據(jù)加工、分析結(jié)果數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫。根據(jù)青島地鐵線網(wǎng)中心的業(yè)務(wù)需求，合理設(shè)計(jì)實(shí)時(shí)指標(biāo)的數(shù)據(jù)存儲(chǔ)方式、數(shù)據(jù)過期策略等，向上層應(yīng)用提供高速讀寫、穩(wěn)定運(yùn)行的數(shù)據(jù)服務(wù)。

3 離線數(shù)據(jù)處理

3.1 邏輯架構(gòu)

離線數(shù)據(jù)處理架構(gòu)如圖2所示。

3.2 數(shù)據(jù)清洗

配置工作流之前，首先要進(jìn)行數(shù)據(jù)清洗[4]，數(shù)據(jù)清洗的流程分解為以下3步。

3.2.1 數(shù)據(jù)清洗、去重、轉(zhuǎn)換

數(shù)據(jù)處理的數(shù)據(jù)源頭被稱為貼源層，貼源層數(shù)據(jù)是各數(shù)據(jù)源業(yè)務(wù)系統(tǒng)的未加處理的數(shù)據(jù)合集。在未經(jīng)處理之前，數(shù)據(jù)質(zhì)量無法保證，需根據(jù)業(yè)務(wù)規(guī)則進(jìn)行清洗，并去除重復(fù)的數(shù)據(jù)。各數(shù)據(jù)源業(yè)務(wù)系統(tǒng)通常由不同的供應(yīng)商提供，各業(yè)務(wù)主體之間，甚至同一業(yè)務(wù)主體之間，都可能存在不同的業(yè)務(wù)編碼，這樣就給線網(wǎng)生產(chǎn)數(shù)據(jù)的融合造成了巨大的麻煩。數(shù)據(jù)轉(zhuǎn)換的目的是為青島地鐵的各上層應(yīng)用提供一致的、規(guī)范的數(shù)據(jù)，對(duì)不同業(yè)務(wù)主體的業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)一的業(yè)務(wù)編碼，經(jīng)清洗、去重和轉(zhuǎn)換后，寫入基礎(chǔ)明細(xì)層。

3.2.2 加工、分析

加工、分析是數(shù)據(jù)處理的核心，只有經(jīng)過加工、分析，原始數(shù)據(jù)才能轉(zhuǎn)化為有效數(shù)據(jù)，成為有用的信息。

3.2.3 數(shù)據(jù)同步

把加工、分析結(jié)果同步到應(yīng)用服務(wù)器，給上層應(yīng)用提供數(shù)據(jù)服務(wù)。

3.3 配置工作流

工作流是對(duì)工作流程及其各操作步驟之間的業(yè)務(wù)規(guī)則的抽象、概括描述，是將工作流程中的工作，如何前后組織在一起的邏輯和規(guī)則[5]。由工作流的定義可以看出，工作流編制的重點(diǎn)是弄清楚工作的前后邏輯，為了弄清楚組織邏輯，可以按以下4個(gè)步驟進(jìn)行。

3.3.1 業(yè)務(wù)梳理

如果把數(shù)據(jù)加工、分析的結(jié)果稱做指標(biāo)，那么就可以區(qū)分出哪些指標(biāo)是由基礎(chǔ)明細(xì)數(shù)據(jù)生成的，該類指標(biāo)可稱為基礎(chǔ)指標(biāo)。而對(duì)于由基礎(chǔ)指標(biāo)生成的新指標(biāo)，可稱為衍生指標(biāo)。

3.3.2 依賴梳理

在梳理好業(yè)務(wù)，把加工指標(biāo)區(qū)分為基礎(chǔ)指標(biāo)、衍生指標(biāo)后，畫出指標(biāo)的依賴關(guān)系圖，如圖3所示。

根據(jù)依賴關(guān)系圖，我們可以定義工作流的Step1、Step2、Step3...StepN。

3.3.3 工作流粒度劃分

工作流粒度劃分可以分為縱向粒度劃分和橫向粒度劃分2種?？v向粒度劃分參照數(shù)據(jù)的依賴關(guān)系即可，如果所有工作流都按縱向劃分去設(shè)置，則存在數(shù)量大、配置麻煩、集群資源利用率不高等問題，而Oozie任務(wù)調(diào)度平臺(tái)既支持縱向依賴配置，也支持橫向并行配置。橫向粒度劃分在滿足縱向依賴的前提下，要考慮工作流的整體執(zhí)行時(shí)長，不能因?yàn)槠渲幸粋€(gè)任務(wù)的執(zhí)行時(shí)間過長，導(dǎo)致所有工作流執(zhí)行時(shí)間變長，因此選擇依賴相同、執(zhí)行時(shí)長相似的任務(wù)是工作流橫向劃分的依據(jù)。

3.3.4 依賴條件檢查

在工作流的編制中，除了需要重點(diǎn)關(guān)注數(shù)據(jù)加工、分析的依賴關(guān)系外，還需要注意數(shù)據(jù)是否具備數(shù)據(jù)加工、分析的依賴條件，歷史數(shù)據(jù)的采集是按T+1（昨天）方式，按天增量采集，指標(biāo)的加工、分析同樣是按照按天增量的方式加工、分析，在采集數(shù)據(jù)的過程中，存在很多不可控因素，導(dǎo)致數(shù)據(jù)不能按時(shí)采集到位，為了保證數(shù)據(jù)的正確性、完整性，在每個(gè)工作流開始執(zhí)行之前，必須進(jìn)行數(shù)據(jù)是否滿足依賴條件的檢查。

3.4 任務(wù)調(diào)度

在編制好數(shù)據(jù)加工、分析的工作流后，為了滿足數(shù)據(jù)中心7×24 h穩(wěn)定運(yùn)行的要求，需要按時(shí)對(duì)編制好的工作流任務(wù)進(jìn)行調(diào)度。

3.5 數(shù)據(jù)存儲(chǔ)

Hive是基于Hadoop的數(shù)據(jù)倉庫工具，青島地鐵數(shù)據(jù)中心采用Hive作為數(shù)據(jù)倉庫，DB2作為集市層數(shù)據(jù)存儲(chǔ)媒介，為上層應(yīng)用提供數(shù)據(jù)服務(wù)。按照業(yè)內(nèi)廣泛采用的分層設(shè)計(jì)方式，核心區(qū)域劃分為基礎(chǔ)明細(xì)層、匯總層和集市層[6]。其在整個(gè)青島地鐵數(shù)據(jù)中心數(shù)據(jù)架構(gòu)中處于數(shù)據(jù)服務(wù)層。分層設(shè)計(jì)的示意圖如圖4所示。

3.5.1 數(shù)據(jù)源層

數(shù)據(jù)源層定義了離線數(shù)據(jù)的數(shù)據(jù)來源和數(shù)據(jù)格式。

3.5.2 貼源層

貼源層實(shí)現(xiàn)了從采集到的文件數(shù)據(jù)到Hive表的關(guān)系映射，為基礎(chǔ)明細(xì)層數(shù)據(jù)的加工做好準(zhǔn)備。

數(shù)據(jù)中心通過源系統(tǒng)的數(shù)據(jù)傳輸接口獲取源數(shù)據(jù)，根據(jù)不同的傳輸周期完成數(shù)據(jù)加載，加載方式包括實(shí)時(shí)加載、準(zhǔn)實(shí)時(shí)加載和定時(shí)加載3種。為了保證數(shù)據(jù)能夠在短時(shí)間內(nèi)完成數(shù)據(jù)入庫，同時(shí)降低對(duì)前端應(yīng)用訪問數(shù)據(jù)倉庫數(shù)據(jù)的影響，在數(shù)據(jù)倉庫內(nèi)設(shè)置了臨時(shí)數(shù)據(jù)區(qū)，即貼源層。在此基礎(chǔ)上，完成數(shù)據(jù)從貼源層到基礎(chǔ)明細(xì)層的數(shù)據(jù)轉(zhuǎn)換工作。

貼源層主要用于保存ACC、ATS和綜合監(jiān)控等源系統(tǒng)的接口數(shù)據(jù)，尚未對(duì)數(shù)據(jù)進(jìn)行加工和轉(zhuǎn)換，是基礎(chǔ)明細(xì)層的數(shù)據(jù)來源。與源系統(tǒng)不同的是，貼源層中包含了從不同線路、多個(gè)源系統(tǒng)中加載進(jìn)來的接口數(shù)據(jù)，是源系統(tǒng)的未加處理的數(shù)據(jù)合集，實(shí)現(xiàn)了源系統(tǒng)數(shù)據(jù)的融合和可跨系統(tǒng)的查詢分析功能。

3.5.3 基礎(chǔ)明細(xì)層

基礎(chǔ)明細(xì)層是數(shù)據(jù)服務(wù)層中最重要的一個(gè)區(qū)域，其是按照地鐵數(shù)據(jù)標(biāo)準(zhǔn)的要求，對(duì)緩沖層數(shù)據(jù)進(jìn)行統(tǒng)一加工和整合，是存儲(chǔ)明細(xì)粒度的歷史數(shù)據(jù)區(qū)域，可以為青島地鐵各個(gè)業(yè)務(wù)部門的不同業(yè)務(wù)需求提供一致的、規(guī)范的數(shù)據(jù)。同時(shí)，基礎(chǔ)明細(xì)層數(shù)據(jù)可作為匯總層和集市層的數(shù)據(jù)源，并可以直接向高級(jí)數(shù)據(jù)分析人員開放，進(jìn)行深度地指標(biāo)查詢、統(tǒng)計(jì)分析和數(shù)據(jù)挖掘。

基礎(chǔ)明細(xì)層需要結(jié)合各線路ATS、綜合監(jiān)控和ACC等源系統(tǒng)的數(shù)據(jù)特征，切實(shí)考慮線網(wǎng)級(jí)城市軌道交通數(shù)據(jù)融合以及業(yè)務(wù)應(yīng)用場景和發(fā)展需要，根據(jù)城市軌道交通行業(yè)的經(jīng)驗(yàn)，開發(fā)具有先進(jìn)性、高可靠性、高可擴(kuò)展性和高效性的數(shù)據(jù)模型，有效融合和存儲(chǔ)城市軌道交通的業(yè)務(wù)信息資源，支撐數(shù)據(jù)中心目前和未來各種運(yùn)營管理和數(shù)據(jù)分析等應(yīng)用場景。

從設(shè)計(jì)上來看，基礎(chǔ)明細(xì)層是數(shù)據(jù)中心的核心，需要支撐數(shù)據(jù)中心所有業(yè)務(wù)主題的數(shù)據(jù)存儲(chǔ)，同時(shí)支持主題域、實(shí)體和數(shù)據(jù)模型的擴(kuò)展。城市軌道交通行業(yè)的數(shù)據(jù)模型是構(gòu)建數(shù)據(jù)基礎(chǔ)明細(xì)層的核心，其需要能夠全面覆蓋交通行業(yè)的數(shù)據(jù)內(nèi)容，有效支撐城市軌道交通行業(yè)的分析業(yè)務(wù)場景，滿足數(shù)據(jù)中心長期的業(yè)務(wù)發(fā)展需求，因此，基礎(chǔ)明細(xì)層數(shù)據(jù)模型要具有良好的開放性、可擴(kuò)展性、易操作性。

從實(shí)現(xiàn)上來看，基礎(chǔ)明細(xì)層的建設(shè)要集合城市軌道交通業(yè)務(wù)及行業(yè)經(jīng)驗(yàn)，物理表結(jié)構(gòu)設(shè)計(jì)參照交通行業(yè)的數(shù)據(jù)模型，考慮行業(yè)業(yè)務(wù)規(guī)則及擴(kuò)展性要求，嚴(yán)格遵循第三范式（3NF）[7]，減少數(shù)據(jù)冗余，提高訪問效率。

3.5.4 匯總層

匯總層是從城市軌道交通業(yè)務(wù)需求的視角出發(fā)，提煉出對(duì)數(shù)據(jù)處理具有共性的數(shù)據(jù)訪問和統(tǒng)計(jì)分析的需求，從而構(gòu)建出的一個(gè)面向上層應(yīng)用、提供共性數(shù)據(jù)訪問服務(wù)的公共數(shù)據(jù)。其數(shù)據(jù)流向是從基礎(chǔ)明細(xì)層抽取數(shù)據(jù)，經(jīng)過有針對(duì)性的匯總加工后，滿足上層業(yè)務(wù)的數(shù)據(jù)需求。

3.5.5 集市層

集市層是利用匯總層的公共數(shù)據(jù)，根據(jù)上層應(yīng)用的需求，組合形成面向不同主題域的集市層。向上層應(yīng)用提供有針對(duì)性的數(shù)據(jù)服務(wù)。集市層是從數(shù)據(jù)倉庫中抽取出來的為某類特定業(yè)務(wù)系統(tǒng)服務(wù)的數(shù)據(jù)集合，是數(shù)據(jù)倉庫與應(yīng)用層之間的接口。

數(shù)據(jù)中心的集市層中主要包括面向生產(chǎn)管理的指標(biāo)統(tǒng)計(jì)分析、運(yùn)營評(píng)估、運(yùn)營信息報(bào)送及發(fā)布、地理信息展示與應(yīng)急指揮系統(tǒng)的集市層。從數(shù)據(jù)聚合的粒度考慮，數(shù)據(jù)中心的集市層是根據(jù)業(yè)務(wù)需要，而匯總的重度匯總數(shù)據(jù)，并根據(jù)具體需要實(shí)現(xiàn)在多個(gè)維度和多粒度層次上的匯總。集市層中的數(shù)據(jù)模型根據(jù)上層應(yīng)用的需求特點(diǎn)，適當(dāng)考慮增加數(shù)據(jù)冗余設(shè)計(jì)，以提高數(shù)據(jù)分析查詢的效率。

4 結(jié)語

隨著大數(shù)據(jù)技術(shù)的普及，未來線網(wǎng)中心的建設(shè)越來越有取代傳統(tǒng)數(shù)據(jù)倉庫的趨勢，青島地鐵作為國內(nèi)首個(gè)基于大數(shù)據(jù)技術(shù)搭建線網(wǎng)中心的地鐵公司，在大數(shù)據(jù)技術(shù)應(yīng)用的基礎(chǔ)上，實(shí)現(xiàn)了實(shí)時(shí)數(shù)據(jù)處理及離線數(shù)據(jù)處理流程，為未來城市軌道交通行業(yè)的相關(guān)應(yīng)用提供技術(shù)路線和指導(dǎo)幫助。

參考文獻(xiàn)

[1]羅情平，左旭濤，舒軍.青島地鐵線網(wǎng)管理與指揮中心系統(tǒng)的需求分析[J].城市軌道交通研究，2017，20（12）：5-9.

[2]石述紅.信息時(shí)代的數(shù)據(jù)中心[J].數(shù)字通信世界，2018（11）：136.

[3]郭建偉，杜麗萍，李瑛，等.Hadoop平臺(tái)的分布式數(shù)據(jù)平臺(tái)系統(tǒng)研究[J].中國科技信息，2013（10）：97-98.

[4]Megan Squire.干凈的數(shù)據(jù)：數(shù)據(jù)清洗入門與實(shí)踐[M].北京：人民郵電出版社，2016.

[5]趙文，胡文蕙，張世琨，等.工作流元模型的研究與應(yīng)用[J].軟件學(xué)報(bào)，2003，14（6）：1052-1059.

[6]馮曉云，陸建峰.基于Hive的分布式K_means算法設(shè)計(jì)與研究[J].計(jì)算機(jī)光盤軟件與應(yīng)用，2013（21）：62-64.

[7]蘇選良.管理信息系統(tǒng)[M].北京：電子工業(yè)出版社，2003.