梁山清，李恩寧，葛紅志，王曉玲

(中電科衛(wèi)星導航運營服務有限公司，河北 石家莊 050000)

0 引言

作為世界上最大的互聯(lián)網(wǎng)市場，我國的大數(shù)據(jù)發(fā)展日異月新。2018年召開的全國網(wǎng)絡安全和信息化工作會議，對包括大數(shù)據(jù)產(chǎn)業(yè)在內的信息化發(fā)展戰(zhàn)略進行了全面部署，舉國上下致力于構建以數(shù)據(jù)為關鍵要素的數(shù)字經(jīng)濟。在智慧交通領域，大數(shù)據(jù)技術可以改變貨運車輛 “信息孤島”現(xiàn)象嚴重、缺乏合作交流平臺等難題?；仡櫲珖秶鷥冉甑南嚓P研究工作可以發(fā)現(xiàn)，伴隨著“互聯(lián)網(wǎng)+物流”的快速發(fā)展，相關部門和貨運企業(yè)正在快速推進傳統(tǒng)業(yè)務模式向數(shù)字化、網(wǎng)絡化和智能化轉型，加速行業(yè)的服務升級[1-3]。但是，在基于貨運車輛位置大數(shù)據(jù)的潛在價值挖掘方面，仍然存在巨大的探索空間。

百萬級綜合車輛位置服務平臺結合北斗/GPS衛(wèi)星導航定位技術[4-5]、無線通信技術，借助強大的數(shù)據(jù)存儲、融合和分析能力，對各類交通車輛提供綜合位置監(jiān)控管理服務。其中，貨運車輛數(shù)據(jù)是平臺上的主要業(yè)務數(shù)據(jù)之一。

本文在本地服務器上搭建開源大數(shù)據(jù)平臺，將綜合車輛位置服務平臺的貨運車輛數(shù)據(jù)遷移到Hadoop分布式文件系統(tǒng)。然后，運用大數(shù)據(jù)分析與挖掘算法，對貨運車輛數(shù)據(jù)進行了大數(shù)據(jù)應用研究，對基于時空特征的K-means聚類算法以及基于專家系統(tǒng)和協(xié)同過濾算法的貨車未來活動區(qū)域預測方法進行設計和應用。

1 基于Hadoop2.x的大數(shù)據(jù)平臺

本文采用Hadoop2.x技術體系[6]進行大數(shù)據(jù)平臺的架構設計[7-9]。貨運車輛大數(shù)據(jù)系統(tǒng)的架構如圖1所示。

圖1 貨運車輛大數(shù)據(jù)系統(tǒng)架構

由圖1可以看出，貨運車輛大數(shù)據(jù)系統(tǒng)包括數(shù)據(jù)源、數(shù)據(jù)采集與存儲層、大數(shù)據(jù)分析與挖掘層、數(shù)據(jù)展示層和大數(shù)據(jù)管理層共5部分。其中，數(shù)據(jù)源為存在于關系數(shù)據(jù)庫PostgresSQL中的貨運車輛數(shù)據(jù)；數(shù)據(jù)采集與存儲層將數(shù)據(jù)源的數(shù)據(jù)遷移并存儲于分布式文件系統(tǒng)HDFS中；數(shù)據(jù)分析與挖掘層基于YARN計算架構，協(xié)同Mahout，Avro，Ooize和Solr等組件，對貨運車輛數(shù)據(jù)進行分析和挖掘；數(shù)據(jù)展示層對大數(shù)據(jù)分析結果進行圖形化展現(xiàn)；大數(shù)據(jù)管理層負責整個系統(tǒng)的應用程序協(xié)調、數(shù)據(jù)安全管理和系統(tǒng)運行動態(tài)監(jiān)控等任務。貨運車輛大數(shù)據(jù)系統(tǒng)中各組件的功能如下：

① Sqoop：在結構化數(shù)據(jù)存儲和HDFS之間高效批量傳輸數(shù)據(jù)，進行數(shù)據(jù)同步；

② HDFS：分布式文件系統(tǒng)；

③ Hive：建立在Hadoop基礎上的開源數(shù)據(jù)倉庫，提供基本數(shù)據(jù)分析服務；

④ YARN：資源管理系統(tǒng)，可以為各類應用程序進行資源管理和調度；

⑤ MapReduce：快速并行處理大量數(shù)據(jù)，是一種分布式數(shù)據(jù)處理模式和執(zhí)行環(huán)境；

⑥ Avro：序列化系統(tǒng)，支持高效、跨語言的RPC和持久化數(shù)據(jù)存儲；

⑦ Oozie：任務調度框架，提供對Hadoop MapReduce和Pig Jobs的任務調度與協(xié)調；

⑧ Solr：獨立的企業(yè)級搜索應用服務器，對外提供類似于Web-service的API接口；

⑨ Mahout：數(shù)據(jù)挖掘工具庫；

⑩ DataV：一站式數(shù)據(jù)可視化應用搭建工具,可實現(xiàn)可視化圖表制作、數(shù)據(jù)連接配置和一鍵部署發(fā)布；

1.1 數(shù)據(jù)采集與存儲

本文運用Sqoop組件將貨運車輛數(shù)據(jù)從PostgreSQL數(shù)據(jù)庫遷移到Hive數(shù)據(jù)庫，并存儲于HDFS分布式文件系統(tǒng)[10]。貨運車輛數(shù)據(jù)信息如表1所示。

表1 貨運車輛數(shù)據(jù)信息

Tab.1 Data information of trucks

車輛基礎業(yè)務信息行業(yè)信息行業(yè)名稱、行業(yè)描述企業(yè)信息企業(yè)編碼、企業(yè)名稱、企業(yè)地址、企業(yè)聯(lián)系人、聯(lián)系人電話和聯(lián)系人郵件機構信息機構名稱、聯(lián)系人、聯(lián)系人電話、辦公地址和員工數(shù)據(jù)分組信息分組名稱、包含用戶數(shù)、車輛數(shù)和回傳時間間隔車輛信息車牌基本信息、車輛詳細信息和車機設備信息司機信息司機名稱、身份證號、駕駛證號和手機號碼人員信息人員名稱、身份證號、人員類型和手機號碼SIM信息SIM卡號、SIM類型和SIM卡關聯(lián)車輛用戶信息用戶基本信息、用戶權限信息角色信息功能權限角色信息、車輛權限角色信息入網(wǎng)信息入網(wǎng)車牌號、入網(wǎng)操作類型指令信息指令代碼、指令名稱、指令參數(shù)、指令級別、指令描述和指令操作密碼日志信息系統(tǒng)操作日志信息、用戶登錄日志信息元數(shù)據(jù)信息性別、車輛顏色、車輛類型、車輛品牌、燃油類別、用戶類型、圍欄類型、呼叫類型、人員類型、日志類型和操作類型車輛軌跡狀態(tài)信息軌跡信息經(jīng)緯度、地址、時間、速度、方向、高程和油量等狀態(tài)信息車輛狀態(tài)信息、報警狀態(tài)信息和車機狀態(tài)信息等

1.2 數(shù)據(jù)分析與挖掘

數(shù)據(jù)分析與挖掘層采用MapReduce編程模型、Mahout組件[11-12]進行數(shù)據(jù)的并行化計算，主要包含數(shù)據(jù)預處理與數(shù)據(jù)分析挖掘2部分。

數(shù)據(jù)預處理[13]部分對車輛監(jiān)控平臺原始數(shù)據(jù)的清洗、集成、轉換和規(guī)約。

數(shù)據(jù)分析與挖掘[14-15]部分對海量數(shù)據(jù)分析處理。其中，聚類算法[16-18]用于按相似性特征對數(shù)據(jù)進行分組；分類算法根據(jù)數(shù)據(jù)特征和事物分類訓練分類器，并根據(jù)分類模型判別新事物歸屬；關聯(lián)規(guī)則分析算法對海量數(shù)據(jù)中的頻繁項集進行挖掘；協(xié)同過濾算法[19]通過對用戶歷史行為數(shù)據(jù)的挖掘發(fā)現(xiàn)用戶的偏好，基于不同的偏好對用戶進行群組劃分并推薦品味相似的事物，Mahout組件中的協(xié)同過濾算法分為基于物品的推薦(Item-Based Collaborative Filtering)算法和基于用戶的推薦(User-Based CollaboratIve Filtering)算法；回歸分析算法用于挖掘數(shù)據(jù)倉庫中數(shù)據(jù)屬性值之間的依賴特性，預測事物發(fā)展趨勢。

1.3 數(shù)據(jù)可視化展示

數(shù)據(jù)展示層[20]將平臺分析的部分結果以直觀的形式進行展示。

本文運用Hive組件[21]，進行貨運車輛數(shù)據(jù)的統(tǒng)計分析任務設計與開發(fā)，主要進行了某月份車輛超速次數(shù)、某月份車輛TopN超速次數(shù)、某月份企業(yè)超速次數(shù)、某月份企業(yè)TopN超速次數(shù)、年度車輛ACC總時長、年度車輛超速次數(shù)、年度企業(yè)超速次數(shù)、企業(yè)車輛上線率分析、某月份企業(yè)報警總時長、某月份企業(yè)在線總時長和某月份車輛總里程等任務分析。

本文綜合運用DataV軟件的柱狀圖、餅狀圖、折線、雷達圖、地理分布圖和氣泡圖等多種圖表化元素對上述分析結果進行可視化展示。

2 大數(shù)據(jù)算法應用研究

2.1 基于時空特征的K-means聚類算法

2.1.1 數(shù)據(jù)預處理與軌跡劃分

由于衛(wèi)星定位終端設備故障、信號不良和冷啟動等原因，采集的北斗/GPS數(shù)據(jù)會存在一定的誤差。本文通過均值濾波、速度濾波和航向角檢測等方法來對數(shù)據(jù)進行預處理操作，剔除無效或者冗余的數(shù)據(jù)。然后基于時間間隔對軌跡進行劃分，并對軌跡進行了壓縮處理，降低后續(xù)軌跡處理過程的時間復雜度。

2.1.2 基于時空相似性的軌跡相似性刻畫

通過對平臺貨車速度進行大數(shù)據(jù)統(tǒng)計分析發(fā)現(xiàn)，貨車的平均車速比較接近，這與貨運車輛大多時間行駛在交通相對通暢的城際道路或者高速公路上這一事實相符。在進行軌跡相似性度量過程中，同時考慮軌跡所耗費時長的相似性和空間位置相似性，構建基于軌跡行駛時間差和軌跡距離差的軌跡相似性度量公式。軌跡L1={a1，a2，…,am}和軌跡L2={b1，b2，…,bn}之間的時空距離計算公式如下：

(1)

DF(L1,L2)min(maximax(a,b)∈Ai×BidistE(ai,bj))，

(2)

(3)

式中，T1，T2分別為軌跡L1和軌跡L2的從軌跡起點行駛到終點所耗費的小時數(shù)；Ls1，Ls2分別表示軌跡L1和軌跡L2的起始點和終點之間的直線距離；DF(L1,L2)為軌跡L1和軌跡L2的離散弗雷歇距離[22]；distE(ai,bj)為經(jīng)緯度點ai和bj之間的歐氏距離。

根據(jù)平臺貨車軌跡實際情況，本文取權重參數(shù)α=0.22，β=0.78。

2.1.3 聚類結果分析

根據(jù)以上距離，通過K-means聚類算法對大數(shù)據(jù)平臺上某月份的貨運車輛軌跡進行了處理，并對包含軌跡數(shù)量最多的10個軌跡類進行展示，軌跡聚類結果如表2所示。

表2 貨物運輸熱門線路聚類結果表

Tab.2 Clustering results of hot freight transport lines

線路排名線路名稱NO.1101國道—承德段NO.2102國道—唐山段NO.3106國道—滄州段NO.4110國道—張家口段NO.5112國道—保定梁各莊-龍泉莊段NO.6307國道—石家莊段NO.7省道洺李線—邯鄲段NO.8省道武館路—邢臺段NO.9省道251線—秦皇島段NO.10京昆高速—省內段

2.2 基于專家系統(tǒng)和協(xié)同過濾算法的貨車未來活動區(qū)域預測

2.2.1 預測步驟

步驟1：根據(jù)上節(jié)中的軌跡聚類處理結果，假設有n個軌跡類簇，對第i(i=1,2,…，n)個聚類類簇Ci取其所有軌跡點的經(jīng)緯度坐標均值分別作為該軌跡類簇中心點的經(jīng)緯度坐標，取所有軌跡起始點直線長度均值的1/2作為軌跡類簇的半徑。

步驟2：根據(jù)每個聚類類簇中軌跡的數(shù)量，對軌跡類簇進行活躍度評分，通過對大數(shù)據(jù)平臺軌跡數(shù)量分布情況的大量經(jīng)驗總結，采用專家系統(tǒng)法[23-24]對軌跡類簇的活躍度進行評分，具體評分規(guī)則為：

IFnum≥5 000，THENScore=5;

IFnum≥4 000 andnum<5 000，THEN

Score=4;

IFnum≥2 500 andnum<4 000，THEN

Score=3;

IFnum≥1 500 andnum<2 500，THEN

Score=2;

IFnum<1 500，THENScore=1。

其中，num為某軌跡類簇中軌跡的條數(shù)；Score為該軌跡類簇的活躍度評分。

步驟3：根據(jù)步驟2的評分，以某一輛車的最近一年的軌跡作為歷史數(shù)據(jù)，進行基于物品的協(xié)同過濾算法處理，計算出該車輛未來業(yè)務活動區(qū)域預測。

步驟4：根據(jù)步驟2的評分，以不同車輛的軌跡相似性為基礎，為某一車輛進行基于用戶的協(xié)同過濾算法處理，計算出該車輛未來業(yè)務活動區(qū)域預測。

步驟5：根據(jù)步驟3和步驟4的處理結果，計算預測結果的軌跡類簇的并集，對軌跡類簇按所包含的軌跡條數(shù)進行降序排序。

步驟6：選取軌跡條數(shù)最多的5個軌跡類簇，以軌跡聚類類簇的中心點和半徑，作為該車輛的未來軌跡活動區(qū)域預測結果。

2.2.2 預測結果分析

選取平臺上業(yè)務活躍的500輛貨運車輛一年的歷史軌跡數(shù)據(jù)進行軌跡預測分析，并以之后半年的軌跡數(shù)據(jù)作為預測結果比對標準。

經(jīng)驗證，該預測方法準確率達到60%以上，預測方法具備一定的可行性。

3 結束語

本文搭建了基于Hadoop2.x技術體系的大數(shù)據(jù)平臺，將存儲于百萬級綜合車輛位置服務平臺傳統(tǒng)數(shù)據(jù)庫的貨運車輛數(shù)據(jù)批量遷移到分布式文件系統(tǒng)，并進行了貨車數(shù)據(jù)的分析和挖掘；設計并實現(xiàn)了基于時空特征的K-means聚類算法，對貨運車輛熱門區(qū)域進行分析；將專家系統(tǒng)的思路和協(xié)同過濾算法進行融合，對貨車未來一段時間軌跡的范圍進行了預測，挖掘貨車的軌跡規(guī)律和業(yè)務發(fā)展特征。本文所做工作對于挖掘熱門運輸線路和分析貨運車輛行為特征具有一定的實用價值和借鑒意義。