吳 珺，鄒承明

(1.湖北工業(yè)大學 計算機學院，湖北 武漢 430068；2.武漢理工大學 交通物聯(lián)網(wǎng)湖北省重點實驗室，湖北 武漢 430070)

?

基于內存計算的數(shù)據(jù)預測分析研究

吳 珺1,2，鄒承明2

(1.湖北工業(yè)大學 計算機學院，湖北 武漢 430068；2.武漢理工大學 交通物聯(lián)網(wǎng)湖北省重點實驗室，湖北 武漢 430070)

針對大數(shù)據(jù)的實時、高效數(shù)據(jù)挖掘方法進行研究。首先分析了內存計算及流式分析模式；其次討論了基于內存計算的大數(shù)據(jù)主要特性；最后通過以上相關研究為基礎，提出了基于內存計算的預測分析模型及相關算法。通過實驗應用分析驗證了所提出的基于內存計算的預測分析方法的可行性，實現(xiàn)了大數(shù)據(jù)的數(shù)據(jù)分析的實時性和高效性。

智慧城市；智慧交通；大數(shù)據(jù)；預測分析；內存計算

目前世界已經轉移到以數(shù)據(jù)為中心的范式上，即“大數(shù)據(jù)”時代，在這一時代，數(shù)以億計的計算機和智能移動設備正在持續(xù)不斷地創(chuàng)造出數(shù)量驚人的數(shù)據(jù)，這些數(shù)據(jù)既包括人類自身的，也包括道路、環(huán)境、建筑等其他各種事物的。如此之大的變化，以至于過去十年中所使用過的數(shù)據(jù)挖掘方法已經沒有能力迎接這些新的挑戰(zhàn)了。因此需要盡快研發(fā)出針對大數(shù)據(jù)的實時、高效數(shù)據(jù)挖掘方法。

在一個數(shù)字化的城市交通體里，智慧城市為人們提供安全便捷的交通環(huán)境及海量動態(tài)的環(huán)境數(shù)據(jù)；同時智慧城市作為一個每時每刻不斷產生大數(shù)據(jù)的系統(tǒng)也需要實時、準確地分析幾十億數(shù)據(jù)。雖然通過傳統(tǒng)的數(shù)據(jù)分析方式可以獲得一些有效信息，但是隨著物聯(lián)網(wǎng)的不斷發(fā)展，智慧城市用戶的應用環(huán)境越來越復雜，數(shù)據(jù)變得越來越龐大，智慧城市大數(shù)據(jù)不能完全實時、高效地被利用，從而無法獲得更全面真實的信息[1]。因此如何充分挖掘大數(shù)據(jù)給社會帶來更大的價值，正成為目前大數(shù)據(jù)及數(shù)據(jù)挖掘領域面臨的一個新的挑戰(zhàn)和機遇。筆者針對智慧城市交通流大數(shù)據(jù)進行特性分析和相關數(shù)據(jù)分析方法的研究，提出一種基于內存計算的智慧交通流預測方法，以滿足大數(shù)據(jù)實時、高效計算分析的需求。

1 智慧交通大數(shù)據(jù)

多源交通數(shù)據(jù)的處理是大數(shù)據(jù)在智能交通領域的應用基礎。通過多源數(shù)據(jù)融合技術，能形成更加豐富的交通信息，在一定準則下進行自動分析，能有效完成所需的交通決策和評估。城市智能交通監(jiān)控信息主要是針對交通大數(shù)據(jù)進行融合處理的研究，目前在一些發(fā)達國家如美國、日本、歐盟等已經取得了深入的進展，其在智能交通的研究和項目實施過程中，對于交通流信息采集、分析及融合處理、發(fā)布系統(tǒng)等越來越重視。一方面大量采用先進的磁感線圈檢測、GPS探測車檢測、雷達檢測、微波檢測、激光檢測、視頻檢測等技術，提高所采集信息的質量及精度，豐富信息采集手段及信息來源；另一方面更加強調各個信息采集子系統(tǒng)的協(xié)同工作及多源信息之間的融合。另外，在信息處理方面大力推廣當前數(shù)字信號處理、圖像處理、視頻處理、語音處理、數(shù)據(jù)挖掘、人工智能等領域的前沿成果，充分實現(xiàn)信息的深度發(fā)掘、集成和應用，提高交通指揮、管理和服務的信息化水平，使交通系統(tǒng)的信息采集、處理與發(fā)布能力提升到新的層次[2]。在21世紀的信息化進程中，大數(shù)據(jù)技術的推廣和應用為智慧交通的發(fā)展提供了良好的技術平臺，如圖1所示為智慧交通大數(shù)據(jù)的數(shù)據(jù)價值與執(zhí)行時間之間的反比關系。

圖1 數(shù)據(jù)價值與執(zhí)行時間的關系圖

2 內存計算

內存計算是指數(shù)據(jù)放在內存中直接操作。相對于磁盤，內存的數(shù)據(jù)讀寫速度要高出幾個數(shù)量級；將數(shù)據(jù)保存在內存中直接讀取，相對于傳統(tǒng)的從磁盤上訪問，可以極大地提高應用的性能[3]。內存計算，一方面可以在突發(fā)高數(shù)據(jù)流速的情況下，保證不丟棄數(shù)據(jù)，或者識別并選擇性地丟棄部分不重要的數(shù)據(jù)；另一方面可以在低數(shù)據(jù)速率的情況下，保證不會太久或過多地占用系統(tǒng)資源。內存計算的大數(shù)據(jù)呈現(xiàn)出以下3種數(shù)據(jù)特征[4-7]：①實時性，即大部分數(shù)據(jù)到來后直接在內存中進行計算并丟棄,只有少量數(shù)據(jù)被長久保存到硬盤中，但是對于具有高潛在價值數(shù)據(jù)做出實時決策進入內存計算范圍，實施優(yōu)先計算。②并行性，即要求內存計算的平臺應該具有一定的容錯能力，盡可能全面、準確地從數(shù)據(jù)流中得出有價值的信息。③動態(tài)性，由于海量大數(shù)據(jù)在前一時刻數(shù)據(jù)速率和后一時刻數(shù)據(jù)速率可能會有巨大的差異，內存計算具有很好的可伸縮性能夠動態(tài)適應不確定流入的數(shù)據(jù)流，并且具有很強的系統(tǒng)計算能力和大數(shù)據(jù)流量動態(tài)匹配能力。

在大數(shù)據(jù)時代，將內存計算思想應用到不同領域的各界人士紛紛表示：通過內存計算可以實現(xiàn)許多以前無法進行的大數(shù)據(jù)應用分析及實踐。在當今日新月異的商業(yè)環(huán)境中，內存計算這一實時、高效的數(shù)據(jù)處理性能的提升對廣大用戶具有很大的吸引力。在大數(shù)據(jù)時代，內存計算技術不僅可以應用于商業(yè)領域，還可以改變人們的生活，如國家的人口政策、臨床醫(yī)學的科研，乃至民生工程中，都要牽扯到復雜計算和數(shù)據(jù)挖掘，而內存計算技術可以為這些行業(yè)和事業(yè)做出更大的貢獻。內存計算能夠使得數(shù)據(jù)計算的速度呈幾何級增長，帶來了充滿想象的應用，如圖2所示為基于內存計算的大數(shù)據(jù)應用框圖。

圖2 大數(shù)據(jù)相關技術趨勢及應用結構框圖

3 基于內存計算的預測分析模型

在基于內存計算的大數(shù)據(jù)環(huán)境中，數(shù)據(jù)流往往是到達后立即被計算、使用并丟棄，只有極少數(shù)數(shù)據(jù)被持久保存下來。數(shù)據(jù)的使用是一次性的、易失的，即使重放，得到的數(shù)據(jù)流也與之前的數(shù)據(jù)流往往不同。因此這就需要系統(tǒng)具備一定的容錯能力，要充分地利用好僅有的一次數(shù)據(jù)計算機會，盡可能全面、準確、有效地從數(shù)據(jù)流中得出有價值的信息[8-9]。一方面，由于各個數(shù)據(jù)源之間是相互獨立的，所處的時空環(huán)境不盡相同；另一方面，即使是同一個數(shù)據(jù)流，也會隨著時間和環(huán)境動態(tài)變化。這就需要系統(tǒng)在數(shù)據(jù)計算過程中具有很好的數(shù)據(jù)分析和發(fā)現(xiàn)規(guī)律的能力，不能過多地依賴數(shù)據(jù)流間的內在邏輯或者數(shù)據(jù)流內部的內在邏輯。

針對具有實時性、并行性和動態(tài)性的基于內存計算的大數(shù)據(jù)，建立相關層次分析模型。因此理想的基于內存計算的大數(shù)據(jù)的環(huán)境系統(tǒng)應表現(xiàn)出低延遲、高吞吐、持續(xù)穩(wěn)定運行和彈性可伸縮等特性，這離不開系統(tǒng)架構、數(shù)據(jù)傳輸、編程接口、高可用技術等關鍵技術的合理規(guī)劃和良好設計[10]。如圖3所示為基于內存計算的預測分析模型。

圖3 基于內存計算的預測分析模型

4 實驗分析

4.1 實驗環(huán)境及數(shù)據(jù)

實驗環(huán)境為：高性能服務器Xeon E5-2609×2，內存為16 GB，硬盤容量為1TB×3；操作系統(tǒng)為Windows sever2008。實驗數(shù)據(jù)集是來自武漢市智慧城市交通平臺，如表1所示。

4.2 實驗結果與分析

將實驗數(shù)據(jù)分別進行一般的回歸預測[11-14]和筆者所提出的基于內存計算的預測分析方法實驗，再對兩種方法進行結果分析與比較，對比情況如表2所示。可以看出基于內存計算的預測分析方法可以在較短的時間內完成多個不同交通流數(shù)據(jù)集上的預測分析工作。同時通過比較兩種方法的均方誤差MSE，可以得出基于內存計算的預測分析方法的預測準確率相較回歸預測方法要高。因此筆者提出的基于內存計算的預測分析方法具有一定的運行高效性和預測準確率。

表1 實驗數(shù)據(jù)集表

表2 實驗結果對比

5 結論

筆者針對智慧城市交通數(shù)據(jù)流的特性提出了一種基于內存計算的預測分析方法，以滿足大數(shù)據(jù)的實時、高效計算分析需求。通過分析內存計算及流式分析模式，提出了基于內存計算的交通流預測分析模型及相關預測算法。通過對比分析實驗結果，驗證了筆者提出的基于內存計算的交通流預測方法的可行性、穩(wěn)定性和準確性，實現(xiàn)了大數(shù)據(jù)的數(shù)據(jù)分析實時性和高效性。

[1] FRAMLING K, HOLMSTROOM J, LOUKKOLA J, et al. Sustainable PLM through intelligent products[J]. Engineering Applications of Artificial Intelligence,2013,26(2):789-799.

[2] 吳珺.隧聯(lián)網(wǎng)結構及智能監(jiān)控數(shù)據(jù)分析[D].武漢:武漢理工大學,2013.

[3] 何清.物聯(lián)網(wǎng)與數(shù)據(jù)挖掘云服務[J].智能系統(tǒng)學報,2012,7(3):1-5.

[4] 程學旗,靳小龍,王元卓,等.大數(shù)據(jù)系統(tǒng)和分析技術綜述[J].軟件學報,2014,25(9):1889-1908.

[5] 孫大為,張廣艷,鄭緯民.大數(shù)據(jù)流式計算:關鍵技術及系統(tǒng)實例[J].軟件學報,2014,25(4):839-862.

[6] 朱靖翔,張濱,樂嘉錦.基于內存計算的鋼鐵價格預測算法研究[J].計算機科學,2014,41(B11):432-435.

[7] 李明冬.基于內存計算的文本聚類算法的研究與實現(xiàn)[D].南京：東南大學,2015.

[8] 黃嵐,孫珂,陳曉竹,等.內存集群計算:交互式數(shù)據(jù)分析[J].華東師范大學學報,2014(5):216-227.

[9] 劉勇,雒江濤,鄧生雄.基于Hadoop的網(wǎng)絡分流和流特征計算[J].電信科學,2014,30(12):76-81.

[10] 劉小洋,伍民友.車聯(lián)網(wǎng):物聯(lián)網(wǎng)在城市交通網(wǎng)絡中的應用[J].計算機應用,2012,32(4):900-904.

[11] SCHANTZ R, LOYALL J, ATIGHETCHI M，et al. Packaging quality of service control behaviors for reuse[C]∥IEEE International Symposium on Object-oriented Real-time Distributed Computing.[S.l.]:IEEE，2002:375-385.

[12] GILES C L, LAWRENCE S, TSOI A C. Noisy time series prediction using recurrent neural networks and grammatical inference[J].Machine Learning,2001,44(1):161-184.

[13] HILDEBRAND M S,DAHL H H M, DAMIANO J A, et al. Recent advances in the molecular genetics of epilepsy[J]. Journal of Medical Genetics,2013,50(5):271-279.

[14] VIACHOS M, YU P S, CASTELLI V,et al. Structural periodic measures for time-series data[J].Data Mining and Knowledge Discovery,2006,12(1):1-28.

WU Jun:Lect.; School of Computer Science, Hubei University of Technology,Wuhan 430068,China.

Research on Data Prediction Analysis Based on In-memory Computing

WUJun,ZOUChengming

This paper focuses on data-mining in the real-time big data area. Firstly, it gives a brief introduction about in-memory computing and stream computing model. Secondly, it analyzes the main characteristics of big data. Finally, above all related research works as the foundation, it proposes the stream prediction model based on in-memory computing. The feasibility of the proposed method based on memory computation is verified by the experimental application,and it achieved real-time and high efficiency of the large data analysis .

smart city;intelligent transportation;big data; prediction analysis; in-memory computing

2095-3852(2017)02-0236-03

A

2016-10-23.

吳珺 (1984-)，女，湖北武漢人，湖北工業(yè)大學計算機學院講師，主要研究方向為物聯(lián)網(wǎng)技術、智能方法及應用、數(shù)據(jù)挖掘.

湖北省自然科學基金項目(2014CFB590)；交通物聯(lián)網(wǎng)湖北省重點實驗室開放基金項目(2015Ⅲ015-A03).

TP18

10.3963/j.issn.2095-3852.2017.02.024