◆王琪

淺談大數(shù)據(jù)時(shí)代實(shí)時(shí)流計(jì)算在石油企業(yè)中的應(yīng)用前景展望

◆王琪

（大慶油田有限責(zé)任公司第七采油廠數(shù)字化運(yùn)維中心 黑龍江 163000）

隨著數(shù)字化油田和企業(yè)信息化的發(fā)展，海量數(shù)據(jù)激增，現(xiàn)有的大數(shù)據(jù)處理方式不能滿足日益增長的生產(chǎn)、分析需求，面對無窮無盡的數(shù)據(jù)洪流，需要一種手段來抓住并思考那些一閃而逝的瞬間。

大數(shù)據(jù)；石油行業(yè)；實(shí)時(shí)流計(jì)算

隨著油田信息化的發(fā)展，數(shù)字油田迅速建立，大數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、流式計(jì)算等概念廣受關(guān)注。本文對目前各類實(shí)時(shí)流計(jì)算架構(gòu)進(jìn)行對比，找出適用于油田數(shù)字化建設(shè)的架構(gòu)，并分析其應(yīng)用前景，為油田數(shù)字化建設(shè)提供思路。

1 研究現(xiàn)狀

目前石油企業(yè)每天都產(chǎn)生海量生產(chǎn)數(shù)據(jù)、工作數(shù)據(jù)，不同用戶對數(shù)據(jù)的需求也顯著不同?，F(xiàn)階段針對不同需求進(jìn)行數(shù)據(jù)推薦，可能要十幾分鐘、一小時(shí)，甚至更久，這遠(yuǎn)遠(yuǎn)不能滿足需要更快完成對數(shù)據(jù)的處理，而不是進(jìn)行離線的批處理。而實(shí)時(shí)流計(jì)算技術(shù)能夠抓住數(shù)據(jù)流的瞬間，分析并挖掘出數(shù)據(jù)的實(shí)時(shí)價(jià)值。

1.1 實(shí)時(shí)流式計(jì)算的概念

實(shí)時(shí)流式計(jì)算，就是RealTime Streaming Analyse，也稱之為實(shí)時(shí)計(jì)算，或者是流式計(jì)算，可以理解為只要數(shù)據(jù)一直在產(chǎn)生，計(jì)算就持續(xù)地進(jìn)行。實(shí)時(shí)流式計(jì)算被廣泛應(yīng)用于各個(gè)領(lǐng)域，并在大數(shù)據(jù)領(lǐng)域有了長足發(fā)展。

實(shí)時(shí)流式計(jì)算作為一種新型計(jì)算方式，具有以下三個(gè)特點(diǎn)：

（1）無限數(shù)據(jù)。是指持續(xù)增長并且基本上無限的數(shù)據(jù)集。這些通常被稱為“流數(shù)據(jù)”，而與之相對的是有限的數(shù)據(jù)集。

（2）無界數(shù)據(jù)處理。是一種持續(xù)的數(shù)據(jù)處理模式，能夠通過處理引擎重復(fù)處理上面的無限數(shù)據(jù)，是能夠突破有限數(shù)據(jù)處理引擎瓶頸的。

（3）低延遲。并沒有明確地定義延遲是多少，但我們都知道數(shù)據(jù)的價(jià)值將隨著時(shí)間的流逝降低，時(shí)效性將是需要持續(xù)解決的問題。

1.2 實(shí)時(shí)流式計(jì)算的現(xiàn)狀與發(fā)展

目前在大數(shù)據(jù)應(yīng)用的各種熱門領(lǐng)域，比如推薦系統(tǒng)在實(shí)踐之初，受技術(shù)所限推薦時(shí)間較長，遠(yuǎn)遠(yuǎn)不能滿足需要。在進(jìn)行數(shù)據(jù)建模時(shí)，得到的會是一條條的數(shù)據(jù)，并隨著時(shí)間流逝不斷增長，需要進(jìn)行實(shí)時(shí)的數(shù)據(jù)分析，解決大數(shù)據(jù)量、災(zāi)備、時(shí)序、時(shí)間窗口、性能等問題[1]。

不同于批量計(jì)算，需等待數(shù)據(jù)計(jì)算結(jié)果完成后，批量將數(shù)據(jù)傳輸?shù)皆诰€系統(tǒng)；流式計(jì)算作業(yè)在每次小批量數(shù)據(jù)計(jì)算后可以立刻將數(shù)據(jù)寫入在線/批量系統(tǒng)，無需等待整體數(shù)據(jù)的計(jì)算結(jié)果，進(jìn)一步做到實(shí)時(shí)計(jì)算結(jié)果的實(shí)時(shí)化展現(xiàn)。

流計(jì)算是一種持續(xù)、低時(shí)延、事件觸發(fā)的計(jì)算作業(yè)。用戶使用流計(jì)算的順序是：提交流計(jì)算作業(yè)，等待流式數(shù)據(jù)觸發(fā)流計(jì)算作業(yè)，計(jì)算結(jié)果持續(xù)不斷對外寫出[2]。

指標(biāo)批量計(jì)算流式計(jì)算數(shù)據(jù)集成方式預(yù)先加載數(shù)據(jù)，實(shí)時(shí)加載數(shù)據(jù)，并且實(shí)時(shí)計(jì)算使用方式，業(yè)務(wù)邏輯可以修改，數(shù)據(jù)也可重新計(jì)算。但是業(yè)務(wù)邏輯一旦修改，之前的數(shù)據(jù)不可重新計(jì)算（流數(shù)據(jù)易逝性）。在大部分大數(shù)據(jù)處理場景下，受限于當(dāng)前流計(jì)算的整個(gè)計(jì)算模型較為簡單。流計(jì)算是批量計(jì)算的有效增強(qiáng)，特別在于對事件流處理時(shí)效性上，流計(jì)算對于大數(shù)據(jù)計(jì)算是一個(gè)不可或缺的增值服務(wù)。

流式計(jì)算正是蓬勃發(fā)展的時(shí)期。為了反映現(xiàn)實(shí)世界事件驅(qū)動的特性，為了對接消息隊(duì)列事件驅(qū)動的設(shè)計(jì)，還為了獲得更好的時(shí)延，越來越多的業(yè)務(wù)采用流式計(jì)算系統(tǒng)來處理它們的數(shù)據(jù)。在批流統(tǒng)一的理論指導(dǎo)下，可想而知，未來的計(jì)算是屬于流式計(jì)算的天下。

2 技術(shù)選擇

2.1 流式計(jì)算框架的技術(shù)選型

隨著這些年大數(shù)據(jù)的飛速發(fā)展，出現(xiàn)了不少流計(jì)算的框架、引擎。實(shí)時(shí)數(shù)據(jù)流計(jì)算主要是Storm和Spark以及Apache Flink。三大類數(shù)據(jù)的實(shí)時(shí)處理邏輯在全鏈路上保證了流式計(jì)算的低時(shí)延。

在過去幾年，業(yè)界的主流計(jì)算引擎大多采用Spark Streaming，隨著近兩年Flink的快速發(fā)展，F(xiàn)link的使用也越來越廣泛。

Spark Streaming是Spark最早推出的流處理組件，它基于流式批處理引擎，基本原理是將輸入數(shù)據(jù)按一定時(shí)間間隔進(jìn)行微批次批處理，隨著處理時(shí)間縮短至秒級，便可以用于實(shí)時(shí)數(shù)據(jù)流。它是以批處理引擎為基礎(chǔ)產(chǎn)生的，所以它的處理存在延時(shí)較大的問題，一般為秒級延遲[3]。

Storm提供了At Least Once消息保障機(jī)制。主要分為以下三種：第一個(gè)就是一次性最大值（At Most Once），但不能保證消息不丟失。第二個(gè)就是至少會收到一次（重復(fù)）信息（At Least Once）。第三個(gè)是只有一次（At Exactly Once），精準(zhǔn)傳輸。如果你采用了Storm的Low Level實(shí)現(xiàn)，根據(jù)業(yè)務(wù)場景，可能需要去處理重復(fù)消息。

Storm要先設(shè)計(jì)一個(gè)針對實(shí)時(shí)計(jì)算的拓?fù)?。拓?fù)鋵⒈惶峤坏郊褐校芍骺毓?jié)點(diǎn)分發(fā)代碼并將任務(wù)分配給工作節(jié)點(diǎn)執(zhí)行。一種拓?fù)浣Y(jié)構(gòu)包括兩種角色：分別是Spout角色和Bolt角色，前者在其中發(fā)送信息并負(fù)責(zé)以元組形式發(fā)送數(shù)據(jù)流。后者負(fù)責(zé)數(shù)據(jù)流的轉(zhuǎn)換，完成計(jì)算、過濾等。由Spout發(fā)出的Tuple是一個(gè)不可變數(shù)組，有固定的鍵值對相互對應(yīng)。

2014年12月，Apache Flink作為Apache的頂級項(xiàng)目誕生，歷經(jīng)數(shù)年發(fā)展，在這兩年逐漸出現(xiàn)在大眾面前。Apache Flink作為一個(gè)框架和分布式處理引擎，具有毫秒級的流處理引擎，可以對有界數(shù)據(jù)流和無界進(jìn)行狀態(tài)計(jì)算。Apache Flink是新的Stream計(jì)算引擎，用Java實(shí)現(xiàn)，既可以處理Stream Data也可以處理Batch Data，可以同時(shí)兼顧Spark以及Spark Streaming的功能。與Spark不同的是，Apache Flink本質(zhì)上只有Stream的概念，Batch被認(rèn)為是Special Stream。Apache Flink在運(yùn)行中主要由三個(gè)組件組成，JobClient，JobManager 和TaskManager。

Apache Flink是真正的流式計(jì)算，和Spark Streaming相反。Apache Flink把離散的數(shù)據(jù)，當(dāng)成流式數(shù)據(jù)來處理。Apache Flink是一個(gè)面向分布式數(shù)據(jù)流處理和批量數(shù)據(jù)處理的開源計(jì)算平臺，它能夠基于同一個(gè)Flink運(yùn)行時(shí)（Flink Runtime），提供支持流處理和批處理兩種類型應(yīng)用的功能。Apache Flink在實(shí)現(xiàn)流處理和批處理時(shí)，與傳統(tǒng)的一些方案完全不同，它從另一個(gè)視角看待流處理和批處理，將二者統(tǒng)一起來：Apache Flink完全支持流處理，也就是說作為流處理看待時(shí)輸入數(shù)據(jù)流是無界的；批處理被作為一種特殊的流處理，只是它的輸入數(shù)據(jù)流被定義為有界的。基于同一個(gè)Apache Flink運(yùn)行時(shí)（Flink Runtime），分別提供了流處理和批處理API，而這兩種API也是實(shí)現(xiàn)上層面向流處理、批處理類型應(yīng)用框架的基礎(chǔ)[4]。

Flink支持增量迭代，具有對迭代自動優(yōu)化的功能，在迭代式數(shù)據(jù)處理上，比Spark更突出，F(xiàn)link基于每個(gè)事件一行一行地流式處理，是真正的流式計(jì)算，其本質(zhì)與Storm性能差不多，支持毫秒級計(jì)算，而Spark則只能支持秒級計(jì)算?；谑托袠I(yè)的迅速發(fā)展，智慧油田的建設(shè)日新月異，F(xiàn)link顯然更適應(yīng)當(dāng)前油田發(fā)展的需要。

3 應(yīng)用前景展望

隨著智慧油田、智能油田的建設(shè)，實(shí)時(shí)數(shù)據(jù)流計(jì)算將更廣泛地應(yīng)用于以下場景。

3.1 日志分析

比如對網(wǎng)站的用戶訪問日志進(jìn)行實(shí)時(shí)的分析，計(jì)算訪問量、用戶畫像、頓率、延遲、丟包、存率等等，幫助企業(yè)進(jìn)行決策部署。

3.2 出行、生產(chǎn)監(jiān)控聯(lián)網(wǎng)

如今的油田聯(lián)網(wǎng)是已不限于物聯(lián)網(wǎng)，還包括對用戶、交通等進(jìn)行分析的一個(gè)龐大的系統(tǒng)，改善用戶出行，規(guī)劃路線巡檢，以及油田安保問題監(jiān)控。并針對監(jiān)測結(jié)果反饋實(shí)時(shí)分析，遠(yuǎn)程調(diào)控，實(shí)時(shí)跟蹤并顯示設(shè)備（比如汽車）的位置。

3.3 油田物聯(lián)網(wǎng)

比如對油水井采集系統(tǒng)進(jìn)行實(shí)時(shí)的數(shù)據(jù)檢測、報(bào)警、實(shí)時(shí)的顯示，或根據(jù)歷史數(shù)據(jù)進(jìn)行實(shí)時(shí)的分析、預(yù)測。設(shè)備故障報(bào)警：極快感知、識別到故障的發(fā)生，并及時(shí)發(fā)出警示通知。

3.4 實(shí)時(shí)數(shù)倉

實(shí)時(shí)數(shù)倉是在當(dāng)下流行的數(shù)倉、它綜合了Stream Analytics和Pipeline。它與傳統(tǒng)數(shù)倉最大的區(qū)別是，它能夠把前方的業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)進(jìn)行清洗、匯聚、加工，最后寫入實(shí)時(shí)服務(wù)這一層。實(shí)時(shí)數(shù)倉最核心的是把業(yè)務(wù)的整個(gè)鏈路進(jìn)行實(shí)時(shí)化了，這就極大滿足了一些需要實(shí)時(shí)看數(shù)據(jù)的業(yè)務(wù)需求。

3.5 在線培訓(xùn)行業(yè)應(yīng)用

由于近兩年疫情的關(guān)系，在線培訓(xùn)應(yīng)用廣泛，倒逼傳統(tǒng)教育向在線教育的轉(zhuǎn)型。在線教育行業(yè)面臨著很大的實(shí)時(shí)自動化的需求，對實(shí)時(shí)化有強(qiáng)烈的訴求，實(shí)時(shí)流計(jì)算在在線教育方面有著廣闊的應(yīng)用前景。

此外，還有更多的領(lǐng)域需要應(yīng)用到實(shí)時(shí)流計(jì)算。在這個(gè)過程中具體的業(yè)務(wù)，以及與技術(shù)結(jié)合能產(chǎn)生什么樣的價(jià)值，還需要不斷地探索。

4 結(jié)論與認(rèn)識

隨著大數(shù)據(jù)時(shí)代的到來，在油田開發(fā)的過程中，油田數(shù)字化建設(shè)不斷深入，積累了大量數(shù)據(jù)資源，數(shù)據(jù)發(fā)展已經(jīng)到了變革時(shí)代，這迫使工作者們必須具備處理海量數(shù)據(jù)的能力。隨后，大數(shù)據(jù)技術(shù)日趨完善、逐漸發(fā)展的過程又進(jìn)一步促進(jìn)社會產(chǎn)生更多、更豐富的數(shù)據(jù)資源。同時(shí)，隨著數(shù)據(jù)實(shí)時(shí)價(jià)值日益提升，工業(yè)生產(chǎn)、企業(yè)發(fā)展對數(shù)據(jù)時(shí)效性要求也更加強(qiáng)烈，石油企業(yè)對實(shí)時(shí)數(shù)據(jù)的管理需求也日益迫切。實(shí)時(shí)流計(jì)算作為一種前沿的技術(shù)，能夠很大程度地支撐油田企業(yè)信息化、數(shù)字化的發(fā)展需求。

[1]陳杰.本地文件系統(tǒng)數(shù)據(jù)更新模式研究[D].華中科技大學(xué)，2014.

[2]劉洋.層次混合存儲系統(tǒng)中緩存和預(yù)取技術(shù)研究[D].華中科技大學(xué)，2013.

[3]李懷陽.進(jìn)化存儲系統(tǒng)數(shù)據(jù)組織模式研究[D].華中科技大學(xué)，2006.

[4]鄧勇強(qiáng)，朱光喜，劉文明.LDPC碼的低復(fù)雜度譯碼算法研究[J].計(jì)算機(jī)科學(xué)，2006（07）.