汪健雄，王 芳，賈成強，劉婷婷

（中國鐵道科學(xué)研究院 電子計算技術(shù)研究所，北京 100081）

開源商業(yè)智能技術(shù)在鐵路客運營銷輔助決策中的應(yīng)用

汪健雄，王 芳，賈成強，劉婷婷

（中國鐵道科學(xué)研究院 電子計算技術(shù)研究所，北京 100081）

提出基于Pentaho的鐵路客運營銷輔助決策解決方案，重點介紹基于Kettle的ETL設(shè)計、報表立方體設(shè)計和OLAP分析、報表制作以及根據(jù)用戶需要定制個性化報表控件等關(guān)鍵技術(shù)，解決了商用軟件由于在接口和代碼上的封閉性，不能完全自定義客戶個性化需求的問題，節(jié)約了軟件采購成本，具有廣闊應(yīng)用前景。但該解決方案也存在一些不足，如：開發(fā)工作量大、軟件文檔不足，以及系統(tǒng)安全性和并發(fā)性能未做很好的測試和優(yōu)化等問題，在今后的研究和生產(chǎn)中需要重點解決。

開源商業(yè)智能；Pentaho；客運營銷輔助決策；OLAP；自定義控件

鐵路客運營銷輔助決策系統(tǒng)是為鐵路總公司、各鐵路局提供鐵路運能、運量、收入、效益分析等指標(biāo)的決策支持系統(tǒng)。從系統(tǒng)建設(shè)之初起，引入商業(yè)智能軟件，實現(xiàn)了客運數(shù)據(jù)在鐵路總公司和鐵路局范圍內(nèi)的共享，鐵路總公司、鐵路局、站段各級用戶通過統(tǒng)一授權(quán)訪問，從運能、運量和收入各個層面分析、評價客運組織情況，預(yù)測客流趨勢并指導(dǎo)今后的發(fā)展，鐵路各級管理者在客運組織工作方面有了重大改變，起到了提高客運業(yè)務(wù)的核心競爭能力的作用[1]。但上述商業(yè)智能軟件在適應(yīng)了復(fù)雜業(yè)務(wù)分析的需求之后，一些問題逐漸顯現(xiàn)出來，主要包括：

（1）商用軟件在接口、代碼上的封閉性，不能完全自定義客戶個性化的需求，如果廠商不主動發(fā)布升級版本，很難對系統(tǒng)進行拓展。

（2）隨著數(shù)據(jù)量與日俱增，當(dāng)前商業(yè)智能軟件在大數(shù)據(jù)應(yīng)用方面的支持相對較弱，同時系統(tǒng)查詢性能也存在瓶頸，很難再繼續(xù)優(yōu)化。

（3）商用軟件價格昂貴，支出較大，不利于系統(tǒng)建設(shè)方控制成本。

近年來，開源商業(yè)智能項目在互聯(lián)網(wǎng)行業(yè)得到了長足發(fā)展，很多優(yōu)秀的開源產(chǎn)品可與商業(yè)產(chǎn)品一較高低。在商業(yè)智能（BI）方面，近年來開源社區(qū)中的Pentaho具有很多特點，正成為開源BI事實上的標(biāo)準(zhǔn)，為此在鐵路總公司級的客運營銷輔助決策系統(tǒng)中嘗試采用開源的Pentaho BI套件解決方案。

1 Pentaho BI套件簡介

Pentaho是對多個開源項目進行改進、擴充和集成組成的BI平臺，涵蓋了常規(guī)BI系統(tǒng)的開發(fā)、部署和運行環(huán)境。Pentaho平臺的核心思想是以業(yè)務(wù)流程為核心，基于工作流技術(shù)，讓決策成為業(yè)務(wù)的一個環(huán)節(jié)，實現(xiàn)企業(yè)業(yè)務(wù)過程整合[2]。Pentaho提供了圍繞特定項目制定方案的集成開發(fā)環(huán)境，體現(xiàn)了面向解決方案的BI研發(fā)思路。PentahoBI平臺主要由以下幾部分組成：

（1）OLAP服務(wù)器：集成了基于Java開發(fā)的OLAP服務(wù)器，Mondrian，用于對存儲在關(guān)系數(shù)據(jù)庫中的大型數(shù)據(jù)集進行交互分析。

（2）OLAP分析工具：集成了JPivot可視化組件，可實現(xiàn)多維數(shù)據(jù)表和多維數(shù)據(jù)圖以及數(shù)據(jù)立方體的展示。報表工具組件名為ReportDesigner，是基于JSP的B/S分析工具，用于自定義分析報表。

（3）ETL組件PDI：Pentaho整合了開源ETL工具Kettle，包括Spoon和Pan兩個包。Kettle提供的Spoon和Chef工具提供Drag&Drop的圖形化界面，用于定義和執(zhí)行ETL轉(zhuǎn)換流程，同時在Chef或Kitchen中通過Job可以定義和執(zhí)行定時任務(wù)。

（4）數(shù)據(jù)挖掘工具Weka： Weka作為一個公開的數(shù)據(jù)挖掘工作平臺，集合了大量能承擔(dān)數(shù)據(jù)挖掘任務(wù)的機器學(xué)習(xí)算法，包括對數(shù)據(jù)進行預(yù)處理，分類，回歸、聚類、關(guān)聯(lián)規(guī)則以及在新的交互式界面上的可視化。

（5）集成管理和開發(fā)環(huán)境：Pentaho Design Studio是基于Eclipse的開發(fā)、項目測試和部署環(huán)境，集成Action Sequence編輯器用于定義工作流的圖形化界面。

Pentaho涵蓋了數(shù)據(jù)倉庫、ETL、OLAP、數(shù)據(jù)挖掘以及報表生成、儀表盤等應(yīng)用的測試和部署的集成開發(fā)環(huán)境，是目前對BI的功能支持最為全面的開源套件，同時與商業(yè)軟件相比在二次開發(fā)和成本方面具有較大優(yōu)勢，因此選用Pentaho進一步研究鐵路客運決策支持系統(tǒng)。

2 基于Pentaho的鐵路客運營銷輔助決策系統(tǒng)設(shè)計

基本設(shè)計思路是以數(shù)據(jù)倉庫的設(shè)計和實施為中心，數(shù)據(jù)挖掘的應(yīng)用為補充，構(gòu)建基于Pentaho的商業(yè)智能系統(tǒng)。通過在鐵路總公司營銷系統(tǒng)及其他業(yè)務(wù)系統(tǒng)基礎(chǔ)上構(gòu)建Pentaho 商業(yè)智能平臺來實現(xiàn)系統(tǒng)集成，使從日常的業(yè)務(wù)中的操作型數(shù)據(jù)變?yōu)榉治鲂蛿?shù)據(jù)，從分析型數(shù)據(jù)中提煉決策信息，協(xié)助鐵路客運管理者做出正確的決策。

系統(tǒng)分為4個層次：

（1）數(shù)據(jù)層：包括原有的中國鐵路總公司營銷系統(tǒng)、客票發(fā)售與預(yù)定系統(tǒng)（簡稱：客票系統(tǒng)）可以為 BI 提供大量的寶貴的源數(shù)據(jù)，同時為了解決鐵路總公司綜合分析的要求，引入了客圖接口數(shù)據(jù)、鐵路客運清算系統(tǒng)成本數(shù)據(jù)以及其他可用于客運決策支持的原始數(shù)據(jù)。

（2）基礎(chǔ)架構(gòu)層：引入Pentaho BI平臺中的OLAP技術(shù)和Weka數(shù)據(jù)挖據(jù)工具進行多目標(biāo)、多維度的分析以及即席查詢；未來還將引入開源數(shù)學(xué)計算項目R來實現(xiàn)預(yù)測、盈虧分析等應(yīng)用的模型與算法形成運算引擎。通過基于Kettle的數(shù)據(jù)抽取、轉(zhuǎn)換、加載工具形成數(shù)據(jù)倉庫。

（3）業(yè)務(wù)應(yīng)用平臺：根據(jù)鐵路總公司需求，重點實現(xiàn)可圖管理、數(shù)據(jù)挖掘、運營報表、預(yù)測和盈虧分析等應(yīng)用，該平臺將集成在Pentaho BI Server組件中。

（4）展現(xiàn)層：根據(jù)鐵路總公司需求，利用JSP、AJAX、Flex等技術(shù)實現(xiàn)報表、統(tǒng)計圖形、OLAP展現(xiàn)以及一些自定義交互應(yīng)用。其中，儀表盤可以高效集成各種BI內(nèi)容，并以較簡單、統(tǒng)一的視圖呈現(xiàn)給各級用戶，各種不同層次的BI用戶還可以定制適合自己的儀表盤。Pentaho Dashboard工具基于CDF（Community Dashboard Framework）項目整合而來的，可以直接將儀表盤等應(yīng)用集成在Pentaho BI Server中作為解決方案進行發(fā)布,如圖1所示。

3 Pentaho BI技術(shù)在鐵路客運營銷輔助決策中的應(yīng)用

3.1 ETL設(shè)計

數(shù)據(jù)的抽取、轉(zhuǎn)換和加載(ETL)是BI項目中最常見、基礎(chǔ)的數(shù)據(jù)操作。在數(shù)據(jù)倉庫的構(gòu)建期間，各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)必須經(jīng)過嚴(yán)格的ETL過程，整合到數(shù)據(jù)倉庫中為后續(xù)的分析、數(shù)據(jù)展現(xiàn)提供支撐。數(shù)據(jù)可能來自不同業(yè)務(wù)部門，以及不同的數(shù)據(jù)源規(guī)格。另外，一些即席報表對運行的時間要求較高，通常需要對海量數(shù)據(jù)進行數(shù)據(jù)聚合和初步加工來更改數(shù)據(jù)的粒度，使得報表服務(wù)器可以更快的響應(yīng)用戶提交的數(shù)據(jù)請求。在Pentaho平臺使用Kettle作為ETL處理組件，從SybaseASE數(shù)據(jù)源、SybaseIQ和平面文件中抽取數(shù)據(jù)。利用Kettle中的Spoon工具對業(yè)務(wù)數(shù)據(jù)進行必要的字段處理和格式轉(zhuǎn)換，把處理過的數(shù)據(jù)重新加載到數(shù)據(jù)倉庫中，然后利用Kitchen工具，實現(xiàn)系統(tǒng)定期執(zhí)行ETL腳本，完成數(shù)據(jù)的自動抽取[3]。Kettle工具定義的ETL流程如圖2所示。

圖1 基于Pentaho的客運營銷BI體系設(shè)計

圖2 Kettle工具定義的ETL流程

3.2 OLAP分析

Pentaho平臺使用的Mondrian組件提供OLAP服務(wù)。利用可視化工具Pentaho Schema Workbench，分析人員可以編寫多維查詢語言MDX，并形成模板提供給分析人員使用，同時對數(shù)據(jù)倉庫中的數(shù)據(jù)集進行交互分析[4]。為便于試驗，使用Tomcat作為Mondrian應(yīng)用服務(wù)器。使用Mondrian的架構(gòu)進行OLAP分析的具體步驟如下：

（1）底層：數(shù)據(jù)庫或從原有的數(shù)據(jù)庫中提取可用的數(shù)據(jù)表。

（2）存儲層：數(shù)據(jù)倉庫的建立，將原有的底層數(shù)據(jù)庫轉(zhuǎn)化為星型模型或雪花模型。

（3）維度層：生成schema文件，將存儲層的數(shù)據(jù)倉庫轉(zhuǎn)化為一個schema文件，通過schemaworkbench或者手寫完成，可以通過MDX來對多維數(shù)據(jù)庫進行訪問，并產(chǎn)生可部署到Mondrian服務(wù)器上的OLAP解決方案，解決方案的基本配置文件包括流程文件xaction、立方體描述文件等。Mondrian OLAP引擎根據(jù)部署的配置文件，從數(shù)據(jù)庫中計算和緩存數(shù)據(jù)，并響應(yīng)來自展示層的各種查詢。專業(yè)分析用戶可以直接使用MDX語句訪問；將MDX預(yù)先存儲后，非專業(yè)用戶也可以在圖形化交互界面中進行數(shù)據(jù)分析。

（4）展示層：編寫jsp文件用于OLAP展示，由JPivot提供的表現(xiàn)層TagLib實現(xiàn)，這是一個使用Web組件框架(WCF)技術(shù)、采用XML/XSLT渲染W(wǎng)eb UI的開源組件，可以比較方便的將多維數(shù)據(jù)展示給最終用戶，可展現(xiàn)多維數(shù)據(jù)透視圖表，支持鉆取、切片、旋轉(zhuǎn)等操作。一個按運營單位、日期、票種3個維度分析發(fā)送量的立方體模型的schema定義如下：

Cube 建好后即可以利用Kettle抽取數(shù)據(jù),并使用JPivot生成報表。

3.3 自定義報表

Pentaho提供的報表生成工具為Report Designer，可以根據(jù)用戶需要制作專業(yè)化的分析報表，并支持Excel或PDF等通用格式的展現(xiàn)[5]。圖3所示的是正在編輯報表的界面：左側(cè)的豎排工具欄顯示的是設(shè)計報表時可能用到的控件。中間的部分是編輯自定義報表的主界面，右邊的標(biāo)簽Structure可以看到報表各個元素的結(jié)構(gòu)，Data標(biāo)簽包含了展示的數(shù)據(jù)，如包括報表query的數(shù)據(jù)源及各種函數(shù)。報表設(shè)計主界面分成了PageHeader、ReportHeader、Details、ReportFooter、PageFooter等多個區(qū)域。Page Header與Page Footer中的對象會在報表的每頁都顯示。Report Header中的對象只在報表開頭時展示一次，Detail中的對象會展現(xiàn)query中的結(jié)果集，Report Footer中的對象只在報表的末尾顯示一次。需要展示的字段放在Details區(qū)域，通過Structure標(biāo)簽可以查看報表數(shù)據(jù)項與頁面之間的組成關(guān)系。

圖3 使用Report Designer實現(xiàn)的報表設(shè)計視圖

Report Designer制作的報表可以設(shè)置輸入?yún)?shù)，通過利用參數(shù)來對報表數(shù)據(jù)源設(shè)置filter以達到傳遞交互式查詢條件的目的?？稍趫蟊聿樵兊闹鱭uery中加入?yún)?shù)StartDate（其格式為${StartDate}）。報表執(zhí)行時將會顯示當(dāng)滿足“train_date=${StartDate}”的值時，查詢語句所選擇的數(shù)據(jù)，如圖4所示的京滬高鐵運營日況報表。該報表除了StartDate參數(shù)外，提示頁上還可以使用下拉框選擇報表運行后輸出的格式。輸入?yún)?shù)以后運行的結(jié)果頁面：

圖4 在完成的BI門戶中實現(xiàn)的報表運行視圖

3.4 自定義報表控件

開源BI的優(yōu)勢之一是可以自定義報表控件，對開發(fā)工具進行擴展。在列車編組信息管理的開發(fā)中，需要實現(xiàn)分席別、指定區(qū)域，列車等級和方向列車圖定與實際能力查詢得到旅客列車對數(shù)表和運能統(tǒng)計表，同時需要在集成的圖形中展示列車編組、交路信息，包括列車基本信息、運行里程、車底組數(shù)、編組布局、交路圖形、開行規(guī)律、種類型號、運用狀態(tài)等?，F(xiàn)有使用的BI平臺無法實現(xiàn)我們需要的效果。在Pentaho中，使用了JFreeChart這個開源工程來實現(xiàn)自定義報表控件[6]，并通過控件可視化拖拽的方式在其他報表中進行復(fù)用。

在meta-elements.xml中定義元件的元素定義：

將整個文件包編譯成jar包后放到PRD的lib目錄下，重新啟動PRD會在左側(cè)控件欄中看到一個紅色火車頭為圖表的自定義控件StationChart，并可以將它拖放到報表中。

StationChart屬性和布局如圖5所示，Station-Chart的運行圖報表如圖6所示。

圖5 在Report Designer中設(shè)置StationChart屬性和布局

4 結(jié)束語

本文提出了在鐵路客運營銷系統(tǒng)基礎(chǔ)上構(gòu)建基于Pentaho的商業(yè)智能系統(tǒng)的方法，提出了基于Kettle的ETL設(shè)計、報表立方體設(shè)計和OLAP分析、報表制作以及根據(jù)用戶需要定制個性化報表控件等解決方案，在一定程度上解決了由于商用軟件在接口、代碼上的封閉性，不能完全自定義客戶個性化需求的問題，同時節(jié)約了軟件采購成本。Pentaho平臺整合了一套適用于開發(fā)、部署和運行商業(yè)智能系統(tǒng)的環(huán)境與工具，為企業(yè)級商業(yè)智能實現(xiàn)提供了一種開放、經(jīng)濟的平臺，進一步深入研究還有儀表盤、與Hadoop整合實現(xiàn)大數(shù)據(jù)集群等應(yīng)用，由于篇幅問題將另作討論。

圖6 在完成的BI門戶中查看StationChart的報表運行視圖

[1]汪健雄，劉春煌，單杏花，等.業(yè)務(wù)智能技術(shù)在鐵路客運營銷輔助決策系統(tǒng)中的應(yīng)用 [J].鐵路計算機應(yīng)用,2009，18（12）：23-27.

[2]Pentaho Corporation．Pentaho open source business intelligence platform technical white paper[EB/OL]．http://www.pentaho.com，2015．

[3]Pentaho Documentation Team.Evaluate and Learn Pentaho Data Integration[EB/OL].https://help.pentaho.com/Documentation/5.3/0D0/1A0/010/000,2015.

[4]陳榮鑫 ，付永鋼 ，陳維斌.基于 Pentaho 的商業(yè)智能系統(tǒng)[J].計算機工程與設(shè)計，2008，29（9）：2407-2409.

[5]jfree.org．JFreeChart API Documentation[EB/OL].http://www.jfree.org/jfreechart/api/javadoc/ index.html，2015．

[6]Pentaho Documentation Team.Business Analytics Report Designer[EB/OL].http://www.pentaho.com/training-course/ business-analytics-report-designer, 2015.

責(zé)任編輯 徐侃春

Open source business intelligence technology applied to Railway Passenger Marketing aided Decision System

WANG Jianxiong,WANG Fang,JIA Chengqiang,LIU Tingting
( Institute of Computing Technologies,China Academy of Railway Sciences,Beijing 100081,China)

This article proposed a solution of Railway Passenger Marketing aided Decision System,introduced several key technologies,such as Kettle based ETL design,report cube design,OLAP analysis,report making and custom personalized report control,and so on.This solution could overcome the shortage of closing codes and hardness of custom control,save software cost,and lead to a wide used prospect.Otherwise,some problems should be settled in the future,such as a large amount of coding work,lack of documents,insuffcient safety test and parallel performance test.

open source business intelligence;Pentaho;Railway Passenger Marketing aided Decision System;OLAP;custom control

U239∶F530.86∶TP39

A

1005-8451（2016）06-0018-06

2015-12-03

中國鐵道科學(xué)研究院基金項目（2014YJ013）。

汪健雄，副研究員；王 芳，副研究員。