石桂芳,劉陳榮
(北京華電天仁電力控制技術有限公司 北京 100039)
某科技環(huán)保集團(以下簡稱集團公司)的業(yè)務涉及很多不同的業(yè)務范疇,二級單位之間的業(yè)務沒有重復,垂直業(yè)務模式不可橫向復制。從數據的角度看,各板塊業(yè)務的數據之間沒有任何關聯,給集團公司統(tǒng)一數據口徑、統(tǒng)一數據報送帶來一定難度。因此,建立一套數據在線收集系統(tǒng),逐漸形成集團公司的數據中心,利用數據中心建設的多維度、多主題智能分析反哺二級單位,實現數據管理的一致性就顯得尤為重要。
集團公司自成立以來,十分重視信息化建設,目前已經初步建立了面向整個集團的信息化網絡環(huán)境和集成環(huán)境,實現了財務與審計、企業(yè)綜合辦公管理(OA)的信息化。之前集團公司對下屬企業(yè)生產經營管理信息的獲取與統(tǒng)計匯總,是由下屬企業(yè)填寫Excel報表,后經E-mail方式報送給集團公司本部對口部門。集團公司本部業(yè)務部門通過 Excel等軟件進行整理、核對、匯總,并報送上級部門,相關數據也以Excel等文件形式保存在個人電腦上。
這種方式存在如下問題?!?數據一致性難以保證。各個業(yè)務部門數據交叉的現象比較普遍,不同部門填寫的相同指標項的結果是不同的,這在后期的數據統(tǒng)計分析中會產生很大的影響。
· 歷史數據的查詢速度和準確性難以保證。工作中經常出現需要迅速查詢某個歷史數據,或者快速匯總某個不常用指標的情況。以前是通過電話詢問二級單位或其他業(yè)務部門,并在歷史數據文件中查找,手工進行數據的匯總整理。這種方式的速度和準確性都難以滿足實際的工作要求。
· 工作量相對較大。集團公司業(yè)務部門之前需要在匯總下屬企業(yè)的報表后,核對報表數據,匯總相關指標項的工作量較大;下屬企業(yè)在填報過程中,存在相同的指標項在多張表中重復出現、重復填寫的問題,從而增加工作量。
·基于集團公司之前經營監(jiān)管信息的采集和管理現狀,集團公司迫切需要構建一套集團本部與分/子公司公用的信息采集、整理與統(tǒng)計匯總一體化的平臺。平臺一方面有效地支持集團本部業(yè)務部門對信息的采集、整合和統(tǒng)計匯總,并實現結果的便利導出;另一方面又可實現下屬企業(yè)的信息報送并與上級企業(yè)交互。
鑒于以上現狀,開發(fā)了基于云平臺的數據采集與統(tǒng)計匯總系統(tǒng)。本系統(tǒng)基于云平臺上的數據中心技術研究及應用,主要解決數據中心“數據”方面的問題,如數據收集、數據加工、數據專題分析、數據展現等[1]。
本系統(tǒng)建立的數據中心基于云平臺架構,選擇高效能服務器,能避免服務器蔓延增長、設備利用率低、運維成本高(管理、維護)、應用可靠性低(安全性、可靠性)、性能功耗比低、管理麻煩的缺點;實現高可用按需分配,可以滿足集團公司高效、靈活、快速的業(yè)務增長需求。
· 通過對數據中心的整體設計,提高系統(tǒng)的可靠性及可用性,保證數據的統(tǒng)一性,提高工作效率,節(jié)省人力,節(jié)約資金。
· 通過對數據中心的整體設計,發(fā)現問題并將問題消滅在萌芽狀態(tài),實現整體數據中心的節(jié)能減排。
· 通過對數據中心的整體設計,可實現系統(tǒng)的靈活變更、隨需擴展。
· 實現統(tǒng)一工程維護,把機房系統(tǒng)作為一個整體產品交付,全網動力監(jiān)控更易實現,提供主動性服務,并實現統(tǒng)一和全面的服務。
· 統(tǒng)一工程界面清晰,降低工程成本,并大大縮短工程周期,使網絡提早發(fā)揮效益。
· 保證維護的持續(xù)性及連貫性,保障服務提供的連續(xù)性,減少維護風險。
·通過管理提升IT效率,進一步降低日常維護的IT財務支出,實現業(yè)務的創(chuàng)新和變革。
本系統(tǒng)的主要功能結構如圖1所示。
圖2給出了集團公司運營監(jiān)管信息采集與統(tǒng)計匯總平臺數據的處理流程,具體介紹如下。
(1)數據采集與審核、管理
對于采集數據,系統(tǒng)提供對各類數據的獲取功能,分/子公司的計劃與發(fā)展、科技管理、運營管理和國際合作等數據通過在線填報、離線填報方式,報送系統(tǒng)集團公司本部;對于現有業(yè)務系統(tǒng)中的數據,如財務數據,提供與現有系統(tǒng)接口的方式實現數據的獲取。
(2)數據的存儲管理
針對來自分/子公司、現有業(yè)務系統(tǒng)的數據,系統(tǒng)提供統(tǒng)一的信息存儲和管理功能,確保數據的安全。
(3)數據的統(tǒng)計匯總與展現
根據集團公司對業(yè)務監(jiān)管的需求,提供統(tǒng)計匯總功能,并提供靈活、方便查詢、實現多樣化圖表的展現及結果的下載、導出。
集團公司數據采集與統(tǒng)計匯總系統(tǒng)的用戶主要分為3種類型,分別為系統(tǒng)管理員、數據管理員和業(yè)務用戶。其中,系統(tǒng)管理員維護系統(tǒng)基礎信息;數據管理員包括集團公司、二級公司的數據管理人員;業(yè)務用戶包括集團公司、二級公司、三級公司的數據填報人員和使用人員。應用系統(tǒng)業(yè)務處理流程如圖3所示。
系統(tǒng)主要管控指標的分配與數據填報業(yè)務流程、數據的查詢與導出業(yè)務流程。指標的分配與上報流程分3級管控模式,由集團公司首先維護報表模板,并下發(fā)給二級單位。二級單位有權限對接收的報表模板進行二次分配,形成新的分發(fā)規(guī)則發(fā)給三級單位填報。三級單位填報完成后,將報表提交給二級單位統(tǒng)一審核匯總并上報給集團公司,集團公司進行審核匯總后完成數據的下發(fā)與上報流程。定期(按周、月、年等)執(zhí)行數據分配與填報流程后,系統(tǒng)形成數據池,可供數據使用人員隨意組成報表,由系統(tǒng)自動抓取數據以用戶希望的表現形式顯示數據,完成數據查詢流程。
圖1 軟件系統(tǒng)功能結構
圖2 集團公司運營監(jiān)管數據中心信息處理流程
圖3 應用系統(tǒng)業(yè)務處理流程
針對集團公司的運營監(jiān)管指標體系,系統(tǒng)提供如下3方面功能。
· 指標屬性管理,包括指標屬性設置、指標增/刪/改/查、指標閾值設置等[2]。
· 指標體系建模,指標建模的過程,對指標進行編號、命名,并且建立指標之間的邏輯關系、數據來源、數據存儲格式、數據展現方式選擇等指標屬性。
· 指標展現設計,指標數據隨時可被已經授權的用戶讀取,并通過預先定義的各種展現方式,按用戶需要的形式展現給用戶,并且支持數據審核、數據導出等數據再利用。
在充分利用現有網絡和基礎設施環(huán)境的基礎上,基于集團公司的經營監(jiān)管指標體系,實現對下屬10余家子公司的計劃與發(fā)展、運營、科技創(chuàng)新和國際合作等業(yè)務關鍵信息的定期(周/月/季/年)跟蹤、監(jiān)測、監(jiān)控、管理和分析,及時了解各子公司的生產、營銷和運行情況的特點、現狀和發(fā)展趨勢,為集團的發(fā)展提供決策支持、信息參考,從而實現集團對子公司的高效指導和管控,有效推動集團公司及其下屬分/子公司的穩(wěn)定、可持續(xù)發(fā)展,進而提升集團的信息化和監(jiān)管水平。
通過本系統(tǒng)的建設,可以實現如下具體目標:
· 設計公司共享的經營監(jiān)管指標體系,為集團運營監(jiān)管提供信息依據和參考;
· 指標信息采集、存儲、管理與統(tǒng)計匯總;
·提供多樣化的數據展現方式和導出功能;
·提供輔助管理功能;
· 提供集團本部與分/子公司的信息交互功能,便于信息的及時溝通、報告下載等。
系統(tǒng)架構如圖4所示,包括云平臺基礎架構及上層平臺架構。
推薦配置如下。
· 服務器:長城四子星,3個節(jié)點,每個節(jié)點4個物理機,單個物理機配置為2個CPU 4核,96 GB內存,2個300 GB硬盤,4個萬兆網口。
· 交換機2臺:48口,萬兆以太網口。
· 盤陣一臺:EMC,配12塊600GB盤,可擴展12塊(不加擴展柜還可擴展12塊2 TBSAS盤),支持iSCSI和SAS混配,8GBFC光纖擴展端口或4個10Gbit/s接口,8個吉比特以太網接口,配40TB盤,可用20TB。
· 虛擬磁帶庫一臺,型號為EMCDD140。
系統(tǒng)實現如圖4所示的云計算平臺,并在此云平臺上實現企業(yè)門戶系統(tǒng)。
由于集團公司下屬有多個分子公司,故本次集團公司的數據中心建設涉及面較廣,而且數據中心系統(tǒng)要與企業(yè)門戶系統(tǒng)集成,與門戶系統(tǒng)互相倚靠、相互協(xié)調。為確保數據中心項目的成功實施,集團公司企業(yè)數據中心系統(tǒng)將根據“統(tǒng)一規(guī)劃、分步實施”的原則進行建設,具體介紹如下。
(1)數據采集及統(tǒng)計系統(tǒng)開發(fā)并與門戶系統(tǒng)集成
完成集團公司的數據上報及統(tǒng)計系統(tǒng)的開發(fā)實施,并在集團公司企業(yè)內部門戶中初步展現,并以門戶為接入口為集團及各職能部門領導決策提供依據。
(2)優(yōu)化并完善系統(tǒng)功能
實現各企業(yè)在第一階段沒有提出的新功能需求以及需要改進的第一期系統(tǒng)的數據采集及上報、審批、統(tǒng)計的功能(內容和功能優(yōu)化完善階段)。
(3)整體優(yōu)化階段
實現完整全面的數據采集及統(tǒng)計系統(tǒng),并與企業(yè)門戶完美集成,作為企業(yè)門戶的報表門戶和數據采集及統(tǒng)計系統(tǒng)的入口,打造一個真正有意義的綜合信息平臺,實現企業(yè)信息的統(tǒng)一查看、統(tǒng)一入口訪問、企業(yè)內外流程的統(tǒng)一管理,加強移動應用,深化跨平臺協(xié)作和企業(yè)搜索功能,建立真正的集團公司企業(yè)信息業(yè)務數據中心,實現信息的交互與共享,消除信息“孤島”現象,增強企業(yè)的市場競爭力;實現與其他企業(yè)內部信息系統(tǒng)的全面集成 (如財務系統(tǒng)等);實現不同的數據能夠為不同公司、不同領導和部門提供參考和決策。
圖4 云平臺基礎架構及上層平臺架構
本系統(tǒng)最大的亮點及創(chuàng)新點是采用了以經營監(jiān)管指標為體系的指標系統(tǒng)管理模式,隨時靈活地增加、修改、減少指標,任意選取不同指標生成不同報表,突破一般以報表為體系的報表管理模式,在數據存儲和抽取方面既靈活,又大大提高了數據抽取速度,對于有大量數據需要管理的企業(yè)非常適合,對于不斷改進和變換經營監(jiān)管指標的企業(yè)也是不可多得的體系管理模式和數據管理平臺。
第二大亮點是技術開發(fā)平臺完全智能化,稱為華電天仁智能Web平臺。智能Web平臺是一款企業(yè)級應用的快速開發(fā)平臺,可以作為成熟的產品推向市場,也可以在該平臺上進行二次開發(fā)。開發(fā)的報表基于華電天仁智能Web報表,是業(yè)界第一款基于J2EE技術的以純HTML及CSS實現的Web報表。華電天仁智能Web平臺采用業(yè)界領先的J2EE技術構建,MVC設計模式,B/S的多層結構,技術上相當領先,具有極高的穩(wěn)定性、安全性及可擴展性、可伸縮性、可維護性[3]。
·利用華電天仁智能Web平臺,企業(yè)及開發(fā)商均可以非常方便、快速、高質量地開發(fā)復雜的業(yè)務系統(tǒng),包括 CRM、MIS、ERP、HIS、OA 等系統(tǒng);80%以上的模塊不需要編碼,甚至零編碼,不懂Java也可以開發(fā),只需懂數據庫即可,開發(fā)速度是傳統(tǒng)開發(fā)模式的5倍以上。
·華電天仁智能Web平臺內集成了在線自定義Web報表引擎,用戶除了可以用來開發(fā)業(yè)務系統(tǒng)外,還可以集成企業(yè)內已有的分散的業(yè)務數據,制作各類復雜的綜合查詢、Web報表、統(tǒng)計分析。
第三大亮點是本數據中心構建在云平臺上,采用了最先進的存儲技術,加快了數據存取速度,實現了數據存儲的安全穩(wěn)定,節(jié)約了硬件資源和網絡資源。
本系統(tǒng)云平臺由公司統(tǒng)一建設,在云平臺上構建虛擬機,在分配的虛擬機上建立數據采集及統(tǒng)計系統(tǒng)應用,并具體實現與以下系統(tǒng)的集成。
與財務系統(tǒng):數據上報及統(tǒng)計系統(tǒng)需要從財務系統(tǒng)獲取相應的財務數據,作為重要指標項的來源。
與集團公司企業(yè)門戶系統(tǒng):數據采集及統(tǒng)計系統(tǒng)需要企業(yè)門戶中的組織機構(LDAP)作為基礎登錄用戶數據,進行單點登錄及統(tǒng)一用戶管理及身份驗證,需要將報表數據以不同形式展現在企業(yè)門戶系統(tǒng)中,根據用戶權限的不同分別展現不同的數據。
與郵件系統(tǒng):郵件系統(tǒng)作為郵件服務的提供者,需要向企業(yè)門戶、數據上報及統(tǒng)計系統(tǒng)提供基礎的郵件發(fā)送及接收服務。此外,也需要同企業(yè)門戶實現單點登錄、統(tǒng)一用戶管理及身份驗證、郵件來件提醒等功能。
與短信系統(tǒng):短信系統(tǒng)作為短信服務的提供者,需要向企業(yè)門戶、數據上報及統(tǒng)計系統(tǒng)提供基礎的短信發(fā)送及接收服務。此外,也需要同企業(yè)門戶實現單點登錄、統(tǒng)一用戶管理及身份驗證、短信來信提醒等功能。
總的來說,系統(tǒng)已正式投入使用,目前系統(tǒng)運行良好,用戶反饋滿意,達到了預期的效果,獲得了預期的經濟效益。
1 唐箭.云存儲系統(tǒng)的分析與應用研究.電腦知識與技術,2009(20)
2 成靜靜,喻朝新.基于云計算的大數據統(tǒng)一分析平臺研究與設計.廣東通信技術,2013(1)
3 田甜.基于云計算的GIS數據采集教學服務平臺設計與研究初探.技術與市場,2011(7)