錢嶺，孫少陵，石在輝

中移（蘇州）軟件技術有限公司，江蘇 蘇州 215163

從點狀應用到大數據統(tǒng)一平臺

錢嶺，孫少陵，石在輝

中移（蘇州）軟件技術有限公司，江蘇 蘇州 215163

企業(yè)在大數據引入過程中，由于平臺技術不成熟、缺乏統(tǒng)一技術架構、組織架構不適應等問題，形成了應用豎井和復雜的系統(tǒng)混搭結構，造成了資源利用率不均、數據重復存儲、運維成本高、難以形成企業(yè)級數據共享等問題。目前大數據平臺技術已經逐步成熟，大數據統(tǒng)一平臺逐步成為企業(yè)分析系統(tǒng)的核心。深入分析了企業(yè)級統(tǒng)一大數據平臺的整合思路，從管理、業(yè)務和技術3個層面入手，分別從組織架構體系建設、大數據平臺運營流程重構與實施、大數據平臺技術規(guī)劃與實現(xiàn)等角度提出對策建議。最后，給出中國移動在統(tǒng)一大數據平臺整合方面的實踐經驗。

unified big data platform, BI+, Hadoop, centralized BI system

1 引言

“數據是新的石油”已是全世界的共識，我國也陸續(xù)出臺了《促進大數據發(fā)展行動綱要》等政策法規(guī)，并在“十三五”規(guī)劃中將“國家大數據戰(zhàn)略”列入十四大重點戰(zhàn)略。國內數據生產、交易、消費環(huán)節(jié)初步形成，各行各業(yè)都開始把大數據作為產業(yè)轉型升級的有力武器。受益于多方環(huán)境利好，大數據市場增長潛力巨大。同時，因為諸多原因，企業(yè)在實際開展大數據建設時也面臨很多問題，比如數據條塊分割、重復存儲和計算、運維成本居高不下、擴容壓力大、大量點狀應用系統(tǒng)等典型問題[1]。

2 大數據平臺整合問題

大數據最先是由于企業(yè)商業(yè)智能（business intelligence，BI）系統(tǒng)升級換代而出現(xiàn)的[2]。一些數據分析壓力大的先發(fā)企業(yè)在BI建設過程中，率先在生產環(huán)境引入大數據技術，如Hadoop、MapReduce、HBase等[3-5]，形成BI+系統(tǒng)。但受技術成熟度、市場環(huán)境變化、企業(yè)戰(zhàn)略調整、部分業(yè)務應用的緊迫性等因素影響，幾乎都會出現(xiàn)成長的煩惱，比如：系統(tǒng)為了滿足業(yè)務需求，在缺乏規(guī)劃的情況下建設大量點狀應用豎井式建設；隨著技術的發(fā)展，形成了數據倉庫、MPP（massively parallel processor）、Hadoop等紛繁復雜的技術體系；很難按照預定的IT規(guī)劃路線圖發(fā)展，往往需要在實踐中優(yōu)化和重構。

在大中型企業(yè)中，多個數據豎井支撐點狀應用現(xiàn)象比較普遍。以中國移動通信集團公司（以下簡稱中國移動）為例，同時存在商用數據倉庫、Hadoop、MPP或者多種數據架構混搭方式，支撐不同的業(yè)務應用，如圖11所示。

隨著大數據應用的不斷深化，點狀應用的建設模式已經無法滿足發(fā)展要求，具體表現(xiàn)為以下幾點。

● 數據交換難：數據分散在豎井中，難以形成多維度關聯(lián)，數據價值降低。

● 建設成本高：數據重復存儲和處理，資源無法共享和統(tǒng)一調度。

● 管理開銷大：每個集群均需要單獨的維護人員，如果廠商/架構不同，復雜度更高。

● 安全風險高：數據分散管理，增加了數據泄露的風險。

企業(yè)在引入大數據的同時均會遇到上述問題。如何建設統(tǒng)一的企業(yè)級大數據平臺，對資源、服務、數據和用戶進行統(tǒng)一管理，提供統(tǒng)一的應用開發(fā)和運行環(huán)境，是所有大數據應用企業(yè)需要解決的共性問題。

3 統(tǒng)一大數據平臺整合思路

圖1 多個數據豎井支撐點狀應用示例

對于大中型企業(yè)來說，大數據平臺整合是一項系統(tǒng)工程，需要統(tǒng)籌考慮管理、業(yè)務和技術等諸多方面的要求，有針對性地進行組織管理調整、業(yè)務流程設計和平臺技術實現(xiàn)[6]。

3.1 大數據平臺整合考慮要素

管理層面：建立管理體系，確定管理模式，包括對原體系的變更；管理數據獲取，建立利于大數據獲取的組織架構和流程；管理控制數據質量，建立對各個域數據質量的統(tǒng)一管理體系；管理數據變現(xiàn)，依據法律法規(guī)，制定統(tǒng)一的數據變現(xiàn)規(guī)則；管理數據安全，針對各種條例開展審計工作，保障業(yè)務穩(wěn)定運營。

業(yè)務層面：建立大數據運營體系；定義大數據運營的商務模式，明確服務對象、盈利模式等；定義對內、對外的產品形態(tài)，并根據業(yè)務形態(tài)定義產品；定義運營優(yōu)化體系和辦法，通過持續(xù)優(yōu)化，提高運營效益和利潤率。

技術層面：建立大數據技術體系，明確研發(fā)模式、技術來源、技術架構等內容；明確定義大數據平臺的技術體系；明確符合各種數據處理、業(yè)務需求的技術架構和產品；針對技術架構，為各種技術選擇研發(fā)模式，并開展研發(fā)；定義應用遷移方式，確定現(xiàn)有業(yè)務大數據改造途徑。

3.2 大數據平臺整合思路

（1）建設與大數據平臺整合運營相適應的組織架構和體系

構建企業(yè)級大數據能力需要成立大數據管理控制（以下簡稱管控）、大數據運營和大數據技術機構。其中，管控機構負責大數據戰(zhàn)略和整體規(guī)劃；運營機構負責大數據業(yè)務規(guī)劃、數據管理、建設和業(yè)務運營等工作；技術機構負責大數據技術研發(fā)和運營支撐工作。相關機構協(xié)同工作，共同建立面向大數據運營的體系。

大數據管控機構是公司級別的管理單位，需明確整個公司層面的大數據戰(zhàn)略，建立大數據組織架構調整，推進大數據跨部門采集和應用、實施統(tǒng)籌、服務保障和考核等體系，為大數據運營保駕護航。

大數據運營機構是公司級別的生產單位，需承擔大數據業(yè)務規(guī)劃，建設企業(yè)級大數據業(yè)務體系，包括建設大數據系統(tǒng)、從各個領域采集大數據、統(tǒng)一治理企業(yè)級數據模型、在大數據系統(tǒng)上開展各種業(yè)務等，為公司內外部提供服務。

大數據技術機構是公司級別的研發(fā)和支撐單位，需承擔大數據系統(tǒng)技術方案和系統(tǒng)集成工作，包括支撐運營機構完成技術和實施方案、技術研發(fā)和采購、系統(tǒng)集成工作，在系統(tǒng)上線后，還需支撐數據分析、系統(tǒng)技術服務和運維支撐工作。

整合實施要點：在整合前，各部門遵從自己的內部流程；整合后，需要統(tǒng)一遵循公司的統(tǒng)一流程和體系（包括數據獲取、應用構建、應用運營和維護等），可以基于統(tǒng)一大數據平臺快速開展，運營過程需要經由管控和運營機構審核與保障。

（2）大數據平臺運營流程重構與實施

構建企業(yè)大數據中心之后，需求單位可以按照云計算方式申請大數據中心的計算能力和數據資源，在正常的申請范圍內，可以快速實現(xiàn)業(yè)務開通和上線。 在大數據中心管轄范圍之外的數據，還需要大數據管控單位的審核開通。

傳統(tǒng)IT運營流程模式向大數據中心運營流程模式演進過程如圖22所示。

整合實施要點：整合前，各部門遵從工程項目建設流程，需要經歷預算審批、招投標、集成、數據開通等復雜的流程，時間周期長，不確定性高；整合后，可以按照技術服務方式構建大數據業(yè)務系統(tǒng)，周期短、效率高、更安全。

（3）大數據平臺技術規(guī)劃與實現(xiàn)

企業(yè)級大數據平臺包括管理、業(yè)務、數據、開發(fā)等所有相關功能，需要具備全局的管理思維、詳盡的功能視圖設計以及整合復雜的技術體系。大數據平臺技術規(guī)劃與實現(xiàn)可參照開放組體系結構框架（the open group architecture framework，TOGAF）等業(yè)界通用的IT架構設計方法論。如圖33所示，以中國移動為例，大數據功能視圖包括多源數據、大數據平臺和應用、不同類型的使用者。對應到技術架構，包括數據資產融合、大數據技術合理選型、大數據平臺構建、大數據服務模式等技術主題。

整合實施要點：整合后，需要開展現(xiàn)有應用遷移，一般涉及3種模式，即將應用的計算部分遷移到新系統(tǒng)；將應用的計算和原有數據都遷移到新系統(tǒng)；新建與平臺相符合的應用。企業(yè)應根據實際情況，有序有目標地進行遷移。

4 大數據平臺整合實踐

中國移動集團公司包括31家省公司和多家專業(yè)公司，IT系統(tǒng)已各自獨立建設運營十幾年，數據體量巨大，種類繁雜，位置分散，應用多樣。各單位共有超過1 000套數據倉庫、MPP和Hadoop等大數據系統(tǒng)，由超過百家集成商承建，導致資源分散、版本眾多、數據重復存儲、平臺資源重復投資、運營不能統(tǒng)一等問題，專業(yè)IT人員無法復用。為應對當前公司面臨的大數據挑戰(zhàn)，支撐公司萬物互聯(lián)戰(zhàn)略和數字化服務商轉型的發(fā)展，中國移動統(tǒng)籌制定公司大數據發(fā)展戰(zhàn)略和規(guī)劃，逐步整合現(xiàn)有點狀應用，加快大數據基礎能力和開放平臺建設，實現(xiàn)全網數據資源的統(tǒng)一管理和運營，支持對內、對外多種應用。

圖2 大數據平臺運營流程示例

4.1 大數據平臺整體思路

（1）先立后破，加快統(tǒng)一平臺建設

中國移動集團總部推進集中化經分大數據平臺建設，匯聚全網數據。初期支撐總部、各專業(yè)公司和部分省公司的大數據內外部應用需求，長期目標是構建“邏輯集中、物理分散”的1+N超大規(guī)模集群大數據平臺。

各省公司同期開展大數據平臺省級系統(tǒng)建設，加快原有煙囪系統(tǒng)的遷移。為中國移動集團統(tǒng)一大數據平臺奠定資源基礎，實現(xiàn)統(tǒng)一資源管理、數據管理和開放平臺能力，支撐多部門大數據應用建設。

圖3 中國移動大數據中心功能視圖和技術架構

（2）加快數據融合

中國移動集團統(tǒng)一制定數據治理框架和規(guī)則，各省公司加快內部數據聚合，完成B域、O域和M域數據的統(tǒng)一采集和存儲，推進跨域數據融合和跨域數據治理[7]。

（3）探索多種服務模式

積極探索軟件即服務（software as a service，SaaS）、平臺即服務（platform as a service，PaaS）、數據即服務（data as a service，DaaS）等對內對外服務模式。持續(xù)深耕內部大數據價值挖掘，提高大數據對經營決策、數字化服務創(chuàng)新、渠道集中化運營、網絡運維和優(yōu)化、市場營銷和服務、精細化管理等各方面工作的智能化支撐水平。同時，鼓勵各省聯(lián)合創(chuàng)新，推動優(yōu)秀應用跨省快速遷移。積極開展對外服務，以中國移動為核心，與合作伙伴一起打造生態(tài)圈，服務政府、金融、醫(yī)療、工業(yè)等多行業(yè)多領域。

（4）構建安全保障體系

為應對大數據應用服務過程中數據濫用和個人隱私安全風險，中國移動建立了完善的大數據安全保障體系，目標是保護大數據權屬性、保密性、完整性、可用性、可追溯性，實現(xiàn)大數據“可管、可控、可信”，保護公司各領域大數據資產及用戶隱私。大數據安全保障體系框架如圖44所示。

圖4 中國移動大數據安全保障體系框架

中國移動大數據安全保障體系涉及安全策略、安全管理、安全運營、安全技術、合規(guī)評測、服務支撐六大體系。同時，對用戶個人信息的各個處理環(huán)節(jié)施行嚴格規(guī)定與落實，具體措施舉例如下：

● 對客戶信息包含的內容進行界定、分類及分級；

● 明確信息安全管理責任部門及職責，對各部門的職責進行嚴格要求和細致規(guī)定，明確相關崗位角色及權限；

● 對客戶敏感信息操作進行嚴格管理，對于涉及用戶敏感信息的關鍵操作，嚴格遵守金庫模式保護要求，采取“關鍵操作、多人完成、分權制衡”的原則，實現(xiàn)操作與授權分離；

● 設立客戶信息安全檢查制度；

● 不斷提高客戶信息系統(tǒng)技術管控水平；

● 嚴控第三方信息安全風險。

4.2 大數據平臺架構設計

如圖55所示，中國移動大數據平臺采用“3域 4層”的實施架構，構建復雜的多租戶系統(tǒng)。各個模塊之間充分解耦，共同支撐上層百花齊放的應用。

3域包括管理域（提供統(tǒng)一管理能力，包括資源、租戶、維護、數據、安全、應用等）、服務域（提供統(tǒng)一調度能力，包括計算、存儲、I/O、開放數據能力等）、開發(fā)測試域（提供統(tǒng)一開發(fā)能力，包括工具、需求、流程、測試和上線等）。4層包括采集層、計算和存儲層、能力和接口層、應用層。

中國移動各省公司在大數據引入早期構建了大量的大數據點狀應用，如ETL（數據倉庫技術，用來描述將數據從來源端經過抽取、轉換、加載至目的端的過程）、數據挖掘、賬詳單查詢、營銷類應用，隨著業(yè)務增長，均造成數據膨脹、性能下降、利用率不均等問題，需要擴容；同時點狀應用數量增加，大幅度增加了管理成本，需要整合。為解決點狀應用整合管理的問題，中國移動設計了大數據運營管理中心（big data operations management center，BDOC）平臺產品，整合大數據點狀系統(tǒng)和統(tǒng)一運營運維管理，如圖66所示。

大數據平臺總體架構設計的考慮因素如下：

● 為滿足數據量爆炸式增長和數據安全備份需要，大數據中心應是一中心、多集群的架構；

● 需建設統(tǒng)一的大數據管理中心，實現(xiàn)統(tǒng)一管理、統(tǒng)一調度、統(tǒng)一開發(fā)、多租戶管理；

圖5 “3域4層”實施架構

圖6 統(tǒng)一大數據平臺運營管理

● 對多個大數據集群（包括異地異構）的各種資源進行管理及統(tǒng)一調度；

● 為大數據管理人員、資源運營人員、數據使用者、應用開發(fā)者、運維人員等提供統(tǒng)一門戶。

4.3 自主大數據核心能力構建

2014年3月，中國移動成立中移（蘇州）軟件技術有限公司（又稱中國移動蘇州研發(fā)中心，以下簡稱“蘇研”），負責中國 移動統(tǒng)一大數據平臺的建設工作，對內外部客戶提供大數據領域的咨詢、規(guī)劃、方案、建設、集成、研發(fā)、運維等全方位服務。

作為中國移動大數據核心技術的研發(fā)機構，蘇研在大數據平臺技術方面基于Hadoop、Spark等開源軟件構建，采用開放技術架構，堅持核心模塊自主研發(fā)，兼容業(yè)界主流大數據商用產品。在應用開發(fā)方面，已經與產業(yè)界廣泛合作，無縫對接中國移動內部應用需求，快速交付現(xiàn)網可用產品，并實現(xiàn)既有應用遷移，在市場營銷、企業(yè)體驗、網絡優(yōu)化和IT系統(tǒng)優(yōu)化等多個領域，蘇研都有成熟的產品和解決方案支撐。

蘇研目前已有24項大數據產品[8-12]，目前已在27個單位落地，累計部署近2 000個節(jié)點。其中10項產品和3項服務（集成實施、數據開發(fā)、算法和分析）進入集團大數據核心能力清單。蘇研大數據產品體系架構如圖77所示。2016年蘇研進入中國移動集團的大數據核心能力清單包括：大云大數據運營管理中心BC-BDOC以及資源整合服務（含集成服務和數據開發(fā)服務）；大云大數據平臺BC-Hadoop（含Spark等開源軟件）；大云數據庫/數據倉庫系列，HugeTable多引擎大數 據倉庫版本、MPP版本和RDB關系型數據庫版本（含聯(lián)機分析處理（on-line analytical processing，OLAP）、聯(lián)機事務處理（online transaction processing，OLTP）數據庫）；大云流計算產品BC-Streaming；企業(yè)級搜索引擎BC-SE；大云大數據挖掘產品BC-PDM/BC-ETL以及算法建模服務（含算法和分析服務）；輿情監(jiān)控產品。

5 結束語

中國移動作為大型傳統(tǒng)行業(yè)的企業(yè)代表，對大數據有旺盛的需求。傳統(tǒng)的全盤外包的IT建設模式難以適應大數據的發(fā)展需求，中國移動采用了統(tǒng)一規(guī)劃、集中運營、核心能力自主研發(fā)、強化安全管控的發(fā)展思路。在公司級平臺建成前，允許省公司和專業(yè)機構各自發(fā)揮能動性，按照統(tǒng)一規(guī)范建設省級平臺，支撐生產，這種發(fā)展途徑目前已經取得了階段性成果。傳統(tǒng)企業(yè)可以借鑒中國移動的大數據發(fā)展模式，有序發(fā)展，真正發(fā)揮大數據價值。

圖7 蘇研大數據產品體系架構

[1] 李國杰. 對大數據的再認識[J]. 大數據, 2015, 1(1): 2015001. LI G J. Further understanding of big data[J]. Big Data Research, 2015, 1(1): 2015001.

[2] 程學旗, 靳小龍, 王元卓, 等. 大數據系統(tǒng)和分析技術綜述[J]. 軟件學報, 2014, 25(9): 1889-1908. CHENG X Q, JIN X L, WANG Y Z, et al. Survey on big data system and analytic technology[J]. Journal of Software, 2014, 25(9): 1889-1908.

[3] GHEMAWAT S, GOBIOFF H, LEUNG S T. The Google file system[C]//The 19th ACM Symposium on Operating Systems Principles, October 19-22, 2003, New York, USA. New York: ACM Press, 2003: 1-15.

[4] DEAN J, GHEMAWAT S. MapReduce: simplifed data processing on large clusters[C]// The 6th Conference on Symposium on Operating Systems Design & Implementation, December 6-8, 2004, San Francisco, CA, USA. New York: ACM Press, 2004: 10.

[5] CHANG F, DEAN J, GHEMAWAT S, et al. Bigtable: a distributed storage system for structured data[J]. ACM Transactions on Computer Systems, 2008, 26(2): 15.

[6] 孟祥飛, 馮景華, 趙洋, 等. 應用驅動的大數據融合平臺建設[J]. 大數據, 2017, 3(2): 67-77. MENG X F, FENG J H, ZHAO Y, et al. Application-oriented integration platform construction on big data[J]. Big Data Research, 2017, 3(2): 67-77.

[7] 馬朝輝, 聶瑞華, 譚昊翔, 等. 大數據治理的數據模式與安全[J]. 大數據, 2016, 2(3): 83-95. MA C H, NIE R H, TAN H X, et al. Research on data schema and security in data governance[J]. Big Data Research, 2016, 2(3): 83-95.

[8] 孫少陵, 周大, 錢嶺. 云數據倉庫高性能查詢技術研究[J]. 郵電設計技術, 2011(10): 23-26. SUN S L, ZHOU D, QIAN L. High performance query technique of cloud data warehouse[J]. Designing Techniques of Posts and Telecommunications, 2011(10): 23-26.

[9] 周大, 錢嶺, 郭磊濤, 等. HugeTable: 一種面向電信行業(yè)的云數據倉庫[C]// 2011中國計算機學會服務計算學術會議, 濟南, 中國, 2011-08-18.濟南:[出版者不詳], 2011: 1-4. ZHOU D, QIAN L, GUO L T, et al. HugeTable: telecom oriented data warehouse[C]// 2011CCF National Conference on Service Computing, August 18, 2011, Jinan, China. Jinan: [s.n.], 2011: 1-4.

[10] BAO Y, WANG Z, BAI Q, et al. BC-BSP: a BSP-based system with disk cache for large-scale graph processing[J]. Open Cirrus Summit, 2012, 7215(1): 35-39.

[11] GUO L T, SUN H W, LUO Z G. A data distribution aware task scheduling strategy for mapreduce system[C]// The 1st International Conference on Cloud Computing, December 1-4, 2009, Beijing, China. Berlin: Springer Press, 2009: 694-699.

[12] YU L, DUAN S Q, SHEN C W, et al. BC-PDM: data mining, social network analysis and text mining system based on cloud computing[C]// The 18th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, August 12-16, 2012, Beijing, China. New York: ACM Press, 2012: 1496-1499.

Towards unifi ed big data platform

QIAN Ling, SUN Shaoling, SHI Zaihui
China Mobile (Suzhou) Software Technology Co., Ltd., Suzhou 215163, China

Due to problems like immaturity of platform technology, lack of unified technical framework and inadaptation of organization structure, silo applications and complicated mashup structures were formed when enterprises were introducing big data technology. With maturity of big data platform technology, unified big data platform was gradually becoming the core of enterprise analysis system. The thoughts of enterprise-level big data platform integration from three aspects, management, operation and technology were analyzed. Suggestions about organization structure development, reconstruction and implementation of big data platform operation process, technology planning and realization of platform were provided. At last, practical experiences of unified big data platform integration of China Mobile were presented.

TP311.1

A

10.11959/j.issn.2096-0271.2017032

錢嶺（1972-），男，博士，中移（蘇州）軟件技術有限公司大數據部高級工程師、總經理，專注大數據產品規(guī)劃、研發(fā)和應用全流程、軟件過程改進等，曾獲得中國通信學會科學技術獎二等獎，出版《敏捷開發(fā)知識體系》《云計算：深刻改變未來》《功能點分析——成功軟件項目的測量實踐》和《自適應軟件開發(fā)：一種管理復雜系統(tǒng)的協(xié)作模式》4本著作，發(fā)表多篇論文。

孫少陵（1972-），男，中移（蘇州）軟件技術有限公司高級工程師、副總經理，主持研發(fā)“大云”云計算/大數據產品，曾獲得國家科技進步獎二等獎及多項省部級獎勵。

2017-03-24

大數據統(tǒng)一平臺；BI+；Hadoop；集中化經營分析系統(tǒng)

石在輝（1983-），男，中移（蘇州）軟件技術有限公司大數據產品部方案架構師，主要從事解決方案、戰(zhàn)略規(guī)劃、產品規(guī)劃等工作。