胡 敏
(江西省計算技術(shù)研究所,江西南昌 330003)
近年來,隨著移動互聯(lián)網(wǎng)和萬物物聯(lián)〔1〕的發(fā)展,企業(yè)的數(shù)據(jù)積累呈爆炸性增長,并促使新的應(yīng)用形態(tài)產(chǎn)生。企業(yè)面向的業(yè)務(wù)需求越來越新奇多變,數(shù)據(jù)來源越來越復(fù)雜多元。大部分IT企業(yè)已經(jīng)開始對數(shù)據(jù)資產(chǎn)有了認識,但傳統(tǒng)煙囪式系統(tǒng)架構(gòu)導(dǎo)致的數(shù)據(jù)孤島問題成了企業(yè)實現(xiàn)數(shù)字化的掣肘。因此,打造企業(yè)中臺架構(gòu)成為當下企業(yè)向數(shù)字化轉(zhuǎn)型的最佳出路。
IT企業(yè)在傳統(tǒng)軟件系統(tǒng)建設(shè)中的開發(fā)路徑基本可以歸類為:
1)需求提出:企業(yè)業(yè)務(wù)部門針對當前業(yè)務(wù)發(fā)展或者問題向企業(yè)IT部門提出IT系統(tǒng)建設(shè)需求。
2)需求調(diào)研:企業(yè)IT部門配合業(yè)務(wù)部門進行需求調(diào)研工作,初步確定相關(guān)需求說明。
3)組建IT實施團隊:通過招投標的方式招募合適的IT解決方案提供商或者企業(yè)IT部門依靠自身的開發(fā)團隊為該項目組建實施團隊。
4)系統(tǒng)設(shè)計、開發(fā)及測試:項目團隊基于軟件項目實施流程進行概要設(shè)計、詳細設(shè)計、開發(fā)、測試等相關(guān)工作。
5)系統(tǒng)上線運維:系統(tǒng)順利上線后即進入運維狀態(tài),對存在的問題進行修復(fù)、升級或者進行第二期的項目規(guī)劃。
新系統(tǒng)的建設(shè)沒有實現(xiàn)對企業(yè)原有IT資源的共享利用,像“煙囪”一樣矗立而成。特別是規(guī)模較大的IT企業(yè),內(nèi)部煙囪林立?!盁焽枋健毕到y(tǒng)建設(shè)存在以下弊端:
1)數(shù)據(jù)模型、業(yè)務(wù)模塊的開發(fā)和維護存在重復(fù)性,給企業(yè)帶來的成本以及IT團隊資源浪費。
2)業(yè)務(wù)發(fā)展必然要求打通“煙囪”之間的壁壘,實現(xiàn)內(nèi)部系統(tǒng)間互通互聯(lián)所帶來的協(xié)作和開發(fā)成本較大。
3)本末倒置的“SOA”體系導(dǎo)致業(yè)務(wù)無法真正沉淀,核心業(yè)務(wù)“服役”期滿后推倒重建的現(xiàn)象頻頻出現(xiàn),導(dǎo)致多年來融入到該系統(tǒng)中的企業(yè)個性化、創(chuàng)新的業(yè)務(wù)邏輯和數(shù)據(jù)因為系統(tǒng)重構(gòu)而受損嚴重。
4)數(shù)據(jù)統(tǒng)一性不足:各個系統(tǒng)數(shù)據(jù)標準各異,數(shù)據(jù)報表準確性很難保障。
5)數(shù)據(jù)實時性不足:各系統(tǒng)中數(shù)據(jù)冗余多,數(shù)據(jù)同步復(fù)制繁雜,很難發(fā)揮數(shù)據(jù)驅(qū)動和優(yōu)化業(yè)務(wù)的價值。
這樣的軟件系統(tǒng)建設(shè)剛性有余,韌性不足:過度強調(diào)大規(guī)劃、大建設(shè)、大發(fā)展;注重標準化體系建設(shè),不考慮個性化應(yīng)用的體驗;用大系統(tǒng)替代分散系統(tǒng)實現(xiàn)整合;優(yōu)先支撐業(yè)務(wù)運營層面,過于強調(diào)數(shù)據(jù)應(yīng)用的完整和全面。
隨著互聯(lián)網(wǎng)的發(fā)展,各類應(yīng)用軟件已經(jīng)進入了VUCA時代,〔2〕其特點表現(xiàn)為易變性(Volatility)、不確定性(Uncertainty)、復(fù)雜性(Complexity)、模糊性(Ambiguity)。而要在VUCA時代處變不驚,關(guān)鍵在于能敏銳地感知環(huán)境、靈活地調(diào)整方向、積極地擁抱變化。
從傳統(tǒng)IT建設(shè)方式的特點進行探究,可以對新的軟件系統(tǒng)建設(shè)思路有所啟發(fā):確定總體規(guī)劃以快速應(yīng)用,快速迭代為目標;保證數(shù)據(jù)標準統(tǒng)一,提高復(fù)用率;具備強大的服務(wù)能力,前端輕量化部署;實施大平臺,輕部署;提供可擴展的接入入口等。
企業(yè)中臺是由業(yè)務(wù)中臺和數(shù)據(jù)中臺構(gòu)建起數(shù)據(jù)閉環(huán)的運營體系,實現(xiàn)以數(shù)字化資產(chǎn)的形態(tài)構(gòu)建企業(yè)核心差異化競爭力。業(yè)務(wù)中臺與數(shù)據(jù)中臺在企業(yè)中臺中的應(yīng)用如圖1所示。
圖1 企業(yè)中臺下數(shù)據(jù)中臺與業(yè)務(wù)中臺的應(yīng)用
數(shù)據(jù)中臺的概念由阿里巴巴首次提出,其內(nèi)涵是指為了提升業(yè)務(wù)高峰下應(yīng)對大規(guī)模數(shù)據(jù)量的可擴展性,解決業(yè)務(wù)系統(tǒng)過于復(fù)雜的耦合問題而進行的組織機構(gòu)、技術(shù)應(yīng)用方面的改革創(chuàng)新。〔3〕數(shù)據(jù)中臺本質(zhì)上還是一個平臺,阿里稱之為“共享服務(wù)平臺(Shared Platform as Service,SPAS)”。為提升系統(tǒng)的擴展性,SPAS采用的是基于面向服務(wù)SOA架構(gòu)的“去中心化”的分布式服務(wù)體系,所有的服務(wù)都是以“點對點”的方式進行交互。
業(yè)務(wù)中臺是在充分結(jié)合行業(yè)特征的情況下,基于數(shù)據(jù)與技術(shù)積累適用于行業(yè)應(yīng)用的模型與產(chǎn)品,提供可復(fù)用的流程類、交易類服務(wù),促使業(yè)務(wù)交易同口徑、前端接入統(tǒng)一規(guī)范,提升迭代速度、開發(fā)效率。
數(shù)據(jù)中臺與業(yè)務(wù)中臺相輔相成〔4〕:業(yè)務(wù)中臺維護業(yè)務(wù)處理類(OLTP)數(shù)據(jù),并將共享數(shù)據(jù)同步至數(shù)據(jù)中臺。數(shù)據(jù)中臺存儲在線分析類(OLAP)數(shù)據(jù),分析結(jié)果返回至業(yè)務(wù)中臺;業(yè)務(wù)中臺、數(shù)據(jù)中臺通過統(tǒng)一的微服務(wù)網(wǎng)關(guān)對前端應(yīng)用提供微服務(wù)調(diào)用。
業(yè)務(wù)中臺將業(yè)務(wù)處理的規(guī)則、流程、邏輯等與前端應(yīng)用分離,并將后端的處理規(guī)則整合封裝成可復(fù)用的微服務(wù)、微組件,打造對前端友好的開放共享能力,〔5〕賦予企業(yè)在業(yè)務(wù)增長快、需求多變的環(huán)境下快速迭代、試錯與創(chuàng)新的能力。業(yè)務(wù)中臺實現(xiàn)一切業(yè)務(wù)的數(shù)據(jù)化,承擔(dān)了企業(yè)所有的共性業(yè)務(wù)。業(yè)務(wù)中臺需根據(jù)整體業(yè)務(wù)內(nèi)容,合理提煉出一系列的微服務(wù)。每一個微服務(wù)即是一項業(yè)務(wù)能力,以微服務(wù)為單位展開升級迭代可以達到更高的響應(yīng)速度和靈活性(見圖2)。
圖2 業(yè)務(wù)中臺的能力圖
圖3 數(shù)據(jù)中臺架構(gòu)圖
數(shù)據(jù)中臺從業(yè)務(wù)中臺等途徑接入數(shù)據(jù),通過搭建數(shù)據(jù)模型對數(shù)據(jù)進行清洗、治理、組織、分析、統(tǒng)計、分發(fā)和應(yīng)用,再通過標準化管控流程使數(shù)據(jù)在結(jié)構(gòu)、分層、命名等方面形成統(tǒng)一的數(shù)據(jù)語言,然后制定分類科學(xué)、標準統(tǒng)一、流程規(guī)范的數(shù)據(jù)組織方案,提高數(shù)據(jù)與數(shù)據(jù)之間的關(guān)聯(lián)度、數(shù)據(jù)與業(yè)務(wù)之間的緊密度,形成以實體為基礎(chǔ)、面向應(yīng)用的數(shù)據(jù)資源。數(shù)據(jù)中臺實現(xiàn)一切數(shù)據(jù)的業(yè)務(wù)化,打破數(shù)據(jù)溝通壁壘,為前端業(yè)務(wù)部門提供支撐,助其實現(xiàn)決策快速響應(yīng)以及精細化運營和應(yīng)用,更好地驅(qū)動業(yè)務(wù)發(fā)展與創(chuàng)新。數(shù)據(jù)中臺是一套完善的數(shù)據(jù)運營機制,包含數(shù)據(jù)倉庫體系、數(shù)據(jù)服務(wù)集等,加速數(shù)據(jù)向數(shù)據(jù)資產(chǎn)的價值轉(zhuǎn)變,通過數(shù)據(jù)智能使決策模式由“經(jīng)驗驅(qū)動”向“分析驅(qū)動”轉(zhuǎn)變(見圖3)。
在數(shù)據(jù)中臺的概念興起之前,很多企業(yè)的大數(shù)據(jù)平臺早已隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的發(fā)展落地生根。為何要花費不菲的代價構(gòu)建數(shù)據(jù)中臺?原因在于:大數(shù)據(jù)缺乏實際的應(yīng)用場景,在有應(yīng)用需求的情況下因要定制開發(fā)而無法實現(xiàn)快速調(diào)用,無法實現(xiàn)業(yè)務(wù)的快速響應(yīng)。數(shù)據(jù)中臺的實施將助力大數(shù)據(jù)在行業(yè)應(yīng)用中發(fā)揮價值,以“數(shù)據(jù)驅(qū)動”賦能業(yè)務(wù)發(fā)展并服務(wù)于企業(yè)。目前,有不少廠商已著手研究依托AI技術(shù)推動數(shù)據(jù)中臺向智能化發(fā)展,這必將加速數(shù)據(jù)智能在各行各業(yè)的實際應(yīng)用。
企業(yè)中臺不只是一個技術(shù)上的概念,更可以說是一把手工程,中臺的建設(shè)必須要結(jié)合組織機構(gòu)的優(yōu)化。中臺不僅專注于自身的業(yè)務(wù)能力,更關(guān)注業(yè)務(wù)流程的共享機制,因此中臺的建設(shè)要求業(yè)務(wù)流程的同步升級。中臺以共享為理念,涵蓋了三個方面的意義:1)面對需求變化作出快速響應(yīng)的管理理念與機制;2)基于服務(wù)流程調(diào)整崗位、組織機構(gòu)、部門職能的設(shè)計;3)以共享服務(wù)中心的模式逐步沉淀共性業(yè)務(wù)和數(shù)據(jù)服務(wù)能力,實現(xiàn)數(shù)據(jù)、業(yè)務(wù)、服務(wù)“三位一體”的支撐功能。
企業(yè)中臺的建設(shè)以快速響應(yīng)業(yè)務(wù)變化為目的,通過以共享服務(wù)的方式為前端業(yè)務(wù)提供支撐,由統(tǒng)一的路由適配轉(zhuǎn)發(fā)服務(wù)接入請求。這就要求企業(yè)中臺在技術(shù)構(gòu)架上實現(xiàn)可拓展性、敏捷性、輕量化,通過服務(wù)編排實現(xiàn)前端的靈活調(diào)用。應(yīng)用分布式、微服務(wù)、容器云、DevOps、大數(shù)據(jù)等技術(shù),構(gòu)建高可用、高性能、高并發(fā)的架構(gòu),并遵循“高內(nèi)聚、松耦合”設(shè)計原則,可助力打造先進實用的企業(yè)中臺架構(gòu)。構(gòu)建企業(yè)中臺所需要的技術(shù)支撐如圖4所示。容器云提供開發(fā)、測試、運行的統(tǒng)一環(huán)境,可實現(xiàn)服務(wù)的快速部署,并提供運行時的服務(wù)管理、調(diào)度管理和統(tǒng)一接入,屏蔽基礎(chǔ)層的復(fù)雜性。DevOps提供開發(fā)運維一體化管理,解決業(yè)務(wù)敏捷響應(yīng)、產(chǎn)品快速迭代的問題,支持微服務(wù)下的架構(gòu)監(jiān)控、自動化和運維管理。微服務(wù)治理提供微服務(wù)架構(gòu)編程模型和最佳實踐,并提供服務(wù)日志的全鏈條監(jiān)控、統(tǒng)計和分析。
圖4 中臺架構(gòu)技術(shù)支持
企業(yè)中臺利用SOA服務(wù)架構(gòu)實現(xiàn)服務(wù)的共享、復(fù)用,賦予企業(yè)快速響應(yīng)和試錯創(chuàng)新的業(yè)務(wù)能力?!?〕SOA的本質(zhì)是開放系統(tǒng)專屬功能,以公共服務(wù)的形式供其它應(yīng)用調(diào)用。企業(yè)中臺通過對平臺數(shù)字能力進行再分工再沉淀,以統(tǒng)一管理的方式為前臺快速提供支撐資源,為企業(yè)快速響應(yīng)市場變化提供保障。業(yè)務(wù)中臺的建設(shè)對企業(yè)已有的業(yè)務(wù)流程具有一定的破壞性,流程再造的過程需要消耗一定的構(gòu)建成本。
企業(yè)中臺建設(shè)有以下三種方案:
1)保留原有系統(tǒng),在建設(shè)新系統(tǒng)的過程中搭建中臺架構(gòu),逐步沉淀企業(yè)獨有的核心業(yè)務(wù)能力,在時機恰當?shù)臅r候逐漸改造原有系統(tǒng),并將改造后的系統(tǒng)逐步遷移至中臺架構(gòu)。采用該建設(shè)方案的典型代表有中國石化、廣東國稅等。
2)在保證現(xiàn)有系統(tǒng)正常運營的同時,分批分次地構(gòu)建中臺共享服務(wù)中心,逐步完善中臺架構(gòu)的建設(shè)以及系統(tǒng)的升級改造。采用該建設(shè)方案的典型代表有淘寶、波司登等。
3)直接以中臺架構(gòu)的模式建設(shè)新的系統(tǒng),并替換掉落伍的老系統(tǒng),用該建設(shè)方案的典型代表有特步、顧家家居等。
IT企業(yè)的中臺架構(gòu)設(shè)計方案如圖5所示:
圖5 中臺架構(gòu)設(shè)計方案
中臺架構(gòu)涵蓋了多方面的技術(shù)應(yīng)用,運用技術(shù)服務(wù)專業(yè)化的理念,可充分利用市場上已有的成熟技術(shù)方案與產(chǎn)品來實現(xiàn)中臺架構(gòu)的建設(shè)。在網(wǎng)絡(luò)層,需要考慮和IT基礎(chǔ)設(shè)施平臺的對接,可以采用Overlay疊加虛擬化技術(shù),在既有的物理網(wǎng)絡(luò)之上構(gòu)建一個虛擬網(wǎng)絡(luò),避免對基礎(chǔ)網(wǎng)絡(luò)架構(gòu)的大規(guī)模修改;在存儲層,計算存儲分離支持非等比擴展可更好地滿足大規(guī)模和集約化的需求,能夠增強大數(shù)據(jù)的數(shù)據(jù)處理和容災(zāi)的能力,建議選擇計算存儲分離部署路線;在計算層,Docker已經(jīng)成為容器的事實標準;在基礎(chǔ)設(shè)施即服務(wù)(IaaS)平臺層,OpenStack云計算平臺提供了IaaS的解決方案,每個服務(wù)以API接口進行集成,兼容性好;在大數(shù)據(jù)處理方面,強大的Hadoop生態(tài),已成為大數(shù)據(jù)應(yīng)用開發(fā)廠商的首選平臺;在應(yīng)用編排與調(diào)度方面,Kubernetes已成為應(yīng)用編排與調(diào)度領(lǐng)域事實標準,是應(yīng)用開發(fā)商首選平臺。