摘 要業(yè)界移動通訊配置部署、運(yùn)維管理系統(tǒng)對工程師的技術(shù)要求高，工作低效，容易出錯，需要支持較大的數(shù)據(jù)量。為了解決這些痛點(diǎn)，我司進(jìn)行4+1需求模型分析明確需求，采用正交軟件架構(gòu)、進(jìn)程容器平臺組件架構(gòu)、數(shù)據(jù)工廠模式，并將管道過濾器、解釋器、MAP-REDUCE風(fēng)格應(yīng)用于數(shù)據(jù)比較，從而實(shí)現(xiàn)了一種低內(nèi)存，高性能，自動化高，應(yīng)用簡單，易擴(kuò)展的集中配置系統(tǒng)。

【關(guān)鍵詞F4+1模型 正交設(shè)計 進(jìn)程容器 平臺組件 工廠模式 管道過濾 MAP-REDUCE 集中配置

無線通訊系統(tǒng)比較復(fù)雜，包括不同產(chǎn)品、制式和各種服務(wù)?，F(xiàn)有技術(shù)中，配置系統(tǒng)通過配置界面操作配置各網(wǎng)元對象，操作復(fù)雜，難度較高，不僅容易出錯，而且工程繁雜低效；隨著系統(tǒng)演進(jìn)，其資源需求越來越大，處理效率越來越低，系統(tǒng)甚至存在不可用問題。為了解決目前配置系統(tǒng)遇到的問題，同時適應(yīng)一些新需求，諸如批量開站、快速下載激活等，首先進(jìn)行4+1需求模型分析，明確需求，確定軟件系統(tǒng)的實(shí)現(xiàn)，提出了正交軟件架構(gòu)、進(jìn)程容器平臺組件架構(gòu)；接著，結(jié)合系統(tǒng)的物理部署論述了工廠模式的數(shù)據(jù)設(shè)置系統(tǒng)；之后論述了如何將管道過濾器、解釋器、MAP-REDUCE三者風(fēng)格混合應(yīng)用于數(shù)據(jù)比較的架構(gòu)設(shè)計及實(shí)現(xiàn)中，最后總結(jié)評價了該系統(tǒng)。

1 4+1軟件架構(gòu)建模

當(dāng)前配置系統(tǒng)通常是通過配置界面操作逐一配置各個對象元素，這種配置操作對于少量配置數(shù)據(jù)沒有問題，但對于技術(shù)不斷演進(jìn)、業(yè)務(wù)不斷擴(kuò)張的通訊系統(tǒng)顯得捉襟見肘，用戶普遍反應(yīng)需要一種簡單高效的配置系統(tǒng)。

如何讓配置簡單高效？何謂簡單，其實(shí)就是希望盡量少做，甚至不做事情，統(tǒng)一由程序軟件代替用戶完成?？蛇x的架構(gòu)風(fēng)格是批處理序列、管道過濾數(shù)據(jù)流風(fēng)格，讓用戶提交一個作業(yè)即可完成配置；同時，管道過濾批處理架構(gòu)適用于并發(fā)，從而也可以提高效率。

該架構(gòu)風(fēng)格如何適應(yīng)各種通訊系統(tǒng)產(chǎn)品呢？通訊系統(tǒng)存在2G、3G、4G，甚至還有規(guī)劃中的5G產(chǎn)品；并且，配置對象存在多種類別劃分，有地面配置對象和無線配置對象，而無線配置對象還細(xì)分為多個小類。可謂多而雜，經(jīng)過分析，我們發(fā)現(xiàn)這些產(chǎn)品對象存在相同或者相似之處，將這些相同或者相似的地方進(jìn)行抽象，可以將它們抽象為一個個產(chǎn)品模型，然后可以基于這些模型選型進(jìn)行批量配置處理。進(jìn)一步分析，引入模型選型，需要模型管理，從而需要模型管理子系統(tǒng)。這屬于4+1視圖模型中的開發(fā)視圖，根據(jù)該開發(fā)視圖，開發(fā)人員可用于軟件開發(fā)管理。

新舊配置系統(tǒng)完全不一樣，需要考慮系統(tǒng)的演進(jìn)模式，處理好新舊系統(tǒng)的關(guān)系。可以用新系統(tǒng)適配繼承舊系統(tǒng)，也可以拋棄舊系統(tǒng)完全重頭開發(fā)。如果完全從頭開發(fā)，工作量大，風(fēng)險大，所以，優(yōu)先選擇適配繼承方案，同時也可行。該方案對于模型管理更簡單，模型可以直接由舊系統(tǒng)產(chǎn)生，再由新系統(tǒng)實(shí)時拉取；新配置系統(tǒng)在舊配置系統(tǒng)的基礎(chǔ)上運(yùn)行，可以將新系統(tǒng)和舊系統(tǒng)定義為上下兩層，下層是運(yùn)行時配置系統(tǒng)，上層是離線集中配置系統(tǒng)；如果新系統(tǒng)存在不足，可以利用舊系統(tǒng)補(bǔ)短。這是新舊系統(tǒng)的物理部署形式，即4+1視圖模型的物理視圖，系統(tǒng)工程人員利用該視圖可以進(jìn)行系統(tǒng)拓?fù)?、安裝和通信。

從4+1模型視圖的應(yīng)用場景分析配置系統(tǒng)。其主要應(yīng)用場景有版本升級更新配置系統(tǒng)（系統(tǒng)也可能存在運(yùn)行時自我調(diào)優(yōu)需求），業(yè)務(wù)擴(kuò)張開設(shè)新站點(diǎn)，大數(shù)據(jù)基于主題的配置。版本升級需要基于現(xiàn)有配置進(jìn)行配置，需要將新增的配置下發(fā)到下級，將不同的配置下發(fā)到下級配置系統(tǒng)，可以稱之為差異下發(fā)。如何產(chǎn)生差異？需要比較。在升級前保存快照，然后基于快照和配置好的配置產(chǎn)生增量差異數(shù)據(jù)，進(jìn)而可以將差異數(shù)據(jù)下發(fā)到下級配置系統(tǒng)。于是需要一個比較模塊智能分析數(shù)據(jù)產(chǎn)生增量數(shù)據(jù)，這樣可以滿足版本升級需求。對于業(yè)務(wù)擴(kuò)張，其本質(zhì)大同小異，只是條件不完全一樣，需要調(diào)整版本升級實(shí)現(xiàn)的前置條件，即可滿足業(yè)務(wù)擴(kuò)展，開設(shè)站點(diǎn)。至于大數(shù)據(jù)基于主題的應(yīng)用，比如某種場景對無線通訊系統(tǒng)的調(diào)優(yōu)，可以采用數(shù)據(jù)倉庫風(fēng)格架構(gòu)方案來解決。

從上面的需求分析看，4+1視圖的邏輯視圖最終用戶的功能需求已逐漸明晰，該新系統(tǒng)基于模型配置，需要導(dǎo)出導(dǎo)入進(jìn)行配置，基于數(shù)據(jù)比較產(chǎn)生增量數(shù)據(jù)做下發(fā)。

最后從4+1模型視圖的進(jìn)程視圖分析該新配置系統(tǒng)。該新系統(tǒng)可以配置各個模型產(chǎn)品，具有可伸縮性，可能運(yùn)行多個相同或者不同的進(jìn)程實(shí)例，需要多進(jìn)程管理，所以需要引入進(jìn)程容器，該進(jìn)程容器中需要一個主進(jìn)程、業(yè)務(wù)進(jìn)程、產(chǎn)品進(jìn)程以及一些諸如監(jiān)控日志等擴(kuò)展性進(jìn)程。其次，從可移植性以及集群考慮，該新配置系統(tǒng)需要可以作為一個獨(dú)立的組件或者進(jìn)程組以插件方式安裝到其他系統(tǒng)中去運(yùn)行。

這些是4+1軟件架構(gòu)模型中主要關(guān)注的架構(gòu)元素，包括結(jié)構(gòu)模型、框架模型、動態(tài)模型、過程模型、功能模型。

2 正交軟件系統(tǒng)架構(gòu)

正交軟件架構(gòu)由組織層和線索的構(gòu)件組成。層是由一組具有相同抽象級別的構(gòu)件構(gòu)成，線索是子系統(tǒng)的特例，是由完成不同層次功能的構(gòu)件組成（通過相互調(diào)用來關(guān)聯(lián)），每一條線索完成整個系統(tǒng)中相對獨(dú)立的一部分功能。每一條線索的實(shí)現(xiàn)與其他線索的實(shí)現(xiàn)無關(guān)或者關(guān)聯(lián)很少，在同一層中的構(gòu)件之間是不存在相互調(diào)用，或者盡量少存在。

從上述正交軟件架構(gòu)的特征可以看出正交軟件架構(gòu)具有如下優(yōu)點(diǎn)：

（1）結(jié)構(gòu)清晰，易于理解，因?yàn)榫€索功能相互獨(dú)立，不進(jìn)行互相調(diào)用，結(jié)構(gòu)簡單、清晰；構(gòu)件在結(jié)構(gòu)圖中的位置已經(jīng)說明它所實(shí)現(xiàn)的是哪一級抽象，擔(dān)負(fù)的是什么職責(zé)；

（2）易于修改，可維護(hù)性強(qiáng)，因?yàn)榫€索之間相互獨(dú)立，對一個線索的修改不會影響到其他線索；

（3）可移植性強(qiáng)，重用粒度大，因?yàn)檎唤Y(jié)構(gòu)可以為一個領(lǐng)域內(nèi)的所有應(yīng)用程序所共享，這些軟件有著相同或類似的層次和線索，可以實(shí)現(xiàn)體系結(jié)構(gòu)級的重用。

根據(jù)軟件需求，該新配置系統(tǒng)比較適合采用正交軟件系統(tǒng)架構(gòu)。從4+1模型視圖分析，該新配置系統(tǒng)有較多的功能點(diǎn)和幾個獨(dú)立類似的模塊，這些功能模塊可以并行開發(fā)；其次，我司從事多年軟件項(xiàng)目研發(fā)，具有相當(dāng)豐富的技術(shù)沉淀可以復(fù)用。endprint

通過進(jìn)程容器平臺組件架構(gòu)，我們可以在該框架中增加層次和線索，從而可以比較快的實(shí)現(xiàn)一個新系統(tǒng)?；谄脚_進(jìn)程容器開發(fā)可以復(fù)用公司既有軟件構(gòu)件；通過多條線索可以進(jìn)行并行開發(fā)。如圖1正交軟件架構(gòu)示意圖，根據(jù)此正交架構(gòu)，開發(fā)人員可以并行開發(fā)數(shù)據(jù)導(dǎo)出、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)比較、數(shù)據(jù)下發(fā)、產(chǎn)品n，因?yàn)檫@幾個模塊相對獨(dú)立，互不影響，所以，可以彼此獨(dú)立地進(jìn)行開發(fā)，從而可以提高開發(fā)效率；對于公共API、平臺和進(jìn)程容器各個模塊可以復(fù)用，從架構(gòu)上減少重復(fù)度；通過進(jìn)程容器，可以根據(jù)實(shí)際情況動態(tài)彈性伸縮，動態(tài)彈出產(chǎn)品n實(shí)例，退出產(chǎn)品n實(shí)例，并加載卸載產(chǎn)品n模型。

3 數(shù)據(jù)工廠模式架構(gòu)

圖2是數(shù)據(jù)工廠模式架構(gòu)的體系結(jié)構(gòu)圖。從4+1模型軟件架構(gòu)建模分析，為了配置簡單，配置數(shù)據(jù)分為在線數(shù)據(jù)、離線數(shù)據(jù)和配置數(shù)據(jù)，進(jìn)一步明確抽象為設(shè)備數(shù)據(jù)區(qū)、設(shè)備鏡像區(qū)和設(shè)備設(shè)置區(qū)。以數(shù)據(jù)工廠模式架構(gòu)，該系統(tǒng)形成數(shù)據(jù)工廠系統(tǒng)、設(shè)置管理系統(tǒng)和設(shè)備系統(tǒng)，而數(shù)據(jù)工廠系統(tǒng)包括設(shè)備鏡像區(qū)和設(shè)備設(shè)置區(qū)。對于設(shè)備設(shè)置區(qū)，雖然設(shè)備鏡像區(qū)基本不變，但是由于設(shè)備可能會由于多用戶操作，以及設(shè)備的自我調(diào)優(yōu)，存在著變化，所以一般把設(shè)備設(shè)置區(qū)進(jìn)行讀寫分離，分為基準(zhǔn)區(qū)和規(guī)劃區(qū)，基準(zhǔn)區(qū)用來讀，規(guī)劃區(qū)用來寫；然后基于數(shù)據(jù)比較產(chǎn)生下發(fā)數(shù)據(jù)。這種根據(jù)讀寫分離分區(qū)的產(chǎn)生下發(fā)數(shù)據(jù)的方案沖突性較少，效率比較高，只是，其數(shù)據(jù)存在著重復(fù)性，存在數(shù)據(jù)重復(fù)復(fù)制的開銷。第二種方案是直接只記錄增刪改的最終記錄，如果鏡像區(qū)不發(fā)生變化，這種方案效率應(yīng)該最好；如果有變化需要解決沖突，進(jìn)行差異合并，還需要查詢鏡像區(qū)，既讀又寫，如果對象間有級聯(lián)關(guān)系呢？感覺復(fù)雜度上升了很多，效率應(yīng)該也降不少；另外，這種方案對多用戶并發(fā)支持不是很好。第三種方案是記錄下全部操作日志，最后統(tǒng)一批量處理，這種方式延后處理，勢必導(dǎo)致用戶感覺操作效率低下，不是可選方案（本文后續(xù)以第一種方案來討論這種配置系統(tǒng)的架構(gòu)設(shè)計及實(shí)現(xiàn)）。

數(shù)據(jù)工廠集中配置工作過程。設(shè)置中心根據(jù)業(yè)務(wù)需求創(chuàng)刪設(shè)置，利用設(shè)備設(shè)置區(qū)繼承數(shù)據(jù)鏡像區(qū)所有對象信息，直接在數(shù)據(jù)中心批量處理，并且分組分片分區(qū)最優(yōu)多流水線作業(yè)處理，在設(shè)備設(shè)置區(qū)存貯刪除設(shè)置實(shí)例的目標(biāo)數(shù)據(jù)和源數(shù)據(jù)?；诒容^智能分析設(shè)備設(shè)置區(qū)內(nèi)的目標(biāo)數(shù)據(jù)和源數(shù)據(jù)，進(jìn)行正確性檢查，生成設(shè)置腳本。設(shè)置腳本的生成按照已經(jīng)定義好的規(guī)則協(xié)議生成設(shè)置腳本。產(chǎn)生設(shè)置腳本前，對第一比對結(jié)果和第二比對結(jié)果進(jìn)行比對校驗(yàn)沖突性，如果有沖突進(jìn)行沖突解決和差異合并；產(chǎn)生設(shè)置腳本前根據(jù)預(yù)先設(shè)置保存在規(guī)則知識庫中的規(guī)則對增量進(jìn)行合法性檢查，保證設(shè)備在配置前后不存在沖突，是合法配置，從而保證產(chǎn)生的腳本的正確性。最后，將設(shè)置腳本下發(fā)激活到設(shè)備系統(tǒng)。

4 管道過濾、解釋器模式、MAP-REDUCE混合架構(gòu)

數(shù)據(jù)工廠模式架構(gòu)風(fēng)格的集中配置系統(tǒng)的體系結(jié)構(gòu)、工作過程及實(shí)現(xiàn)方案已經(jīng)做了相關(guān)闡述，其中基于比較的差異數(shù)據(jù)的產(chǎn)生是一項(xiàng)比較具有挑戰(zhàn)性的工作。

比較的挑戰(zhàn)在于需要將關(guān)鍵字對齊后才能比較。對齊意味著需要排序，排序最簡單的方式是先把配置數(shù)據(jù)全部拉取出來后排序，再依次比對產(chǎn)生差異結(jié)果，但這意味著內(nèi)存累積，內(nèi)存沖高，如果數(shù)據(jù)量大，系統(tǒng)會內(nèi)存溢出退服；結(jié)構(gòu)體數(shù)組擴(kuò)展，如果處理不好會出現(xiàn)同樣的問題，導(dǎo)致內(nèi)存沖高，服務(wù)最后變得不可用；比較不僅用于產(chǎn)生差異數(shù)據(jù)，還用于沖突檢查和合法性檢查，如果效率不高，會影響用戶的體驗(yàn)，所以如何提升效率也是一個重中之重；再次，如何將比較應(yīng)用于各種產(chǎn)品，使其兼容各種產(chǎn)品，也是該配置系統(tǒng)項(xiàng)目關(guān)注的重點(diǎn)。目前通訊系統(tǒng)發(fā)展迅速，其系統(tǒng)配置數(shù)據(jù)量越來越大，減少內(nèi)存資源使用勢在必行，需要優(yōu)先考慮。通過分析決策，對該配置系統(tǒng)采用管道過濾流式架構(gòu)風(fēng)格，其內(nèi)存資源使用只占用基本內(nèi)存，不會沖高，運(yùn)行起來穩(wěn)定。

管道過濾模式由構(gòu)件和連接件組成，構(gòu)件有輸入和輸出，讀取輸出流，經(jīng)過內(nèi)部處理，產(chǎn)生輸出流，可以稱之為過濾器；連接件將一個過濾器的輸出傳到另一個過濾器的輸入，就像數(shù)據(jù)傳輸?shù)墓艿酪粯?。本配置系統(tǒng)中，構(gòu)件包括數(shù)據(jù)中心、應(yīng)用層差異拉取件、應(yīng)用層腳本生成件、應(yīng)用層合法性檢查件和應(yīng)用層沖突檢查件。應(yīng)用層構(gòu)件和數(shù)據(jù)中心構(gòu)件通過JDBC的流式組件實(shí)現(xiàn)管道傳輸，應(yīng)用層件間通過隊(duì)列傳輸數(shù)據(jù)，構(gòu)件間形成生產(chǎn)者消費(fèi)者模式。

為了兼容各種產(chǎn)品，比較基于模型采用解釋器架構(gòu)開發(fā)。對于每個對象，基于模型解析對象信息，由軟件智能生成比較腳本，然后提交數(shù)據(jù)中心，由數(shù)據(jù)中心編譯后或者直接執(zhí)行。在數(shù)據(jù)中心，關(guān)鍵字信息對齊后，流式比較記錄產(chǎn)生流式結(jié)果，輸出到管道中，同時由應(yīng)用層拉取。在效率上，動態(tài)執(zhí)行由于額外的解析等因素，一般慢于靜態(tài)執(zhí)行，但是動態(tài)執(zhí)行兼容性和適配性更好；而靜態(tài)執(zhí)行雖然效率高，但是適配性差，代碼腳本重復(fù)性高。本系統(tǒng)腳本生成結(jié)合了動態(tài)腳本和靜態(tài)腳本的優(yōu)勢，在整體上采用動態(tài)腳本，在局部上部分采用靜態(tài)腳本，比如定義一些特殊類型等。

管道過濾流式模式解決了內(nèi)存資源問題，下面討論MAP-REDUCE如何解決效率問題。MAP-REDUCE模式其實(shí)是分而治之的典型應(yīng)用，包括將待處理對象分組并行執(zhí)行，將業(yè)務(wù)流程分階段以生產(chǎn)者消費(fèi)者以管道過濾模式并行執(zhí)行。本配置系統(tǒng)在處理上，將配置對象分成不同級別的Master-Work組，以生產(chǎn)者消費(fèi)者模式分階段并行執(zhí)行，比如，數(shù)據(jù)中心產(chǎn)生差異結(jié)果為第一階段，應(yīng)用層拉取差異結(jié)果為第二階段，生成下發(fā)腳本、合法性檢查、沖突檢查為第三階段，下載激活為第四階段。分階段執(zhí)行，階段間需要傳遞關(guān)鍵信息，以處理比如有嚴(yán)格順序要求的配置命令生成需求。

采用profile比較機(jī)制，采取解釋器模式，根據(jù)配置模型的描述信息生成比較腳本，然后執(zhí)行該腳本，得到差異對象信息。具體地，上述腳本生成子單元具體用于根據(jù)預(yù)置模型對象中預(yù)置的分組信息和對象描述信息，對應(yīng)于每一分組生成一用于比較該分組中對象的比較腳本。由于命令生成采用管道過濾器模式，其占用的內(nèi)存基本可以忽略。通常來說，管道過濾器模式不適合關(guān)聯(lián)復(fù)雜的數(shù)據(jù)處理，但是本實(shí)例實(shí)施采用MAP-REDUCE模式，可以處理有嚴(yán)格順序要求的配置命令生成；內(nèi)存消耗低，可以采用高并發(fā)方式提高效率；同時，其并發(fā)參數(shù)可以熱配，從而伸縮性很好。

5 結(jié)論

該系統(tǒng)采用進(jìn)程容器、平臺組件、正交軟件架構(gòu)，使系統(tǒng)具有可伸縮性、可移植性、易擴(kuò)展性；在實(shí)現(xiàn)中使用了推拉機(jī)制、沖突解決機(jī)制、差異合并機(jī)制、合法性檢查機(jī)制，確保了數(shù)據(jù)高效正確下發(fā)；創(chuàng)建設(shè)置利用設(shè)備設(shè)置區(qū)繼承數(shù)據(jù)鏡像區(qū)所有對象信息，直接在數(shù)據(jù)中心批量處理，并且分組分片分區(qū)最優(yōu)多流水線作業(yè)處理，具有高效性、安全性和擴(kuò)展性；根據(jù)設(shè)置主題引導(dǎo)用戶進(jìn)行主題設(shè)置，用戶使用更加簡單快捷；檢查設(shè)置基于模型在數(shù)據(jù)中心高速緩存中歸集，以管道方式比對，效率高，內(nèi)存低，性能穩(wěn)定；腳本生成智能分析設(shè)備數(shù)據(jù)并生成設(shè)置腳本，雖然實(shí)現(xiàn)比較復(fù)雜，但應(yīng)用簡單，自動化高?？偠灾摷信渲孟到y(tǒng)智能、簡單、高效、安全。

參考文獻(xiàn)

[1]張友生.軟件體系結(jié)構(gòu)原理、方法與實(shí)踐（第2版）[M].北京：清華大學(xué)出版社，2014：70-71.

[2]王友亮，王志鵬，汪星，吳振宇.集中配置方法及裝置：中國，CN201410721006.8[P].2014-12-03.

作者單位

上海中興軟件有限責(zé)任公司 上海市 201203endprint