甘 杉，余 蕓，蕭展輝

（南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司，廣東廣州 510000）

中臺是指為應(yīng)對數(shù)據(jù)快速變化而搭建的互聯(lián)網(wǎng)架構(gòu)，既能實現(xiàn)前端主機所提出的處理需求，也能避免重復(fù)建設(shè)行為的出現(xiàn)，從而達到提高系統(tǒng)工作效率的目的。前臺也叫系統(tǒng)的前端平臺，是與終端用戶進行信息直接交互的應(yīng)用層結(jié)構(gòu)；后臺則是指系統(tǒng)的后端平臺，一般情況下，前端用戶感知不到該結(jié)構(gòu)的存在的；中臺是以“前臺+后臺”架構(gòu)為基礎(chǔ)搭建的應(yīng)用結(jié)構(gòu)，可根據(jù)用戶需求的變化情況，更改與后端迭代用戶相關(guān)的信息響應(yīng)速率，一方面為用戶主體提供穩(wěn)定的連接服務(wù)，另一方面也可實現(xiàn)對后端存儲數(shù)據(jù)的高效管理[1-2]。

在跨區(qū)域傳輸環(huán)境中，由于信息節(jié)點散亂分布等原因，極易導(dǎo)致信息“碎片化問題”的出現(xiàn)。為解決此問題，傳統(tǒng)方法借助IT 平臺實現(xiàn)MyCAT 分表配置，統(tǒng)計數(shù)據(jù)信息的現(xiàn)有傳輸能力，再通過多級表單對信息參量進行按需存儲，從而最大程度上將碎片信息整合成完整的塊狀傳輸結(jié)構(gòu)。然而該方法在單位時間內(nèi)所能承載的跨區(qū)域傳輸文件量相對有限，并不能實現(xiàn)對信息碎片化行為的有效抑制。基于此，提出面向分布式數(shù)據(jù)的跨系統(tǒng)數(shù)據(jù)同步中臺構(gòu)建方法，在分布式數(shù)據(jù)庫的基礎(chǔ)上，建立完整的同步服務(wù)架構(gòu)，再通過分離輸入信息的方式，總結(jié)中臺運作機制的實際應(yīng)用能力。

1 面向分布式數(shù)據(jù)的跨系統(tǒng)傳輸環(huán)境

1.1 分布式數(shù)據(jù)庫

分布式數(shù)據(jù)庫作為跨系統(tǒng)數(shù)據(jù)同步中臺體系的基礎(chǔ)應(yīng)用框架，由服務(wù)層、計算層、存儲層三部分結(jié)構(gòu)共同組成。其中，服務(wù)層以SQL多模引擎作為核心搭建結(jié)構(gòu)，可同時負(fù)載數(shù)據(jù)信息量的調(diào)度、查詢與管理需求，并可以原數(shù)據(jù)的形式，將待傳輸?shù)目鐓^(qū)域信息參量分配至相關(guān)主機元件之中。計算層結(jié)構(gòu)負(fù)責(zé)生成與分布式數(shù)據(jù)相關(guān)的計算實例文件，并可按照跨區(qū)域傳輸需求，對已存儲的數(shù)據(jù)信息參量進行整合，從而實現(xiàn)對同步中臺體系穩(wěn)定性水平的大幅提升[3-4]。存儲層結(jié)構(gòu)存在于分布式數(shù)據(jù)庫最底層，可在中臺體系的作用下，維持跨系統(tǒng)轉(zhuǎn)存主機的應(yīng)用能力，從而建立能夠滿足執(zhí)行需求的、穩(wěn)定的分布式框架體系結(jié)構(gòu)。分布式數(shù)據(jù)庫結(jié)構(gòu)示意圖如圖1 所示。

圖1 分布式數(shù)據(jù)庫結(jié)構(gòu)示意圖

1.2 數(shù)據(jù)分片

數(shù)據(jù)分片是一種新型的分表類數(shù)據(jù)庫結(jié)構(gòu)體，也是跨系統(tǒng)數(shù)據(jù)同步中臺的關(guān)鍵執(zhí)行結(jié)構(gòu)。對于分布式數(shù)據(jù)信息而言，隨著信息傳輸規(guī)模的不斷擴大，網(wǎng)絡(luò)環(huán)境中生成的分片結(jié)構(gòu)體數(shù)量也會逐漸增多。一般情況下，數(shù)據(jù)分片的設(shè)置必須同時滿足信息分布均衡、分布規(guī)模跨度小、信息傳輸延展性強三個要求，且由于跨系統(tǒng)數(shù)據(jù)同步性等級的不斷提升，分片結(jié)構(gòu)體之間的聯(lián)系緊密程度也會逐漸增強[5-6]。設(shè)Eˉ代表分布式數(shù)據(jù)信息的傳輸延展系數(shù)均值，代表跨系統(tǒng)數(shù)據(jù)的分布規(guī)模特征值，p代表信息分布的均衡特性條件，聯(lián)立上述物理量，可將跨系統(tǒng)數(shù)據(jù)同步中臺的數(shù)據(jù)分片結(jié)果表示為：

式中，χ代表跨系統(tǒng)數(shù)據(jù)的分布式傳輸系數(shù)，代表跨系統(tǒng)數(shù)據(jù)的同步調(diào)度權(quán)限量。

1.3 輸入信息分離

輸入信息分離是跨系統(tǒng)數(shù)據(jù)同步中臺構(gòu)建過程中的關(guān)鍵處理環(huán)節(jié)，可在已知分布式數(shù)據(jù)傳輸目的地的基礎(chǔ)上，對數(shù)據(jù)信息參量所處的實時環(huán)境進行準(zhǔn)確記錄，從而將數(shù)據(jù)信息節(jié)點最大化聚合起來，避免信息碎片化行為的出現(xiàn)。從宏觀角度來看，輸入信息分離處理的執(zhí)行步驟相對較為復(fù)雜，需要同時考慮跨系統(tǒng)數(shù)據(jù)傳輸量、數(shù)據(jù)信息同步傳輸時間兩項物理量[7-8]?？缦到y(tǒng)數(shù)據(jù)傳輸量可表示為I，若以分布式傳輸作為參考條件，則可認(rèn)為該項物理量的數(shù)值水平越高，輸入信息的實際分離結(jié)果越明顯。數(shù)據(jù)信息同步傳輸時間可表示為T，一般來說，該項物理量的取值結(jié)果應(yīng)盡可能地小，也只有這樣才能實現(xiàn)對數(shù)據(jù)文件跨區(qū)域傳輸速率的不斷促進。在上述物理量的支持下，聯(lián)立式（1），可將輸入信息分離結(jié)果表示為：

式中，α代表跨系統(tǒng)數(shù)據(jù)的分離系數(shù)指標(biāo)，w1、w2代表兩個不同的分布式數(shù)據(jù)同步傳輸系數(shù)值。

2 跨系統(tǒng)數(shù)據(jù)同步中臺的需求分析

在分布式數(shù)據(jù)的跨系統(tǒng)傳輸環(huán)境中，按照同步服務(wù)架構(gòu)搭建、傳輸用例關(guān)系研究、中臺運作機制完善的處理流程，完成跨系統(tǒng)數(shù)據(jù)同步中臺的應(yīng)用需求分析。

2.1 同步服務(wù)架構(gòu)

跨系統(tǒng)數(shù)據(jù)的同步服務(wù)架構(gòu)分為下載服務(wù)、解析服務(wù)兩個執(zhí)行體系。其中，下載服務(wù)體系可接收APK結(jié)構(gòu)中暫存的分布式數(shù)據(jù)信息，并可在符合數(shù)據(jù)校驗需求的前提下，借助FileUtils 模塊，將數(shù)據(jù)信息參量排列成全新的傳輸格式，在該過程中存在一定的處理失敗率，因此服務(wù)體系具備自發(fā)失敗并重試的能力。解析服務(wù)體系以ApkUtil 結(jié)構(gòu)作為建設(shè)主體，可借助aapt 傳輸平臺，對跨系統(tǒng)數(shù)據(jù)進行同步整合，再將最終獲得的分布式數(shù)據(jù)包存儲于ApkInfo 結(jié)構(gòu)之中，以供其他中臺應(yīng)用主機的直接調(diào)取與應(yīng)用[9-10]?？缦到y(tǒng)數(shù)據(jù)同步服務(wù)架構(gòu)示意圖如圖2 所示。

圖2 跨系統(tǒng)數(shù)據(jù)同步服務(wù)架構(gòu)示意圖

2.2 傳輸用例關(guān)系

跨系統(tǒng)數(shù)據(jù)同步中臺的傳輸用例關(guān)系涉及APK解析、遍歷測試、數(shù)據(jù)監(jiān)控、報告生成四方面內(nèi)容。

APK 解析行為生成于跨系統(tǒng)數(shù)據(jù)傳輸?shù)钠鹗茧A段，可在同步服務(wù)架構(gòu)的作用下，打散分布式數(shù)據(jù)間的存儲與連接關(guān)系，從而使得ApkInfo 結(jié)構(gòu)的存儲壓力得到有效緩解，實現(xiàn)對跨系統(tǒng)數(shù)據(jù)的按需整合[11-12]。

遍歷測試行為直接作用于待傳輸?shù)姆植际綌?shù)據(jù)信息參量，可按照跨系統(tǒng)同步中臺的應(yīng)用需求對相關(guān)信息文件進行二次整合，進而拉近跨系統(tǒng)節(jié)點之間的實時傳輸關(guān)系。

數(shù)據(jù)監(jiān)控行為對于分布式數(shù)據(jù)信息起到較強的約束作用，可根據(jù)相鄰系統(tǒng)之間的跨平臺傳輸距離確定中臺主機所處的實時位置，從而實現(xiàn)對數(shù)據(jù)傳輸同步性的有效保障[13-14]。

報告生成行為決定了跨系統(tǒng)數(shù)據(jù)同步中臺的信息傳輸廣度條件，一般來說，待處理的分布式數(shù)據(jù)越多，傳輸報告的生產(chǎn)速度也就越快，與之相關(guān)的同步中臺應(yīng)用穩(wěn)定性也就越強。

2.3 中臺運作機制

中臺運作機制是確?？缦到y(tǒng)數(shù)據(jù)同步中臺構(gòu)建的基礎(chǔ)應(yīng)用條件，可在初期傳輸階段，將數(shù)據(jù)信息參量劃分成多個模塊結(jié)構(gòu)，其中，一部分直接反饋至分布式信息處理主機中，另一部分則用于抵消由傳輸用例關(guān)系帶來的抑制性干擾的影響[15-16]。規(guī)定同步中臺主機在單位時間內(nèi)所能承載的最大跨系統(tǒng)數(shù)據(jù)量只能達到ΔC，在平臺體系構(gòu)建權(quán)重保持為ξ的情況下，聯(lián)立公式（2），可將中臺運作機制的基礎(chǔ)應(yīng)用條件表示為：

式中，k為數(shù)據(jù)信息參量的分布式劃分系數(shù)，f為跨系統(tǒng)數(shù)據(jù)的用例傳輸系數(shù)值。在實際應(yīng)用過程中，中臺運作機制的穩(wěn)定性越強，分布式數(shù)據(jù)在跨區(qū)域環(huán)境中的傳輸速率也就越快，因此在確保數(shù)據(jù)信息間傳輸用例關(guān)系不發(fā)生改變的情況下，應(yīng)盡可能增大中臺運作機制基礎(chǔ)應(yīng)用條件的實際計算數(shù)值。至此，完成各級指標(biāo)系數(shù)的計算與處理，在分布式傳輸環(huán)境下，實現(xiàn)跨系統(tǒng)數(shù)據(jù)同步中臺構(gòu)建方法的順利應(yīng)用。

3 實例分析

利用Linux 虛擬主機截取實驗所需的數(shù)據(jù)信息資源，分別從時間與傳輸能力兩個方向?qū)?shù)據(jù)信息的應(yīng)用能力進行考量，一般情況下，數(shù)據(jù)信息資源的傳輸最大值只能達到12 G。數(shù)據(jù)信息獲取示意圖如圖3 所示。

圖3 數(shù)據(jù)信息獲取示意圖

為保證數(shù)據(jù)文件的跨區(qū)域穩(wěn)定傳輸，將頂層主機IP 設(shè)置為175.149.41.100、中層主機IP 設(shè)置為172.31.255.255、底層主機IP 設(shè)置為127.255.255.254，且在實驗過程中，所有應(yīng)用主機的IP 地址參量都不能被改變。

該實驗分兩部分進行，首先在Linux 虛擬主機中輸入面向分布式數(shù)據(jù)的跨系統(tǒng)數(shù)據(jù)同步中臺構(gòu)建方法的軟件執(zhí)行程序，將所獲得的數(shù)據(jù)信息作為實驗組數(shù)據(jù)資源；其次在Linux 虛擬主機中輸入MyCAT分表方法的軟件執(zhí)行程序，將所獲得的數(shù)據(jù)信息作為對照組數(shù)據(jù)資源；最后將實驗組、對照組指標(biāo)參量進行對比。

單位時間內(nèi)跨區(qū)域傳輸?shù)臄?shù)據(jù)文件數(shù)量能夠反映碎片信息的出現(xiàn)幾率，且前者始終對后者起到反向影響作用，即單位時間內(nèi)跨區(qū)域傳輸?shù)臄?shù)據(jù)文件數(shù)量越多，碎片信息的出現(xiàn)幾率也就越低，反之則越高。

具體實驗結(jié)果如圖4-5 所示。

圖4 數(shù)據(jù)文件傳輸量（單流量）

分析圖4 可知，在單流量情況下，實驗組、對照組數(shù)據(jù)文件的傳輸量水平始終相對較低，但在整個實驗過程中，該數(shù)值始終保持連續(xù)上升的數(shù)值變化趨勢，且實驗組上升幅度明顯高于對照組。

分析圖5 可知，在多流量情況下，實驗組、對照組的數(shù)據(jù)文件傳輸量水平與單流量情況保持一致。在第3 與第4 組別之間，實驗組的數(shù)值上升幅度最小，但對照組的數(shù)值上升幅度在整個實驗過程中并未發(fā)生明顯變化。

圖5 數(shù)據(jù)文件傳輸量（多流量）

綜上可知，面向分布式數(shù)據(jù)的跨系統(tǒng)數(shù)據(jù)同步中臺構(gòu)建方法主要具備以下兩項應(yīng)用優(yōu)勢：

1）在單流量、多流量傳輸情況下，隨著該方法的應(yīng)用，數(shù)據(jù)文件傳輸量水平均出現(xiàn)明顯上升的變化趨勢；

2）單位時間內(nèi)跨區(qū)域傳輸數(shù)據(jù)文件數(shù)量值的增大，能夠較好地抑制碎片信息的出現(xiàn)，符合跨區(qū)域穩(wěn)定傳輸數(shù)據(jù)文件的實際應(yīng)用需求。

4 結(jié)束語

針對分布式數(shù)據(jù)來講，跨系統(tǒng)數(shù)據(jù)同步中臺構(gòu)建方法從分布式數(shù)據(jù)庫的角度著手，通過數(shù)據(jù)分片處理的方式，對已輸出信息進行有效地分離，再根據(jù)同步服務(wù)架構(gòu)的連接形式，確定具體的傳輸用例關(guān)系，從而較好地完善中臺運作機制。實驗結(jié)果顯示，應(yīng)用跨系統(tǒng)數(shù)據(jù)同步中臺構(gòu)建方法后，無論是單流量還是多流量環(huán)境，數(shù)據(jù)文件的傳輸量水平均出現(xiàn)了一定程度的提升，不但防止了信息“碎片化問題”的出現(xiàn)，也實現(xiàn)了對數(shù)據(jù)文件的穩(wěn)定跨區(qū)域傳輸，在實際應(yīng)用過程中，具備較強的促進性作用。