摘? 要： 分析運營商增值業(yè)務(wù)數(shù)據(jù)不一致的原因，針對每個原因制定對應(yīng)的保障機制。同時從人和技術(shù)手段兩方面對增值業(yè)務(wù)數(shù)據(jù)一致性進行保障，將管理辦法、流程機制和技術(shù)手段有機結(jié)合，構(gòu)建常態(tài)化的數(shù)據(jù)一致性保障機制。建立數(shù)據(jù)一致性管理平臺，由系統(tǒng)對數(shù)據(jù)一致性進行自動比對和修復(fù)，同時自動比對要設(shè)置自動修復(fù)的差異閥值，達到一定差異需人工核對后再進行處理。實踐表明：管理機制和技術(shù)機制相結(jié)合的保障機制，能將增值業(yè)務(wù)數(shù)據(jù)一致率由88.11%提高到99.96%，差異存續(xù)時間由5天降到一天以內(nèi)。

關(guān)鍵詞： 數(shù)據(jù)一致性;保障機制;增值業(yè)務(wù);運營商

中圖分類號： TP399? ? 文獻標識碼： A? ? DOI：10.3969/j.issn.1003-6970.2020.10.035

本文著錄格式：李麗玲. 論運營商增值業(yè)務(wù)數(shù)據(jù)一致性保障機制[J]. 軟件，2020，41（10）：141145

【Abstract】： This paper analyzed the reasons that the inconsistency of Operators' value-added service data， and formulated corresponding guarantee mechanism for each reason. the data consistency of value-added Services is guaranteed from both human and technical means， and organically combined management methods， process mechanisms and technical means to construct a normalized guarantee mechanism of data consistency.By establishing a data consistency management platform， the system can automatically compare and repair the data consistency. At the same time， the threshold of automatic repair was needed to set for the automatic comparison.If the inconsistency reached the certain threshold， it needed to be checked manually before processing. Practice showed that the guarantee mechanism that combined management and technical mechanisms could increase the Value-added Services of consistency rate from 88.11% to 99.96%， and the difference duration could be reduced from 5 days to less than one day.

【Key words】： Data consistency; Guarantee mechanism; Value-added service; Operator

0? 引言

電信增值業(yè)務(wù)是相對于傳統(tǒng)的電信語音業(yè)務(wù)而言，指的是憑借公用電信網(wǎng)的資源和其它通信設(shè)備而開發(fā)的附加通信業(yè)務(wù)，其實現(xiàn)的價值使原有網(wǎng)路的經(jīng)濟效益或功能價值增高，如電子郵箱、手機游戲、手機視頻等。增值業(yè)務(wù)數(shù)據(jù)一致性可以認為是電信運營商增值業(yè)務(wù)支撐系統(tǒng)的“血液”，是保障系統(tǒng)正常運轉(zhuǎn)、提供外部功能、滿足客戶感知的關(guān)鍵所在。但是伴隨業(yè)務(wù)支撐系統(tǒng)功能和規(guī)模的逐漸擴大，NGBOSS建設(shè)中對于CRM、BOSS、經(jīng)營分析、網(wǎng)管等子系統(tǒng)的解耦，從而在系統(tǒng)內(nèi)產(chǎn)生了各種各樣的數(shù)據(jù)質(zhì)量問題，致“數(shù)據(jù)群”內(nèi)的各數(shù)據(jù)之間不平衡、不一致的情況發(fā)生，最終導(dǎo)致用戶無法辦理業(yè)務(wù)或辦理結(jié)果與預(yù)期不一致、業(yè)務(wù)無法使用、業(yè)務(wù)使用計費不正確或優(yōu)惠未生效等各種問題[1]，有時甚至導(dǎo)致電信企業(yè)蒙受巨大損失等后果。

1? 數(shù)據(jù)不一致原因

為了能夠解決數(shù)據(jù)不一致問題，需要找到不一致的原因并“對癥下藥”。

1.1? 系統(tǒng)的異步機制，不可避免產(chǎn)生了不一致的數(shù)據(jù)

增值業(yè)務(wù)，需要電信運營商運營支撐系統(tǒng)（以下簡稱BOSS系統(tǒng)）與各個業(yè)務(wù)平臺之間進行交互[2]，因此系統(tǒng)建設(shè)時，為了考慮用戶辦理的時效性，基本上BOSS系統(tǒng)與各個業(yè)務(wù)平臺之間使用的都是異步處理機制，即：在BOSS系統(tǒng)辦理業(yè)務(wù)后，會上發(fā)相應(yīng)指令給業(yè)務(wù)平臺，業(yè)務(wù)平臺立即回復(fù)“收到”，此時默認業(yè)務(wù)辦理已成功，實際上會存在各種情況（如業(yè)務(wù)平臺程序異常、用戶為業(yè)務(wù)平臺黑名單等）導(dǎo)致平臺側(cè)未受理成功，此時就會出現(xiàn)用戶辦理了業(yè)務(wù)但未能享受到對應(yīng)的權(quán)益，會引發(fā)用戶投訴，收費卻不能享受服務(wù)。同理，也會存在用戶在業(yè)務(wù)平臺辦理業(yè)務(wù)，在BOSS系統(tǒng)未落地受理成功的情況。

異步受理流程如下圖所示。

增值業(yè)務(wù)BOSS發(fā)起異步流程如圖1所示。

增值業(yè)務(wù)平臺發(fā)起異步辦理流程如圖2所示。

1.2? 對數(shù)據(jù)一致性未充分重視，業(yè)務(wù)開發(fā)上線前未將一致性納入上線范圍

開發(fā)人員在進行項目開發(fā)時，往往會受到業(yè)務(wù)需求要盡快上線的壓力，首要任務(wù)就是盡快完成項目開發(fā)，滿足業(yè)務(wù)需求，使得業(yè)務(wù)能夠盡快開展，沒有意識到需要對數(shù)據(jù)一致性進行保障[3]，就算意識到數(shù)據(jù)一致性的重要性，也由于需要趕項目進度以便盡快交維，而沒有進行一致性模塊的開發(fā)。系統(tǒng)建設(shè)完成后，出現(xiàn)投訴、出現(xiàn)損失后方才發(fā)現(xiàn)問題。

1.3? 手工修復(fù)

由于前面兩點原因：系統(tǒng)異步機制及系統(tǒng)初期建設(shè)的不完善，會出現(xiàn)辦理增值業(yè)務(wù)后無法使用、多計費、不優(yōu)惠、收費而不享受服務(wù)、享受服務(wù)而不收費等出現(xiàn)各種問題，產(chǎn)生了不一致性數(shù)據(jù)。用戶會投訴，或者日常運維發(fā)現(xiàn)了由于數(shù)據(jù)不一致性導(dǎo)致了收入損失，此時需要運維人員介入核查修復(fù)，在手工修復(fù)處理過程中，由于運維人員技術(shù)及經(jīng)驗方面等因人而異，沒有統(tǒng)一的手工修復(fù)標準規(guī)范，進行手工數(shù)據(jù)調(diào)整帶有一定的片面性，造成數(shù)據(jù)管理出現(xiàn)問題，會造成二次差異。

同時，由于運營商業(yè)務(wù)類型多樣化，業(yè)務(wù)復(fù)雜性不斷出現(xiàn)，各個業(yè)務(wù)出現(xiàn)問題后，問題之間存在著緊密的聯(lián)系。但是相關(guān)技術(shù)人員對這一方面思考并不緊密，在修復(fù)一個問題時容易引發(fā)另外的問題，從而也導(dǎo)致了數(shù)據(jù)不一致。

2? 建立數(shù)據(jù)一致性保障機制

針對上述三大原因，解決問題需要同時從人和技術(shù)手段兩方面進行改進，構(gòu)建常態(tài)化的數(shù)據(jù)一致性保障機制。常態(tài)化的數(shù)據(jù)一致性保障機制是管理辦法、流程機制和技術(shù)手段的有機結(jié)合[4]。

2.1? 制定管理辦法，將數(shù)據(jù)一致性納入開發(fā)交維范圍

管理辦法可以約束涉及的各方按照規(guī)范進行執(zhí)行，制定《外部數(shù)據(jù)一致性管理實施細則》、《新增外部接接口數(shù)據(jù)一致性保障功能要求》以及《數(shù)據(jù)一致性保障管理辦法》[5]，BOSS系統(tǒng)開發(fā)時需遵循上述三個管理辦法要求，從公司層面自上而下都重視數(shù)據(jù)一致性，，在業(yè)務(wù)上線前嚴格把關(guān)，需具備數(shù)據(jù)一致性保障的各項業(yè)務(wù)功能模塊后才能上線。

2.2? 建立數(shù)據(jù)修復(fù)流程機制，規(guī)范人工修復(fù)操作

對于需要人工介入修復(fù)的數(shù)據(jù)，制定修復(fù)流程機制，根據(jù)操作的數(shù)據(jù)量級對應(yīng)相應(yīng)的審批機制。比如：數(shù)據(jù)量小于等于1000條，則需要對應(yīng)運維專業(yè)的B角色伙伴同時審核后再執(zhí)行，對于數(shù)據(jù)量大于1000條小于等于10000條時，需要運維組長審核后方可執(zhí)行。對于大于10000條數(shù)據(jù)，需要科室專家/領(lǐng)導(dǎo)審核。避免由于個人技術(shù)及經(jīng)驗方面等局限導(dǎo)致人工修復(fù)數(shù)據(jù)后產(chǎn)生不一致的數(shù)據(jù)，同時采取一人修復(fù)，一人復(fù)核的方法，避免修復(fù)出錯導(dǎo)致數(shù)據(jù)更加錯亂的情況。修復(fù)完成后需要對處理結(jié)果進行效果驗證。

2.3? 依靠技術(shù)手段進行保障

由于BOSS系統(tǒng)與業(yè)務(wù)平臺的受理機制為異步機制，因此增值業(yè)務(wù)數(shù)據(jù)不一致性不可避免。但我們可以從技術(shù)手段進行保障，盡可能的減少差異，以及縮短差異時間，以盡量保證數(shù)據(jù)一致性一致率、實時率?；诖丝紤]，我們通過建立一個數(shù)據(jù)一致性管理平臺（以下簡稱Opendmc系統(tǒng)）來進行對數(shù)據(jù)一致性進行處理。Opendmc系統(tǒng)，也就是建立自動化的一致性比對及修復(fù)機制，根據(jù)日增量及月全量進行比對修復(fù)。

日增量比對：以一天為周期，以BOSS系統(tǒng)中某業(yè)務(wù)發(fā)生變更的記錄為基礎(chǔ)，對與該記錄相關(guān)平臺上的用戶數(shù)據(jù)和業(yè)務(wù)局數(shù)據(jù)進行對比。

在比對完成后，以BOSS數(shù)據(jù)為準的[6]，由平臺根據(jù)比對結(jié)果進行數(shù)據(jù)修復(fù)[7]。此修復(fù)規(guī)范目的是盡可能的權(quán)衡收入損失和保護用戶的權(quán)益：若用戶在BOSS有訂購，在業(yè)務(wù)平臺無訂購，則需業(yè)務(wù)平臺為用戶補充訂購關(guān)系，避免收取了用戶費用而用戶卻不能享受權(quán)益。若BOSS無訂購，平臺有訂購，則平臺側(cè)清理訂購關(guān)系，避免收入損失，若此時用戶有投訴，可以引導(dǎo)用戶正常辦理。

月全量比對：以一個月為周期，以BOSS系統(tǒng)中所有的增值業(yè)務(wù)訂購記錄為基礎(chǔ)，與相關(guān)平臺上的用戶數(shù)據(jù)和業(yè)務(wù)局數(shù)據(jù)進行全量對比。

需要進行全量比對的目的是為了核對及清理歷史數(shù)據(jù)差異，同時為了避免日增量比對遺漏的情況。

由于增值業(yè)務(wù)種類紛繁多樣，涉及5萬個業(yè)務(wù)，60個業(yè)務(wù)平臺，因此比對工作量非常大。只依靠技術(shù)人員就能做好日增量及月全量比對是不現(xiàn)實的，需要建立自動化的一致性比對及修復(fù)機制，通過技術(shù)手段進行保障。BOSS系統(tǒng)與各個業(yè)務(wù)平臺建立一致性比對接口，各個業(yè)務(wù)平臺每日將增量變更的記錄傳送至BOSS系統(tǒng)，BOSS系統(tǒng)根據(jù)業(yè)務(wù)平臺傳送過來的數(shù)據(jù)與BOSS系統(tǒng)中的增量變更記錄做比對，比對完成后，將比對差異結(jié)果回傳給業(yè)務(wù)平臺，由業(yè)務(wù)平臺對差異結(jié)果進行處理，處理完成后，將處理結(jié)果通過回執(zhí)文件傳輸給BOSS系統(tǒng)。數(shù)據(jù)一致性比對流程如圖3所示。

建立自動化的一致性比對及修復(fù)機制，即opendmc系統(tǒng)，此系統(tǒng)將比對工作自動化，程序固定化，將差異結(jié)果及修復(fù)結(jié)果做成報表進行展示，只需要人工看報表，觀察差異處理結(jié)果，從而可以更好的對數(shù)據(jù)一致性進行管理。Opendmc系統(tǒng)主要功能如圖4所示。

Opendmc系統(tǒng)功能簡述：

（1）采集管理及業(yè)務(wù)流程管理：啟動采集任務(wù)管理進程，通過采集管理模塊對業(yè)務(wù)平臺傳過來的數(shù)據(jù)進行采集入庫，將各個業(yè)務(wù)平臺的數(shù)據(jù)進行入庫，校驗字段格式是否符合規(guī)范。其中文件命名規(guī)范如下：

BOSS系統(tǒng)文件名稱 BOSS_YYYYMMDD HHMISS_ZZZZPPP.NNNNNNNNNN.gz

業(yè)務(wù)平臺文件名稱 FLAT_YYYYMMDDHHMISS_ ZZZZPPP.NNNNNNNNNN.gz

其中：

①YYYYMMDDHHMISS表示同步基準點時間，YYYY為四位年份，MMDD表示月日，HHMISS表示時分秒（24小時制）;

②ZZZZ表示業(yè)務(wù)平臺代碼縮寫;

③PPP表示省代碼（如天津填220，浙江填571）;

④NNNNNNNNNN表示文件中的記錄總數(shù)，右對齊，左補零。

⑤gz，gzip為壓縮后添加的壓縮標志文件采用不定長記錄的格式，每條記錄的域之間以管道符（“|”）分隔。字段需要包含手機號碼、操作類型、操作發(fā)起時間、計費類型、業(yè)務(wù)提供商企業(yè)代碼、SP自定的業(yè)務(wù)代碼、最近一次服務(wù)定購的時間。

一致性比對數(shù)據(jù)涉及5萬個業(yè)務(wù)，60個業(yè)務(wù)平臺，有幾千萬的訂購數(shù)據(jù)，因此需要啟用流程任務(wù)管理程序，對比對的業(yè)務(wù)設(shè)置節(jié)點及流量管控，避免數(shù)據(jù)過多積壓導(dǎo)致系統(tǒng)緩慢、崩潰。

（2）數(shù)據(jù)稽核及監(jiān)控管理：系統(tǒng)自動比對雖然極大程度上提升了數(shù)據(jù)管理質(zhì)量，提升了維護效率，縮小差異存在時間。但是根據(jù)歷史經(jīng)驗，由于系統(tǒng)割接等原因極少數(shù)情況下可能導(dǎo)致比對程序異常，從而出現(xiàn)了數(shù)據(jù)量突增或者突減的情況，這時候若仍按照錯誤的數(shù)據(jù)將進行自動比對，將會更大的錯誤，會“誤傷”更多正確的數(shù)據(jù)。鑒于此，需要對差異量進行比對并將差異量通過系統(tǒng)下發(fā)監(jiān)控告警。流程為：BOSS系統(tǒng)接收各個業(yè)務(wù)平臺發(fā)送過來的日增量/月全量數(shù)據(jù)，接收完成后對各個業(yè)務(wù)平臺的數(shù)據(jù)總量分別進行統(tǒng)計，并與BOSS系統(tǒng)的對應(yīng)的業(yè)務(wù)訂購數(shù)據(jù)進行數(shù)據(jù)總量比對。并對差異數(shù)據(jù)量進行監(jiān)控，預(yù)先設(shè)置一個比對差異總量閥值，若差異量大于此閥值，則此次不做自動對比，并將差異量告警信息發(fā)送給相關(guān)維護人員，由維護人員核查差異大的原因后再進行手工比對或者再次手工發(fā)起一次自動比對。

（3）差異處理及報表管理：對已經(jīng)采集好入庫的數(shù)據(jù)進行比對，按業(yè)務(wù)類型析出比對結(jié)果，將差異結(jié)果生成報表并在系統(tǒng)前臺進行展示，維護人員及相關(guān)業(yè)務(wù)人員可以通過報表一目了然的掌握差異情況。

3? 數(shù)據(jù)一致性保障機制實踐結(jié)果

建立了數(shù)據(jù)一致性保障機制，我們通過數(shù)據(jù)離散度模型來檢驗保障結(jié)果。

3.1? 數(shù)據(jù)離散度模型

描述數(shù)據(jù) 離散度的數(shù)學(xué)方法主要有極差、方差和標準差[8]。

極差：其最大值與最小值之間的差距，即最大值減最小值后所得之數(shù)據(jù)， 它是標志值變動的最大范圍，它是測定標志變動的最簡單的指標。極差越大，離散程度越大，反之，離散程度越小。

方差：方差（樣本方差）是每個樣本值與全體樣本值的平均數(shù)之差的平方值的平均數(shù)。是反映一組數(shù)據(jù)與其平均值離散程度的一個重要指標 ，反映整組數(shù)據(jù)的波動情況。方差越小，數(shù)據(jù)越穩(wěn)定，離散程度越小。

標準差：標準差是方差的算術(shù)平方根。標準差能反映一個數(shù)據(jù)集的離散程度。標準差越小，數(shù)據(jù)越穩(wěn)定，離散程度越小。

增值業(yè)務(wù)數(shù)據(jù)一致性管理辦法規(guī)定，客戶信息和訂購關(guān)系以BOSS為準，數(shù)據(jù)在系統(tǒng)間不一致性問題就可以轉(zhuǎn)化為BOSS系統(tǒng)數(shù)據(jù)和業(yè)務(wù)平臺側(cè)系統(tǒng)離散度問題，可以使用離散數(shù)學(xué)公式進行計算。當離散度越大，代表數(shù)據(jù)一致性越差 ，離散度越小，一致性越好。

3.2? 數(shù)據(jù)一致性保障機制實踐結(jié)果驗證

3.2.1? 數(shù)據(jù)一致率驗證

我們分別隨機選取一致性保障機制建立前后的一組數(shù)據(jù)進行比對分析，如表1所示。

對于這組數(shù)據(jù)，我們計算得到極差為40.40%，差異率均值是11.89%，方差為1.36%，標準方差為11.66%，也就是該業(yè)務(wù)離散度為11.66%。

對于這組數(shù)據(jù)，我們計算得到極差為0.08%，差異率均值是0.04%，方差為9.91*10–12，標準方差為3.15*10–6，也就是該業(yè)務(wù)離散度為3.15*10–6，離散度非常小。

從以上兩組數(shù)據(jù)對比發(fā)現(xiàn)，實施常態(tài)化的保障機制后，能將增值業(yè)務(wù)數(shù)據(jù)一致率由88.11%提高到99.96%。

3.2.2? 數(shù)據(jù)差異存續(xù)時間驗證

隨機取一致性保障機制建立前后的一個月數(shù)據(jù)進行比對分析。發(fā)現(xiàn)在一致性保障機制建立之前，由于是更多的是靠人為手工介入，人為因素影響很大，產(chǎn)生的差異未能及時處理，平均累計5天才對差異數(shù)據(jù)進行比對清理，差異存續(xù)時間較長，用戶感知強烈，若BOSS系統(tǒng)有而平臺側(cè)沒有，則用戶無法享受對應(yīng)的權(quán)益，用戶投訴，客戶滿意度低;若BOSS系統(tǒng)沒有而平臺側(cè)有，則會存在收入損失，時間持續(xù)越久，損失越大。在建立常態(tài)化的一致性保障機制后，每天進行日增量比對，在比對后由系統(tǒng)自動修復(fù)，因此差異存續(xù)時間保持在一天之內(nèi)。T日的差異在T+1日進行修復(fù)，用戶幾乎無感知，收入損失風(fēng)險極小。

4? 結(jié)論

增值業(yè)務(wù)數(shù)據(jù)一致性保障機制可歸納為兩大部分，第一部分是從管理人員、開發(fā)維護人員的、管理制度的完善進行保障，提高增值業(yè)務(wù)數(shù)據(jù)一致性的重視程度，制定數(shù)據(jù)一致性管理辦法，能夠指導(dǎo)數(shù)據(jù)一致性管理工作從意識形態(tài)成為實際落地。第二部分也是最重要部分是要從技術(shù)手段、從系統(tǒng)完善性進行保障，而不需要依賴相關(guān)人員的能力、人員變更、人為操作，減少了人為介入，日增量比對能夠快速的解決數(shù)據(jù)不一致的情況，在用戶感知前就處理，能夠提升用戶滿意度，同時避免運營商收入損失。而隨著增值業(yè)務(wù)的復(fù)雜度增大及系統(tǒng)的龐大，數(shù)據(jù)一致性的保障工作難度也進一步加大，仍需不斷優(yōu)化數(shù)據(jù)一致性管理手段及管理平臺，提升運營保障的效率和能力。

參考文獻

[1]區(qū)曉江， 朱煒， 何銳彬. 移動互聯(lián)網(wǎng)增值業(yè)務(wù)數(shù)據(jù)一致性保障工作的研究[C]. 廣東通信青年論壇， 2012： 355-359.

[2]馬瀟. 寧夏電信增值業(yè)務(wù)訂購關(guān)系管理平臺的設(shè)計與實現(xiàn)[D]. 成都： 電子科技大學(xué)， 2015.

[3]張立成， 楊敬巍， 褚堯， 等. 論業(yè)務(wù)支撐系統(tǒng)數(shù)據(jù)一致性的保障機制[J]. 通信世界， 2015（23）： 2-4.

[4]徐灝， 吳迪. 運營商收入保障中專線數(shù)據(jù)一致性研究[J]. 數(shù)字通信世界， 2019， 5： 164-165.

[5]陸松， 王睿， 劉桂青. BOSS和外部平臺常態(tài)化數(shù)據(jù)一致性保障機制探討[J]. 電信工程技術(shù)與標準化， 2010（3）： 34-37.

[6]中國移動業(yè)務(wù)支撐系統(tǒng)部. 中國移動增值業(yè)務(wù)數(shù)據(jù)一致性管理辦法[Z]. 2011.

[7]中國移動通信集團公司. 業(yè)務(wù)平臺與業(yè)務(wù)支撐系統(tǒng)數(shù)據(jù)一致性管理接口規(guī)范總冊[Z]. 20l0.

[8]顧懷恩. 業(yè)務(wù)支撐系統(tǒng)數(shù)據(jù)一致性研究[J]. 電信工程技術(shù)與標準化， 2009（8）： 67-70.