李彩萍，姜文平

（中國移動(dòng)通信集團(tuán)湖北有限公司業(yè)務(wù)支撐中心，湖北武漢，430023）

0 概述

在5G+AICDE 的移動(dòng)互聯(lián)網(wǎng)時(shí)代，用戶資料的保密性和準(zhǔn)確性，對任一公司的企業(yè)形象，都具有重大影響。特別是移動(dòng)運(yùn)營商，用戶資料的準(zhǔn)確性，直接影響用戶的業(yè)務(wù)體驗(yàn)和客戶感知。盡管用戶資料的準(zhǔn)確性非常重要，然而，我省仍然存在部分用戶資料不全、不同數(shù)據(jù)庫里的信息相互沖突等問題，由此而帶來的用戶投訴長期無法解決。經(jīng)整理，維護(hù)人員發(fā)現(xiàn)如下的主要問題或現(xiàn)象：

（1）欠缺物理庫和內(nèi)存庫產(chǎn)品數(shù)據(jù)的稽核，這項(xiàng)工作需要從無到有建設(shè)，用戶產(chǎn)品數(shù)據(jù)是計(jì)費(fèi)的基礎(chǔ)，所以稽核工具必須有且準(zhǔn)確性必須經(jīng)過所有場景的校驗(yàn)，測試要非常準(zhǔn)確。

（2）數(shù)量巨大，導(dǎo)致稽核過程非常慢，全省所有用戶產(chǎn)品資料表稽核一次至少需要耗時(shí)1 個(gè)月。

（3）歷史差異數(shù)據(jù)的原因定位難。需要針對幾十萬級的不一致數(shù)據(jù)，采用偵探斷案的方法逆向一條條多資料比對核查原因，非常耗時(shí)且繁瑣，需要極大的耐心和不斷總結(jié)方法。

（4）大量的產(chǎn)品資料表歷史數(shù)據(jù)清理風(fēng)險(xiǎn)非常高。需要非常細(xì)致的評估對用戶的影響，并且由于存量數(shù)據(jù)差異量大，需要跨幾個(gè)物理庫和內(nèi)存庫，且營帳物理庫的表結(jié)構(gòu)不同無法直接比對。

（5）作為日常維護(hù)工具，必須性能要求高又不能影響生產(chǎn)，現(xiàn)網(wǎng)大部分產(chǎn)品資料表的數(shù)據(jù)量百億級，幾十個(gè)表需要在七十多個(gè)內(nèi)存庫之間和4 個(gè)物理庫之間每個(gè)庫核查比對，如何高效稽核至關(guān)重要。

（6）作為日常維護(hù)工具，必須是自動(dòng)化而且人工盡可能少介入，所以維護(hù)方法和策略要盡可能的完善，要能支持定時(shí)自動(dòng)化執(zhí)行且在一定條件下支持人工核查。

在此背景下，特提出了一種BOSS 系統(tǒng)的內(nèi)存庫物理庫用戶資料一致性稽核方法，經(jīng)多方實(shí)踐證明，該方法切實(shí)有效，可有效解決數(shù)據(jù)沖突問題，極大提高用戶資料的準(zhǔn)確性。

1 基于BOSS 系統(tǒng)的內(nèi)存庫物理庫用戶資料一致性稽核方法

■1.1 內(nèi)存庫與物理庫用戶資料一致性稽核思路

基于BOSS 系統(tǒng)的內(nèi)存庫物理庫用戶資料一致性稽核方法，主要建設(shè)思路如下：

（1）相關(guān)日常維護(hù)清晰：用戶資料清理規(guī)則清晰；解耦、刷新維護(hù)手冊，職責(zé)分工，保存周期清晰。

（2）進(jìn)程準(zhǔn)確性驗(yàn)證：分表分地市與手工稽核結(jié)果比對，驗(yàn)證稽核差異和修復(fù)結(jié)果。

（3）差異稽核和差異原因系統(tǒng)化定位：采用統(tǒng)計(jì)法+案例法+重現(xiàn)法進(jìn)行分析定位，定位解決3 個(gè)月后再次全量稽核，分析是否存在新增差異且未定位。

（4）改進(jìn)日常運(yùn)維：要求支持增量稽核，實(shí)現(xiàn)營帳資料解耦集群化，賬務(wù)物理庫刷新內(nèi)存庫增加自動(dòng)重處理，提高各環(huán)節(jié)的冗余。

（5）關(guān)鍵流程梳理：形成解耦刷新業(yè)務(wù)流程圖和關(guān)鍵環(huán)節(jié)流程說明，明確資料在各數(shù)據(jù)庫流轉(zhuǎn)過程。

（6）歷史差異數(shù)據(jù)修復(fù)：用戶產(chǎn)品表可進(jìn)行分地市，分業(yè)務(wù)修復(fù)，修復(fù)后支持按照分類隨機(jī)抽樣進(jìn)行抽查，同時(shí)修復(fù)后再次全量稽核看是否存在修復(fù)異常。

（7）稽核系統(tǒng)構(gòu)建：形成自動(dòng)化全量稽核，自動(dòng)化增量稽核，自動(dòng)化修復(fù)，緊密的組織保障，完備的監(jiān)控體系。

■1.2 一致性稽核方案

基于BOSS 的內(nèi)存庫物理庫用戶資料一致性稽核方法，將全量稽核進(jìn)程和修復(fù)進(jìn)程放在TASKMON 的CBE 定時(shí)分組中（根據(jù)需要啟動(dòng)），全量稽核進(jìn)程分表稽核，修復(fù)進(jìn)程分四類：內(nèi)存庫物理庫用戶修復(fù)，內(nèi)存庫物理庫賬戶修復(fù)，內(nèi)存庫物理庫號碼修復(fù)，內(nèi)存庫物理庫用戶群修復(fù)。其實(shí)施流程如圖1 所示，增量稽核邏輯流程圖如圖2 所示，整個(gè)過程包括如下步驟：

圖2 增量稽核邏輯流程圖

（1）抽取用戶，增量稽核從解耦進(jìn)程輸出用戶信息入CUST_SYNC_LOG，全量稽核通過python 腳本提取物理庫在用用戶。

（2）根據(jù)接口表CUST_SYNC_LOG 數(shù)據(jù)，以物理庫數(shù)據(jù)為基礎(chǔ)，依據(jù)路由信息去每個(gè)內(nèi)存庫依據(jù)唯一信息進(jìn)行比較。

（3）形成稽核差異結(jié)果AUDIT_RESULT，IS_REPAI RED=0。

（4）修復(fù)差異數(shù)據(jù)AUDIT_RESULT，IS_REPAI RED=1。

■1.3 方法創(chuàng)新性

結(jié)合實(shí)際中的使用，基于BOSS 的內(nèi)存庫物理庫用戶資料一致性稽核方法，具有如下創(chuàng)新點(diǎn)：

首次，實(shí)現(xiàn)基于用戶路由快速跨庫高效比對的能力，將分散的用戶、號碼、群、賬號資料信息有效分類比對，通過使用python腳本結(jié)合TT 內(nèi)存庫語句、oracle 物理庫語句、java 進(jìn)程實(shí)現(xiàn)了接近80 個(gè)庫的資料稽核。形成的稽核系統(tǒng)可根據(jù)需要靈活選擇實(shí)時(shí)或定時(shí)稽核，自動(dòng)或人工稽核，增量資料或全量資料等各維度稽核，效率高每分鐘稽核數(shù)據(jù)量超過萬條，可自動(dòng)依據(jù)用戶、客戶、群等維度進(jìn)行跨庫資料比對和自動(dòng)修復(fù)。同時(shí)在實(shí)際比對過程中支持多次稽核、基于稽核差異結(jié)果再稽核，修復(fù)支持基于賬務(wù)物理庫稽核也支持基于營業(yè)物理庫的稽核，支持多資料表稽核，稽核靈活性好。

其次，針對資料解耦過程的關(guān)鍵進(jìn)程采用了支持自動(dòng)重處理，錯(cuò)誤碼高識別率及自動(dòng)標(biāo)識（出現(xiàn)新錯(cuò)誤可以通過錯(cuò)誤碼標(biāo)識且歸類）、異常數(shù)據(jù)進(jìn)程日志級別差異化（對于失敗數(shù)據(jù)采用高日志級別進(jìn)程處理及標(biāo)識，便于問題核查和定位）等手段，有效提升了解耦過程中的問題處理效率及降低了失敗率。

■1.4 效果說明

在實(shí)踐中，基于BOSS 的內(nèi)存庫物理庫一致性稽核方法，取得了如下效果：

（1）通過稽核湖北省所有用戶資料數(shù)據(jù)，稽核出大量差異數(shù)據(jù)，完成相關(guān)數(shù)據(jù)修復(fù)后，到湖北移動(dòng)業(yè)務(wù)支撐中心的物理庫內(nèi)存庫不一致的用戶投訴，由以前每周不低于5 件降低至0 件，大幅提升用戶滿意度感知，保障了用戶計(jì)費(fèi)的準(zhǔn)確性。

（2）通過增加關(guān)鍵進(jìn)程重處理功能，增加了系統(tǒng)健壯性，使得失敗率降低到1/10，有效減少人工投入0.5 人/每天。如刷新失敗量從平均每月超過6000 筆，降至不到10 筆。

（3）通過本文的研究使得稽核納入常態(tài)化管控，有效實(shí)現(xiàn)了收入保障管理；通過本成果對歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)的監(jiān)控自處理，主要用戶產(chǎn)品表一致率>99.999%，新增異常<0.001%，有效落實(shí)了公司精益管理的發(fā)展戰(zhàn)略要求和有效提升公司客戶滿意度和公司形象。

（4）用戶資料是所有經(jīng)營分析和智慧營銷的前提，準(zhǔn)確一致的資料有效保證了公司經(jīng)營分析和大數(shù)據(jù)應(yīng)用的準(zhǔn)確性。

（5）稽核出的歷史數(shù)據(jù)差異量大，分析特別困難，本成果形成規(guī)范化的分析腳本可用于后續(xù)日常分析。團(tuán)隊(duì)通過一定的批量分析，不斷總結(jié)方法，采用統(tǒng)計(jì)法+案例法+重現(xiàn)法。首先分析出可能的差異及修復(fù)方式共6 種，然后從各維度統(tǒng)計(jì)角度看是否差異數(shù)據(jù)特征，比如subs_product 表是否差異的都是某一類產(chǎn)品、集中某個(gè)時(shí)間段、subscriber_attr 集中在某類屬性、某類異常如生失效時(shí)間一樣等，采用聚類分析法和排除法。然后通過分析相關(guān)的前后業(yè)務(wù)，中間過程判斷可能產(chǎn)生的原因，并在bcv 模擬用戶數(shù)據(jù)進(jìn)行問題重現(xiàn)等。

2 結(jié)束語

本文提出的基于BOSS 的內(nèi)存庫物理庫用戶資料一致性稽核方法，解決了電信系統(tǒng)長期一直無法解決的疑難投訴，作為收入保障重要監(jiān)控點(diǎn)，提供了一套內(nèi)存庫物理庫用戶資料稽核工具，且完成的不僅僅是新工具系統(tǒng)，是一套完整的一致性保障體系，包括完備的監(jiān)控體系，一致性保障機(jī)制（自動(dòng)化全量稽核和增量稽核能力，自動(dòng)化修復(fù)能力），清晰的系統(tǒng)維護(hù)手冊和系統(tǒng)流程圖說明，緊密的組織保障（日常保障，技術(shù)支持流程）。同時(shí)本成果完成的不僅僅是存量清理和新稽核工具系統(tǒng)，更針對歷史問題進(jìn)行深挖細(xì)鉆，從源頭分析解決問題，從流程中進(jìn)行所有過程分析把控減少問題，通過一個(gè)點(diǎn)解決一個(gè)面，清理掉了所有歷史差異數(shù)據(jù)，大幅提升了關(guān)鍵進(jìn)程的成功率。該項(xiàng)目在我省的資費(fèi)及收入保障管理工作中，獲得了大力支持與一致認(rèn)可，取得了良好的效果。下一步將從兩個(gè)方面開展工作，一方面，繼續(xù)對現(xiàn)有的方案進(jìn)行改善與優(yōu)化，全面提升系統(tǒng)的穩(wěn)定性、容錯(cuò)性和可持續(xù)使用性能。另一方面，面向兄弟公司進(jìn)行推廣，或在省內(nèi)支援其他系統(tǒng)進(jìn)行一致性稽核，全面攻關(guān)現(xiàn)有成績，實(shí)現(xiàn)研究成果的利益價(jià)值最大化。