?

通信網(wǎng)管系統(tǒng)數(shù)據(jù)質(zhì)量管控的技術(shù)研究與實(shí)現(xiàn)

黃敏飛，王翔，譚展

（中國(guó)移動(dòng)通信集團(tuán)廣西有限公司，南寧 530028）

摘 要本文提供一種新思路，即通過(guò)加強(qiáng)采集層的數(shù)據(jù)質(zhì)量監(jiān)控、質(zhì)量分析、問(wèn)題輔助定位，以及補(bǔ)救措施等技術(shù)方案提高數(shù)據(jù)質(zhì)量，從而更好地保障業(yè)務(wù)支撐系統(tǒng)的正常運(yùn)行。同時(shí)，本文提及到這些數(shù)據(jù)質(zhì)量管控的技術(shù)研究方案，在統(tǒng)一采集平臺(tái)中得到了技術(shù)驗(yàn)證，并取得了良好的應(yīng)用效果。

關(guān)鍵詞網(wǎng)管系統(tǒng)數(shù)據(jù)；數(shù)據(jù)質(zhì)量管控；監(jiān)控

隨著全業(yè)務(wù)運(yùn)營(yíng)時(shí)代的到來(lái)，市場(chǎng)競(jìng)爭(zhēng)壓力也越來(lái)越大，而市場(chǎng)也會(huì)將這種壓力逐步傳遞給網(wǎng)絡(luò)部門(mén)，從而需要網(wǎng)絡(luò)部門(mén)提供更高質(zhì)量的服務(wù)，這些服務(wù)都需要強(qiáng)有力的IT系統(tǒng)來(lái)支撐。而IT系統(tǒng)支撐的能力，在很大程度上都依賴(lài)于數(shù)據(jù)，如果系統(tǒng)的數(shù)據(jù)質(zhì)量差或共享不夠充分，則都會(huì)直接影響對(duì)外提供服務(wù)的能力。

此時(shí)，傳統(tǒng)的“煙囪式”采集及數(shù)據(jù)管理模式逐漸滿足不了網(wǎng)絡(luò)運(yùn)維管理集中化的要求，弊端顯現(xiàn)如下。

（1）系統(tǒng)擴(kuò)展能力不強(qiáng)，采集能力無(wú)法平滑擴(kuò)展。

（2）系統(tǒng)可靠性低，采集任務(wù)靜態(tài)負(fù)載分配，出現(xiàn)故障無(wú)法自動(dòng)恢復(fù)。

（3）采集資源浪費(fèi)，目前不支持按需采集，采集普遍應(yīng)用價(jià)錢(qián)昂貴的小型機(jī)硬件架構(gòu)，但資源利用率卻很低。

（4）采集效率不高。采集速度和接入速度遠(yuǎn)達(dá)不到應(yīng)用要求。

（5）采集管理維護(hù)困難。各專(zhuān)業(yè)分別開(kāi)發(fā)采集程序，管理維護(hù)崗位重復(fù)設(shè)置，缺乏集中維護(hù)監(jiān)控手段。

（6）采集質(zhì)量無(wú)法保障。缺少采集數(shù)據(jù)質(zhì)量監(jiān)控手段，采集數(shù)據(jù)不及時(shí)、不準(zhǔn)確，無(wú)法自動(dòng)發(fā)現(xiàn)。數(shù)據(jù)缺失，卻無(wú)法執(zhí)行自動(dòng)補(bǔ)采。采集問(wèn)題難以定位，采集過(guò)程及指標(biāo)算法不透明，無(wú)法管理。

統(tǒng)一采集在此種背景下應(yīng)運(yùn)而生，從構(gòu)架上打破了傳統(tǒng)的以專(zhuān)業(yè)劃分的獨(dú)立網(wǎng)管系統(tǒng)采集建設(shè)體系，建成為一個(gè)基于私有云資源、云計(jì)算、負(fù)載均衡技術(shù)，實(shí)現(xiàn)采集任務(wù)管控、數(shù)據(jù)質(zhì)量管控、北向接口管控的綜合采集平臺(tái)。統(tǒng)一采集層，實(shí)現(xiàn)了對(duì)設(shè)備、OMC、信令等數(shù)據(jù)的采集、管控與共享，真正實(shí)現(xiàn)了采集層與數(shù)據(jù)層及應(yīng)用層的解耦。提升數(shù)據(jù)質(zhì)量管控能力，一直是眾所關(guān)注的難題之一，而在采集層保證數(shù)據(jù)質(zhì)量的高效可用將是支撐業(yè)務(wù)順利開(kāi)展，提升全網(wǎng)管系統(tǒng)整體運(yùn)行質(zhì)量的關(guān)鍵。

本文將圍繞統(tǒng)一采集平臺(tái)如何提高數(shù)據(jù)質(zhì)量管控領(lǐng)域做些相關(guān)技術(shù)研究，并結(jié)合廣西移動(dòng)的實(shí)施效果做些闡述和說(shuō)明。

1　現(xiàn)狀研究

1.1 數(shù)據(jù)質(zhì)量管控現(xiàn)狀

由于現(xiàn)存的采集模式多是專(zhuān)業(yè)網(wǎng)管直采，Counter 及Counter生成KPI層的數(shù)據(jù)質(zhì)量管控方式，仍采用各專(zhuān)業(yè)網(wǎng)管自管控，對(duì)以單項(xiàng)的、分散的、獨(dú)立的數(shù)據(jù)管控為主。而數(shù)據(jù)質(zhì)量的監(jiān)管方式相對(duì)單一（手動(dòng)或半自動(dòng)），導(dǎo)致了設(shè)備采集上來(lái)的數(shù)據(jù)頻頻出現(xiàn)了不完整、不及時(shí)、不準(zhǔn)確狀況，直接影響到上層的數(shù)據(jù)應(yīng)用。盡管各自系統(tǒng)都有一些補(bǔ)救措施，但由于補(bǔ)救不及時(shí)效率低，還是對(duì)業(yè)務(wù)支撐的順利開(kāi)展和全網(wǎng)運(yùn)行質(zhì)量造成了負(fù)面影響，如圖1所示。

1.1.1 所采數(shù)據(jù)的質(zhì)量不夠優(yōu)質(zhì)

（1）數(shù)據(jù)完整性不夠。現(xiàn)有采集模式下，往往采集上來(lái)的數(shù)據(jù)完整性不夠，數(shù)據(jù)質(zhì)量達(dá)不到應(yīng)用系統(tǒng)所需的要求，一直是運(yùn)行質(zhì)量得不到提升的關(guān)鍵。

（2）數(shù)據(jù)準(zhǔn)確性不高?，F(xiàn)有專(zhuān)業(yè)網(wǎng)管對(duì)采集數(shù)據(jù)準(zhǔn)確性驗(yàn)證的方面相對(duì)比較欠缺。采集上來(lái)的數(shù)據(jù)，缺少歷史值、經(jīng)驗(yàn)值的對(duì)比，即使數(shù)據(jù)異常也不會(huì)標(biāo)注，由于這種異常數(shù)據(jù)（壞數(shù)據(jù)）可能導(dǎo)致上層分析類(lèi)數(shù)據(jù)造成很大的偏差，從而影響到?jīng)Q策類(lèi)應(yīng)用。

（3）數(shù)據(jù)及時(shí)性不理想?，F(xiàn)有的專(zhuān)業(yè)網(wǎng)管采集，由于缺少對(duì)采集數(shù)據(jù)質(zhì)量監(jiān)管力度，往往很難保證數(shù)據(jù)采集的及時(shí)性，直接或間接導(dǎo)致數(shù)據(jù)延遲上報(bào)，分析及報(bào)表類(lèi)應(yīng)用也常常因?yàn)閿?shù)據(jù)不及時(shí)受到影響，界面數(shù)據(jù)缺失、顯示異常。

1.1.2 各專(zhuān)業(yè)采集數(shù)據(jù)不夠規(guī)范

目前，采集上來(lái)的數(shù)據(jù)不夠規(guī)范化，往往數(shù)據(jù)處于不同的系統(tǒng)不同接口，數(shù)據(jù)的格式和數(shù)據(jù)質(zhì)量衡量的標(biāo)準(zhǔn)差異很大，這給上層應(yīng)用的處理帶來(lái)很大不便。

1.1.3 缺乏統(tǒng)一的數(shù)據(jù)信息獲取途徑

設(shè)備數(shù)據(jù)采集均由各自專(zhuān)業(yè)網(wǎng)管承擔(dān)，缺少統(tǒng)一的數(shù)據(jù)采集出口。同一類(lèi)型的數(shù)據(jù)重復(fù)采集，采集方式也不盡相同、指標(biāo)算法更是難以統(tǒng)一，導(dǎo)致了數(shù)據(jù)一致性很難得到保證。這些不一致的數(shù)據(jù)應(yīng)用到應(yīng)用系統(tǒng)中，直接影響業(yè)務(wù)支撐應(yīng)用的可信性，在一定程度上影響了網(wǎng)絡(luò)運(yùn)行質(zhì)量。

1.2 數(shù)據(jù)管控問(wèn)題解決思路

在“4+1”網(wǎng)管建設(shè)模式的演進(jìn)趨勢(shì)下，統(tǒng)一采集平臺(tái)有了新的發(fā)展空間和潛力。而在統(tǒng)一采集平臺(tái)下，解決專(zhuān)業(yè)網(wǎng)管“煙囪”時(shí)代采集層數(shù)據(jù)質(zhì)量存在的不足和諸弊端、提高數(shù)據(jù)質(zhì)量的解決方案，卻離不開(kāi)采集層數(shù)據(jù)質(zhì)量的監(jiān)控、定期的質(zhì)量分析和報(bào)表分析、問(wèn)題定位以及一些補(bǔ)救措施和手段的應(yīng)用，如圖2所示。

2　基于統(tǒng)一采集平臺(tái)的數(shù)據(jù)質(zhì)量管控技術(shù)方案

2.1 監(jiān)控手段提升采集數(shù)據(jù)質(zhì)量

統(tǒng)一采集平臺(tái)的數(shù)據(jù)質(zhì)量管控模塊采用了監(jiān)控手段提高數(shù)據(jù)質(zhì)量，包括采集層的數(shù)據(jù)及時(shí)性監(jiān)控、數(shù)據(jù)完整性監(jiān)控、數(shù)據(jù)合理性監(jiān)控、告警數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)異常監(jiān)控等功能。通過(guò)可視化監(jiān)控界面，維護(hù)人員能夠快速、簡(jiǎn)捷定位到采集層數(shù)據(jù)的問(wèn)題所在，便于及時(shí)做出決策降低了影響到上層數(shù)據(jù)應(yīng)用概率。

圖1　網(wǎng)絡(luò)數(shù)據(jù)采集流程圖

2.1.1 數(shù)據(jù)及時(shí)性監(jiān)控

對(duì)采集源的數(shù)據(jù)及時(shí)性進(jìn)行監(jiān)控，在數(shù)據(jù)可視矩陣圖上能夠清晰地標(biāo)注出及時(shí)的數(shù)據(jù)、延時(shí)的數(shù)據(jù)以及采集異常的數(shù)據(jù)。同時(shí)，該功能能夠?qū)Σ患皶r(shí)或異常的數(shù)據(jù)進(jìn)行問(wèn)題定位。通過(guò)對(duì)采集任務(wù)執(zhí)行過(guò)程監(jiān)控、數(shù)據(jù)采集情況的檢查信息以及采集過(guò)程出錯(cuò)情況來(lái)完成數(shù)據(jù)不及時(shí)的原因。

2.1.2 數(shù)據(jù)完整性監(jiān)控

數(shù)據(jù)完整性監(jiān)控提供著采集源以及指標(biāo)組兩種維度的監(jiān)控。從采集源、指標(biāo)組維度監(jiān)控并顯示某個(gè)時(shí)間點(diǎn)數(shù)據(jù)條數(shù)、經(jīng)驗(yàn)數(shù)據(jù)條數(shù)以及數(shù)據(jù)完整性情況。

采集源監(jiān)控維度，通過(guò)完成監(jiān)控日期、監(jiān)控粒度以及選定采集源后，可以看到該采集源下數(shù)據(jù)完整性監(jiān)控的矩陣圖，通過(guò)矩陣圖能夠確定該采集源數(shù)據(jù)任務(wù)生成情況、下發(fā)任務(wù)的成功情況、采集異常情況以及數(shù)據(jù)的缺失情況。該界面提供具體采集信息，包括完整率、采集條數(shù)、經(jīng)驗(yàn)值、完整率閾值。

指標(biāo)組維度監(jiān)控，通過(guò)完成監(jiān)控日期、監(jiān)控粒度以及特定指標(biāo)組的選定后，可以看到該采集源下數(shù)據(jù)完整性監(jiān)控的矩陣圖，通過(guò)矩陣圖能夠確定該采集源數(shù)據(jù)任務(wù)生成情況、下發(fā)任務(wù)的成功情況、采集異常情況以及數(shù)據(jù)的缺失情況。

廠家完整性監(jiān)控功能，可以根據(jù)主動(dòng)監(jiān)測(cè)結(jié)果，從宏觀到微觀方式監(jiān)控廠家的準(zhǔn)備情況，顯示廠家、某個(gè)采集源再到指標(biāo)組的數(shù)據(jù)準(zhǔn)備情況。從廠家完整性監(jiān)控的角度，進(jìn)一步提升對(duì)采集層數(shù)據(jù)質(zhì)量監(jiān)控的力度，保障了上層支撐應(yīng)用的系統(tǒng)正常運(yùn)行。

圖2　移動(dòng)OSS 4+1系統(tǒng)規(guī)劃

2.1.3 數(shù)據(jù)合理性監(jiān)控

針對(duì)重點(diǎn)考核的指標(biāo)進(jìn)行合理性監(jiān)控和分析。

根據(jù)同期或歷史經(jīng)驗(yàn)值（可設(shè)置）進(jìn)行重點(diǎn)采集和指標(biāo)合理性比對(duì)分析，能夠自動(dòng)對(duì)那些超出閾值或低于極限值的采集源下的重點(diǎn)考核指標(biāo)篩選。在數(shù)據(jù)合理性監(jiān)控可視界面上，系統(tǒng)將比對(duì)之后不合理的數(shù)據(jù)進(jìn)行了標(biāo)注，運(yùn)維人員可及時(shí)對(duì)這些異常指標(biāo)進(jìn)行數(shù)據(jù)處理和采取相應(yīng)補(bǔ)救措施，避免這些不合理的采集數(shù)據(jù)對(duì)上層應(yīng)用決策和分析造成負(fù)面影響。

2.1.4 告警數(shù)據(jù)質(zhì)量監(jiān)控

實(shí)現(xiàn)了對(duì)告警數(shù)據(jù)的完整性、合理性、及時(shí)性監(jiān)控，保證了從統(tǒng)一采集平臺(tái)輸出的告警數(shù)據(jù)質(zhì)量。

完整性：協(xié)議層單位時(shí)間收到多少字節(jié)數(shù)，單位時(shí)間截取出消息的字節(jié)數(shù)，單位時(shí)間截取出的告警條數(shù)，單位時(shí)間解析后輸出的告警條數(shù)。

合理性：?jiǎn)挝粫r(shí)間截取出消息的字節(jié)數(shù)/單位時(shí)間收到字節(jié)數(shù)，簡(jiǎn)稱(chēng)告警截取率；解析后條數(shù)/解析前的條數(shù)，簡(jiǎn)稱(chēng)告警解析率。

及時(shí)性：?jiǎn)挝粫r(shí)間內(nèi)抽樣檢查，告警解析完成的時(shí)間，該告警截取完成的時(shí)間。

2.1.5 數(shù)據(jù)異常產(chǎn)生告警

統(tǒng)一采集平臺(tái)的數(shù)據(jù)質(zhì)量管控功能，具備數(shù)據(jù)異常處理或識(shí)別能力，通過(guò)該功能保證高品質(zhì)的數(shù)據(jù)質(zhì)量。

當(dāng)采集上來(lái)的數(shù)據(jù)（包括配置、性能以及告警等數(shù)據(jù)）在解析或KPI計(jì)算的過(guò)程中處理失敗時(shí)，平臺(tái)能夠做出數(shù)據(jù)異常識(shí)別，并能夠生成數(shù)據(jù)異常告警。同時(shí)，統(tǒng)一采集平臺(tái)的數(shù)據(jù)質(zhì)量管控功能，具備查看數(shù)據(jù)異常告警的可視界面，也應(yīng)該可以將這些數(shù)據(jù)異常告警log到日志中。

2.2 質(zhì)量分析和報(bào)表提升采集數(shù)據(jù)質(zhì)量

統(tǒng)一采集平臺(tái)的數(shù)據(jù)質(zhì)量管控模塊能夠通過(guò)數(shù)據(jù)質(zhì)量分析和報(bào)表數(shù)據(jù)分析的手段對(duì)采集層的數(shù)據(jù)質(zhì)量有一定的提升。

2.2.1 數(shù)據(jù)質(zhì)量分析

統(tǒng)一采集平臺(tái)提供了數(shù)據(jù)質(zhì)量綜合分析功能，能夠進(jìn)行分析維度選擇、支持完整性分析、數(shù)據(jù)量分析、數(shù)據(jù)質(zhì)量分析（日粒度、小時(shí)粒度）、任務(wù)量分析。每種分析類(lèi)型的柱形圖都可下鉆至詳細(xì)信息列表。

2.2.1.1 完整性分析

從南向、采集、北向數(shù)據(jù)流向和廠家兩個(gè)維度分析某天某類(lèi)網(wǎng)元指標(biāo)數(shù)據(jù)完整性，同時(shí)對(duì)比分析各設(shè)備廠家的原始Counter數(shù)據(jù)情況，顯示某個(gè)采集源的具體情況。

支持按照專(zhuān)業(yè)類(lèi)型、網(wǎng)元類(lèi)型、時(shí)間的條件過(guò)濾進(jìn)行完整性分析支持?jǐn)?shù)據(jù)流向和廠家兩個(gè)維度。

數(shù)據(jù)流向維度：數(shù)據(jù)流向維度圖維度細(xì)化條件為南向、采集、北向，橫坐標(biāo)為時(shí)間單位1，不足一天以當(dāng)天0點(diǎn)到當(dāng)前時(shí)刻的前一個(gè)整點(diǎn)的數(shù)據(jù)來(lái)統(tǒng)計(jì)，縱坐標(biāo)為完整率，鼠標(biāo)放到相應(yīng)的柱狀條時(shí)顯示該時(shí)刻的完整性分析信息，信息包括數(shù)據(jù)流向、時(shí)間點(diǎn)、完整率。柱狀圖可下鉆到詳細(xì)分析信息頁(yè)面。

廠家維度：廠家維度圖維度細(xì)化條件為全部廠家，橫坐標(biāo)為時(shí)間單位1 h，不足一天以當(dāng)天0點(diǎn)到當(dāng)前時(shí)刻的前一個(gè)整點(diǎn)的數(shù)據(jù)來(lái)統(tǒng)計(jì)，縱坐標(biāo)為完整率，鼠標(biāo)放到相應(yīng)的柱狀條時(shí)顯示該時(shí)刻的完整性分析信息，分析信息包括廠家、時(shí)間點(diǎn)、完整率。柱狀圖可下鉆到詳細(xì)分析信息頁(yè)面。

2.2.1.2 及時(shí)性分析

從南向、采集數(shù)據(jù)流向和廠家兩個(gè)維度分析某天某類(lèi)網(wǎng)元指標(biāo)數(shù)據(jù)及時(shí)性，同時(shí)對(duì)比分析各設(shè)備廠家的原始counter數(shù)據(jù)情況，顯示某個(gè)采集源的具體情況。

支持按照專(zhuān)業(yè)類(lèi)型、網(wǎng)元類(lèi)型、時(shí)間的條件過(guò)濾進(jìn)行及時(shí)性分析。及時(shí)性分析支持?jǐn)?shù)據(jù)流向和廠家兩個(gè)維度。

2.2.1.3 數(shù)據(jù)量分析

從counter、KPI數(shù)據(jù)兩個(gè)維度分析某天某類(lèi)網(wǎng)元的數(shù)據(jù)量。

支持按照專(zhuān)業(yè)類(lèi)型、網(wǎng)元類(lèi)型、時(shí)間的條件過(guò)濾進(jìn)行數(shù)據(jù)量分析。數(shù)據(jù)量分析支持KPI層和counter層兩個(gè)維度。

KPI層維度：KPI層維度圖橫坐標(biāo)為時(shí)間單位1h，不足一天以當(dāng)天0點(diǎn)到當(dāng)前時(shí)刻的前一個(gè)整點(diǎn)的數(shù)據(jù)來(lái)統(tǒng)計(jì)，縱坐標(biāo)為歸屬為該所選網(wǎng)元類(lèi)型的所有KPI層指標(biāo)組的數(shù)據(jù)量。柱狀條可以顯示該時(shí)刻的數(shù)據(jù)量分析信息，分析信息包括時(shí)間點(diǎn)、數(shù)據(jù)量。柱狀圖可下鉆到詳細(xì)分析信息頁(yè)面。

counter層維度：counter層維度圖維度細(xì)化條件為原始counter表個(gè)數(shù)和原始counter表記錄數(shù)，橫坐標(biāo)為時(shí)間單位1h，不足一天以當(dāng)天0點(diǎn)到當(dāng)前時(shí)刻的前一個(gè)整點(diǎn)的數(shù)據(jù)來(lái)統(tǒng)計(jì)，縱坐標(biāo)為歸屬為該所選網(wǎng)元類(lèi)型的所有原始counter層表個(gè)數(shù)和表記錄數(shù)。柱狀條可以顯示該時(shí)刻的數(shù)據(jù)量分析信息，分析信息包括時(shí)間點(diǎn)、數(shù)據(jù)量。能夠提供查看詳細(xì)信息。

2.2.1.4 數(shù)據(jù)質(zhì)量分析

從廠家維度對(duì)比分析counter數(shù)據(jù)完整性、及時(shí)性。

支持按照專(zhuān)業(yè)類(lèi)型、網(wǎng)元類(lèi)型、時(shí)間的條件過(guò)濾進(jìn)行采集數(shù)據(jù)分析。采集數(shù)據(jù)分析的時(shí)間粒度為天粒度和小時(shí)粒度。

采集數(shù)據(jù)分析天粒度廠家維度：采集數(shù)據(jù)分析天粒度廠家維度細(xì)化條件為采集完整性、采集及時(shí)性，橫坐標(biāo)為廠家，縱坐標(biāo)為完整率和及時(shí)率。柱狀條能顯示該時(shí)刻的采集數(shù)據(jù)分析信息，分析信息包括維度、廠家、與維度相關(guān)的分析值，柱狀圖可下鉆到詳細(xì)分析信息頁(yè)面。

采集數(shù)據(jù)分析小時(shí)粒度廠家維度：采集數(shù)據(jù)分析小時(shí)粒度廠家維度細(xì)化條件為采集完整性、采集及時(shí)性，橫坐標(biāo)為廠家，縱坐標(biāo)為完整率和及時(shí)率。柱狀條能夠顯示該時(shí)刻的采集數(shù)據(jù)分析信息，分析信息包括維度、廠家、時(shí)間點(diǎn)、與維度相關(guān)的分析值。柱狀圖可下鉆到詳細(xì)分析信息頁(yè)面。

2.2.1.5 任務(wù)量分析

從任務(wù)和負(fù)荷兩個(gè)維度分析任務(wù)整體執(zhí)行情況和對(duì)應(yīng)采集機(jī)負(fù)荷。

支持按照時(shí)間、采集機(jī)的條件過(guò)濾進(jìn)行任務(wù)量分析，可以選擇某一特定采集機(jī)也可以選擇全部采集機(jī)。任務(wù)量分析支持任務(wù)和負(fù)荷兩個(gè)維度。

任務(wù)維度：任務(wù)維度細(xì)化條件為執(zhí)行失敗、正在執(zhí)行、等待執(zhí)行、執(zhí)行時(shí)長(zhǎng)小于10 min、執(zhí)行時(shí)長(zhǎng)大于10 min，橫坐標(biāo)為時(shí)間單位1 h，不足一天以當(dāng)天0點(diǎn)到當(dāng)前時(shí)刻的前一個(gè)整點(diǎn)的數(shù)據(jù)來(lái)統(tǒng)計(jì)，縱坐標(biāo)為任務(wù)量，鼠標(biāo)放到相應(yīng)的柱狀條時(shí)顯示該時(shí)刻的任務(wù)量分析信息，分析信息包括細(xì)化維度、時(shí)間點(diǎn)、任務(wù)量。柱狀圖可下鉆到詳細(xì)分析信息頁(yè)面。

負(fù)荷維度：負(fù)荷維度橫坐標(biāo)為時(shí)間單位1 h，不足一天以當(dāng)天0點(diǎn)到當(dāng)前時(shí)刻的前一個(gè)整點(diǎn)的數(shù)據(jù)來(lái)統(tǒng)計(jì)，縱坐標(biāo)為負(fù)荷率，鼠標(biāo)放到相應(yīng)的柱狀條時(shí)顯示該時(shí)刻的任務(wù)量分析信息，分析信息包括采集機(jī)、時(shí)間點(diǎn)、負(fù)荷率。柱狀圖可下鉆到詳細(xì)分析信息頁(yè)面。采集機(jī)可以選擇某一特定采集機(jī)也可以選擇全部采集機(jī)。

2.2.2 數(shù)據(jù)質(zhì)量報(bào)表

系統(tǒng)提供數(shù)據(jù)的完整性、及時(shí)性、合理性的報(bào)表。

數(shù)據(jù)分析報(bào)表：支持完整性、及時(shí)性、合理性的小時(shí)報(bào)、日?qǐng)?bào)表。選擇過(guò)濾條件包括報(bào)表類(lèi)型、專(zhuān)業(yè)、層次、時(shí)間周期、廠家、數(shù)據(jù)類(lèi)型、開(kāi)始時(shí)間、結(jié)束時(shí)間、指標(biāo)組名。

從數(shù)據(jù)質(zhì)量報(bào)表進(jìn)行數(shù)據(jù)質(zhì)量分析，在某種程度為提升數(shù)據(jù)質(zhì)量管控能力尋求了另一種保障手段。

2.3 補(bǔ)救措施提升采集數(shù)據(jù)質(zhì)量

當(dāng)數(shù)據(jù)不完整、數(shù)據(jù)延時(shí)、數(shù)據(jù)不準(zhǔn)確的諸多狀況已經(jīng)發(fā)生，在統(tǒng)一采集平臺(tái)上要保障采集層數(shù)據(jù)質(zhì)量，能夠支撐上層應(yīng)用系統(tǒng)正常運(yùn)行，管控功能少不了補(bǔ)救措施。目前，應(yīng)用到統(tǒng)一采集平臺(tái)的補(bǔ)救措施有3種，分別為數(shù)據(jù)自動(dòng)補(bǔ)采、數(shù)據(jù)人工補(bǔ)采、數(shù)據(jù)填補(bǔ)。

2.3.1 自動(dòng)補(bǔ)采

通過(guò)設(shè)定自動(dòng)補(bǔ)采策略，作為后續(xù)數(shù)據(jù)自動(dòng)補(bǔ)采的基準(zhǔn)。策略中，內(nèi)容包括采集源、補(bǔ)采檢查點(diǎn)、一天后補(bǔ)采檢測(cè)點(diǎn)、描述信息等。

統(tǒng)一采集平臺(tái)的管理服務(wù)器的自動(dòng)補(bǔ)采線程，定時(shí)輪詢(xún)檢測(cè)數(shù)據(jù)完整率情況，當(dāng)數(shù)據(jù)完整率低于90%（設(shè)定值）時(shí)，管理服務(wù)器會(huì)根據(jù)補(bǔ)采策略下發(fā)補(bǔ)采任務(wù)，自動(dòng)執(zhí)行數(shù)據(jù)補(bǔ)采操作。

數(shù)據(jù)自動(dòng)補(bǔ)采功能，很大程度上提高了數(shù)據(jù)的完整率，從而保證了采集層的數(shù)據(jù)質(zhì)量。

2.3.2 人工補(bǔ)采

通過(guò)選擇需要補(bǔ)采的指標(biāo)組，制定補(bǔ)采策略。

界面上提供了可手工補(bǔ)采單個(gè)或多個(gè)時(shí)間點(diǎn)的數(shù)據(jù)的功能，同時(shí)支持對(duì)系統(tǒng)所有采集源某個(gè)時(shí)間段的數(shù)據(jù)進(jìn)行補(bǔ)采，支持批量補(bǔ)采。

手動(dòng)補(bǔ)采：選擇對(duì)有問(wèn)題的數(shù)據(jù)手動(dòng)補(bǔ)采，系統(tǒng)提示操作是否成功，補(bǔ)采執(zhí)行次數(shù)由系統(tǒng)累加，手工重采時(shí)間記錄為最后補(bǔ)采時(shí)間。

批量補(bǔ)采：可對(duì)缺失的數(shù)據(jù)按照指標(biāo)組進(jìn)行批量補(bǔ)采，操作時(shí)需要選擇要進(jìn)行補(bǔ)采的指標(biāo)組和補(bǔ)采策略，完成批量補(bǔ)采集。

2.3.3 數(shù)據(jù)填補(bǔ)

可以制訂數(shù)據(jù)填補(bǔ)規(guī)則。當(dāng)數(shù)據(jù)缺失或異常時(shí)，系統(tǒng)允許運(yùn)維人員根據(jù)數(shù)據(jù)填補(bǔ)規(guī)則對(duì)近期缺失或異常的數(shù)據(jù)進(jìn)行批量填補(bǔ)，以確保共享數(shù)據(jù)的完整性。

數(shù)據(jù)填補(bǔ)規(guī)則包括指標(biāo)的設(shè)定、指標(biāo)值的范圍設(shè)定（平均值、最大值、經(jīng)驗(yàn)值，數(shù)值可編輯）、數(shù)據(jù)填補(bǔ)時(shí)間段及時(shí)間點(diǎn)的設(shè)定。當(dāng)滿足填補(bǔ)條件時(shí)，系統(tǒng)能夠自動(dòng)根據(jù)規(guī)則進(jìn)行數(shù)據(jù)填補(bǔ)；數(shù)據(jù)填補(bǔ)完成，系統(tǒng)記錄對(duì)哪些數(shù)據(jù)進(jìn)行了填補(bǔ)，記錄填補(bǔ)前后的值。

從數(shù)據(jù)填補(bǔ)功能上，可以憑借經(jīng)驗(yàn)值對(duì)由于設(shè)備故障或網(wǎng)絡(luò)等因素產(chǎn)生的異常數(shù)據(jù)或者偏離很大的數(shù)據(jù)進(jìn)行修補(bǔ)，從而使數(shù)據(jù)質(zhì)量管控得到了保障。

2.4 問(wèn)題輔助定位

可根據(jù)采集流程中各個(gè)監(jiān)控點(diǎn)信息，輔助進(jìn)行問(wèn)題定位，應(yīng)該能夠從以下3個(gè)方面完成問(wèn)題定位。

（1）監(jiān)控廠家側(cè)數(shù)據(jù)準(zhǔn)備情況，判斷采集數(shù)據(jù)問(wèn)題是否由廠家側(cè)導(dǎo)致。

（2）監(jiān)控廠家側(cè)數(shù)據(jù)準(zhǔn)備情況，判斷數(shù)據(jù)質(zhì)量問(wèn)題是否由廠家側(cè)導(dǎo)致。

（3）監(jiān)控?cái)?shù)據(jù)采集過(guò)程中錯(cuò)誤信息，判斷采集數(shù)據(jù)問(wèn)題由采集過(guò)程的哪個(gè)具體環(huán)節(jié)導(dǎo)致。

3　實(shí)施效果及應(yīng)用

目前，上述技術(shù)和解決方案已在中國(guó)移動(dòng)通信集團(tuán)廣西有限公司統(tǒng)一采集平臺(tái)項(xiàng)目中得到了驗(yàn)證和實(shí)施。

從實(shí)施的規(guī)模和應(yīng)用效果來(lái)看，在采集層數(shù)據(jù)質(zhì)量的管控手段和措施得到了豐富，在功能上嘗試了一定創(chuàng)新，尤其是在監(jiān)控力度和方式得到了進(jìn)一步的擴(kuò)大和深入。

表1是傳統(tǒng)網(wǎng)管的采集層數(shù)據(jù)質(zhì)量管控模式與統(tǒng)一采集平臺(tái)內(nèi)實(shí)現(xiàn)的數(shù)據(jù)管控模塊的差異對(duì)比。

經(jīng)過(guò)統(tǒng)一采集平臺(tái)的數(shù)據(jù)質(zhì)量管控的實(shí)現(xiàn)及應(yīng)用，采集層數(shù)據(jù)質(zhì)量的完整性、及時(shí)性、合理性、告警數(shù)據(jù)的數(shù)據(jù)質(zhì)量等方面得到了10%～20%的提升，如表2所示。

廣西移動(dòng)統(tǒng)一采集平臺(tái)數(shù)據(jù)質(zhì)量管控現(xiàn)網(wǎng)運(yùn)行的功能具有以下功能。

（1）完整性監(jiān)控功能展現(xiàn)：該采集源在某一時(shí)刻的具體采集信息，包括完整率、采集條數(shù)、經(jīng)驗(yàn)值、完整率閾值。

表1　采集層數(shù)據(jù)質(zhì)量管控模式差異性對(duì)比

表2　傳統(tǒng)網(wǎng)管與統(tǒng)一采集平臺(tái)數(shù)據(jù)管控模式數(shù)據(jù)質(zhì)量提升對(duì)比

（2）任務(wù)流向監(jiān)控展現(xiàn)：從某一個(gè)異常KPI可以順序追溯到數(shù)據(jù)共享、數(shù)據(jù)匯總、計(jì)算甚至采集源頭是否有異常。

（3）數(shù)據(jù)報(bào)表展現(xiàn)：數(shù)據(jù)質(zhì)量報(bào)表子菜單，界面如圖所示，支持完整性、及時(shí)性、合理性的小時(shí)報(bào)、日?qǐng)?bào)表。選擇條件包括報(bào)表類(lèi)型、專(zhuān)業(yè)、層次、時(shí)間周期、廠家、數(shù)據(jù)類(lèi)型、開(kāi)始時(shí)間、結(jié)束時(shí)間、指標(biāo)組名。

（4）數(shù)據(jù)質(zhì)量分析：及時(shí)性分析、完整性分析、數(shù)據(jù)量分析、任務(wù)量分析、全采集機(jī)負(fù)荷分析。

（5）問(wèn)題定位展現(xiàn)：根據(jù)采集流程中各個(gè)監(jiān)控點(diǎn)信息，從數(shù)據(jù)采集過(guò)程、數(shù)據(jù)準(zhǔn)備情況、錯(cuò)誤信息3個(gè)方面完整問(wèn)題定位。

（6）告警數(shù)據(jù)質(zhì)量監(jiān)控展現(xiàn)：提供“專(zhuān)業(yè)”，“采集源”“開(kāi)始時(shí)間”、“結(jié)束時(shí)間”等查詢(xún)維度。 包含“完整性”、“合理性”、“及時(shí)性”3張圖表。完整性是接收字節(jié)數(shù)、截取條數(shù)、解析條數(shù)的疊加；合理性是截取率、解析率的疊加；及時(shí)性是解析用時(shí)。

Research and implementation of communication OSS system data quality control

HUANG Min-fei, WANG Xiang, TAN Zhan

(China Mobile Group Guangxi Co., Ltd., Nanning 530028, China)

Abstract This paper provides a new way, through enhancing the quality of data acquisition layer monitoring, quality analysis, problem assisted positioning, and there medial measures to improve data quality and to better protect the normal operation of business support systems. Meanwhile, the data quality control technology resolution that the paper referred to,has been verifi ed and achieved good effect in General Collection Platform.

Keywords data network management system; data quality control; monitor

收稿日期：2015-03-01

文章編號(hào)1008-5599（2015）04-0019-07

文獻(xiàn)標(biāo)識(shí)碼A

中圖分類(lèi)號(hào)TN915