鄭洋 弋才勇
摘 要 本文將針對(duì)營(yíng)銷系統(tǒng)與采集系統(tǒng)如何實(shí)現(xiàn)數(shù)據(jù)“直采直抄”的方式及影響作深入討論。
【關(guān)鍵詞】營(yíng)銷系統(tǒng) 采集系統(tǒng) 直采直抄
1 “直采直抄”實(shí)現(xiàn)方式
1.1 數(shù)據(jù)交互
營(yíng)銷系統(tǒng)與采集系統(tǒng)之間采用Webservice、Webservice+生成庫(kù)和直連生產(chǎn)庫(kù)三種方式相結(jié)合,實(shí)現(xiàn)接口信息的交互與共享。
其中單用webservice直接交互的是數(shù)據(jù)量較小,只起到通知采集系統(tǒng)的作用。采集系統(tǒng)收到通知之后在采集系統(tǒng)生產(chǎn)庫(kù)中查詢相關(guān)營(yíng)銷業(yè)務(wù)數(shù)據(jù)(該數(shù)據(jù)已通過(guò)OGG的方式準(zhǔn)實(shí)時(shí)同步到采集系統(tǒng)生產(chǎn)庫(kù))。
采用webservice+營(yíng)銷中間庫(kù)的方式一般處理數(shù)據(jù)量較大的數(shù)據(jù)量。營(yíng)銷系統(tǒng)通知采集系統(tǒng)之后,采集系統(tǒng)通過(guò)相關(guān)業(yè)務(wù)數(shù)據(jù)直接從營(yíng)銷系統(tǒng)生產(chǎn)庫(kù)中獲取數(shù)據(jù)。
采用直連的方式主要借助OGG軟件將營(yíng)銷系統(tǒng)生產(chǎn)庫(kù)的基礎(chǔ)檔案數(shù)據(jù)同步到采集系統(tǒng)的生產(chǎn)庫(kù)中,并且將采集到的抄表數(shù)據(jù)直接同步到營(yíng)銷系統(tǒng)生產(chǎn)庫(kù)中。
1.2 業(yè)務(wù)交互
這里指的業(yè)務(wù)交互主要分為抄表數(shù)據(jù)同步、定時(shí)檔案數(shù)據(jù)同步、實(shí)時(shí)業(yè)務(wù)流程數(shù)據(jù)同步三部分進(jìn)行描述。
1.2.1 抄表數(shù)據(jù)同步
不使用中間庫(kù)的情況下,考慮到營(yíng)銷系統(tǒng)和采集系統(tǒng)雙方系統(tǒng)壓力問題,采用OGG從采集系統(tǒng)將抄表數(shù)據(jù)實(shí)時(shí)同步到營(yíng)銷系統(tǒng)。
采集系統(tǒng)按營(yíng)銷系統(tǒng)抄表數(shù)據(jù)表格式準(zhǔn)備抄表數(shù)據(jù),營(yíng)銷系統(tǒng)保留3天抄表數(shù)據(jù)。
1.2.2 定時(shí)檔案數(shù)據(jù)同步
需定時(shí)同步的檔案數(shù)據(jù)信息包括“營(yíng)銷基礎(chǔ)檔案”和“非實(shí)時(shí)性同步的業(yè)務(wù)流程數(shù)據(jù)信息”。在采集系統(tǒng)建立一套和營(yíng)銷系統(tǒng)相同表結(jié)構(gòu)的數(shù)模,通過(guò)OGG將營(yíng)銷系統(tǒng)檔案實(shí)時(shí)同步到采集系統(tǒng)。
營(yíng)銷系統(tǒng)每日定時(shí)將“非實(shí)時(shí)性同步的業(yè)務(wù)流程”的工作單號(hào)、工單類型寫入到營(yíng)銷系統(tǒng)的記錄變更表,用于采集系統(tǒng)定時(shí)檔案更新同步。
1.2.3 實(shí)時(shí)業(yè)務(wù)流程數(shù)據(jù)同步
營(yíng)銷系統(tǒng)和采集系統(tǒng)之間,新裝類計(jì)量業(yè)擴(kuò)工單和換表類計(jì)量業(yè)擴(kuò)工單使用數(shù)據(jù)源直接讀取對(duì)方生產(chǎn)庫(kù)數(shù)據(jù)庫(kù)獲取數(shù)據(jù)。
所有涉及更換變比及綜合倍率、采集終端拆除、采集流程注銷的工單,通過(guò)WebService實(shí)時(shí)交互。
2 “直采直抄”的作用及影響
挑選兩臺(tái)P750小型機(jī)作為本次論證的硬件服務(wù)器,背景為擁有500萬(wàn)人口的省份,在使用原有“中間庫(kù)”模式和升級(jí)為“直采直抄”后,從系統(tǒng)負(fù)載、系統(tǒng)底層業(yè)務(wù)數(shù)據(jù)交互及提升效果三個(gè)方面進(jìn)行比對(duì),得出如下評(píng)價(jià)。
2.1 系統(tǒng)負(fù)載
系統(tǒng)硬件負(fù)載穩(wěn)定,采集數(shù)據(jù)同步效率提升一倍。
(1)改造后雖然減少了中間庫(kù)這個(gè)中轉(zhuǎn)“橋梁”,但營(yíng)銷系統(tǒng)與采集系統(tǒng)的數(shù)據(jù)庫(kù)負(fù)載并沒有明顯的升高,抽取改造后任意兩日的數(shù)據(jù),發(fā)現(xiàn)CPU負(fù)載均沒有超過(guò)53%,日均值不超過(guò)30%,未對(duì)數(shù)據(jù)庫(kù)造成壓力,具體如圖1所示。
(2)作為自動(dòng)化抄表核算的數(shù)據(jù)支撐,以前由中間庫(kù)完成的抄表數(shù)據(jù)導(dǎo)入至營(yíng)銷系統(tǒng)數(shù)據(jù)庫(kù),總時(shí)長(zhǎng)需要4小時(shí)左右,在實(shí)現(xiàn)“直采直抄”之后,通過(guò)觀察驗(yàn)證,同樣量級(jí)的數(shù)據(jù)由采集系統(tǒng)數(shù)據(jù)庫(kù)直接傳送至營(yíng)銷系統(tǒng)數(shù)據(jù)庫(kù)時(shí),時(shí)間僅需2小時(shí)左右。
2.2 系統(tǒng)底層業(yè)務(wù)數(shù)據(jù)交互
系統(tǒng)底層業(yè)務(wù)數(shù)據(jù)交互方式優(yōu)化,效率提升明顯。
改動(dòng)后,針對(duì)檔案同步流程、底層數(shù)據(jù)庫(kù)操作、檔案一致性進(jìn)行了優(yōu)化及提升,縮短采集每日抄表及補(bǔ)抄時(shí)間,提升采集應(yīng)用率、提升自動(dòng)化抄表核算率等方面成效顯著。
檔案同步流程優(yōu)化、效率提高。
(1)用電信息采集系統(tǒng)獲取檔案業(yè)務(wù),由原先的營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)同步到采集中間庫(kù),采集系統(tǒng)取走轉(zhuǎn)化使用,變更為采集系統(tǒng)通過(guò)OGG的方式對(duì)營(yíng)銷系統(tǒng)提供的用戶檔案變化進(jìn)行每日更新工作。
(2)營(yíng)銷系統(tǒng)獲取采集數(shù)據(jù)業(yè)務(wù),由原先的采集系統(tǒng)將采集數(shù)據(jù)放入中間庫(kù),營(yíng)銷業(yè)務(wù)系統(tǒng)獲取中間庫(kù)數(shù)據(jù)進(jìn)行抄表,變更為采集系統(tǒng)開放抄表數(shù)據(jù)表單,由營(yíng)銷系統(tǒng)直接獲取。
(3)采用多線程同步機(jī)制,先將所需的營(yíng)銷檔案表進(jìn)行分類,分為表計(jì)、用戶及電網(wǎng)結(jié)構(gòu),再同時(shí)進(jìn)行檔案同步,取代之前一個(gè)檔案表讀取同步,再進(jìn)行下一張檔案表的讀取同步工作。
(4)采集系統(tǒng)同步營(yíng)銷系統(tǒng)檔案環(huán)節(jié)前增加校驗(yàn)。用電信息采集系統(tǒng)在本次改造工作中,為防止因營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)中的檔案數(shù)據(jù)不完整,同步到采集系統(tǒng)后,造成無(wú)法采集或者統(tǒng)計(jì)有出入等情況,針對(duì)營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)接口中的檔案在同步檔案環(huán)節(jié)前增加了多處校驗(yàn),包括字段校驗(yàn)及關(guān)聯(lián)關(guān)系校驗(yàn),將不符合采集系統(tǒng)要求的檔案隔離在采集系統(tǒng)之外,保證采集系統(tǒng)檔案的準(zhǔn)確性與一致性,并實(shí)時(shí)反饋營(yíng)銷業(yè)務(wù)系統(tǒng)檔案同步結(jié)果,便于用戶及時(shí)處理因檔案不完整等原因造成檔案同步失敗的情況。
多舉措提升兩系統(tǒng)檔案一致性。
特別提醒,營(yíng)銷系統(tǒng)與采集系統(tǒng)需提前完成檔案數(shù)據(jù)互相比對(duì)工作,主要目的是清理垃圾數(shù)據(jù)。
2.3 提升效果
應(yīng)用提升成效明顯。
2.3.1 大幅縮短營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)采集每日抄表及補(bǔ)抄時(shí)間
原營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)對(duì)580萬(wàn)戶、2900萬(wàn)條抄表數(shù)據(jù)獲取需用時(shí)4個(gè)小時(shí)左右,改造后采集系統(tǒng)開放抄表數(shù)據(jù)表單,由營(yíng)銷系統(tǒng)直接獲取,耗時(shí)在1個(gè)小時(shí)40分鐘左右,時(shí)間縮短了接近60%。同時(shí)采取實(shí)時(shí)獲取采集系統(tǒng)的補(bǔ)抄數(shù)據(jù)的方式,實(shí)現(xiàn)了對(duì)抄表數(shù)據(jù)有效利用,為主網(wǎng)線損日統(tǒng)計(jì)、配網(wǎng)和臺(tái)區(qū)線損日監(jiān)測(cè)提供支撐。
2.3.2 有效支撐自動(dòng)化抄表核算率提升
營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)與用電信息采集系統(tǒng)數(shù)據(jù)接口改造后提高了抄表數(shù)據(jù)的利用率,遠(yuǎn)程自動(dòng)化抄表核算率較上月提高2.6%。
同時(shí)為4月份4875抄表段、30多萬(wàn)用戶抄表方式從人工抄表到遠(yuǎn)采集抄提供數(shù)據(jù)與交互環(huán)境支撐。
3 結(jié)語(yǔ)
營(yíng)銷系統(tǒng)與采集系統(tǒng)實(shí)現(xiàn)“直采直抄”后,在提高檔案一致性、縮短采集每日抄表及補(bǔ)抄時(shí)間、提高采集應(yīng)用率、提升自動(dòng)化抄表核算率等方面成效顯著,為實(shí)現(xiàn)電網(wǎng)線損日監(jiān)測(cè)、自動(dòng)化算費(fèi)審核等采集系統(tǒng)深化應(yīng)用工作提供強(qiáng)有力的保障,還為用戶實(shí)現(xiàn)網(wǎng)絡(luò)購(gòu)電、手機(jī)購(gòu)電等新型營(yíng)銷業(yè)務(wù)服務(wù)模式提供了數(shù)據(jù)支撐。
作者單位
新疆信息產(chǎn)業(yè)有限責(zé)任公司 新疆維吾爾族自治區(qū)烏魯木齊市 830002endprint
摘 要 本文將針對(duì)營(yíng)銷系統(tǒng)與采集系統(tǒng)如何實(shí)現(xiàn)數(shù)據(jù)“直采直抄”的方式及影響作深入討論。
【關(guān)鍵詞】營(yíng)銷系統(tǒng) 采集系統(tǒng) 直采直抄
1 “直采直抄”實(shí)現(xiàn)方式
1.1 數(shù)據(jù)交互
營(yíng)銷系統(tǒng)與采集系統(tǒng)之間采用Webservice、Webservice+生成庫(kù)和直連生產(chǎn)庫(kù)三種方式相結(jié)合,實(shí)現(xiàn)接口信息的交互與共享。
其中單用webservice直接交互的是數(shù)據(jù)量較小,只起到通知采集系統(tǒng)的作用。采集系統(tǒng)收到通知之后在采集系統(tǒng)生產(chǎn)庫(kù)中查詢相關(guān)營(yíng)銷業(yè)務(wù)數(shù)據(jù)(該數(shù)據(jù)已通過(guò)OGG的方式準(zhǔn)實(shí)時(shí)同步到采集系統(tǒng)生產(chǎn)庫(kù))。
采用webservice+營(yíng)銷中間庫(kù)的方式一般處理數(shù)據(jù)量較大的數(shù)據(jù)量。營(yíng)銷系統(tǒng)通知采集系統(tǒng)之后,采集系統(tǒng)通過(guò)相關(guān)業(yè)務(wù)數(shù)據(jù)直接從營(yíng)銷系統(tǒng)生產(chǎn)庫(kù)中獲取數(shù)據(jù)。
采用直連的方式主要借助OGG軟件將營(yíng)銷系統(tǒng)生產(chǎn)庫(kù)的基礎(chǔ)檔案數(shù)據(jù)同步到采集系統(tǒng)的生產(chǎn)庫(kù)中,并且將采集到的抄表數(shù)據(jù)直接同步到營(yíng)銷系統(tǒng)生產(chǎn)庫(kù)中。
1.2 業(yè)務(wù)交互
這里指的業(yè)務(wù)交互主要分為抄表數(shù)據(jù)同步、定時(shí)檔案數(shù)據(jù)同步、實(shí)時(shí)業(yè)務(wù)流程數(shù)據(jù)同步三部分進(jìn)行描述。
1.2.1 抄表數(shù)據(jù)同步
不使用中間庫(kù)的情況下,考慮到營(yíng)銷系統(tǒng)和采集系統(tǒng)雙方系統(tǒng)壓力問題,采用OGG從采集系統(tǒng)將抄表數(shù)據(jù)實(shí)時(shí)同步到營(yíng)銷系統(tǒng)。
采集系統(tǒng)按營(yíng)銷系統(tǒng)抄表數(shù)據(jù)表格式準(zhǔn)備抄表數(shù)據(jù),營(yíng)銷系統(tǒng)保留3天抄表數(shù)據(jù)。
1.2.2 定時(shí)檔案數(shù)據(jù)同步
需定時(shí)同步的檔案數(shù)據(jù)信息包括“營(yíng)銷基礎(chǔ)檔案”和“非實(shí)時(shí)性同步的業(yè)務(wù)流程數(shù)據(jù)信息”。在采集系統(tǒng)建立一套和營(yíng)銷系統(tǒng)相同表結(jié)構(gòu)的數(shù)模,通過(guò)OGG將營(yíng)銷系統(tǒng)檔案實(shí)時(shí)同步到采集系統(tǒng)。
營(yíng)銷系統(tǒng)每日定時(shí)將“非實(shí)時(shí)性同步的業(yè)務(wù)流程”的工作單號(hào)、工單類型寫入到營(yíng)銷系統(tǒng)的記錄變更表,用于采集系統(tǒng)定時(shí)檔案更新同步。
1.2.3 實(shí)時(shí)業(yè)務(wù)流程數(shù)據(jù)同步
營(yíng)銷系統(tǒng)和采集系統(tǒng)之間,新裝類計(jì)量業(yè)擴(kuò)工單和換表類計(jì)量業(yè)擴(kuò)工單使用數(shù)據(jù)源直接讀取對(duì)方生產(chǎn)庫(kù)數(shù)據(jù)庫(kù)獲取數(shù)據(jù)。
所有涉及更換變比及綜合倍率、采集終端拆除、采集流程注銷的工單,通過(guò)WebService實(shí)時(shí)交互。
2 “直采直抄”的作用及影響
挑選兩臺(tái)P750小型機(jī)作為本次論證的硬件服務(wù)器,背景為擁有500萬(wàn)人口的省份,在使用原有“中間庫(kù)”模式和升級(jí)為“直采直抄”后,從系統(tǒng)負(fù)載、系統(tǒng)底層業(yè)務(wù)數(shù)據(jù)交互及提升效果三個(gè)方面進(jìn)行比對(duì),得出如下評(píng)價(jià)。
2.1 系統(tǒng)負(fù)載
系統(tǒng)硬件負(fù)載穩(wěn)定,采集數(shù)據(jù)同步效率提升一倍。
(1)改造后雖然減少了中間庫(kù)這個(gè)中轉(zhuǎn)“橋梁”,但營(yíng)銷系統(tǒng)與采集系統(tǒng)的數(shù)據(jù)庫(kù)負(fù)載并沒有明顯的升高,抽取改造后任意兩日的數(shù)據(jù),發(fā)現(xiàn)CPU負(fù)載均沒有超過(guò)53%,日均值不超過(guò)30%,未對(duì)數(shù)據(jù)庫(kù)造成壓力,具體如圖1所示。
(2)作為自動(dòng)化抄表核算的數(shù)據(jù)支撐,以前由中間庫(kù)完成的抄表數(shù)據(jù)導(dǎo)入至營(yíng)銷系統(tǒng)數(shù)據(jù)庫(kù),總時(shí)長(zhǎng)需要4小時(shí)左右,在實(shí)現(xiàn)“直采直抄”之后,通過(guò)觀察驗(yàn)證,同樣量級(jí)的數(shù)據(jù)由采集系統(tǒng)數(shù)據(jù)庫(kù)直接傳送至營(yíng)銷系統(tǒng)數(shù)據(jù)庫(kù)時(shí),時(shí)間僅需2小時(shí)左右。
2.2 系統(tǒng)底層業(yè)務(wù)數(shù)據(jù)交互
系統(tǒng)底層業(yè)務(wù)數(shù)據(jù)交互方式優(yōu)化,效率提升明顯。
改動(dòng)后,針對(duì)檔案同步流程、底層數(shù)據(jù)庫(kù)操作、檔案一致性進(jìn)行了優(yōu)化及提升,縮短采集每日抄表及補(bǔ)抄時(shí)間,提升采集應(yīng)用率、提升自動(dòng)化抄表核算率等方面成效顯著。
檔案同步流程優(yōu)化、效率提高。
(1)用電信息采集系統(tǒng)獲取檔案業(yè)務(wù),由原先的營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)同步到采集中間庫(kù),采集系統(tǒng)取走轉(zhuǎn)化使用,變更為采集系統(tǒng)通過(guò)OGG的方式對(duì)營(yíng)銷系統(tǒng)提供的用戶檔案變化進(jìn)行每日更新工作。
(2)營(yíng)銷系統(tǒng)獲取采集數(shù)據(jù)業(yè)務(wù),由原先的采集系統(tǒng)將采集數(shù)據(jù)放入中間庫(kù),營(yíng)銷業(yè)務(wù)系統(tǒng)獲取中間庫(kù)數(shù)據(jù)進(jìn)行抄表,變更為采集系統(tǒng)開放抄表數(shù)據(jù)表單,由營(yíng)銷系統(tǒng)直接獲取。
(3)采用多線程同步機(jī)制,先將所需的營(yíng)銷檔案表進(jìn)行分類,分為表計(jì)、用戶及電網(wǎng)結(jié)構(gòu),再同時(shí)進(jìn)行檔案同步,取代之前一個(gè)檔案表讀取同步,再進(jìn)行下一張檔案表的讀取同步工作。
(4)采集系統(tǒng)同步營(yíng)銷系統(tǒng)檔案環(huán)節(jié)前增加校驗(yàn)。用電信息采集系統(tǒng)在本次改造工作中,為防止因營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)中的檔案數(shù)據(jù)不完整,同步到采集系統(tǒng)后,造成無(wú)法采集或者統(tǒng)計(jì)有出入等情況,針對(duì)營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)接口中的檔案在同步檔案環(huán)節(jié)前增加了多處校驗(yàn),包括字段校驗(yàn)及關(guān)聯(lián)關(guān)系校驗(yàn),將不符合采集系統(tǒng)要求的檔案隔離在采集系統(tǒng)之外,保證采集系統(tǒng)檔案的準(zhǔn)確性與一致性,并實(shí)時(shí)反饋營(yíng)銷業(yè)務(wù)系統(tǒng)檔案同步結(jié)果,便于用戶及時(shí)處理因檔案不完整等原因造成檔案同步失敗的情況。
多舉措提升兩系統(tǒng)檔案一致性。
特別提醒,營(yíng)銷系統(tǒng)與采集系統(tǒng)需提前完成檔案數(shù)據(jù)互相比對(duì)工作,主要目的是清理垃圾數(shù)據(jù)。
2.3 提升效果
應(yīng)用提升成效明顯。
2.3.1 大幅縮短營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)采集每日抄表及補(bǔ)抄時(shí)間
原營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)對(duì)580萬(wàn)戶、2900萬(wàn)條抄表數(shù)據(jù)獲取需用時(shí)4個(gè)小時(shí)左右,改造后采集系統(tǒng)開放抄表數(shù)據(jù)表單,由營(yíng)銷系統(tǒng)直接獲取,耗時(shí)在1個(gè)小時(shí)40分鐘左右,時(shí)間縮短了接近60%。同時(shí)采取實(shí)時(shí)獲取采集系統(tǒng)的補(bǔ)抄數(shù)據(jù)的方式,實(shí)現(xiàn)了對(duì)抄表數(shù)據(jù)有效利用,為主網(wǎng)線損日統(tǒng)計(jì)、配網(wǎng)和臺(tái)區(qū)線損日監(jiān)測(cè)提供支撐。
2.3.2 有效支撐自動(dòng)化抄表核算率提升
營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)與用電信息采集系統(tǒng)數(shù)據(jù)接口改造后提高了抄表數(shù)據(jù)的利用率,遠(yuǎn)程自動(dòng)化抄表核算率較上月提高2.6%。
同時(shí)為4月份4875抄表段、30多萬(wàn)用戶抄表方式從人工抄表到遠(yuǎn)采集抄提供數(shù)據(jù)與交互環(huán)境支撐。
3 結(jié)語(yǔ)
營(yíng)銷系統(tǒng)與采集系統(tǒng)實(shí)現(xiàn)“直采直抄”后,在提高檔案一致性、縮短采集每日抄表及補(bǔ)抄時(shí)間、提高采集應(yīng)用率、提升自動(dòng)化抄表核算率等方面成效顯著,為實(shí)現(xiàn)電網(wǎng)線損日監(jiān)測(cè)、自動(dòng)化算費(fèi)審核等采集系統(tǒng)深化應(yīng)用工作提供強(qiáng)有力的保障,還為用戶實(shí)現(xiàn)網(wǎng)絡(luò)購(gòu)電、手機(jī)購(gòu)電等新型營(yíng)銷業(yè)務(wù)服務(wù)模式提供了數(shù)據(jù)支撐。
作者單位
新疆信息產(chǎn)業(yè)有限責(zé)任公司 新疆維吾爾族自治區(qū)烏魯木齊市 830002endprint
摘 要 本文將針對(duì)營(yíng)銷系統(tǒng)與采集系統(tǒng)如何實(shí)現(xiàn)數(shù)據(jù)“直采直抄”的方式及影響作深入討論。
【關(guān)鍵詞】營(yíng)銷系統(tǒng) 采集系統(tǒng) 直采直抄
1 “直采直抄”實(shí)現(xiàn)方式
1.1 數(shù)據(jù)交互
營(yíng)銷系統(tǒng)與采集系統(tǒng)之間采用Webservice、Webservice+生成庫(kù)和直連生產(chǎn)庫(kù)三種方式相結(jié)合,實(shí)現(xiàn)接口信息的交互與共享。
其中單用webservice直接交互的是數(shù)據(jù)量較小,只起到通知采集系統(tǒng)的作用。采集系統(tǒng)收到通知之后在采集系統(tǒng)生產(chǎn)庫(kù)中查詢相關(guān)營(yíng)銷業(yè)務(wù)數(shù)據(jù)(該數(shù)據(jù)已通過(guò)OGG的方式準(zhǔn)實(shí)時(shí)同步到采集系統(tǒng)生產(chǎn)庫(kù))。
采用webservice+營(yíng)銷中間庫(kù)的方式一般處理數(shù)據(jù)量較大的數(shù)據(jù)量。營(yíng)銷系統(tǒng)通知采集系統(tǒng)之后,采集系統(tǒng)通過(guò)相關(guān)業(yè)務(wù)數(shù)據(jù)直接從營(yíng)銷系統(tǒng)生產(chǎn)庫(kù)中獲取數(shù)據(jù)。
采用直連的方式主要借助OGG軟件將營(yíng)銷系統(tǒng)生產(chǎn)庫(kù)的基礎(chǔ)檔案數(shù)據(jù)同步到采集系統(tǒng)的生產(chǎn)庫(kù)中,并且將采集到的抄表數(shù)據(jù)直接同步到營(yíng)銷系統(tǒng)生產(chǎn)庫(kù)中。
1.2 業(yè)務(wù)交互
這里指的業(yè)務(wù)交互主要分為抄表數(shù)據(jù)同步、定時(shí)檔案數(shù)據(jù)同步、實(shí)時(shí)業(yè)務(wù)流程數(shù)據(jù)同步三部分進(jìn)行描述。
1.2.1 抄表數(shù)據(jù)同步
不使用中間庫(kù)的情況下,考慮到營(yíng)銷系統(tǒng)和采集系統(tǒng)雙方系統(tǒng)壓力問題,采用OGG從采集系統(tǒng)將抄表數(shù)據(jù)實(shí)時(shí)同步到營(yíng)銷系統(tǒng)。
采集系統(tǒng)按營(yíng)銷系統(tǒng)抄表數(shù)據(jù)表格式準(zhǔn)備抄表數(shù)據(jù),營(yíng)銷系統(tǒng)保留3天抄表數(shù)據(jù)。
1.2.2 定時(shí)檔案數(shù)據(jù)同步
需定時(shí)同步的檔案數(shù)據(jù)信息包括“營(yíng)銷基礎(chǔ)檔案”和“非實(shí)時(shí)性同步的業(yè)務(wù)流程數(shù)據(jù)信息”。在采集系統(tǒng)建立一套和營(yíng)銷系統(tǒng)相同表結(jié)構(gòu)的數(shù)模,通過(guò)OGG將營(yíng)銷系統(tǒng)檔案實(shí)時(shí)同步到采集系統(tǒng)。
營(yíng)銷系統(tǒng)每日定時(shí)將“非實(shí)時(shí)性同步的業(yè)務(wù)流程”的工作單號(hào)、工單類型寫入到營(yíng)銷系統(tǒng)的記錄變更表,用于采集系統(tǒng)定時(shí)檔案更新同步。
1.2.3 實(shí)時(shí)業(yè)務(wù)流程數(shù)據(jù)同步
營(yíng)銷系統(tǒng)和采集系統(tǒng)之間,新裝類計(jì)量業(yè)擴(kuò)工單和換表類計(jì)量業(yè)擴(kuò)工單使用數(shù)據(jù)源直接讀取對(duì)方生產(chǎn)庫(kù)數(shù)據(jù)庫(kù)獲取數(shù)據(jù)。
所有涉及更換變比及綜合倍率、采集終端拆除、采集流程注銷的工單,通過(guò)WebService實(shí)時(shí)交互。
2 “直采直抄”的作用及影響
挑選兩臺(tái)P750小型機(jī)作為本次論證的硬件服務(wù)器,背景為擁有500萬(wàn)人口的省份,在使用原有“中間庫(kù)”模式和升級(jí)為“直采直抄”后,從系統(tǒng)負(fù)載、系統(tǒng)底層業(yè)務(wù)數(shù)據(jù)交互及提升效果三個(gè)方面進(jìn)行比對(duì),得出如下評(píng)價(jià)。
2.1 系統(tǒng)負(fù)載
系統(tǒng)硬件負(fù)載穩(wěn)定,采集數(shù)據(jù)同步效率提升一倍。
(1)改造后雖然減少了中間庫(kù)這個(gè)中轉(zhuǎn)“橋梁”,但營(yíng)銷系統(tǒng)與采集系統(tǒng)的數(shù)據(jù)庫(kù)負(fù)載并沒有明顯的升高,抽取改造后任意兩日的數(shù)據(jù),發(fā)現(xiàn)CPU負(fù)載均沒有超過(guò)53%,日均值不超過(guò)30%,未對(duì)數(shù)據(jù)庫(kù)造成壓力,具體如圖1所示。
(2)作為自動(dòng)化抄表核算的數(shù)據(jù)支撐,以前由中間庫(kù)完成的抄表數(shù)據(jù)導(dǎo)入至營(yíng)銷系統(tǒng)數(shù)據(jù)庫(kù),總時(shí)長(zhǎng)需要4小時(shí)左右,在實(shí)現(xiàn)“直采直抄”之后,通過(guò)觀察驗(yàn)證,同樣量級(jí)的數(shù)據(jù)由采集系統(tǒng)數(shù)據(jù)庫(kù)直接傳送至營(yíng)銷系統(tǒng)數(shù)據(jù)庫(kù)時(shí),時(shí)間僅需2小時(shí)左右。
2.2 系統(tǒng)底層業(yè)務(wù)數(shù)據(jù)交互
系統(tǒng)底層業(yè)務(wù)數(shù)據(jù)交互方式優(yōu)化,效率提升明顯。
改動(dòng)后,針對(duì)檔案同步流程、底層數(shù)據(jù)庫(kù)操作、檔案一致性進(jìn)行了優(yōu)化及提升,縮短采集每日抄表及補(bǔ)抄時(shí)間,提升采集應(yīng)用率、提升自動(dòng)化抄表核算率等方面成效顯著。
檔案同步流程優(yōu)化、效率提高。
(1)用電信息采集系統(tǒng)獲取檔案業(yè)務(wù),由原先的營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)同步到采集中間庫(kù),采集系統(tǒng)取走轉(zhuǎn)化使用,變更為采集系統(tǒng)通過(guò)OGG的方式對(duì)營(yíng)銷系統(tǒng)提供的用戶檔案變化進(jìn)行每日更新工作。
(2)營(yíng)銷系統(tǒng)獲取采集數(shù)據(jù)業(yè)務(wù),由原先的采集系統(tǒng)將采集數(shù)據(jù)放入中間庫(kù),營(yíng)銷業(yè)務(wù)系統(tǒng)獲取中間庫(kù)數(shù)據(jù)進(jìn)行抄表,變更為采集系統(tǒng)開放抄表數(shù)據(jù)表單,由營(yíng)銷系統(tǒng)直接獲取。
(3)采用多線程同步機(jī)制,先將所需的營(yíng)銷檔案表進(jìn)行分類,分為表計(jì)、用戶及電網(wǎng)結(jié)構(gòu),再同時(shí)進(jìn)行檔案同步,取代之前一個(gè)檔案表讀取同步,再進(jìn)行下一張檔案表的讀取同步工作。
(4)采集系統(tǒng)同步營(yíng)銷系統(tǒng)檔案環(huán)節(jié)前增加校驗(yàn)。用電信息采集系統(tǒng)在本次改造工作中,為防止因營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)中的檔案數(shù)據(jù)不完整,同步到采集系統(tǒng)后,造成無(wú)法采集或者統(tǒng)計(jì)有出入等情況,針對(duì)營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)接口中的檔案在同步檔案環(huán)節(jié)前增加了多處校驗(yàn),包括字段校驗(yàn)及關(guān)聯(lián)關(guān)系校驗(yàn),將不符合采集系統(tǒng)要求的檔案隔離在采集系統(tǒng)之外,保證采集系統(tǒng)檔案的準(zhǔn)確性與一致性,并實(shí)時(shí)反饋營(yíng)銷業(yè)務(wù)系統(tǒng)檔案同步結(jié)果,便于用戶及時(shí)處理因檔案不完整等原因造成檔案同步失敗的情況。
多舉措提升兩系統(tǒng)檔案一致性。
特別提醒,營(yíng)銷系統(tǒng)與采集系統(tǒng)需提前完成檔案數(shù)據(jù)互相比對(duì)工作,主要目的是清理垃圾數(shù)據(jù)。
2.3 提升效果
應(yīng)用提升成效明顯。
2.3.1 大幅縮短營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)采集每日抄表及補(bǔ)抄時(shí)間
原營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)對(duì)580萬(wàn)戶、2900萬(wàn)條抄表數(shù)據(jù)獲取需用時(shí)4個(gè)小時(shí)左右,改造后采集系統(tǒng)開放抄表數(shù)據(jù)表單,由營(yíng)銷系統(tǒng)直接獲取,耗時(shí)在1個(gè)小時(shí)40分鐘左右,時(shí)間縮短了接近60%。同時(shí)采取實(shí)時(shí)獲取采集系統(tǒng)的補(bǔ)抄數(shù)據(jù)的方式,實(shí)現(xiàn)了對(duì)抄表數(shù)據(jù)有效利用,為主網(wǎng)線損日統(tǒng)計(jì)、配網(wǎng)和臺(tái)區(qū)線損日監(jiān)測(cè)提供支撐。
2.3.2 有效支撐自動(dòng)化抄表核算率提升
營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)與用電信息采集系統(tǒng)數(shù)據(jù)接口改造后提高了抄表數(shù)據(jù)的利用率,遠(yuǎn)程自動(dòng)化抄表核算率較上月提高2.6%。
同時(shí)為4月份4875抄表段、30多萬(wàn)用戶抄表方式從人工抄表到遠(yuǎn)采集抄提供數(shù)據(jù)與交互環(huán)境支撐。
3 結(jié)語(yǔ)
營(yíng)銷系統(tǒng)與采集系統(tǒng)實(shí)現(xiàn)“直采直抄”后,在提高檔案一致性、縮短采集每日抄表及補(bǔ)抄時(shí)間、提高采集應(yīng)用率、提升自動(dòng)化抄表核算率等方面成效顯著,為實(shí)現(xiàn)電網(wǎng)線損日監(jiān)測(cè)、自動(dòng)化算費(fèi)審核等采集系統(tǒng)深化應(yīng)用工作提供強(qiáng)有力的保障,還為用戶實(shí)現(xiàn)網(wǎng)絡(luò)購(gòu)電、手機(jī)購(gòu)電等新型營(yíng)銷業(yè)務(wù)服務(wù)模式提供了數(shù)據(jù)支撐。
作者單位
新疆信息產(chǎn)業(yè)有限責(zé)任公司 新疆維吾爾族自治區(qū)烏魯木齊市 830002endprint