黎展鵬

摘 要 對(duì)廣電各監(jiān)測(cè)系統(tǒng)的現(xiàn)狀及系統(tǒng)間數(shù)據(jù)同步方式進(jìn)行了闡述，隨著廣播電視監(jiān)測(cè)事業(yè)的不斷發(fā)展，原有數(shù)據(jù)同步方式在廣電監(jiān)測(cè)系統(tǒng)中同步效率低、靈活性差、不易擴(kuò)展等弊端逐漸顯露，成為系統(tǒng)間數(shù)據(jù)共享的瓶頸。為了滿足廣播電視監(jiān)測(cè)資源共享系統(tǒng)的要求，對(duì)數(shù)據(jù)同步系統(tǒng)架構(gòu)進(jìn)行了重新設(shè)計(jì)，由原來(lái)的通過(guò)JAVA/C++等程序來(lái)實(shí)現(xiàn)數(shù)據(jù)的同步改變?yōu)橹苯釉跀?shù)據(jù)庫(kù)層面進(jìn)行編程完成數(shù)據(jù)的同步，并支持?jǐn)?shù)據(jù)庫(kù)間單向、雙向、一對(duì)多的數(shù)據(jù)同步。文章對(duì)數(shù)據(jù)庫(kù)的觸發(fā)器、存儲(chǔ)過(guò)程、JOB、Dblink等在數(shù)據(jù)同步中應(yīng)用進(jìn)行了研究，實(shí)現(xiàn)了靈活的數(shù)據(jù)同步功能，在廣電監(jiān)測(cè)系統(tǒng)中也得到了很好的實(shí)踐。

關(guān)鍵詞 數(shù)據(jù)同步；分布式；數(shù)據(jù)庫(kù)

中圖分類(lèi)號(hào) TP3 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708（2018）213-0073-04

1 相關(guān)概念

1）廣播電視監(jiān)測(cè)系統(tǒng)，是指國(guó)家廣電總局構(gòu)造的全國(guó)性的監(jiān)測(cè)平臺(tái)，由1個(gè)中心節(jié)點(diǎn)、10個(gè)區(qū)域節(jié)點(diǎn)（總局直屬監(jiān)測(cè)臺(tái)）、29個(gè)省級(jí)節(jié)點(diǎn)以及350套地級(jí)監(jiān)測(cè)數(shù)據(jù)采集前端組成。通過(guò)該系統(tǒng)，可實(shí)現(xiàn)對(duì)全國(guó)337個(gè)地級(jí)以上城市播出的中央和地方電視和廣播節(jié)目進(jìn)行24小時(shí)實(shí)時(shí)監(jiān)測(cè)；對(duì)播出狀況（重大停、劣播事故）、播出質(zhì)量、播出內(nèi)容、頻譜狀況等進(jìn)行監(jiān)測(cè)。

2）廣播電視監(jiān)測(cè)資源共享系統(tǒng)是在現(xiàn)有的5個(gè)監(jiān)測(cè)系統(tǒng)（有線電視監(jiān)測(cè)系統(tǒng)、廣播電視監(jiān)測(cè)系統(tǒng)、開(kāi)路電視和調(diào)頻廣播監(jiān)測(cè)系統(tǒng)、衛(wèi)星電視監(jiān)測(cè)系統(tǒng)和海外監(jiān)測(cè)系統(tǒng)）和原有的信息平臺(tái)系統(tǒng)之上，進(jìn)行數(shù)據(jù)整合，實(shí)現(xiàn)廣播電視監(jiān)測(cè)信息的上報(bào)、分析處理和發(fā)布，進(jìn)一步加強(qiáng)監(jiān)測(cè)數(shù)據(jù)的綜合分析處理能力，實(shí)現(xiàn)實(shí)時(shí)分析和統(tǒng)計(jì)，提供更多有價(jià)值的數(shù)據(jù)統(tǒng)計(jì)分析結(jié)果，并實(shí)現(xiàn)多種方式的展示，增強(qiáng)監(jiān)測(cè)信息的獲取和即時(shí)通訊等能力，構(gòu)建數(shù)據(jù)應(yīng)用、分析、展示平臺(tái)。

3）分布式數(shù)據(jù)庫(kù)同步，利用Oracle數(shù)據(jù)庫(kù)特性實(shí)現(xiàn)多臺(tái)分布在網(wǎng)絡(luò)中的ORACLE數(shù)據(jù)庫(kù)服務(wù)器之間部份數(shù)據(jù)一致性，而采用的技術(shù)手段。

2 廣電各監(jiān)測(cè)系統(tǒng)現(xiàn)狀

隨著廣播電視監(jiān)測(cè)事業(yè)的不斷發(fā)展，監(jiān)測(cè)工作越來(lái)越得到總局領(lǐng)導(dǎo)和有關(guān)部門(mén)的重視，為了把廣播電視節(jié)目?jī)?yōu)質(zhì)地傳送給廣大聽(tīng)眾和觀眾，促進(jìn)廣播電視傳輸和播出質(zhì)量的提高，強(qiáng)化廣播電視事業(yè)管理工作和政府職能，加強(qiáng)監(jiān)管，到目前為止，已建設(shè)有線電視監(jiān)測(cè)系統(tǒng)、廣播電視監(jiān)測(cè)系統(tǒng)、開(kāi)路電視和調(diào)頻廣播監(jiān)測(cè)系統(tǒng)、衛(wèi)星電視監(jiān)測(cè)系統(tǒng)和海外監(jiān)測(cè)系統(tǒng)等為總局各個(gè)部門(mén)服務(wù)。

在各系統(tǒng)的運(yùn)行過(guò)程中發(fā)現(xiàn)系統(tǒng)本身所獲取到的監(jiān)測(cè)數(shù)據(jù)不能完成滿足監(jiān)測(cè)的需要，而其他部門(mén)建設(shè)的監(jiān)測(cè)系統(tǒng)卻可以滿足這部份工作，為了更好地完成監(jiān)測(cè)任務(wù)，提高工作效率避免重復(fù)建設(shè)，各系統(tǒng)開(kāi)放部分?jǐn)?shù)據(jù)給其他需要的部門(mén)，實(shí)現(xiàn)了監(jiān)測(cè)數(shù)據(jù)的按需獲取。

3 原有廣播電視監(jiān)測(cè)各業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)同步方式

為了提高監(jiān)測(cè)工作的效率、監(jiān)測(cè)結(jié)果的準(zhǔn)確性和監(jiān)測(cè)數(shù)據(jù)的共享，設(shè)計(jì)了初期的數(shù)據(jù)同步方式，基本原理是針對(duì)需要同步的數(shù)據(jù)設(shè)計(jì)相應(yīng)的數(shù)據(jù)同步程序，根據(jù)不同系統(tǒng)間的需要，采用定時(shí)或指定時(shí)間間隔的定向數(shù)據(jù)發(fā)送，當(dāng)有多個(gè)系統(tǒng)需要同一份數(shù)據(jù)時(shí)，需要發(fā)送多次才能完成，而非真正的實(shí)時(shí)數(shù)據(jù)同步，基本實(shí)現(xiàn)方法如圖1。

4 廣播電視監(jiān)測(cè)資源共享系統(tǒng)的建設(shè)背景和目標(biāo)

國(guó)家廣電總局監(jiān)測(cè)中心目前已經(jīng)建立了5個(gè)獨(dú)立的監(jiān)測(cè)子網(wǎng)，即有線電視監(jiān)測(cè)網(wǎng)、廣播監(jiān)測(cè)網(wǎng)、開(kāi)路電視和調(diào)頻廣播監(jiān)測(cè)網(wǎng)、衛(wèi)星電視監(jiān)測(cè)網(wǎng)和海外監(jiān)測(cè)網(wǎng)。5個(gè)監(jiān)測(cè)系統(tǒng)都已具有較為完善的監(jiān)測(cè)功能，在日常監(jiān)測(cè)業(yè)務(wù)中發(fā)揮了重要的作用，并且5個(gè)子系統(tǒng)分別和數(shù)據(jù)中心實(shí)現(xiàn)了網(wǎng)絡(luò)互通。

廣電總局資源共享系統(tǒng)是在現(xiàn)有的5個(gè)監(jiān)測(cè)系統(tǒng)和原有的信息平臺(tái)系統(tǒng)之上，進(jìn)行數(shù)據(jù)整合，實(shí)現(xiàn)廣播電視監(jiān)測(cè)信息的上報(bào)、分析處理和發(fā)布，進(jìn)一步加強(qiáng)監(jiān)測(cè)數(shù)據(jù)的綜合分析處理能力，實(shí)現(xiàn)實(shí)時(shí)分析和統(tǒng)計(jì)，提供更多有價(jià)值的數(shù)據(jù)統(tǒng)計(jì)分析結(jié)果，并實(shí)現(xiàn)多種方式的展示，增強(qiáng)監(jiān)測(cè)信息的獲取和即時(shí)通訊等能力，構(gòu)建數(shù)據(jù)應(yīng)用、分析、展示平臺(tái)。

5 數(shù)據(jù)同步系統(tǒng)設(shè)計(jì)

針對(duì)廣播電視監(jiān)測(cè)資源共享系統(tǒng)的建設(shè)需要，需要對(duì)已經(jīng)建立的五個(gè)獨(dú)立監(jiān)測(cè)子網(wǎng)的監(jiān)測(cè)數(shù)據(jù)提供給廣播電視監(jiān)測(cè)資源共享系統(tǒng)，經(jīng)調(diào)研分析，各系統(tǒng)產(chǎn)生的數(shù)據(jù)量大、實(shí)時(shí)性要求高，并且在對(duì)監(jiān)測(cè)數(shù)據(jù)分析的同時(shí)，發(fā)現(xiàn)其中部分?jǐn)?shù)據(jù)在某一時(shí)間段產(chǎn)生量比較大的特點(diǎn)，并且數(shù)據(jù)庫(kù)表結(jié)構(gòu)不統(tǒng)一，這樣也為數(shù)據(jù)的同步產(chǎn)生了難度，綜合以上特點(diǎn)的同時(shí)保證數(shù)據(jù)實(shí)時(shí)的提供廣播電視監(jiān)測(cè)資源共享系統(tǒng)和今后大數(shù)據(jù)分析和信息共享的原則，決定采用分布式數(shù)據(jù)庫(kù)同步方式來(lái)完成數(shù)據(jù)的同步。

5.1 分布式數(shù)據(jù)庫(kù)同步原理

建立數(shù)據(jù)同步中心數(shù)據(jù)庫(kù)，該數(shù)據(jù)同步中心定位為數(shù)據(jù)同步的中央處理單元，來(lái)自不同網(wǎng)絡(luò)的同步數(shù)據(jù)首先到達(dá)該中心，然后由該中心進(jìn)行分發(fā)處理。

各監(jiān)測(cè)網(wǎng)建立標(biāo)準(zhǔn)統(tǒng)一的基于數(shù)據(jù)庫(kù)觸發(fā)器（Trigger）的數(shù)據(jù)同步機(jī)制，將需要同步的監(jiān)測(cè)數(shù)據(jù)根據(jù)條件觸發(fā)，將監(jiān)測(cè)數(shù)據(jù)信息分發(fā)到基于數(shù)據(jù)表的同步監(jiān)測(cè)數(shù)據(jù)隊(duì)列，最后通過(guò)存儲(chǔ)過(guò)程將同步監(jiān)測(cè)數(shù)據(jù)隊(duì)列中的數(shù)據(jù)，利用數(shù)據(jù)庫(kù)的DBLink連接機(jī)制，連接到數(shù)據(jù)同步中心，數(shù)據(jù)同步中心再對(duì)接收到的監(jiān)測(cè)數(shù)據(jù)根據(jù)觸發(fā)條件，分發(fā)到相應(yīng)的監(jiān)測(cè)網(wǎng)絡(luò)數(shù)據(jù)庫(kù)，至此數(shù)據(jù)的同步結(jié)束。分布式數(shù)據(jù)庫(kù)同步的原理如圖2。

5.2 數(shù)據(jù)同步的總體設(shè)計(jì)

數(shù)據(jù)同步在數(shù)據(jù)庫(kù)層面完成，利用數(shù)據(jù)庫(kù)Tigger、JOB、DBLink、Data Queue等特性為基礎(chǔ)完成數(shù)據(jù)的同步。

Tigger：觸發(fā)器（trigger）它是與表事件相關(guān)的特殊的存儲(chǔ)過(guò)程，它的執(zhí)行不是由程序調(diào)用，也不是手工啟動(dòng)，而是由事件來(lái)觸發(fā)，比如當(dāng)對(duì)一個(gè)表進(jìn)行操作（ insert，delete， update）時(shí)就會(huì)激活它執(zhí)行。觸發(fā)器經(jīng)常用于加強(qiáng)數(shù)據(jù)的完整性約束和業(yè)務(wù)規(guī)則等。觸發(fā)器是一個(gè)能由系統(tǒng)自動(dòng)執(zhí)行對(duì)數(shù)據(jù)庫(kù)修改的語(yǔ)句。

JOB：oracle提供的一個(gè)定期執(zhí)行某個(gè)存儲(chǔ)過(guò)程或者包體的功能。需在在job中設(shè)定執(zhí)行的開(kāi)始時(shí)間、間隔時(shí)間、執(zhí)行對(duì)象。

DBLink：是定義一個(gè)數(shù)據(jù)庫(kù)到另一個(gè)數(shù)據(jù)庫(kù)的路徑的對(duì)象，database link允許你查詢遠(yuǎn)程表及執(zhí)行遠(yuǎn)程程序。在任何分布式環(huán)境里，database都是必要的。

分布式數(shù)據(jù)同步示意圖如圖3。

5.2.1 分布式數(shù)據(jù)庫(kù)同步的實(shí)現(xiàn)步驟

1）創(chuàng)建同配置表；

2）根據(jù)同步配置表創(chuàng)建同步需要的表；

3）狀態(tài)監(jiān)控；

4）創(chuàng)建同步總序列分發(fā)存儲(chǔ)過(guò)程；

5）停止所有同步j(luò)ob；

6）創(chuàng)建同步j(luò)ob；

7）重新創(chuàng)建所有job；

8）創(chuàng)建同步錯(cuò)誤日志記錄存儲(chǔ)過(guò)程；

9）刷新同步表字段的存儲(chǔ)過(guò)程；

10）創(chuàng)建同步目的端的存儲(chǔ)過(guò)程；

11）同步所需表的說(shuō)明。

5.2.2 啟動(dòng)同步程序

1）執(zhí)行存儲(chǔ)過(guò)程sync_table_columns_tab；

2）執(zhí)行存儲(chǔ)過(guò)程N(yùn)EWRESTART_SYNC_JOB；

3）創(chuàng)建同步j(luò)ob的 監(jiān)測(cè)job，（NEWCHECK_ SYNC_JOB）監(jiān)測(cè)時(shí)間可以根據(jù)實(shí)際情況修改。

5.2.3 同步異常情況的處理

在分布式的數(shù)據(jù)庫(kù)同步過(guò)程中，由于數(shù)據(jù)量大、數(shù)據(jù)來(lái)源不同，并有可能存在臟數(shù)據(jù)，在這樣的環(huán)境下首先要保證數(shù)據(jù)庫(kù)同步Tigger程序的健壯性，對(duì)于可能造成的異常也必須有相應(yīng)的處理機(jī)制。那么利用ORACLE數(shù)據(jù)庫(kù)的JOB就可以很好的解決這樣的問(wèn)題，通過(guò)對(duì)Tigger觸發(fā)結(jié)果的監(jiān)控，發(fā)現(xiàn)同步錯(cuò)誤，同步錯(cuò)誤一般有以下幾種情況：

1）數(shù)據(jù)格式異常；

2）分布式數(shù)據(jù)庫(kù)連接異常，造成同步數(shù)據(jù)積累；

3）數(shù)據(jù)庫(kù)同步程序問(wèn)題。

針對(duì)問(wèn)題1需要人工干預(yù)解決問(wèn)題，針對(duì)問(wèn)題2、3可以通過(guò)重啟同步程序。

至此完成了數(shù)據(jù)庫(kù)同步程序，那么為了實(shí)現(xiàn)各數(shù)據(jù)庫(kù)分布式的數(shù)據(jù)庫(kù)數(shù)據(jù)互相同步，只需要將程序部署在不同數(shù)據(jù)庫(kù)中，并且配置對(duì)應(yīng)的數(shù)據(jù)目的地址，啟動(dòng)同步程序即可。

數(shù)據(jù)同步系統(tǒng)在廣播電視監(jiān)測(cè)資源共享系統(tǒng)與其它業(yè)務(wù)系統(tǒng)間的應(yīng)用

將數(shù)據(jù)庫(kù)同步的存儲(chǔ)過(guò)程觸發(fā)器等在需要使用同步的數(shù)據(jù)庫(kù)中運(yùn)行，并且配置需要同步的數(shù)據(jù)庫(kù)表及字段、配置同步數(shù)據(jù)庫(kù)表的觸發(fā)規(guī)則、配置數(shù)據(jù)庫(kù)表的同步目的地址然后啟動(dòng)同步程序即可實(shí)現(xiàn)同步，數(shù)據(jù)的同步速度與之前相比有了較大幅度的提高，真正的實(shí)現(xiàn)了監(jiān)測(cè)數(shù)據(jù)的實(shí)時(shí)性，為廣播電視監(jiān)測(cè)資源共享系統(tǒng)實(shí)時(shí)性要求提供了技術(shù)支撐，同時(shí)也為總局領(lǐng)導(dǎo)快速?zèng)Q策提供了幫助。

6 與原有數(shù)據(jù)同步方式的對(duì)比

表2是對(duì)原有的數(shù)據(jù)同步方式與分布式數(shù)據(jù)庫(kù)同步方式的比較。

7 總結(jié)與展望

本文對(duì)分布式數(shù)據(jù)庫(kù)同步技術(shù)在廣播電視監(jiān)測(cè)資源共享系統(tǒng)與其他業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)同步進(jìn)行了比較深入的探討；介紹了原有數(shù)據(jù)同步中存在的一些問(wèn)題；廣播電視監(jiān)測(cè)資源共享系統(tǒng)對(duì)數(shù)據(jù)實(shí)時(shí)性的要求及各系統(tǒng)的情況分析；闡述了分布式數(shù)據(jù)庫(kù)同步技術(shù)的原理、實(shí)現(xiàn)方式、異常情況處理及在廣播電視監(jiān)測(cè)資源共享系統(tǒng)中的應(yīng)用；并且對(duì)原有的同步方式和分布式數(shù)據(jù)庫(kù)同步方式進(jìn)行了對(duì)比。

雖然分布式數(shù)據(jù)庫(kù)同步方式解決了廣播電視監(jiān)測(cè)資源共享系統(tǒng)的數(shù)據(jù)同步問(wèn)題，但隨著業(yè)務(wù)需求的不斷變化，分布式數(shù)據(jù)庫(kù)同步方式也將面臨著更大的挑戰(zhàn)，分布式數(shù)據(jù)庫(kù)同步方式也將隨著業(yè)務(wù)的需要不斷的時(shí)進(jìn)行自我完善和增強(qiáng)。

參考文獻(xiàn)

[1]張偉.發(fā)展中的廣播電視監(jiān)測(cè)業(yè)務(wù)[J].中國(guó)廣播技術(shù)發(fā)展論壇，2003，30（5）：40-44.

[2]林陽(yáng)歐.多個(gè)業(yè)務(wù)系統(tǒng)間數(shù)據(jù)同步系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].上海：華東師范大學(xué)，2009.

[3]互聯(lián)網(wǎng)ORACLE中文產(chǎn)品技術(shù)白皮書(shū)[EB/OL].（www.oracle. com）.

[4]宋俊蘇.分布式數(shù)據(jù)庫(kù)在高職院校辦公自動(dòng)化管理系統(tǒng)中的應(yīng)用[J].電腦知識(shí)與技術(shù)，2009，5（8）：2044-2046.

[5]邵佩英.分布式數(shù)據(jù)庫(kù)系統(tǒng)及其應(yīng)用[M].2版，北京：科學(xué)出版社，2005：10-11.

[6]Richard Staehli，F(xiàn)rank Eliassen，Sten Amundsen. Designing Adaptive Middleware for Reuse[A]Middleware 2004 Companion[C]Toronto： IFIP International Federation for Information Processing，2004：153-157.

[7]張良，佟俐鵑.異構(gòu)數(shù)據(jù)庫(kù)集成中數(shù)據(jù)傳輸問(wèn)題的研究[J].計(jì)算機(jī)應(yīng)用研究，2004（11）：65-66.

[8]馬錦忠.數(shù)據(jù)庫(kù)系統(tǒng)概論[M].南京：南京大學(xué)出版社，1995.

[9]林天峰.ORACLE 程序設(shè)計(jì)[M].北京：科學(xué)出版社，2003.

[10]李維宏，徐如志.中間件技術(shù)及其發(fā)展動(dòng)態(tài)[J].微計(jì)算機(jī)應(yīng)用，2002，23（3）：138-141.