張振華，朱曉民，王玉龍

(1 北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100876; 2 東信北郵信息技術(shù)有限公司，北京 100191）

重構(gòu)手機(jī)閱讀管理平臺(tái)的數(shù)據(jù)同步方案＊

張振華1,2，朱曉民1,2，王玉龍1,2

(1 北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100876; 2 東信北郵信息技術(shù)有限公司，北京 100191）

手機(jī)閱讀管理平臺(tái)進(jìn)行架構(gòu)級(jí)重構(gòu)后，要對(duì)拆分出的子系統(tǒng)進(jìn)行數(shù)據(jù)同步，因此需要準(zhǔn)確的同步方案作為指導(dǎo)。本文首先簡(jiǎn)介手機(jī)閱讀管理平臺(tái)的數(shù)據(jù)同步需求，進(jìn)而深入探討同步系統(tǒng)應(yīng)遵循的同步原則，分析各個(gè)原則的使用場(chǎng)景和落實(shí)該原則的技術(shù)方案。以期對(duì)其它的數(shù)據(jù)同步系統(tǒng)提供參考。

同步原則；最小傷害；冪等；主鍵

手機(jī)閱讀業(yè)務(wù)是中國(guó)移動(dòng)手機(jī)閱讀基地向用戶提供的以在線和下載為主要閱讀方式的自有增值業(yè)務(wù)，以移動(dòng)終端為主要載體，提供圖書(shū)、漫畫(huà)、雜志、聽(tīng)書(shū)、手機(jī)報(bào)等多種形式的媒體內(nèi)容，向用戶提供海量圖書(shū)內(nèi)容服務(wù)，讓人享受隨身隨地閱讀的樂(lè)趣。

1 業(yè)務(wù)內(nèi)容管理系統(tǒng)

作為手機(jī)閱讀業(yè)務(wù)運(yùn)作的管理中樞——業(yè)務(wù)內(nèi)容管理系統(tǒng)（CMU），為業(yè)務(wù)提供內(nèi)容、運(yùn)營(yíng)、互動(dòng)、推薦、配置等全方位的管理。CMU主要面向內(nèi)容提供商（CP）、內(nèi)容編審人員、運(yùn)營(yíng)管理人員、系統(tǒng)管理人員提供內(nèi)容整合商（MCP）管理、內(nèi)容管理、版權(quán)管理、不良信息管理、質(zhì)檢管理、作家管理、運(yùn)營(yíng)管理、終端管理、系統(tǒng)管理、用戶互動(dòng)管理、實(shí)體書(shū)管理等手機(jī)閱讀業(yè)務(wù)的全方位管理。

目前為了改進(jìn)CMU缺乏全局或長(zhǎng)遠(yuǎn)考慮的短期設(shè)計(jì)，消除冗余，采用更優(yōu)更簡(jiǎn)潔的實(shí)現(xiàn)方案，讓代碼更容易理解、修改和測(cè)試，CMU進(jìn)行了架構(gòu)級(jí)重構(gòu)。重構(gòu)后的CMU分為通用子系統(tǒng)、作家子系統(tǒng)、圖書(shū)子系統(tǒng)、工作流子系統(tǒng)以及負(fù)責(zé)數(shù)據(jù)同步的內(nèi)容同步子系統(tǒng)，并在數(shù)據(jù)庫(kù)層面進(jìn)行了劃分：記錄書(shū)籍、作家基本信息和狀態(tài)信息以及平臺(tái)配置信息的通用庫(kù)，記錄作家詳細(xì)信息的作家?guī)?，記錄?shū)籍詳細(xì)信息的圖書(shū)庫(kù)，記錄平臺(tái)工作流信息的工作流庫(kù)，如圖1所示。數(shù)據(jù)庫(kù)的劃分帶來(lái)了邏輯清晰，便于管理和拓展的好處，但是隨之而來(lái)的通用庫(kù)和其它各庫(kù)之間的數(shù)據(jù)同步問(wèn)題亟待解決。

圖1 手機(jī)閱讀管理平臺(tái)系統(tǒng)劃分

因?yàn)镃MU業(yè)務(wù)復(fù)雜性的存在以及保證數(shù)據(jù)同步的合理性和準(zhǔn)確性，需要研究和設(shè)計(jì)好數(shù)據(jù)同步的原則。

2 CMU應(yīng)遵循的同步原則

2.1 單向同步原則

數(shù)據(jù)同步按照同步方向的差異可分為單向同步和雙向同步，單向同步也稱主從式，由一個(gè)主節(jié)點(diǎn)和多個(gè)目標(biāo)節(jié)點(diǎn)構(gòu)成，同步總是由主節(jié)點(diǎn)向各目標(biāo)節(jié)點(diǎn)進(jìn)行，源節(jié)點(diǎn)數(shù)據(jù)副本可以修改，但目標(biāo)節(jié)點(diǎn)上的副本是只讀的，每次目標(biāo)節(jié)點(diǎn)數(shù)據(jù)的更新是由源節(jié)點(diǎn)數(shù)據(jù)修改之后同步到目標(biāo)節(jié)點(diǎn)，以達(dá)到數(shù)據(jù)更新的目的，因此，可以有效的預(yù)防同步時(shí)發(fā)生同步?jīng)_突。雙向同步也叫對(duì)等式同步，數(shù)據(jù)的同步在兩個(gè)方向可以同時(shí)進(jìn)行，所有的數(shù)據(jù)庫(kù)節(jié)點(diǎn)既是源數(shù)據(jù)庫(kù)也是目標(biāo)數(shù)據(jù)庫(kù)，并且對(duì)數(shù)據(jù)都具有讀寫(xiě)的權(quán)利，即各節(jié)點(diǎn)同地位平等，任何一個(gè)節(jié)點(diǎn)的數(shù)據(jù)副本的修改都會(huì)影響到全部的數(shù)據(jù)副本。對(duì)等式數(shù)據(jù)同步必然帶來(lái)同步?jīng)_突。

為避免出現(xiàn)數(shù)據(jù)一致性問(wèn)題，應(yīng)盡量避免出現(xiàn)數(shù)據(jù)雙向同步的情況，所有同步內(nèi)容盡量滿足在一個(gè)庫(kù)中修改，其它庫(kù)中只讀的要求。

如果涉及到多個(gè)子系統(tǒng)都需要對(duì)同一類數(shù)據(jù)進(jìn)行修改，基本策略是通過(guò)維護(hù)該內(nèi)容的主系統(tǒng)開(kāi)放接口，其它系統(tǒng)通過(guò)該接口修改數(shù)據(jù)的方式實(shí)現(xiàn)。

例如CMU的圖書(shū)子系統(tǒng)中維護(hù)的圖書(shū)，通用子系統(tǒng)中應(yīng)盡量保證為只讀，既把圖書(shū)庫(kù)作為源節(jié)點(diǎn)，通用庫(kù)作為目標(biāo)節(jié)點(diǎn)，如果在通用子系統(tǒng)中必須對(duì)通用庫(kù)中的圖書(shū)狀態(tài)進(jìn)行修改時(shí)（如圖書(shū)入庫(kù)操作），應(yīng)通過(guò)圖書(shū)子系統(tǒng)的接口來(lái)修改圖書(shū)庫(kù)中圖書(shū)狀態(tài)，再通過(guò)內(nèi)容同步子系統(tǒng)來(lái)實(shí)現(xiàn)通用庫(kù)的狀態(tài)修改，流程如圖2所示。

2.2 異步復(fù)制原則

數(shù)據(jù)同步根據(jù)更新傳播的方式分為同步復(fù)制和異步復(fù)制，同步復(fù)制是指每一個(gè)事務(wù)更新都需要同步的傳送到其它數(shù)據(jù)庫(kù)節(jié)點(diǎn)上，并且在事務(wù)提交時(shí)要求所有的副本一起將事務(wù)更新提交，如果某一環(huán)節(jié)出現(xiàn)故障，則同時(shí)做事務(wù)的撤銷，同步復(fù)制保證了單副本的串行性，基本可以看成是單個(gè)數(shù)據(jù)庫(kù)中事務(wù)執(zhí)行的簡(jiǎn)單擴(kuò)展，同步復(fù)制實(shí)現(xiàn)簡(jiǎn)單，但卻帶來(lái)極大的通信開(kāi)銷，事務(wù)的平均響應(yīng)時(shí)間也很長(zhǎng)。同時(shí)，同步復(fù)制在做事務(wù)回滾時(shí)，需要對(duì)每個(gè)包含該數(shù)據(jù)副本的事務(wù)進(jìn)行事務(wù)回滾，增加了相應(yīng)的代價(jià)。異步復(fù)制的更新傳播是在該事務(wù)在本地節(jié)點(diǎn)提交之后，再將包含所有更新信息的更新事務(wù)發(fā)送給包含副本的各個(gè)節(jié)點(diǎn)，事務(wù)提交失敗時(shí)只需要放棄本地的更新即可，降低了通信量和減少了事務(wù)回滾代價(jià)。

結(jié)合管理平臺(tái)的業(yè)務(wù)需求分析，平臺(tái)允許可接受范圍的時(shí)延存在，并且盡量降低通信成本和事務(wù)回滾代價(jià)，同時(shí)考慮存在網(wǎng)絡(luò)不穩(wěn)定的可能性，異步復(fù)制更適合內(nèi)容同步子系統(tǒng)。

2.3 邏輯關(guān)系同步原則

CMU重構(gòu)后的子系統(tǒng)相互隔離，這就要求內(nèi)容同步的參與方是基于內(nèi)容的邏輯同步，既對(duì)于同一內(nèi)容，允許同步參與方使用不同的表名、不同的字段甚至完全不同的表結(jié)構(gòu)。例如圖書(shū)庫(kù)的審核批次信息表的表結(jié)構(gòu)不同于通用庫(kù)中的，如圖3所示。

內(nèi)容同步子系統(tǒng)在定義每種內(nèi)容的同步任務(wù)時(shí)，注意要按照該內(nèi)容的邏輯關(guān)系組織同步，而不是按內(nèi)容的表結(jié)構(gòu)組織同步。同步過(guò)程中，同步內(nèi)容的中間格式、處理過(guò)程等要注意盡量與同步數(shù)據(jù)庫(kù)表結(jié)構(gòu)解耦。

基本目標(biāo)是在以后各子系統(tǒng)的數(shù)據(jù)庫(kù)結(jié)構(gòu)改變，但邏輯關(guān)系沒(méi)變時(shí)，不會(huì)對(duì)其它子系統(tǒng)造成影響。

同步參與方的針對(duì)同一內(nèi)容的數(shù)據(jù)庫(kù)設(shè)計(jì)可以完全不一樣，只要邏輯上能夠映射即可。

圖2 圖書(shū)入庫(kù)操作的單向同步

圖3 圖書(shū)庫(kù)中審核批次信息表與通用庫(kù)中的對(duì)比

2.4 最小傷害原則

考慮到同步失敗以及同步恢復(fù)的問(wèn)題，在同一個(gè)同步操作中，需要優(yōu)先執(zhí)行次級(jí)關(guān)聯(lián)內(nèi)容，最后同步主內(nèi)容；在一對(duì)多同步時(shí)，優(yōu)先進(jìn)行非重要的接收端的同步，最后進(jìn)行核心接收端的同步。

如對(duì)于圖書(shū)入庫(kù)同步請(qǐng)求，涉及到圖書(shū)自身信息和圖書(shū)章節(jié)信息的同步，這種情況下，應(yīng)先進(jìn)行圖書(shū)章節(jié)信息的同步，再進(jìn)行圖書(shū)信息的同步。這樣，當(dāng)同步失敗時(shí)，不會(huì)影響同步接收端的正常處理。

最小傷害原則要求能夠?qū)ν煌秸?qǐng)求執(zhí)行多次，同步失敗時(shí)不影響同步接收端的正常運(yùn)行。

2.5 冪等原則

內(nèi)容同步子系統(tǒng)以同步任務(wù)為基本單位，所有需要同步的內(nèi)容都分解為最基礎(chǔ)的同步任務(wù)，同步子系統(tǒng)按照同步任務(wù)為單位進(jìn)行調(diào)度和執(zhí)行。

對(duì)于同步任務(wù)的定義和處理過(guò)程，都要求支持冪等原則，即同一內(nèi)容的同類型同步請(qǐng)求（如圖書(shū)的入庫(kù)同步）可以多次執(zhí)行，每次均能達(dá)到相同的目標(biāo)（即該圖書(shū)的狀態(tài)在同步參與方中是一致的）。不能由于前面失敗同步動(dòng)作的失敗甚至丟失影響后面針對(duì)同一內(nèi)容的同步動(dòng)作。

這要求同步實(shí)現(xiàn)能夠兼容同步錯(cuò)誤的情況，如前面所說(shuō)，部分章節(jié)同步成功，總體沒(méi)有成功，后面的針對(duì)該圖書(shū)的入庫(kù)同步應(yīng)該能夠繼續(xù)完成。

這一原則同樣要求在進(jìn)行同步子系統(tǒng)的接口設(shè)計(jì)的時(shí)候，應(yīng)主要描述要同步的內(nèi)容標(biāo)識(shí)和要同步的內(nèi)容范圍，而不是具體的內(nèi)容信息。如設(shè)計(jì)圖書(shū)狀態(tài)變更時(shí)，應(yīng)描述要同步的圖書(shū)ID和范圍（可以通過(guò)同步類型區(qū)分），而不應(yīng)包含具體的某狀態(tài)到某狀態(tài)的遷移，這樣，即使這個(gè)同步狀態(tài)變更丟失或者失敗，只要重新發(fā)起該請(qǐng)求，還可以將該圖書(shū)狀態(tài)正確同步到接收方。

冪等原則可以簡(jiǎn)化故障處理和恢復(fù)過(guò)程，降低失同步造成的影響。

2.6 同步中不處理主鍵原則

同一內(nèi)容的跨庫(kù)主鍵一致性通過(guò)CMU通用子系統(tǒng)提供的“主鍵序列號(hào)生成服務(wù)”實(shí)現(xiàn)，同步子系統(tǒng)可以不用處理主鍵問(wèn)題，以避免給同步任務(wù)增加不必要的工程量。但如果在同步過(guò)程中出現(xiàn)主鍵沖突的異常，表明可能業(yè)務(wù)程序存在問(wèn)題，很難通過(guò)程序自動(dòng)解決，需要結(jié)束同步任務(wù)并通過(guò)管理員人工核查處理。

2.7 同步失敗報(bào)警原則

同步任務(wù)可能因?yàn)榫W(wǎng)絡(luò)問(wèn)題或者大量同步任務(wù)突發(fā)，最終導(dǎo)致了同步任務(wù)失敗，根據(jù)預(yù)先設(shè)置的失敗重試次數(shù)，重試失敗后停止同步。此時(shí)應(yīng)記錄同步任務(wù)的詳細(xì)信息，例如任務(wù)ID、任務(wù)類型及錯(cuò)誤信息，以便于通過(guò)管理系統(tǒng)查詢，同時(shí)應(yīng)該能夠通過(guò)郵件或短信的方式及時(shí)報(bào)警給管理員。告警后可由管理員通過(guò)同步管理界面進(jìn)行手工查看定位問(wèn)題，并恢復(fù)同步任務(wù)。最好允許為每個(gè)同步任務(wù)指定不同的同步失敗策略和報(bào)警策略。

3 結(jié)束語(yǔ)

結(jié)合數(shù)據(jù)同步基礎(chǔ)知識(shí)和同步業(yè)務(wù)需求，研究和設(shè)計(jì)好清晰的同步原則，為保證數(shù)據(jù)同步的合理性和準(zhǔn)確性以及同步子系統(tǒng)的開(kāi)發(fā)打下了堅(jiān)實(shí)的基礎(chǔ)。同時(shí)也為其它數(shù)據(jù)同步場(chǎng)景提供了有效的參考。

News

思博倫最新發(fā)布的PT TestBench軟件將實(shí)現(xiàn)GNSS/GPS測(cè)試的大幅簡(jiǎn)化和自動(dòng)化

1月11日，思博倫通信宣布PT TestBench正式上市。PT TestBench軟件可以幫助技術(shù)、系統(tǒng)和應(yīng)用開(kāi)發(fā)商更快構(gòu)建更精確的定位功能。該軟件包括測(cè)試、分析和報(bào)告，能夠?qū)崿F(xiàn)GPS和其它全球?qū)Ш叫l(wèi)星系統(tǒng)（GNSS）接收機(jī)測(cè)試的自動(dòng)化，從而以更快、更可靠的方式向市場(chǎng)推出質(zhì)量更高的系統(tǒng)。

迄今為上，尚沒(méi)有任何規(guī)范GNSS接收機(jī)性能評(píng)估的標(biāo)準(zhǔn)，因此開(kāi)發(fā)商必須從頭開(kāi)始自行創(chuàng)建測(cè)試計(jì)劃。PT TestBench蘊(yùn)含著思博倫30余年的GNSS測(cè)試專業(yè)知識(shí)，使所有用戶只需輕點(diǎn)鼠標(biāo)即可建立、運(yùn)行、重復(fù)和解釋這些極為耗時(shí)的測(cè)試。

思博倫通信產(chǎn)品經(jīng)理Romain Zimmermann指出:“PT TestBench將使GPS/GNSS接收機(jī)測(cè)試發(fā)生徹底的變革，并將幫助開(kāi)發(fā)商將精力集中在提供更優(yōu)秀的用戶體驗(yàn)上。它還可以針對(duì)真實(shí)的GPS干擾和欺騙信號(hào)對(duì)接收機(jī)的設(shè)計(jì)做出評(píng)估。

通過(guò)添加GNSS漏洞和威脅測(cè)試套件，PT TestBench用戶可以獲得為期12個(gè)月的PT Cloud訪問(wèn)權(quán)，這是一種持續(xù)更新的云庫(kù)，內(nèi)含各種真實(shí)存在的GNSS威脅。它可以提供多種已捕獲的、真實(shí)的、故意干擾波形、GNSS分段錯(cuò)誤、接收機(jī)過(guò)渡、干擾和欺騙事件，以及最新的已觀察到的太空天氣和閃爍等多種實(shí)例。這些實(shí)例結(jié)合在一起后便成為一種非常優(yōu)秀的手段，能夠在用戶的GNSS模擬中構(gòu)建出非常強(qiáng)健的測(cè)試。

（彭芳)

The reconstruction of mobile reading management platform data synchronization program

ZHANG Zhen-hua1,2, ZHU Xiao-min1,2, WANG Yu-long1,2
(1 Beijing University of Posts and Telecommunications Networking and Switching Technology, State Key Laboratory, Beijing 100876, China; 2 EBUPT Information Technology Co., Ltd., Beijing 100191, China)

After the architecture-level reconstruction of mobile reading management platform, we need to perform data synchronization of the divided subsystem with an accurate synchronization program as a guide. In this paper, we fi rst brie fl y introduce the data synchronization requirements of the platform, and then deeply discuss the synchronization principles of data synchronization subsystem, analyze the usage scenarios of each principle and the technical scheme of implementing each principle, in order to provide reference for other data synchronization system.

synchronization principles; minimal damage; idempotent; primary key

TN929.5

A

1008-5599（2017）02-0086-04

2016-11-28

國(guó)家自然科學(xué)基金（編號(hào)：61372120, 61421061, 61671079, 61471063）; 北京市自然科學(xué)基金（編號(hào)：4152039）。