鄭捷

中國(guó)煙草總公司信息系統(tǒng)上海容災(zāi)中心，技術(shù)科，上海市浦東新區(qū)庭安路428號(hào) 200137

隨著行業(yè)發(fā)展和兩化融合深入，信息化已覆蓋行業(yè)生產(chǎn)經(jīng)營(yíng)管理各個(gè)領(lǐng)域，行業(yè)對(duì)信息系統(tǒng)的依賴與日俱增。國(guó)家局煙草專賣局高度重視行業(yè)信息系統(tǒng)的災(zāi)難備份與恢復(fù)工作，通過(guò)建設(shè)中國(guó)煙草總公司信息系統(tǒng)上海容災(zāi)中心為國(guó)家局重要信息系統(tǒng)提供了應(yīng)對(duì)災(zāi)難的運(yùn)行環(huán)境，通過(guò)組織行業(yè)容災(zāi)演練全面驗(yàn)證了容災(zāi)系統(tǒng)功能。要確保災(zāi)難場(chǎng)景下信息系統(tǒng)的容災(zāi)效果，就必須做到容災(zāi)應(yīng)用數(shù)據(jù)少丟失、應(yīng)用可持續(xù)。選擇合理容災(zāi)數(shù)據(jù)復(fù)制產(chǎn)品是確保數(shù)據(jù)丟失量符合設(shè)計(jì)要求的關(guān)鍵所在，也是確保應(yīng)用連續(xù)性的前提條件。然而由于業(yè)界缺乏相關(guān)模型可供參考，因此要在眾多的容災(zāi)技術(shù)和產(chǎn)品中進(jìn)行最優(yōu)選擇并非易事。

為此，上海容災(zāi)中心在綜合產(chǎn)品機(jī)制分析、容災(zāi)需求理解、系統(tǒng)現(xiàn)狀調(diào)研的基礎(chǔ)上，設(shè)計(jì)了適合行業(yè)特點(diǎn)的容災(zāi)產(chǎn)品評(píng)估模型，并對(duì)國(guó)內(nèi)主流容災(zāi)產(chǎn)品進(jìn)行了全面的測(cè)試、分析和評(píng)估，最終確立了合理的容災(zāi)數(shù)據(jù)復(fù)制產(chǎn)品。

1 容災(zāi)核心技術(shù)選擇

容災(zāi)通?？煞譃閿?shù)據(jù)容災(zāi)和應(yīng)用容災(zāi)。數(shù)據(jù)級(jí)容災(zāi)用于保護(hù)數(shù)據(jù)安全，通過(guò)數(shù)據(jù)復(fù)制工具在異地建立一個(gè)本地?cái)?shù)據(jù)的可用副本，該副本可以是本地源數(shù)據(jù)的實(shí)時(shí)副本（同步數(shù)據(jù)復(fù)制），也可以為相對(duì)滯后的副本（異步數(shù)據(jù)復(fù)制）。當(dāng)本地生產(chǎn)系統(tǒng)出現(xiàn)不可恢復(fù)的故障時(shí)，容災(zāi)系統(tǒng)提供可用的數(shù)據(jù)，恢復(fù)后數(shù)據(jù)丟失量取決于數(shù)據(jù)復(fù)制工具及鏈路帶寬。災(zāi)難發(fā)生后可通過(guò)事先備份的應(yīng)用程序包及基礎(chǔ)軟件安裝介質(zhì)進(jìn)行應(yīng)用恢復(fù)，恢復(fù)耗時(shí)較長(zhǎng)。應(yīng)用級(jí)災(zāi)備不但需要一份可用的數(shù)據(jù)，還需要相應(yīng)的應(yīng)用程序以及與原應(yīng)用系統(tǒng)相類似的硬件資源，以及各個(gè)資源間的良好協(xié)調(diào)，當(dāng)本地生產(chǎn)系統(tǒng)發(fā)生災(zāi)難時(shí)，系統(tǒng)進(jìn)行業(yè)務(wù)切換，由容災(zāi)系統(tǒng)對(duì)外提供服務(wù)。應(yīng)用級(jí)容災(zāi)建立在數(shù)據(jù)級(jí)容災(zāi)的基礎(chǔ)上，選擇健壯的數(shù)據(jù)復(fù)制產(chǎn)品對(duì)于兩種容災(zāi)模式都具有至關(guān)重要的意義。

容災(zāi)中心可分為同城容災(zāi)中心和異地容災(zāi)中心。同城容災(zāi)中心與生產(chǎn)中心一般處于同一城市的不同風(fēng)險(xiǎn)區(qū)域內(nèi)，能夠抵御機(jī)房災(zāi)難與系統(tǒng)故障等小范圍風(fēng)險(xiǎn)。異地容災(zāi)中心與生產(chǎn)中心處于不同城市，與生產(chǎn)中心距離較遠(yuǎn)，能夠?qū)ψ匀粸?zāi)難、機(jī)房災(zāi)難、系統(tǒng)故障三類風(fēng)險(xiǎn)提供全面防護(hù)，也因此無(wú)法做到數(shù)據(jù)零丟失。選擇適用的異步數(shù)據(jù)復(fù)制產(chǎn)品對(duì)于異地容災(zāi)中心就顯得尤為重要。

依據(jù)風(fēng)險(xiǎn)防范場(chǎng)景及于生產(chǎn)中心的距離，上海容災(zāi)中心屬于典型的異地應(yīng)用級(jí)容災(zāi)。其核心系統(tǒng)的數(shù)據(jù)丟失量目標(biāo)（Recovery Point Object，RPO）須達(dá)到10分鐘，系統(tǒng)恢復(fù)時(shí)間點(diǎn)目標(biāo)（Recovery Time Object，RTO）須達(dá)到4小時(shí)。為此需要首先選擇數(shù)據(jù)復(fù)制候選產(chǎn)品，為進(jìn)一步的評(píng)測(cè)和最終選擇提供基礎(chǔ)。

1.1 數(shù)據(jù)容災(zāi)方案選擇

當(dāng)前實(shí)現(xiàn)數(shù)據(jù)容災(zāi)的解決方案，主要分為數(shù)據(jù)備份（Banckup）、數(shù)據(jù)復(fù)制（Replication）和持續(xù)數(shù)據(jù)保護(hù)（Continuious Data Pretection，CDP）三類。依據(jù)數(shù)據(jù)復(fù)制產(chǎn)品的3R能力，即數(shù)據(jù)的冗余（Redundance）、可恢復(fù)（Recovery）和遠(yuǎn)程性（Remoteness），對(duì)主流數(shù)據(jù)容災(zāi)方案做簡(jiǎn)要分析如下表所示。

表1 主流數(shù)據(jù)容災(zāi)方案分析Tab.1 Analysis of primary disaster tolerance data schemes.

綜上分析，基于數(shù)據(jù)備份技術(shù)方案的數(shù)據(jù)丟失量和數(shù)據(jù)恢復(fù)時(shí)間通常以天為單位，無(wú)法滿足中國(guó)煙草總公司的容災(zāi)能力目標(biāo)要求。因此數(shù)據(jù)復(fù)制產(chǎn)品將在數(shù)據(jù)復(fù)制和持續(xù)數(shù)據(jù)保護(hù)兩類中進(jìn)行選擇。

1.2 數(shù)據(jù)復(fù)制產(chǎn)品分類

數(shù)據(jù)復(fù)制和持續(xù)數(shù)據(jù)保護(hù)產(chǎn)品眾多，對(duì)所有主流產(chǎn)品進(jìn)行全面測(cè)試顯然不現(xiàn)實(shí)。為了確保待測(cè)產(chǎn)品的完整性和典型性，首先需要對(duì)相關(guān)產(chǎn)品進(jìn)行系統(tǒng)分類。

從技術(shù)實(shí)現(xiàn)角度看，數(shù)據(jù)復(fù)制與持續(xù)數(shù)據(jù)保護(hù)技術(shù)都需要首先實(shí)現(xiàn)生產(chǎn)數(shù)據(jù)變化量的持續(xù)捕獲。不同的是，數(shù)據(jù)復(fù)制直接將數(shù)據(jù)變化量進(jìn)行保存，以確保生產(chǎn)數(shù)據(jù)與容災(zāi)數(shù)據(jù)的盡可能一致；而持續(xù)數(shù)據(jù)保護(hù)技術(shù)會(huì)將數(shù)據(jù)變化行為進(jìn)行描述并標(biāo)注發(fā)生的時(shí)間再保存，從而為未來(lái)獲得任意時(shí)間點(diǎn)的數(shù)據(jù)提供基礎(chǔ)。因此可以從數(shù)據(jù)變化量的捕獲模式對(duì)兩類產(chǎn)品進(jìn)行統(tǒng)一分類。

生產(chǎn)數(shù)據(jù)的捕獲發(fā)生在數(shù)據(jù)從產(chǎn)生到存儲(chǔ)的傳輸途徑中。目前中國(guó)煙草總公司絕大部分系統(tǒng)已經(jīng)實(shí)現(xiàn)了基于SAN的存儲(chǔ)架構(gòu)，因此在參照SNIA共享存儲(chǔ)模型的基礎(chǔ)上，基于SAN架構(gòu)進(jìn)行了模型細(xì)化，并最終實(shí)現(xiàn)了抽象模型到物理模型的對(duì)照，如圖1所示。

依據(jù)以上分析，在圖1.c）中標(biāo)出的數(shù)據(jù)讀寫(xiě)關(guān)鍵位置，均可以實(shí)現(xiàn)數(shù)據(jù)的捕獲。因此，按照數(shù)據(jù)捕獲位置的不同，可以將目前的數(shù)據(jù)復(fù)制產(chǎn)品劃分為如表2所列的幾種主要類型。

其中，基于應(yīng)用系統(tǒng)的數(shù)據(jù)捕獲類產(chǎn)品通常只能對(duì)應(yīng)用系統(tǒng)本身產(chǎn)生和管理的數(shù)據(jù)進(jìn)行捕獲?？紤]到中國(guó)煙草總公司核心應(yīng)用眾多，為各系統(tǒng)單獨(dú)實(shí)現(xiàn)數(shù)據(jù)容災(zāi)不具備可操作性。因此，后續(xù)測(cè)評(píng)時(shí)對(duì)該類產(chǎn)品不予考慮。

1.3 數(shù)據(jù)容災(zāi)備選產(chǎn)品

圖1 SAN架構(gòu)存儲(chǔ)模型對(duì)照Fig.Comparison of SAN storage model

表2 不同數(shù)據(jù)捕獲技術(shù)分析Tab.2 Analysis of different data capture techniques

以上述分析為依據(jù)，為了全面評(píng)估各類數(shù)據(jù)復(fù)制產(chǎn)品的適用性，上海容災(zāi)中心為不同類別分別選擇了1-2項(xiàng)業(yè)界典型產(chǎn)品，如表3所示。其中考慮到中國(guó)煙草總公司的存儲(chǔ)子系統(tǒng)和數(shù)據(jù)庫(kù)管理系統(tǒng)主要為IBM系列產(chǎn)品，從兼容性考慮，優(yōu)先考慮了IBM的相關(guān)產(chǎn)品。

表3 備選數(shù)據(jù)復(fù)制產(chǎn)品列表Tab.3 List of alternative data replication products

2 數(shù)據(jù)復(fù)制產(chǎn)品測(cè)試

2.1 指標(biāo)項(xiàng)和評(píng)估模型

為完整評(píng)估以上備選產(chǎn)品，設(shè)計(jì)了由指標(biāo)項(xiàng)、指標(biāo)評(píng)估得分和指標(biāo)權(quán)重組成的評(píng)估模型。數(shù)據(jù)復(fù)制產(chǎn)品使用場(chǎng)景主要可分為正常狀態(tài)和災(zāi)難狀態(tài)。

對(duì)于正常狀態(tài)，數(shù)據(jù)流向?yàn)樯a(chǎn)中心捕獲數(shù)據(jù)并復(fù)制到遠(yuǎn)端，此時(shí)數(shù)據(jù)丟失量和生產(chǎn)系統(tǒng)性能影響度為關(guān)鍵指標(biāo)，該兩項(xiàng)指標(biāo)都可通過(guò)實(shí)際測(cè)試獲得量化結(jié)果，得分計(jì)算按特定區(qū)間內(nèi)反向比例確定。

對(duì)于災(zāi)難狀態(tài)，數(shù)據(jù)流向?yàn)槿轂?zāi)中心首先啟用災(zāi)備數(shù)據(jù)并擇機(jī)反向復(fù)制回生產(chǎn)中心，此時(shí)數(shù)據(jù)可恢復(fù)能力（現(xiàn)有數(shù)據(jù)必須可用）、數(shù)據(jù)反向恢復(fù)能力（數(shù)據(jù)能否回傳生產(chǎn)中心）、系統(tǒng)恢復(fù)支撐能力（啟用現(xiàn)有數(shù)據(jù)的耗時(shí)）、任意時(shí)間點(diǎn)恢復(fù)能力（容災(zāi)數(shù)據(jù)能可恢復(fù)到過(guò)去任意時(shí)間點(diǎn)以應(yīng)對(duì)生產(chǎn)中心數(shù)據(jù)誤刪除）為關(guān)鍵指標(biāo)。該四項(xiàng)指標(biāo)可通過(guò)測(cè)試得出定性結(jié)論，即功能上是否具備或能否達(dá)到特定要求，如滿足則得該指標(biāo)項(xiàng)下的滿分，如不滿足則不得分。

六項(xiàng)指標(biāo)權(quán)重分別為20、10、5、20、20和10，用于衡量不同指標(biāo)項(xiàng)的重要程度。

權(quán)重及數(shù)據(jù)丟失量10分鐘、性能影響20%、備份數(shù)據(jù)就緒耗時(shí)3小時(shí)等數(shù)值設(shè)定來(lái)源于項(xiàng)目需求設(shè)計(jì)，在模型推廣應(yīng)用中可根據(jù)實(shí)際場(chǎng)景進(jìn)行微調(diào)。

六項(xiàng)指標(biāo)項(xiàng)評(píng)估得分乘以該指標(biāo)權(quán)重并求和即為該產(chǎn)品的最終得分，即數(shù)據(jù)容災(zāi)綜合能力得分=

2.2 各項(xiàng)指標(biāo)測(cè)試結(jié)果

上海容災(zāi)中心搭建了專業(yè)的測(cè)試環(huán)境,盡可能從系統(tǒng)架構(gòu)、鏈路距離、數(shù)據(jù)容量等方面模擬真實(shí)的業(yè)務(wù)環(huán)境和容災(zāi)環(huán)境。各廠商也專門針對(duì)測(cè)試環(huán)境進(jìn)行了產(chǎn)品的優(yōu)化部署和策略的優(yōu)化配置，以盡可能充分展現(xiàn)產(chǎn)品的功能和性能。

2.2.1 數(shù)據(jù)丟失量測(cè)試結(jié)果

災(zāi)難發(fā)生時(shí)總會(huì)有部分生產(chǎn)數(shù)據(jù)未來(lái)得及傳輸?shù)饺轂?zāi)中心，從而造成數(shù)據(jù)丟失。數(shù)據(jù)丟失量一般以時(shí)間作為度量單位，通過(guò)在某一時(shí)刻人為造成災(zāi)難，查看容災(zāi)系統(tǒng)所能獲的最新數(shù)據(jù)的時(shí)間點(diǎn)，可以測(cè)出該產(chǎn)品的數(shù)據(jù)丟失量。本次測(cè)試的6項(xiàng)產(chǎn)品數(shù)據(jù)丟失量測(cè)試結(jié)果如下表所示。

表4 數(shù)據(jù)復(fù)制產(chǎn)品備選模型Tab.4 alternative model of disaster tolerance data replication products

表5 數(shù)據(jù)復(fù)制產(chǎn)品RPO能力測(cè)試結(jié)果Tab.5 RPO test results

2.2.2 生成系統(tǒng)性能影響度測(cè)試結(jié)果

數(shù)據(jù)復(fù)制產(chǎn)品要完成生產(chǎn)數(shù)據(jù)的捕獲、處理和傳輸?shù)炔僮?，因此?huì)在一定程度上增加現(xiàn)有生產(chǎn)系統(tǒng)的工作負(fù)載，降低生產(chǎn)系統(tǒng)的性能。由于實(shí)現(xiàn)機(jī)理不同，不同類別的產(chǎn)品對(duì)生產(chǎn)系統(tǒng)性能的影響程度也不同。本次測(cè)試的6項(xiàng)產(chǎn)品對(duì)生產(chǎn)系統(tǒng)性能的影響如下表6所示。表中測(cè)試數(shù)據(jù)為生產(chǎn)系統(tǒng)性能下降比例。

2.2.3 數(shù)據(jù)可恢復(fù)能力測(cè)試結(jié)果

對(duì)生成的冗余后備數(shù)據(jù)，分別在相應(yīng)產(chǎn)品的管理和操作下，生成可用的數(shù)據(jù)映像并考察：1）數(shù)據(jù)對(duì)后備應(yīng)用系統(tǒng)是否可用；2）數(shù)據(jù)對(duì)第三方系統(tǒng)是否可讀。其中，數(shù)據(jù)的第三方可讀性要求，主要是為了滿足特殊場(chǎng)景下數(shù)據(jù)的可用性，例如應(yīng)急第三方查詢或滿足法規(guī)遵從性。經(jīng)過(guò)測(cè)試，各項(xiàng)產(chǎn)品生成容災(zāi)數(shù)據(jù)的可恢復(fù)性測(cè)試結(jié)果如下表7所示。

表6 數(shù)據(jù)復(fù)制產(chǎn)品對(duì)生產(chǎn)系統(tǒng)性能映像測(cè)試結(jié)果Tab.6 Effect of data replication products on production system performance

表7 容災(zāi)數(shù)據(jù)可恢復(fù)性測(cè)試結(jié)果Tab.7 disaster tolerance data recovery test results

從測(cè)試結(jié)果來(lái)看，所有產(chǎn)品基本都滿足容災(zāi)數(shù)據(jù)可恢復(fù)性這一基本要求。

2.2.4 數(shù)據(jù)反向恢復(fù)能力測(cè)試結(jié)果

容災(zāi)數(shù)據(jù)回切是災(zāi)難恢復(fù)的最后步驟。容災(zāi)數(shù)據(jù)的反向恢復(fù)，通常會(huì)安排在災(zāi)難影響完全消除之后，因此反向恢復(fù)過(guò)程主要關(guān)注是否影響當(dāng)前業(yè)務(wù)的持續(xù)運(yùn)行，對(duì)反向恢復(fù)的時(shí)間不太敏感。經(jīng)過(guò)測(cè)試，各產(chǎn)品容災(zāi)數(shù)據(jù)的反向恢復(fù)能力測(cè)試結(jié)果如表8所示。

表8 各產(chǎn)品容災(zāi)數(shù)據(jù)反向恢復(fù)能力測(cè)試結(jié)果Tab.8 Test results of reverse data recovery performance

2.2.5 系統(tǒng)恢復(fù)支撐能力測(cè)試結(jié)果

對(duì)容災(zāi)數(shù)據(jù)，通常無(wú)法直接加載使用，需要在此之前進(jìn)行一系列的恢復(fù)操作。由于數(shù)據(jù)捕獲機(jī)制、異地存儲(chǔ)機(jī)制的不同，所需的操作方法、恢復(fù)過(guò)程、恢復(fù)時(shí)間也各不相同。數(shù)據(jù)恢復(fù)到可用狀態(tài)是應(yīng)用恢復(fù)的基礎(chǔ)，恢復(fù)時(shí)間過(guò)長(zhǎng)，必然導(dǎo)致系統(tǒng)恢復(fù)時(shí)間目標(biāo)（RTO）無(wú)法實(shí)現(xiàn)。

通常恢復(fù)時(shí)間與容災(zāi)數(shù)據(jù)的數(shù)據(jù)量大小成正比，但在相同容災(zāi)數(shù)據(jù)量的情況下，仍舊可以比較出不同產(chǎn)品容災(zāi)數(shù)據(jù)恢復(fù)快慢的能力。經(jīng)過(guò)測(cè)試，各項(xiàng)產(chǎn)品生成的容災(zāi)數(shù)據(jù)恢復(fù)時(shí)間測(cè)試結(jié)果如表9所示。表中測(cè)試數(shù)據(jù)為容災(zāi)數(shù)據(jù)在災(zāi)備中心恢復(fù)所需時(shí)間。

2.2.6 任意時(shí)間點(diǎn)數(shù)據(jù)恢復(fù)能力測(cè)試結(jié)果

利用容災(zāi)數(shù)據(jù)任意時(shí)間點(diǎn)恢復(fù)功能，可以從容災(zāi)數(shù)據(jù)獲得災(zāi)難發(fā)生前任意時(shí)間點(diǎn)的數(shù)據(jù)狀態(tài)，而不僅僅是災(zāi)難發(fā)生時(shí)數(shù)據(jù)的最新?tīng)顟B(tài)。這對(duì)抵御生產(chǎn)數(shù)據(jù)的邏輯錯(cuò)誤具有重要價(jià)值。實(shí)際上，任意時(shí)間點(diǎn)恢復(fù)能力由產(chǎn)品的功能定位和數(shù)據(jù)變化量的保存機(jī)制確定，本測(cè)試主要是驗(yàn)證產(chǎn)品的任意時(shí)間點(diǎn)功能在容災(zāi)系統(tǒng)環(huán)境下的實(shí)際可用性。經(jīng)過(guò)測(cè)試，各產(chǎn)品生成的容災(zāi)數(shù)據(jù)的恢復(fù)任意時(shí)間點(diǎn)恢復(fù)能力測(cè)試結(jié)果如表10所示。測(cè)試結(jié)果基本與產(chǎn)品的功能定位一致。

表9 各產(chǎn)品容災(zāi)數(shù)據(jù)恢復(fù)速度測(cè)試結(jié)果Tab.9 Test results of data recovery rate

表10 各產(chǎn)品容災(zāi)數(shù)據(jù)反向恢復(fù)能力測(cè)試結(jié)果Tab.10 Test results of reverse data recovery rate

2.3 測(cè)試結(jié)果分析

基于產(chǎn)品憑據(jù)模型和各項(xiàng)產(chǎn)品的測(cè)試分值，各產(chǎn)品的綜合得分和評(píng)估排名如下表所示。其中，測(cè)試中有不予考慮項(xiàng)的產(chǎn)品，不參加綜合評(píng)分和排名。

從測(cè)試結(jié)果來(lái)看，EMC的Recovery Point的綜合評(píng)估得分最高，是行業(yè)容災(zāi)系統(tǒng)的容災(zāi)核心產(chǎn)品的最優(yōu)選擇。實(shí)際上，上海容災(zāi)中心最終選擇了該產(chǎn)品，并在數(shù)據(jù)容災(zāi)的基礎(chǔ)上建立了復(fù)雜的應(yīng)用容災(zāi)體系。

對(duì)于測(cè)試結(jié)果存在兩點(diǎn)意外。一是基于IBM PPRC技術(shù)的數(shù)據(jù)復(fù)制解決方案對(duì)生產(chǎn)系統(tǒng)的影響高達(dá)44%。從原理上講，基于存儲(chǔ)子系統(tǒng)的數(shù)據(jù)復(fù)制，應(yīng)該主要消耗磁盤(pán)陣列的處理資源，不應(yīng)當(dāng)對(duì)生產(chǎn)系統(tǒng)的性能造成如此高的影響；二是IBM Q復(fù)制會(huì)造成54分鐘的數(shù)據(jù)丟失量，從應(yīng)用角度無(wú)法接受。對(duì)以上現(xiàn)象的分析超出了本文的范圍。無(wú)論如何以上產(chǎn)品在實(shí)際環(huán)境下的表現(xiàn)與預(yù)計(jì)大為不符，這也說(shuō)明了在現(xiàn)實(shí)環(huán)境中進(jìn)行產(chǎn)品測(cè)試的必要性。

表11 各產(chǎn)品綜合得分和評(píng)估排名Tab.11 Comprehensive score and evaluation ranking

3 結(jié)論

基于評(píng)估模型所選擇產(chǎn)品構(gòu)建的中國(guó)煙草總公司容災(zāi)系統(tǒng)，上線以來(lái)功能滿足要求，系統(tǒng)運(yùn)行穩(wěn)定。2012年至今共完成11次容災(zāi)演練，實(shí)現(xiàn)35套災(zāi)備系統(tǒng)和68家行業(yè)單位容災(zāi)演練全覆蓋。其中4次為雙向演練， 兩煙交易等11套信息系統(tǒng)切換至上海運(yùn)行后回切北京，容災(zāi)環(huán)境功能和性能經(jīng)受了真實(shí)應(yīng)用負(fù)荷的檢驗(yàn)。在2016年起開(kāi)展的省級(jí)單位容災(zāi)試點(diǎn)中，評(píng)估模型也在方案設(shè)計(jì)和產(chǎn)品選型階段推廣落地，加速了海南省局、中煙機(jī)技術(shù)中心項(xiàng)目建設(shè)進(jìn)程。