解文濤，王 銳，徐

（中國航空計算技術研究所，西安 710119）

高可靠分布式容錯計算機架構的研究

（中國航空計算技術研究所，西安 710119）

新一代飛機平臺對操作性能、安全和可靠性、綜合保障能力等特性提出了新的要求，飛機管理計算機作為飛機平臺的安全關鍵部件，其系統(tǒng)結構、容錯技術等需要適應不斷變化的微電子和計算機技術的發(fā)展；為適應上述發(fā)展趨勢，國外嘗試將各項先進技術應用于新一代飛機平臺，使飛機具有先進飛行控制系統(tǒng)的功能和品質(zhì)，實現(xiàn)從傳統(tǒng)單一飛行控制系統(tǒng)發(fā)展成為包括了集飛行控制、推力控制、公共設備管理等功能一體的飛機飛行平臺控制、監(jiān)測、配置系統(tǒng)，最終形成了綜合飛行器管理系統(tǒng)；作者在吸取國外先進系統(tǒng)構架的基礎上，對系統(tǒng)體系結構、實時調(diào)度算法和容錯技術進行深入的研究，提出了基于高可靠分布式構架的容錯計算機的設計思路，并對TTE總線的選用進行了分析論證，重點描述了成員一致性保證和余度同步等關鍵技術；該容錯計算機系統(tǒng)實現(xiàn)了基于TTE網(wǎng)絡的分布式容錯技術，研制的原理樣機驗證系統(tǒng)具有分散安裝、可靠性高、擴展性好、維修成本低、健壯、安全等諸多優(yōu)點。

分布式；容錯；同步；TTE總線

Keywrds：distributed；fault tolerance；synchronization；TTE bus

0 引言

隨著系統(tǒng)信息處理技術、數(shù)字控制技術、飛行控制技術和功能需求等多方面快速發(fā)展，傳統(tǒng)集中式計算機系統(tǒng)的全總線化結構［1］逐漸暴露出以下問題：

1）沒有物理統(tǒng)一的網(wǎng)絡、CCDL通信網(wǎng)絡與外部通信網(wǎng)絡隔離；

2）總線式結構擴展能力有限、靈活性差；

3）系統(tǒng)連線較多、環(huán)形網(wǎng)絡布線復雜、重量較大、維修性差。

為了解決傳統(tǒng)結構的不足，國外設立許多計劃研究先進的IVMS體系結構。國外新設計的IVMS體系結構呈現(xiàn)出分布式的發(fā)展趨勢［2］，空客公司最新提出了基于交換通信網(wǎng)絡的分布式飛行控制系統(tǒng)。該系統(tǒng)以交換式通信為骨干，系統(tǒng)各節(jié)點都配備終端網(wǎng)絡接口，飛行控制子系統(tǒng)間完全通過網(wǎng)絡進行信息交換。系統(tǒng)中大量使用智能作動控制器，實現(xiàn)了執(zhí)行部件的控制與檢測功能的分離［3］，降低了系統(tǒng)余度的復雜性和硬件配置要求，使得系統(tǒng)布線簡單，設備安裝、配置、擴展靈活，故障隔離好，系統(tǒng)安全風險低和易維護等諸多優(yōu)點。

新一代航空飛行器的設計理念是將飛行控制、推力控制和公共設備管理等系統(tǒng)功能綜合到IVMS中實現(xiàn)［4］，并基于確定性通信技術，采用全網(wǎng)分布式開放系統(tǒng)架構，通過使用符合ARINC 653標準和DO－178B規(guī)范的安全實時操作系統(tǒng)，在時間、空間分區(qū)保護機制下，實現(xiàn)不同安全級別功能在計算機平臺上的綜合，實現(xiàn)余度管理和故障自動重構，提升了系統(tǒng)的資源利用率、可靠性、生存性，降低了系統(tǒng)的體積、重量、功耗、布線復雜度和全壽命周期費用等。

1 確定性通信網(wǎng)絡的選用分析

對于分布式機載強實時高安全控制系統(tǒng)而言，節(jié)點間通信的實時性與確定性是系統(tǒng)實現(xiàn)的關鍵。目前實時嵌入式計算機系統(tǒng)中普遍使用基于事件觸發(fā)的串行通信協(xié)議［5］。大量研究表明：對高可靠性系統(tǒng)而言，基于時間觸發(fā)的總線網(wǎng)絡的解決方案更具優(yōu)勢。時間觸發(fā)架構 （Time－triggered Architecture，TTA）系統(tǒng)和事件觸發(fā)架構 （Even－triggered Architecture，ETA）系統(tǒng)的工作原理不同。前者的控制信號來源于時間進程；后者的控制信號來源于事件的發(fā)生（如一次中斷）。時間觸發(fā)系統(tǒng)中使用的狀態(tài)信息來自規(guī)定時間內(nèi)的某個條件，如傳感器的值；而事件信息一般是在事件發(fā)生時激活中斷服務程序采取相應的措施。

ETA系統(tǒng)與TTA系統(tǒng)之間的基本不同與控制信號源有關。在TTA系統(tǒng)中控制總是駐留在分布式計算機系統(tǒng)的內(nèi)部。TTA系統(tǒng)是一個物理上封閉的確定性系統(tǒng)［6］。在ETA系統(tǒng)中，控制信號可能源自計算機內(nèi)部，也可能源自計算機系統(tǒng)外部的環(huán)境（如中斷機制轉發(fā)過來的）。不可預測的環(huán)境將因而導致計算機系統(tǒng)的不確定性的行為。

從2006年開始，奧地利維也納大學Kopet研究小組成立的了TTTech公司，開發(fā)和推廣TTA通信產(chǎn)品，TTEthernet網(wǎng)絡（TTE）是其最先進的技術，TTTech公司對基于時間觸發(fā)以太網(wǎng)給出如下定義：

TTE＝以太網(wǎng)＋時鐘同步＋時間觸發(fā)通信＋速率受約傳輸＋保證傳輸

TTE通過一個內(nèi)在的、集中式的調(diào)度表控制它自己的活動及外部環(huán)境之間的相互作用，而傳統(tǒng)以太網(wǎng)采用的ET（E-vent－Triggered事件觸發(fā)）型網(wǎng)絡則受控于外界環(huán)境，并對外部事件的刺激做出響應。

2 分布式計算機架構設計

高可靠分布式容錯計算機系統(tǒng)包括3個節(jié)點計算機，分布在3個結構獨立的機箱內(nèi)，滿足不同的任務、不同的余度配置要求。系統(tǒng)整體結構采用TTE總線基礎上的分布式架構，系統(tǒng)總體結構如圖1所示。系統(tǒng)采用3余度高完整計算架構、保證系統(tǒng)在任意兩次故障后，能夠繼續(xù)完成關鍵任務。從物理結構上，系統(tǒng)包括3個結構獨立的節(jié)點，通過高速串行網(wǎng)絡互連，從邏輯結構上，所有的模塊處于同一個網(wǎng)絡上，其中CPU模塊都是對等的，即每個CPU模塊都對系統(tǒng)的計算、余度管理等功能負責，系統(tǒng)中只要保留2個CPU模塊，1個RDC模塊，即可保證系統(tǒng)的工作。每個節(jié)點內(nèi)RDC自動完成（即RDC發(fā)生可自檢的故障，也可通過接收網(wǎng)絡上CPU命令，由RDC完成）。

系統(tǒng)工作時3個容錯計算機節(jié)點同時工作，通過TTE數(shù)據(jù)總線交換信息，節(jié)點計算機對信號源的信息進行交叉比較，再將信息進行節(jié)點間的交叉表決，最終表決值參加控制率計算。任何一個處理器故障均會由同一節(jié)點內(nèi)的另一處理器隔離，任何一個節(jié)點故障（兩次故障），該節(jié)點上的任務將有其它節(jié)點代替執(zhí)行。系統(tǒng)節(jié)點計算機之間采用松耦合的同步工作，節(jié)點計算機間的同步和交叉信息交換通過通信分區(qū)來實現(xiàn)。系統(tǒng)容錯通過采用備份功能分區(qū)的切換和資源的重新分配完成。

系統(tǒng)軟件設計包括3個部分：操作系統(tǒng)、余度管理功能包以及應用軟件。從邏輯結構上，三者之間的關系如圖2所示。

圖1 系統(tǒng)總體結構

圖2 系統(tǒng)軟件結構

3 成員一致性保證技術

飛行器管理計算機實現(xiàn)對多個任務的功能綜合，滿足不同安全級別、不同余度配置任務共享平臺的系統(tǒng)要求［7］。為保證各功能在共享硬件上運行的安全性及隔離性要求，系統(tǒng)需要設計管理中間件來實現(xiàn)系統(tǒng)成員一致性保證協(xié)議［8］。成員一致性保證是實現(xiàn)由集中式容錯向分布式容錯跨域的關鍵［9］。成員一致性保證技術包括：一致性決策算法、隱含確認算法。

飛行器管理計算機系統(tǒng)的每一節(jié)點機上都設置一個任務成員表單。表單中會記錄所有正常運行的分區(qū)任務。每一個節(jié)點機在獲取到信息時都會依據(jù)是否接收成功標志更新本地的任務成員表單。每次在信息傳遞的過程中，接收一方都要檢查隱藏或包含CRC校驗碼的發(fā)送方的任務成員表單。因為所有節(jié)點機都嚴格按照時間觸發(fā)周期的調(diào)度方式收發(fā)信息，每一節(jié)點機都會在一個時間觸發(fā)周期內(nèi)檢查所有成員的表單。當與接收方有交聯(lián)的所有任務成員表單都不同時，發(fā)送方節(jié)點機被認為是有誤的。這種策略就通過節(jié)點機間的相互確認保證了系統(tǒng)內(nèi)所有節(jié)點機的一致性。整個成員一致協(xié)議設計包含兩部分：第一部分是隱含確認機制與一致性表決機制。以下是兩個算法的實現(xiàn)原理。

一致性表決算法：每個節(jié)點機維護一張本地的成員任務成員表單。當某一個節(jié)點機準備與其它節(jié)點機交換信息數(shù)據(jù)時，將自身任務執(zhí)行情況添加到本地成員表單中。當接收方收到正確的信息數(shù)據(jù)時，它將發(fā)送方節(jié)點機加入到本地成員表單中。節(jié)點機依據(jù)以下3個條件判斷信息數(shù)據(jù)傳輸正確與否：信息傳輸須發(fā)生在預定的時間偏差內(nèi)；傳輸活動成功完成；在將發(fā)送端加入接收端的成員表單后，雙方的成員表單內(nèi)容須一致。接收端檢查校驗發(fā)送端傳輸數(shù)據(jù)，如發(fā)現(xiàn)錯誤，發(fā)送端節(jié)點機將被接收端節(jié)點機從其成員表單內(nèi)刪除。數(shù)據(jù)若正確，節(jié)點機則會將發(fā)送端節(jié)點機加入成員表單并使確認計數(shù)器累加，若接收失敗時，接收端節(jié)點機將從成員表單中刪除發(fā)送端節(jié)點機并使失敗計數(shù)器累加。接收端節(jié)點機可判斷出成員表單是否匹配、數(shù)據(jù)是否完整以及是否成功數(shù)據(jù)傳輸?shù)惹闆r（空幀）。當出現(xiàn)空幀時，接收端節(jié)點機不累加任何計數(shù)器，但將本應出現(xiàn)在該時段的發(fā)送數(shù)據(jù)的節(jié)點機從成員表單中刪除。在某節(jié)點機發(fā)送數(shù)據(jù)前，要執(zhí)行成員表單決策算法。節(jié)點機先檢查在上次發(fā)送后接收的錯誤幀是否多于正確幀，即比較失敗計數(shù)器是否小于確認計數(shù)器。若結果為真，節(jié)點機將清零兩個計數(shù)器并將數(shù)據(jù)送出；反之，節(jié)點機將上報一個錯誤給上級應用層，然后進入故障靜默狀態(tài)。

隱含確認算法的主要內(nèi)容是診斷出節(jié)點機的故障并將結果通知其它所有非故障節(jié)點機。具體可描述為如下過程：在時間段t的廣播者p，發(fā)送消息，然后檢測下一時間段的非故障廣播者q的成員表單，如果p包含在q的成員表單中，并且表單中的其它成員均相同，則q可以推出自己信息廣播成功。否則，可能的原因是p發(fā)送故障或q接收故障，p須等待另一非故障廣播者r，如果q的成員表單中包含p，但不含q，p和q表中的其它成員內(nèi)容相同，說明p消息發(fā)送成功，則q接收故障。若p不在r的成員表單中，但q在r的成員表單中，q和q表中的其它成員內(nèi)容相同，則推斷p發(fā)送故障。此時，p自己將移出成員表單，進入故障靜默狀態(tài)。若節(jié)點機在其下一個時間觸發(fā)周期前還未完成隱含確認算法，則該節(jié)點機將會因為決策算法而被動進入故障靜默狀態(tài)。

4 同步技術

絡底層時間同步，建立分布式網(wǎng)絡統(tǒng)一的時間基準對系統(tǒng)至關重要。網(wǎng)絡時間協(xié)議是通過軟件的方法提供了一種在系統(tǒng)互連網(wǎng)絡上實現(xiàn)時間同步和協(xié)調(diào)的一種機制。如在以太網(wǎng)上采用的網(wǎng)絡時間協(xié)議、簡單網(wǎng)絡時間協(xié)議和精密時間協(xié)議等。

高精度時間同步技術是實現(xiàn)TTA架構的分布式計算機系統(tǒng)的關鍵。高可靠分布式計算機的多數(shù)表決策略需要同步技術消除異步度［10］，節(jié)點機內(nèi)部兩個CPU模塊之間，以及CPU模塊與RDC之間也需要同步技術協(xié)調(diào)一致。另外，綜合在CPU模塊上的不同分區(qū)應用任務，對實時性、確定性以及部件協(xié)調(diào)性均有要求，因此分區(qū)間的同步技術也是不可回避的重要內(nèi)容。

節(jié)點同步技術。系統(tǒng)中所有節(jié)點計算機使用兩步同步方法：1）“對齊后調(diào)度切換”；2）“周期重新同步”對節(jié)點計算機的本地時鐘與通信控制器的時鐘進行校正對齊，從而實現(xiàn)節(jié)點時間同步。該方法能夠?qū)崿F(xiàn)節(jié)點計算機與網(wǎng)絡時鐘的直接同步，從而意味著系統(tǒng)中各節(jié)點的間接同步。節(jié)點同步示意圖如圖3所示。

同步的主要功能是維持本地節(jié)點機與其它有效節(jié)點機的同步運行。同步是為了消除不同節(jié)點之間的運行周期的異步度，在同一時間運行相同的幀任務，保證CCDL的時間一致性。同步是系統(tǒng)分區(qū)的最高優(yōu)先級任務，在同步期間需要停止時間計數(shù)，并在同步完成后從零時間開始新一幀的時間周期。

消息時間同步技術。除了節(jié)點同步技術，還需實現(xiàn)通信網(wǎng)

圖3 同步在分區(qū)下的調(diào)度情況

傳統(tǒng)的網(wǎng)絡時間同步方法主要存在以下問題：

1）采用B／S架構，時間服務器故障會導致全局故障，系統(tǒng)容錯性能差。

2）采用純軟件算法的同步校正方法，由于網(wǎng)絡固有的傳輸時延不確定性，處理器性能差異導致軟件時間同步的精度不高。

為解決上述問題，國外主要采用以下新方法來改進分布式系統(tǒng)中網(wǎng)絡時間同步：

1）采用軟硬件結合的方法，在現(xiàn)有網(wǎng)絡的基礎上適度增加硬件支持，實現(xiàn)軟硬件混合的時間同步，如新頒布的IEE1588協(xié)議推薦方法，同步提升同步處理的實時性提高系統(tǒng)時間同步精度。

2）提高網(wǎng)絡時間消息傳輸?shù)膬?yōu)先級、減少傳輸抖動、提升同步的穩(wěn)定性。

3）優(yōu)化同步算法，采用先進的表決、選舉算法、降低單時間服務器對系統(tǒng)全局時鐘的影響，提升系統(tǒng)同步的魯棒性。

消息時間同步方法是采用上述先進理念開發(fā)出的一種新型容錯的高精度時間同步解決方案，屬于軟硬件相結合的方法，全局時鐘同步包括同步流程、集群檢測與處理、多同步域／多優(yōu)先級網(wǎng)絡時鐘同步等內(nèi)容。時間同步流程分為兩步，如圖4所示。

圖4 時鐘同步流程

首先，同步控制器向同步集中器傳輸協(xié)議控制幀（protocol control frame，PCF）。PCF幀并非在任何時間都可以發(fā)送，是在本地時鐘指示到達一定的時間后，才會發(fā)送PCF幀。同步控制器的本地時鐘與PCF幀有關系，如發(fā)送時間。當PCF幀送達集中控制器，PCF幀會記錄在該傳播過程中的延遲情況，包括傳播延遲、動態(tài)發(fā)送延遲以及動態(tài)接收延遲等。

其次，同步集中器接收到與之連接的各鏈路上的不同源PCF幀后，經(jīng)過時序保持算法與集中算法獲得一個新PCF幀，并將該幀發(fā)向同步客戶與同步控制器。集中控制器的作用類似一個仲裁機構，依據(jù)同步控制器發(fā)送的PCF幀，通過集中算法與時序保持算法，表決計算出一個都認可的時鐘，然后把該信息送回同步控制器及同步客戶代理，經(jīng)過同步控制器與同步客戶代理處理后就可實現(xiàn)同步了，直至實現(xiàn)全域同步。

節(jié)點機上網(wǎng)絡同步和分區(qū)時間同步的實現(xiàn)是建立在網(wǎng)絡同步的基礎上，利用分區(qū)調(diào)度表切換的方式實現(xiàn)了分區(qū)間時間同步。

5 測試與驗證

為了進一步驗證該構型計算機的容錯能力，建立了一個集開發(fā)、系統(tǒng)仿真、測試及綜合為一體的容錯計算機綜合測試、驗證及演示平臺，如圖5所示。平臺支持余度容錯計算機的設計與分析、軟件開發(fā)、系統(tǒng)綜合和測試、以及演示驗證的功能，實現(xiàn)對容錯計算機系統(tǒng)的研究，包括軟／硬件測試方法、故障檢測方法、故障隔離方法、故障恢復方法等方面的研究。同時，可對容錯計算機系統(tǒng)提出定量的分析，包括在采用不同的處理器系列、不同的余度結構的容錯計算機下，系統(tǒng)的可靠性分析、可用性分析、維護性分析。

圖5 原型系統(tǒng)測試驗證環(huán)境原理

在上述測試驗證平臺下，完成了對TTE網(wǎng)絡關鍵技術的測試和驗證，包括測試系統(tǒng)的網(wǎng)絡通訊能力、數(shù)據(jù)備份傳輸功能和容錯能力消息收發(fā)的波形示例。對三節(jié)點高可靠分布式容錯計算機的測試，驗證了三節(jié)點系統(tǒng)架構滿足飛機的飛行控制與管理基本功能，對接口故障、處理器故障的容錯功能測試，證明系統(tǒng)具備至少2次故障工作的能力，對故障靜默等能力的測試，證明系統(tǒng)可用性等性能指標滿足要求，解決了當系統(tǒng)發(fā)生故障時，在系統(tǒng)現(xiàn)有資源狀況下，在保證系統(tǒng)關鍵任務的條件下，系統(tǒng)功能的緩慢降級，達到系統(tǒng)當前資源與系統(tǒng)工作模式的最佳匹配，從提高重構決策速度及提高關鍵數(shù)據(jù)管理水平兩方面著手提高故障恢復速度及完整。

6 結束語

高度功能綜合、網(wǎng)絡化、分布式的計算機系統(tǒng)將是容錯計算機發(fā)展的顯著特征。本文圍繞先進航空飛行器對分布式計算機系統(tǒng)的需求進行了分析，提出了高可靠分布式容錯計算機的構架建議，重點對TTE網(wǎng)絡、成員一致性保證以及余度同步等關鍵技術給出了解決途徑，為后續(xù)工程研制提供了有效思路。

［1］郭麗娟.基于時間觸發(fā)的高可靠實時系統(tǒng)架構［J］.計算機工程，2006.

［2］John Rushby.CSL Technical Report：A Comparison of Bus Architectures for Safety Critical Embedded Systems［R］.SRI International，Menlo Park，California，March 2003.

［3］王樹義，南建國，趙松云.綜合化航電核心處理系統(tǒng)容錯設計［J］.計算機測量與控制，2012，20（8）.

［4］陳 益，程俊強，林 堅.新型飛行管理計算機的設計［J］，計算機技術與發(fā)展，2006，16.

［5］馮曉旺，藍海文.新一代航空航天總線技術［J］.航空制造技術，2012.

［6］Hermann Kopetz.The Time－Triggered Architecture［Z］.IEEE，2003：112-124.

［7］周耀榮.用于綜合化模塊化航電系統(tǒng)的高安全性虛擬分布式計算機系統(tǒng)［R］.中國航空工業(yè)第631研究所，2008，10.

［8］姚學禮.網(wǎng)絡通信協(xié)議一致性測試研究［J］.通信技術，2009，42（5）.

［9］Doerenberg，et al.Fault Tolerant Data Communication Network ［P］.United States.Related U.S.Application Data.US7206877 B1.Apr.17，2007.

［10］徐拾義.可信計算系統(tǒng)設計和分析［M］.北京：清華大學出版社，2006.

Research on Architecture of High Dependable Distributed Fault－tolerant Computers

Xie Wentao，Wang Rui，Xu Ao

（Aeronautical Computing Technique Research Institute，Xi′an 710119，China）

A new generation of aircraft platform on the operating performance，reliability，security and comprehensive security features put forward new requirements，the management computer as the safety key components of the aircraft platform，the system structure，such as fault tolerant technology needs to adapt to the changing of the development of microelectronics and computer technology.In order to adapt to the development trend，try to all kinds of advanced foreign technology is applied to a new generation of aircraft platform，make the function of the aircraft with advanced flight control system and quality，realize from the traditional single flight control system become including a set of flight control，thrust control，public equipment management functions such as the integration of the aircraft flight control，monitoring，configuration，system platform，finally formed a comprehensive vehicle management system.The author on the basis of absorbing foreign advanced system architecture，the system architecture，do some in－depth study of real－time scheduling algorithm，and fault tolerance technology，is proposed based on high reliable distributed fault tolerant computer design，and analyzes the selection of TTE bus，focusing on the members to ensure consistency and redundancy，synchronization and so on key technologies.The fault tolerant computer system to realize the distributed fault tolerant technique，based on the TTE network principle prototype verification system with dispersion installation，high reliability，good scalability，low maintenance cost，robust，secure，and many other advantages.

1671-4598（2016）08-0161-04

10.16526／j.cnki.11－4762／tp.2016.08.043

：TP338.8

：A

2016-01-21；

：2016-03-14。

解文濤（1977-），男，西安市人，高級工程師，主要從事計算機應用方向的研究。