郭丞皓，于勁松， *，宋悅，尹琦，李佳璇

1.北京航空航天大學 自動化科學與電氣工程學院，北京 100191

2.航空工業(yè)成都飛機工業(yè)（集團）有限責任公司，成都 610073

根據(jù)歐洲航空安全局（European Union Aviation Safety Agency，EASA）2021 年度安全審查報告［1］顯示，2020 年商業(yè)飛機起飛、降落和著陸過程在飛行階段的事故占比可達到63.4%，軍用飛機占比可達到73.5%，在這3 個階段中由于起落架故障引起的非人為事故比例又可達到50%以上。飛機起落架作為重要支持系統(tǒng)，負責承受載荷、吸收沖擊能量、保證飛機在地面運動過程中的使用安全，因此起落架健康程度密切影響飛機起降性能和運行安全［2］，對起落架進行實時、準確、可靠的健康管理十分必要。

現(xiàn)代飛機起落架是一個由若干關聯(lián)的子系統(tǒng)共同組成的復雜綜合系統(tǒng)，傳統(tǒng)的維修檢查方式耗費大部分時間用于定位缺陷，通常需要一系列的拆卸組裝過程［3］，且不具備預測能力，維護頻率為每年一次（C-check）或是更少，因此亟需對飛機起落架系統(tǒng)開展全面的健康管理研究以降低維修成本并提高系統(tǒng)可靠性和安全性［4-5］。預測和健康管理（Prognostics and Health Management，PHM）技術因有效降低復雜機電設備生命周期的維修成本而得到大力發(fā)展［6］。針對飛機起落架系統(tǒng)PHM 技術，現(xiàn)有方法主要包括基于專家系統(tǒng)、基于模型和基于數(shù)據(jù)驅動3 類：Yang［7］提出了基于專家系統(tǒng)的系統(tǒng)部件特征分析故障預測方法；Holmes 等［8］通過精確的非線性回歸模型證明了記錄的飛機飛行參數(shù)與起落架產(chǎn)生的載荷之間的相關性，利用飛機降落數(shù)據(jù)訓練貝葉斯多層感知網(wǎng)絡以估計起落架側向載荷，為故障預測提供依據(jù)；Byington 等［9］提出了一種基于神經(jīng)網(wǎng)絡的起落架健康狀況評估方法；Chen 等［6］提出了改進模糊C 均值算法以監(jiān)測起落架收放系統(tǒng)健康狀態(tài)；Dziendzikowski 等［10］利用運行載荷檢測系統(tǒng)分析不同階段對起落架疲勞磨損的影響，以實現(xiàn)對飛機的視情維修；Sartor 和Schmidt［11］概述了一種用于起落架結構的載荷監(jiān)測方法，利用運動學模型和載荷監(jiān)測數(shù)據(jù)分析起落架在其生命周期任意時刻的疲勞狀態(tài)，從而預測剩余使用壽命。

面對日益復雜的飛機起落架系統(tǒng)，基于專家系統(tǒng)的健康管理方法暴露出知識不完備、規(guī)則難以配置的問題，而基于數(shù)據(jù)驅動的方法面臨由于故障數(shù)據(jù)稀缺而導致的數(shù)據(jù)不平衡、解釋性不強的難題，因此采用基于模型的方法以貼合對象物理機制，挖掘健康知識，建立對象系統(tǒng)的數(shù)字模型既作為數(shù)據(jù)平衡來源，也作為信息支撐，服務于診斷預測等健康管理任務，為系統(tǒng)視情維修和狀態(tài)評估提供決策支持。

然而基于模型的方法往往由于系統(tǒng)的動態(tài)演化過程無法精確描述而限制了診斷預測等任務的準確率。近年來，隨著信息物理系統(tǒng)（Cyber-Physical System，CPS）的發(fā)展［12］，數(shù)字孿生（Digital Twin，DT）驅動的PHM 技術［13］應用而生，其在信息空間中建立一個物理實體或真實系統(tǒng)的數(shù)字化模型，根據(jù)物理世界的反饋不斷更新或自我學習，完成對系統(tǒng)的高度映射，從而全面地監(jiān)測評估系統(tǒng)的參數(shù)指標，降低產(chǎn)品全生命周期管理的難度，可靠高效地完成健康管理任務［14］，解決傳統(tǒng)PHM 技術知識不完備、數(shù)據(jù)不平衡和模型固化等問題［15］。

在DT 驅動的PHM 技術領域，國內(nèi)外學者開展了多方面的研究。Wang 等［16］針對高壓釜從有限元仿真角度出發(fā)，利用網(wǎng)格法計算生成數(shù)據(jù)，但該種方法所建立的數(shù)字孿生模型用來補充缺失的故障數(shù)據(jù)僅僅是對物理世界的模擬，缺乏與物理世界的動態(tài)交互，難以描述系統(tǒng)在全生命周期的健康演化過程；Li［12］、Ye［17］等通過建立動態(tài)貝葉斯網(wǎng)絡（Dynamic Bayesian Networks，DBN）跟蹤時間相關變量的演化，并校準時間無關變量，用于未來機翼或航天器結構的裂紋預測，以DBN 為方式建?？紤]了模型的更新問題，但建模難度高、計算復雜，面對大型復雜系統(tǒng)需要嚴密煩瑣的建模推理過程；Piltan 等［18］針對軸承設計了一種反饋反推觀測器用于信號的建模估計，利用改進支持向量機算法分析殘差實現(xiàn)故障分類，但實際系統(tǒng)的健康狀態(tài)往往需要綜合考慮多狀態(tài)量，在數(shù)據(jù)源多維的場景具有一定局限性。

綜上分析，現(xiàn)有數(shù)字孿生驅動的健康管理技術缺少模型動態(tài)更新問題的可靠解決途徑，同時在基于模型的診斷預測方案設計方面存在一定局限。因此本文提出一種基于數(shù)字孿生的健康管理技術框架及具體應用方法，旨在起落架健康管理領域克服傳統(tǒng)PHM 技術的缺點，嘗試為DT驅動的PHM 技術提供一種新思路。

1 數(shù)字孿生驅動的起落架健康管理框架

根據(jù)美國國家航空航天局（National Aero‐nautics and Space Administration，NASA）2020年技術分類報告［19］，基于數(shù)字孿生的PHM 技術以高保真物理模型為基礎，集成綜合運載器健康管 理（Integrated Vehicle Health Management，IVHM）系統(tǒng)的傳感數(shù)據(jù)、歷史數(shù)據(jù)實現(xiàn)狀態(tài)評估從而使系統(tǒng)具有全面的診斷和預測能力。因此總結DT 驅動的PHM 在實際工程應用時問題主要集中于以下3 方面：

1）如何建立高保真的數(shù)字孿生模型，以解決專家知識不完備、數(shù)據(jù)驅動方法數(shù)據(jù)不平衡或解釋性不強的問題。

2）如何進行數(shù)字孿生模型動態(tài)自更新，以保持與真實系統(tǒng)的鏡像一致性，解決傳統(tǒng)模型方法模型固化的問題。

3）如何充分利用真實系統(tǒng)傳感數(shù)據(jù)與模型信息設計可靠的診斷預測方案，解決現(xiàn)有DT 驅動的PHM 技術在健康管理任務方案設計方面的難題。

本文提出基于數(shù)字孿生的起落架健康管理技術應用框架示意圖（見圖1），從物理和行為2 個維度建立起落架數(shù)字孿生模型，基于強化學習算法根據(jù)系統(tǒng)真實傳感測量更新健康表征參數(shù)以完成交互層的模型跟蹤任務，利用孿生模型的數(shù)據(jù)支撐、狀態(tài)估計等健康信息完成服務層診斷預測等健康管理任務，以觀測-更新-利用的方式覆蓋起落架系統(tǒng)全生命周期的健康管理，最后以收放系統(tǒng)為例，通過實驗驗證該方法在具體應用時所展現(xiàn)的實時性、準確性、魯棒性方面的優(yōu)勢。

圖1 基于數(shù)字孿生的起落架健康管理框架Fig.1 Landing gear health management framework based on digital twin

2 起落架數(shù)字孿生健康管理技術

針對數(shù)字孿生驅動的健康管理框架中所論述的3 個問題，給出如下的起落架數(shù)字孿生健康管理技術路線，從孿生模型建立、孿生模型更新、孿生模型利用3 個角度開展飛機起落架數(shù)字孿生健康管理技術應用研究。

2.1 起落架數(shù)字孿生模型建立

數(shù)字孿生模型是本文起落架健康管理框架的基礎與核心，其既作為數(shù)據(jù)平衡的來源提供系統(tǒng)預期響應，也作為健康信息的來源支撐診斷預測等任務。因此本文從物理和行為2 個維度分別建立數(shù)學模型與因果圖模型，模擬真實系統(tǒng)運行，描述系統(tǒng)狀態(tài)行為，完成對物理世界的映射。

2.1.1 基于物理機制的起落架數(shù)學模型

從系統(tǒng)動力學出發(fā)，以物理機制作為建模依據(jù)，描述系統(tǒng)工作過程，建立預期輸出與真實系統(tǒng)響應保持一致的起落架數(shù)學模型。

對起落架進行子系統(tǒng)層級的劃分，基于物理機制描述系統(tǒng)或部件的連續(xù)狀態(tài)變化。以起落架收放系統(tǒng)為例，其關鍵部件包括液壓泵、作動筒、各類閥門等。

液壓泵在工作過程中可視為簡化的壓力調(diào)節(jié)泵，由變量活塞缸、恒壓閥組成。

其泵內(nèi)流量取決于泵兩端的壓差和軸轉速，流量-壓力特性公式為

式（1）可近似為一個分段函數(shù)，在壓力設定點即最大全流量前后服從不同壓力系數(shù)。在起落架收放過程中，泵入口壓差泵入口壓差ppump≤pt時泵保持全流量輸出，實現(xiàn)快速移動；pt≤ppump時恒壓閥通過調(diào)節(jié)閥芯位置控制出口排量，使得出口壓力穩(wěn)定在預設值，即

式中：q2nom為泵內(nèi)流量；ppump為泵入口壓差；pt為壓力設定點即最大全流量；k1、k2為壓力設定點前后液壓泵流量服從的不同壓力系數(shù)；pmax為零流量輸出壓力；V為液壓泵排量，mL/r；np為泵軸轉速，r/min；kq、kp分別為流量比例因子、壓差比例因子，作為氣蝕和磨損等形式的健康表征參數(shù)。

液壓泵內(nèi)排量Ddispl由一階微分方程計算

式中：τ為泵排量一階時間常數(shù)函數(shù)。

出口流量可視為結合了泵容積效應的有效流量，計算公式為

式中：qp為泵出口流量；f(q0top)用以轉換參考壓力下到給定壓力下的泵出口流量。

軸上轉矩由泵排量和壓差計算得出

式中：Ttorque為泵軸上轉矩；η為機械效率因子，作為氣蝕和磨損等形式的健康表征參數(shù)。

最后，設置流量比例因子、壓差比例因子、機械效率因子來模擬泵氣蝕或磨損等退化形式。

作動筒以主起收放作動筒為例分析工作機制，作動筒在工作過程中可視為雙液壓腔、單桿千斤頂和帶無彈性止動件的液壓缸的組合，工作過程可用公式描述為

式中：p1、p2為作動筒兩端壓力；A1、A2分別為壓力作用橫截、環(huán)形面積；Mmass為作動筒移動塊總重；g為重力；θ為作動筒與水平面角度；Fforce為作用在作動筒上的合力；Ccoul為庫侖摩擦力，vvis為黏滯摩擦系數(shù)；v、aacce分別為作動筒質(zhì)量塊的線性一維速度、加速度；Lleak為泄露系數(shù)，Beff(P)為當前壓力p1、p2下的有效體積模量計算函數(shù)；Q(P)為當前壓力下進入作動筒容腔的凈流量轉換函數(shù)；Veff(P)為當前壓力下作動筒容腔有效體積計算函數(shù)；qleak為泄露流量；Vvol1為一端腔室內(nèi)的流體體積；Finflow1為一端腔室內(nèi)的入口流量；q1、q2為一端腔室的端口流量；Ddead1為一端死區(qū)體積。

基于物理機制建立各類閥門及收放系統(tǒng)其他部件模型，確定部件耦合關系，關聯(lián)不同部件間輸入輸出，給定系統(tǒng)輸入，基于物理公式計算推導得到起落架系統(tǒng)狀態(tài)量及輸出量，模擬其循環(huán)工作過程，將其作為數(shù)學模型，以此為依據(jù)模擬真實系統(tǒng)運行。

2.1.2 基于行為過程的起落架因果圖模型

數(shù)學模型以物理機制為依據(jù)模擬真實系統(tǒng)運行，是孿生模型在物理維度上對真實系統(tǒng)的映射，但其關于對象的信號傳遞、行為過程描述不全面。飛機起落架作為多能域復雜系統(tǒng)，有必要對其進行簡化，抽象到信號層級，在行為維度完成對真實系統(tǒng)的映射。

NASA 提出一種從系統(tǒng)鍵合圖［20］模型中轉化得到的時間因果圖（Temporal Causal Graph，TCG）［21］模型，該模型本質(zhì)上一種信號流圖，明確捕獲了故障對系統(tǒng)變量的影響征兆［22］從而實現(xiàn)定性故障診斷。本文省略鍵合圖推導階段，從2.1.1 節(jié)中建立的基于物理機制的起落架數(shù)學模型中轉化得到簡化后的因果圖模型范式。

因果圖模型M的組成元素包括頂點與連接線，頂點代表系統(tǒng)變量，連接線代表變量間的能量轉移關系，其方向表示變量間的因果關系。根據(jù)因果圖模型范式定義［23］，給出因果圖模型概念為

式中：V為變量集合，由5 個不相交的集合組成。包括：U為輸入集合，代表系統(tǒng)已知循環(huán)輸入量；X為狀態(tài)變量集合，系統(tǒng)動力學過程由該集合中的元素描述；Y為輸出集合，對應于系統(tǒng)可測量的響應輸出量；Θ為參數(shù)（常量）集合，代表系統(tǒng)不可變常量參數(shù)，用以計算系統(tǒng)狀態(tài)量，如作動筒泄露系數(shù)Lleak，活塞桿彈性模量E=207 GPa、泊松比μ=0.3 等；A為輔助變量集合，用以輔助模型的構建和解析，如泵內(nèi)排量微分變量Ddispldot=d(Ddispl)/dt；C為約束集合。每個約束c=(εc，Vc)∈C由一個包含變量Vc(Vc∈V)的方程εc組成，其用于明確變量間因果關系。

明確模型定義后，以起落架收放系統(tǒng)為例，從2.1.1 節(jié)物理機制數(shù)學模型中以正則匹配劃分變量集合，明確系統(tǒng)變量因果關系，梳理約束條件，得到其部分因果圖模型如圖2 所示。

圖2 起落架收放系統(tǒng)因果圖模型Fig.2 Causal model of landing gear extension/retraction system

2.2 起落架數(shù)字孿生模型自更新

為應對傳統(tǒng)基于模型的健康管理方法所存在模型固化的問題，采用基于強化學習算法的孿生模型自更新方法，將模型跟蹤問題視為實時參數(shù)更新問題，以保持與真實系統(tǒng)的鏡像一致性。

在本文起落架應用場景下，真實系統(tǒng)向孿生模型提供循環(huán)輸入值與傳感輸出量，孿生模型通過強化學習算法在最優(yōu)控制策略指導下更新調(diào)節(jié)相關健康表征參數(shù)，使得孿生模型有效跟蹤真實系統(tǒng)響應，完成物理世界對孿生模型的交互。

在縮小與真實系統(tǒng)的響應偏差后，孿生模型可以繼續(xù)提供最新時刻的系統(tǒng)狀態(tài)估計，為故障預測任務提供準確、可靠、實時的系統(tǒng)健康信息，從而為視情維修等進一步的健康管理任務提供決策支持，完成孿生模型對物理世界的交互。

以往關于參數(shù)標定的研究大多從控制領域或統(tǒng)計領域發(fā)展起來的概率或估計方法出發(fā)，但這些方法普遍存在基礎模型不完整［24-26］、計算成本過高、效率低等多方面的問題；近年來基于數(shù)據(jù)驅動的端對端映射方法解決了效率問題，但其把跟蹤問題轉化為有監(jiān)督學習［27］，過分依賴于訓練數(shù)據(jù)集的質(zhì)量與體量，且在新場景應用時需要重新訓練，在大規(guī)模系統(tǒng)級應用或存在較大測量噪聲的條件下表現(xiàn)一般。綜合實時性、準確性、魯棒性多方面的考慮［28］，本文利用基于強化學習的模型跟蹤方法，通過最優(yōu)控制策略修正孿生模型健康表征參數(shù)，實現(xiàn)模型自更新。

2.2.1 馬爾可夫決策過程建模

飛機起落架孿生模型（Digital Model，DM）在模擬系統(tǒng)物理行為的過程中，在輸入ut、健康表征參數(shù)θt下，提供了系統(tǒng)真實輸出量yt的最佳估計，同時根據(jù)狀態(tài)方程得到系統(tǒng)狀態(tài)量的最佳估計，因此模型跟蹤問題可描述為

強化學習框架將跟蹤問題通過馬爾可夫決策過程（Markov Decision Process，MDP）建模［28］，應用最大熵深度強化學習算法來訓練一個智能體agent，如式（14）所示，agent 通過找到最優(yōu)控制策略選擇動作，即更新孿生模型健康表征參數(shù)，以保持模型響應與觀測值的匹配，最終達到式（15）的跟蹤目標。

在如上的問題描述下，起落架模型跟蹤MDP 模型可通過五元組(S，A，C，Τ，ρ)描述。其中S為狀態(tài)集，包括系統(tǒng)輸出量、狀態(tài)量、輸入量，即，以收放系統(tǒng)為例，確定狀態(tài)集S為

式中：下標a1、a2、a3 分別代表主起收放作動筒、主起下位鎖、主起上位鎖；下標p 表示液壓泵。

A為動作集，即系統(tǒng)需要跟蹤的健康表征參數(shù)θt，選取跟蹤參數(shù)，kp為泵壓差比例因子，其值影響泵排量、轉矩等過程；為主起收放作動筒泄漏系數(shù)，其值影響作動筒行程、速度等；為主起收放作動筒粘滯摩擦系數(shù)，其值影響作動筒收放時間等。

C(s，a，s′)為獎勵/成本函數(shù)，用以評估跟蹤效果，定義獎勵函數(shù)為系統(tǒng)真實狀態(tài)值xt、yt與預測值的均方根誤差（Root Mean Squared Er‐ror，RMSE）。

Τ(s，a，s′)=p(s′|s，a)為狀態(tài)轉移函數(shù)，對應于所建立數(shù)字模型的動態(tài)過程

式中：f、h分別為狀態(tài)轉移方程和觀測方程；ρ(s)為初始狀態(tài)概率分布。

2.2.2 基于AC 算法的參數(shù)更新過程

采用AC（Actor-Critic）算法，以起落架孿生模型作為訓練環(huán)境，提供系統(tǒng)動力學過程，agent根據(jù)環(huán)境反饋計算獎勵，尋求最優(yōu)控制策略來選擇下一步動作，即跟蹤參數(shù)θt+1。Actor 和Critic 網(wǎng)絡被建立以求解最優(yōu)控制策略，由Critic 網(wǎng)絡完成基于值函數(shù)（Valuebased）的策略評估，即對當前策略π所對應的狀態(tài)值函數(shù)和動作值函數(shù)的直接估計

根據(jù)Critic 網(wǎng)絡對值函數(shù)的估計由Actor 網(wǎng)絡完成基于策略梯度（Policy Gradient-based）的策略優(yōu)化，即最大化累計獎勵折扣函數(shù)

式中：r(st，at)為時間t處根據(jù)狀態(tài)集st、動作集at設置的自定義獎勵函數(shù)；γ∈[0，1)為折扣因子；π為當前策略；Ετ～ρ為當前策略下的狀態(tài)轉移信息熵分布計算；J(π)為累計折扣獎勵。給出AC 算法偽代碼如算法1 所示。

算法1 強化學習AC 算法Algorithm 1 Reinforcement learning AC algorithm

如圖3 所示，以孿生模型作為訓練環(huán)境，指導agent 進行迭代訓練，同步更新Actor 和Critc 網(wǎng)絡，并最終收斂得到最優(yōu)控制策略，實際部署時應用當前最優(yōu)控制策略，根據(jù)真實系統(tǒng)循環(huán)輸入與傳感輸出實時修正孿生模型相關健康表征參數(shù)θt，從而平穩(wěn)跟蹤系統(tǒng)響應。

圖3 基于強化學習的模型跟蹤過程Fig.3 Model tracking process based on reinforcement learning

圖4 殘差分析與符號生成Fig.4 Residual analysis and symbol generation

2.3 基于起落架數(shù)字孿生模型的診斷預測方案

圍繞起落架孿生模型開展診斷、預測等健康管理任務，充分利用模型信息，而不依賴于局限的專家知識或大體量的有監(jiān)督訓練集數(shù)據(jù)，并同時兼顧實時性、準確性、魯棒性等方面的優(yōu)勢。

在診斷階段，孿生模型既作為標稱觀測器提供預期響應輸出供殘差分析，也作為故障事件分析的知識庫組織信號特征向量供故障隔離，最終從故障事件的角度出發(fā)完成診斷任務。

在預測階段，經(jīng)過自更新的孿生模型提供系統(tǒng)最新時刻的狀態(tài)估計，為基于粒子濾波的狀態(tài)量遞推提供健康信息，結合失效閾值函數(shù)完成失效循環(huán)次數(shù)概率分布估計。

2.3.1 基于事件的故障診斷方案

1）故障事件信號特征提取

以起落架收放系統(tǒng)為例，根據(jù)2.1.2 節(jié)的因果圖模型，分析故障機制，列舉主要故障模式，對于每個故障事件f，給定其故障特征集合Sf={S1，S2，…，Sn}，其中Si=(y：smagnitude，sslope)為因果圖輸出集合Y中系統(tǒng)響應變量在當前故障事件下的信號分析元組，smagnitude，sslope∈{0，+，?}用以定性地捕獲監(jiān)測到殘差時信號的幅度、斜率的預期變化方向。以圖2 中局部放大圖為例，作動筒泄漏導致作動筒inflow1下降且趨勢遞增，表現(xiàn)為“?+”；經(jīng)“?1”反向傳播后，因vdot與inflow1無直接關系，在作動筒v上表現(xiàn)為“+0”，作動筒放下速度提升；再經(jīng)積分關系后，在x上表現(xiàn)轉化為“+?”。

在因果圖上執(zhí)行前向傳播函數(shù)［29-30］得起落架系統(tǒng)典型故障事件信號特征表如表1，表中信號優(yōu)先級順序（Measurement Orderings，MO）針對于當前故障事件，由因果圖中因果順序得出。

表1 起落架收放系統(tǒng)故障事件特征Table 1 Landing gear retraction system failure event signature

2）殘差分析與符號生成

3）故障隔離

傳統(tǒng)基于因果圖的故障隔離方案隨著系統(tǒng)響應測量信號的到來逐步隔離故障，并最終收斂至可靠故障候選集。本文希望在故障隔離后保留多個故障候選項的置信度估計，因此提出基于編輯距離的模糊匹配故障隔離方案。

編輯距離（Levenshtein Distance）指兩字符串間相互轉化所需的最少編輯操作次數(shù)，編輯操作包括插入、替換、刪除。隨著真實系統(tǒng)工作過程中傳感信號的到來，進行Z 檢驗下的殘差分析生成信號特征符號，組織當前系統(tǒng)響應特征向量，與表1 中的故障事件向量相匹配，通過動態(tài)規(guī)劃算法解得各故障事件與當前特征向量的相似度（Fuzzy Matching Scores）。給出基于編輯距離的模糊匹配算法偽代碼如算法2 所示。

通過編輯距離算法給出當前系統(tǒng)特征向量與各故障事件下的特征向量模糊匹配分數(shù)，設定置信度分數(shù)閾值，高于閾值的故障事件作為故障候選項，從而完成故障隔離任務。圖5 給出了基于事件的診斷方案整體流程。

圖5 故障診斷流程Fig.5 Fault diagnosis process

2.3.2 基于粒子濾波的故障預測方案

在系統(tǒng)健康管理領域，預測的任務集中在預測組件何時會失效?；谀Ｐ偷姆椒▽㈩A測問題簡化為聯(lián)合狀態(tài)參數(shù)估計問題，這種預測方法往往面臨較大的不確定性，粒子濾波算法因其廣泛的適用性、易于實現(xiàn)性、對不確定性管理的支持而成為常用的選擇之一［32-34］。

算法2 基于編輯距離的模糊匹配故障隔離算法Algorithm 2 Fuzzy matching fault isolation algorithm based on levenshtein distance

在數(shù)字孿生健康管理框架下，經(jīng)過自更新后的模型可以為粒子濾波算法提供當前時刻接近于真實物理世界的系統(tǒng)初始響應估計及后續(xù)可靠動態(tài)過程，進而完成故障預測任務。

將式（17）、式（18）起落架孿生模型動態(tài)過程擴充為

由此將強化學習馬爾可夫建模過程中的狀態(tài)轉移函數(shù)轉化為一個健康表征參數(shù)θ(t)以未知的方式演化的一般非線性模型。健康表征參數(shù)θ(t)初始值由模型自更新階段推理得出，利用更新后的模型產(chǎn)生截至時間tp的觀測序列，使用該觀測序列給定時間點tp的故障失效時間（End Of Life，EOL）預測。EOL 在對系統(tǒng)級應用場景而言應定義為部件不再滿足一組功能要求之一的時間點［34］，該功能要求可以用一個閾值來表示，超過這個閾值即認為組件失效，將該閾值表示為系統(tǒng)狀態(tài)和參數(shù)的函數(shù)，具體函數(shù)為

基于粒子濾波算法的故障預測可分為以下2 個步驟［33］。

1）當前時刻狀態(tài)估計

粒子濾波器中的狀態(tài)分布近似于一組離散的加權樣本，近似為

2）狀態(tài)變量的趨勢外推與估計

根據(jù)文獻［3］，對起落架應用場景而言，將“循環(huán)次數(shù)”作為指標衡量剩余使用壽命或故障失效時間更為合理。以步驟1）中的聯(lián)合狀態(tài)參數(shù)估計p(xk，θk|y0：k)作為k時刻系統(tǒng)的最新知識，得到向前n步的近似狀態(tài)參數(shù)預測分布為

向外遞推n步結束一次循環(huán)，重復過程，可將EOL 預測近似為

以起落架收放系統(tǒng)為例，設定其未來輸入軌跡以表示實際系統(tǒng)的循環(huán)收放工作過程。在該假設未來輸入軌跡下，采用重要性重采樣（Sampling Importance Resampling，SIR）方法實現(xiàn)粒子重采樣步驟，在單步重采樣過程對參數(shù)θ進行隨機游走，應用狀態(tài)方程f完成新狀態(tài)的采樣過程；根據(jù)觀測方程h指定粒子權重，賦予接近真值的粒子更高的權重。權重歸一化后基于均勻分布選取權重累計分布函數(shù)（Cumulative Distribution Func‐tion，CDF）繼續(xù)執(zhí)行重采樣過程，圍繞高權重粒子不斷執(zhí)行演化。給出SIR 偽代碼如算法3 所示。

以式（29）、式（30）為閾值函數(shù)，將每個粒子向前遞推至其EOL，最終得到所有粒子到達EOL 的循環(huán)次數(shù)概率分布。

式中：max(Pp)為液壓泵壓力最大值；max(qp)為泵流量最大值；max(xa1)為作動筒位移最大值；t(xa1)為作動筒收起放下時間；max(Finflow_a1)為作動筒端口流量最大值。

算法3 重要性采樣（SIR）Algorithm 3 Sampling importance resampling

3 實驗驗證與結果分析

以起落架收放系統(tǒng)為例，依托于起落架數(shù)字孿生健康管理技術，對建立的數(shù)字孿生模型開展驗證，并以觀測-更新-利用的路線設計相關實驗開展驗證，證明本文所述方法在具體應用時所展現(xiàn)的實時性、準確性、魯棒性方面的優(yōu)勢。

3.1 數(shù)字孿生模型可靠性驗證

1）真實系統(tǒng)仿真驗證

因可公開的起落架真實數(shù)據(jù)集有限，從研究角度出發(fā)，本文利用仿真數(shù)據(jù)代替真實數(shù)據(jù)開展實驗驗證。以起落架收放系統(tǒng)為例，基于AMESim 軟件建立其仿真模型代替真實系統(tǒng)，通過仿真手段完成對真實系統(tǒng)不同階段下的工作過程模擬。參照胡曉青等［35］的研究，搭建起落架收放系統(tǒng)模型如圖6（a），給出具體參數(shù)表如表2，以其在3D Motion 下的動畫模擬效果（見圖6（b））及在正常收放工況下的結果（見圖6（c））驗證AMESim 仿真模型的有效性。

表2 AMESim 仿真模型參數(shù)Table 2 AMESim simulation model parameters

圖6 AMESim 仿真模型有效性說明Fig.6 Validity description of AMESim simulation model

在如圖6（a）所設計起落架仿真模型下，仿真結果如圖6（c）所示，0～2 s 液壓泵開始工作，調(diào)節(jié)泵出口壓力穩(wěn)定至20.7 MPa；2～9 s，電磁換向閥換至“左位”，液壓泵出口壓力下降至20.4 MPa 左右，出口流量增至11.3 L/min 附近，在壓力油作用下上/下位鎖打開鎖鉤并驅動收放作動筒開始“收起”動作，9 s 時作動筒到位；14 s時液壓泵壓力回升至20.7 MPa，電磁換向閥換至“中位”到17 s；17～27 s，電磁換向閥換至“右位”，作動筒開始“放下”動作；27 s 后，壓力回升，電磁換向閥保持“中位”。

由仿真結果可知在正常工作模式下，起落架收起放下時間在所設計的6～10 s 范圍內(nèi)，各部件響應符合性能指標，并在與3D Motion 聯(lián)合調(diào)試中展現(xiàn)了如圖6（b）所示完整的收起放下過程，因此，基于AMESim 軟件建立的仿真模型代替真實系統(tǒng)進行后續(xù)實驗驗證具有一定的說服力。

2）孿生模型可靠性驗證

以AMESim 中建立的主起落架收放系統(tǒng)液壓回路作為真實系統(tǒng)，將其輸出與2.1.1 節(jié)中所建立的物理機制數(shù)學模型的響應進行對比，以關鍵參數(shù)變化曲線說明2.1.1 節(jié)數(shù)學模型的正確性，以聯(lián)合仿真展現(xiàn)的完整收放過程進一步論證從2.1.1 節(jié)數(shù)學模型中所推出的因果圖模型的可靠性。以液壓泵出口流量和作動筒入口流量為例，上述2 個參數(shù)的正確性直接決定了主起落架收放回路工作過程的正確性，如圖7所示，2.1.1節(jié)數(shù)學模型得到的關鍵部件輸出與AMESim 模型中仿真狀態(tài)量基本保持一致，因此可基于本文建立的起落架數(shù)字孿生模型開展健康管理應用任務。

圖7 孿生模型可靠性說明Fig.7 Reliability description of digital twin model

3.2 健康管理任務實驗驗證

為論證本文所述基于數(shù)字孿生的起落架健康管理技術應用價值，設計相關實驗，相繼開展診斷、更新、預測驗證，實驗環(huán)節(jié)相互承接，診斷階段根據(jù)孿生模型與真實系統(tǒng)殘差進行分析隔離，更新階段通過對健康表征參數(shù)的更新縮小故障出現(xiàn)后理想孿生模型與真實系統(tǒng)出現(xiàn)的偏差，預測階段利用孿生模型最新時刻的狀態(tài)估計完成失效時間估計。圖8 為健康管理任務實驗流程示意圖。

圖8 實驗驗證流程圖Fig.8 Experimental verification flow chart

3.2.1 故障診斷實驗驗證

以AMESim 模型的輸出作為故障診斷過程中的真實信號，以2.1 節(jié)數(shù)字孿生模型作為標稱觀測器。如圖9 所示，在不同的故障模擬下，基于事件的故障診斷方法在因果圖中標記的狀態(tài)量上表現(xiàn)出不同的故障征兆，圖9（a）為通過調(diào)節(jié)主起收放回路中節(jié)流閥的孔徑完成的節(jié)流閥堵塞故障模擬，圖9（b）為調(diào)整泄漏系數(shù)完成的作動筒泄漏故障模擬。在圖9（a）中，t=7～8 s 的狀態(tài)量差異僅被診斷器判斷為延遲，t=22～25 s 處的變化被診斷器判斷為異常，將置信區(qū)間設置為0.95，在Z 檢驗下得到式（31），即‘+slope’，結合殘差幅值得到此時故障特征為‘?magnitude+slope’；同理，在圖9（b）中，故障特征判斷為‘?magnitude?slope’。

圖9 Z 檢驗殘差分析結果Fig.9 Z-test residual analysis results

以作動筒泄漏故障為例完成故障診斷實驗，隨著工作過程中信號的到來，結合信號優(yōu)先級順序組織故障特征向量，利用編輯距離算法與故障特征（見表1）中各故障事件征兆向量匹配，動態(tài)規(guī)劃解得相似度分數(shù)，得到故障候選集，并保留置信度估計。

因果圖本質(zhì)上是一種信號流圖，而TEAMSRT 算法作為一種基于多信號流圖的經(jīng)典故障診斷算法也得到了廣泛應用［36］，通過建立起落架收放系統(tǒng)的多信號流圖，利用TEAMS-RT 算法分析故障-測試性矩陣（D）和測試向量，建立對照實驗。給出2 種算法故障隔離效果的比較如表3 所示，由表可知，在本文所述應用場景下，相比于多信號流圖模型‘01’模式的D矩陣，因果圖模型在更精確的征兆符號下，實時性、準確性表現(xiàn)更優(yōu)，并以85 分作為置信閾值，保留了模糊集的置信度估計。

表3 故障診斷算法比較Table 3 Comparison of fault diagnosis algorithms

3.2.2 孿生模型自更新實驗驗證

承接故障診斷實驗環(huán)節(jié)，檢測到異常并正確隔離故障后，為跟蹤真實系統(tǒng)狀態(tài)響應，采用強化學習框架修正孿生模型健康表征參數(shù)，從而為后續(xù)健康管理任務提供狀態(tài)估計等系統(tǒng)健康信息。

實驗過程主要分為訓練和部署2 個步驟：①利用數(shù)字孿生模型為訓練過程產(chǎn)生模擬數(shù)據(jù)，在迭代訓練過程后得到最優(yōu)控制策略；②通過AMESim 產(chǎn)生真實系統(tǒng)在不同工況下的模擬仿真數(shù)據(jù)，部署當前最優(yōu)控制策略，完成模型跟蹤的實驗驗證。

由3.2.1 節(jié)的故障診斷過程確定當前系統(tǒng)故障為作動筒泄漏，設計以作動筒泄漏系數(shù)作為跟蹤參數(shù)的實驗。以2.1 節(jié)建立的數(shù)字孿生模型產(chǎn)生在給定負載輸入條件下，作動筒泄漏系數(shù)leak 以均等步長范圍，從0 變化到5×105L?min?1?Pa?1的500 條系統(tǒng)收放工作過程軌跡，作為強化學習AC算法訓練集。

如圖10 神經(jīng)網(wǎng)絡結構所示，本文使用全連接神經(jīng)網(wǎng)絡作為強化學習框架中的Critic 網(wǎng)絡和Actor 網(wǎng)絡，每層256 個神經(jīng)元，以ReLU 作為激活函數(shù)，以Adam 作為優(yōu)化器，網(wǎng)絡超參數(shù)設置如表4。

表4 網(wǎng)絡超參數(shù)設置Table 4 Network hyperparameter settings

圖10 強化學習AC 算法網(wǎng)絡結構Fig.10 Reinforcement learning AC algorithm network structure

在100 萬步的迭代訓練過程后保存模型最優(yōu)控制策略，圖11 給出了當前策略在整體訓練集上的表現(xiàn)以及在隨機抽取的數(shù)據(jù)軌跡上的具體效果。由圖11（a）可知，在整體訓練集上，算法控制參數(shù)保持在真值附近，由圖11（b）可看出在隨機抽取的數(shù)據(jù)軌跡的具體表現(xiàn)上，在當前控制策略下跟蹤參數(shù)軌跡中位數(shù)與真值貼近，上下四分位數(shù)也在合理范圍內(nèi)，但仍有部分離群點出現(xiàn)，分析是因為起落架收放系統(tǒng)在一次工作過程循環(huán)中的開始結束階段輸出量保持穩(wěn)定，與系統(tǒng)所更新健康表征參數(shù)關聯(lián)性不強，因此在這2 個階段，當前強化學習的控制策略無法給出合理跟蹤值導致出現(xiàn)離群點。

圖11 強化學習AC 算法訓練階段效果Fig.11 Reinforcement learning AC algorithm training stage

通過AMESim 仿真模型代替真實系統(tǒng)生成作動筒泄漏實驗數(shù)據(jù)，將系統(tǒng)工作循環(huán)輸入和傳感測量輸出量作為當前最優(yōu)策略的輸入，不斷更新孿生模型健康表征參數(shù)，完成模型自更新應用驗證，實驗結果如圖12 所示。如圖所示，部署階段在最優(yōu)控制策略的作用下，孿生模型預期輸出與真實系統(tǒng)響應貼近，基本保持對物理世界映射的鏡像一致性。

圖12 強化學習算法驗證效果Fig.12 Reinforcement learning algorithm verification results

本文同時搭建深度神經(jīng)網(wǎng)絡（Deep Neural Networks，DNN）的端對端直接映射神經(jīng)網(wǎng)絡，采取與強化學習算法完全一致的實驗環(huán)境作為對照實驗，DNN 網(wǎng)絡結構如圖13 所示。

圖13 DNN 網(wǎng)絡結構Fig.13 DNN network structure

給出在本文所述應用場景下2 種算法的性能對比見表5，由表可知，強化學習AC 算法相比端對端有監(jiān)督學習方法，在實際應用時部署速度更快，誤差（RMSE）更小，且在一定噪聲干擾下仍能保持較好的效果，其在實時性、準確性、魯棒性方面表現(xiàn)效果均優(yōu)于DNN。

表5 模型跟蹤算法對比Table 5 Model tracking algorithm comparison

3.2.3 故障預測實驗驗證

承接模型自更新環(huán)節(jié)，根據(jù)3.2.2 節(jié)的模型自更新結果，修正孿生模型健康表征參數(shù)，更新系統(tǒng)狀態(tài)轉移方程和觀測方程，以模型跟蹤收斂至穩(wěn)定值為起點，得到系統(tǒng)當前時刻最新初始狀態(tài)

圖14 以收放系統(tǒng)主起作動筒為例給出了圍繞模型自更新完成后系統(tǒng)初始狀態(tài)在SIR 過程下粒子的隨機游走過程，在給定狀態(tài)量隨機游走方差下，結合后驗傳感測量值分配權重，得到下一時刻粒子分布，與實際真值接近。

圖14 初始狀態(tài)單步估計Fig.14 Initial state single-step estimation

為選取最優(yōu)算法參數(shù)以保證故障預測準確率，設計相關對比實驗，表6 給出在不同粒子數(shù)目和隨機游走方差下粒子濾波算法的表現(xiàn)效果。由表可知，粒子數(shù)量減少和隨機游走方差的增大會造成狀態(tài)估計的準確性下降，但對于主起收放作動筒最大位移0.219 4 m 和最大流量11.87 L/min 的狀態(tài)量xa1、Finflow_a1，RMSE 不會造成明顯的狀態(tài)估計偏差。

表6 預測算法實驗效果Table 6 Prediction algorithm experiment results

從當前時刻的狀態(tài)估計向外遞推狀態(tài)量趨勢，完成本次收放過程推理；之后假定系統(tǒng)遵循相同收放過程輸入循環(huán)完成失效循環(huán)次數(shù)預測。

泄露系數(shù)Lleak在0.1 衰減系數(shù)的假定下，當前狀態(tài)故障下的系統(tǒng)率先達到作動筒失效閾值函數(shù)，確定系統(tǒng)到達EOL 的循環(huán)次數(shù)概率分布如圖15（a）所示，系統(tǒng)預測分布概率總和為1，預計將在第31 個工作循環(huán)中達到失效條件。由圖15（b）中的AMESim 中的仿真結果可知，31 個循環(huán)后在5×105L ?min?1?Pa?1的泄漏系數(shù)下，作動筒放下時間超出式（30）閾值范圍達到失效條件，由此可知預測結果與實際仿真結果基本保持一致。

圖15 失效循環(huán)次數(shù)預測Fig.15 Prediction of cycles to failure

4 結論

1）提出了一種基于數(shù)字孿生的飛機起落架健康管理框架，以可自更新的數(shù)字模型為基礎解決故障診斷與預測問題，克服了傳統(tǒng)健康管理方式缺點，并能夠有效應對數(shù)字孿生技術在實際工程應用中的挑戰(zhàn)。

2）應用本文所述健康管理技術，可建立起落架系統(tǒng)數(shù)字孿生模型，完成基于事件的故障診斷，通過更新健康表征參數(shù)自更新模型以保持與物理世界的映射一致性，并依據(jù)更新后的狀態(tài)及觀測方程完成故障失效時間預測。

3）以起落架收放系統(tǒng)為例，完成實驗驗證，本文所述基于數(shù)字孿生的健康管理技術在實時性、準確性、魯棒性等方面表現(xiàn)良好，為復雜機電裝備的健康管理技術提供一種新思路。