唐藝璠， 竇立謙*， 季春惠， 劉文靜， 宗 群

1. 天津大學, 天津 300072 2. 北京控制工程研究所, 北京 100094

0 引 言

航天器運行過程中，由于星上資源和人工干預能力有限，且空間環(huán)境具有不可預知性，極容易發(fā)生故障，而姿態(tài)控制系統(tǒng)作為航天器最為關鍵的一個分系統(tǒng)，具有結構復雜、工作環(huán)境惡劣、未知干擾及不確定因素多的特點，是發(fā)生故障最多的分系統(tǒng)之一.及時地故障診斷不僅可以減少設備損耗，還可以節(jié)省航天器發(fā)射和運行成本，減輕人員傷亡.

國內外常用航天器故障診斷方法有以下幾種：基于解析模型的方法、基于信號處理的方法和基于知識的方法[1].目前，基于解析模型的方法在航天器故障診斷中得到了廣泛應用，但其數據利用率不夠高.基于學習的故障診斷方法主要是通過在軌航天器的正常數據以及故障數據來訓練學習算法,進而實現故障診斷.傳統(tǒng)的機器學習方法得益于診斷專家獲取的廣泛領域專家知識，但需要花費大量的時間和人力[2-3].

與傳統(tǒng)的機器學習過程不同，深度學習可以通過多層結構表示數據，提高數據分類的準確性.文獻[4]將深度學習模型用于識別動態(tài)特性進行機床早期故障診斷.文獻[5]通過使用卡爾曼濾波器更新神經網絡的加權參數，對無人機系統(tǒng)的傳感器和執(zhí)行器進行在線故障診斷.文獻[6]針對航天器遙測數據，采用長短期記憶網絡對異常數據進行診斷，實現了對異常數據的高預測性.文獻[7]將深度神經網絡應用于域適應問題，通過將深層特征嵌入再生核希爾伯特空間中，減少域差異，提高特征的遷移能力.文獻[8]利用BP神經網絡和支持向量機對異步電機的故障特征進行學習和分類，有效提高了異步電機故障診斷的準確性.文獻[9]利用信像轉換法對數據進行預處理，在不需要預先定義參數的情況下提取原始數據的二維特征，利用深度卷積神經網絡和補零的方法增加特征的非線性.文獻[10]提出了基于神經網絡的遷移學習方法實現時變工況下少目標數據的滾動軸承故障診斷.文獻[11]基于深度卷積遷移學習網絡學習特征并識別機器健康狀況，并且通過最大化域識別錯誤和最小化概率分布距離實現領域自適應，實現機器故障特征的學習和遷移.

現有的大多數基于學習的故障診斷方法適用于標記數據豐富的診斷任務，然而對于在軌航天器執(zhí)行器的實時故障診斷問題，原始遙測數據量小且故障數據未標記.本文采用基于深度神經網絡的遷移學習算法解決在軌航天器故障診斷問題：首先，利用地面測試數據以及其他航天器在軌數據對深度卷積神經網絡進行預訓練，獲得網絡初始參數，以便于對在軌航天器進行故障診斷；其次，將訓練好的應用于當前在軌航天器的故障診斷任務中，基于聯合分布自適應減小域差異，實現領域自適應的目標；最后，通過仿真驗證設計的網絡的有效性和基于遷移學習的故障診斷方法的準確性.本文創(chuàng)新點如下：

(1)采用歸一化方法，將航天器多維狀態(tài)數據轉換為二維圖像，實現數據預處理；

(2)基于遷移學習方法將經過預訓練的網絡應用于當前在軌航天器故障診斷任務；

(3)基于聯合分布自適應方法重構殘差網絡的代價函數，在匹配源域數據和目標域數據的同時提升遷移性能，以提高故障診斷準確率.

1 航天器故障診斷模型

由于在軌航天器執(zhí)行器的原始遙測數據樣本小、噪聲高、無標記，故障信號難以診斷.在實際應用中正常運行數據樣本與故障數據樣本數量相差較大，傳統(tǒng)的故障診斷方法難以保證故障診斷的準確度.搭建基于深度卷積神經網絡的故障診斷模型框架如圖1所示.

圖1 航天器故障診斷模型框架Fig.1 Spacecraft fault diagnosis model framework

1.1 數據預處理

航天器的敏感器與執(zhí)行機構相關數據是根據時間變化的多維數據.在數據預處理過程中，如果采用傳統(tǒng)的數據處理方法，不僅會增加手工操作的繁瑣程度，還會丟失部分特征信息.為便于從帶有強噪聲的原始遙測中提取故障特征，在多狀態(tài)變量情況下，本文將多維時域數據轉換為二維圖像對原始數據進行預處理，圖像像素與數據值的大小相關.

隨機選擇m個時間步m維狀態(tài)數據的時域信號，基于數據歸一化方法將多維航天器狀態(tài)時域信號轉換為m×m大小的二維圖像，轉換公式為：

(1)

1.2 智能故障診斷模型預訓練

卷積神經網絡作為最有效的深度學習方法之一，已被廣泛應用于圖像分類和處理、計算機視覺和語音識別[12].殘差網絡(ResNet)作為卷積神經網絡中的一種，在圖像分類和物體識別領域表現出良好的性能，并且能夠通過增加一定的深度提高準確率，如ResNet18，ResNet34，ResNet50，ResNet101等.本文選取ResNet50對航天器狀態(tài)二維圖像的故障特征進行提取.

將預處理后得到的2D圖像作為故障診斷模型輸入信號進行卷積運算，并采用線性整流函數(ReLU)作為網絡的激活函數. 卷積層的運算可表示為：

hcr=ReLU(conv(wr,ar)+br)

(2)

其中，conv表示卷積運算，ar為第r個隱藏層的輸入，wr為r個隱藏層的權值，br為第r個隱藏層的偏置.在每個卷積層后，采用核大小為3×3的最大池化層來減小特征矩陣的大小，并通過全連接層對特征進行分類.

綜合考慮故障時與非故障時的特征不同點，選擇交叉熵代價函數作為預訓練階段卷積神經網絡的代價函數：

(3)

表1 ResNet50網絡結構配置Tab.1 Layer configurations of ResNet50

2 基于遷移學習的模型參數重調

遷移學習可以利用源域中豐富的標記數據構建目標域的精確分類器[12]，在航天器故障診斷中，源數據集和目標數據集在邊緣分布和條件分布上有顯著差異，現有的大多數遷移學習方法都是基于邊緣分布或條件分布來度量分布差異.為同時減少源域數據集與目標域數據集間邊緣分布和條件分布的差異，考慮基于聯合分布自適應的遷移學習方法.與其他基于學習的故障診斷方法相比，基于聯合分布自適應的遷移學習故障診斷方法能夠在匹配源域數據和目標域數據的同時提升遷移性能.

由于當前在軌航天器的故障數據未標記，因此無法直接基于目標數據集構造新的代價函數.為將預訓練學習到的經驗擴展到當前在軌航天器的診斷任務中，通過將分布自適應和交叉熵代價函數結合，構造新的代價函數如圖2所示.

圖2 采用遷移學習對故障診斷模型進行參數重調Fig.2 Transfer learning-based parameter readjustment of fault diagnosis model

2.1 聯合分布自適應

(4)

其中，φ(·)是從X到再生核希爾伯特空間H的完備的映射函數. 由于目標域數據無標簽，故無法計算其條件分布Qt(yt|xt)，考慮借助于帶有標簽的源數據的預訓練模型，提供目標數據的偽標簽，通過利用目標域數據的偽標簽來處理無監(jiān)督域自適應中的條件分布自適應. 基于偽標簽對邊緣分布Qs(xs|ys=k)，Qt(xt|yt=k)進行估計.假設k∈{1,…,K}，最大平均差異為范圍k與條件分布Qs(xs|ys=k)，Qt(xt|yt=k)的不匹配度：

(5)

通過整合邊緣最大平均差異和條件最大平均差異，聯合分布配適的正則化項可以表示為：

(6)

其中，Js和Jt分別是源域Ds和目標域Dt的聯合概率分布.

2.2 深度遷移學習

為了在深度學習框架下實現領域自適應，本文選擇卷積神經網絡作為基本模型.為增大源域與目標域之間的相似性，減小二者分布差異以實現遷移學習，結合交叉熵代價函數(3)和聯合分布配適的正則化項(6)構造新的代價函數：

(7)

通過最小化，預先訓練好的卷積神經網絡模型可用于目標域.網絡優(yōu)化采用小批量隨機梯度下降算法和反向傳播算法，該算法在迭代過程中不斷更新網絡權值，提高了訓練速度.為使代價函數loss(θ)最小，采用自適應矩估計對神經網絡的權值進行訓練. 對深度神經網絡進行參數重調的優(yōu)化目標為：

(8)

通過上述訓練，獲得最優(yōu)的核映射函數φ(·)，使得遷移后的網絡具有更好的模型泛化能力，提升網絡對目標域數據集的故障診斷能力.算法流程圖如圖3所示.

圖3 基于深度遷移學習的航天器智能故障診斷流程圖Fig.3 Flow chart of deep transfer learning-based intelligent fault diagnosis of spacecraft

3 仿真與分析

為驗證設計的算法的有效性，在Windows10操作系統(tǒng)上，基于Python環(huán)境下Tensorflow深度學習工具包實現算法的仿真實驗，仿真計算機配置為Intel Core i7@4.00 GHz處理器，16G內存，Nvidia GeForce GTX 1660顯卡.

仿真數據的源數據集和目標數據集均來自某航天器的采集數據，其中源數據集包含15000組數據，目標數據集包含99 790組數據，每組數據均包含27個數據量.為便于數據預處理，首先，將樣本數據維數擴展至28維；其次，將擴展后的數據樣本分為n組，每組數據包含28個時間步28維狀態(tài)數據.在樣本數據維數擴展和分組過程中，若有空缺數據，將數據值設置為零.

將該航天器C部件1-6號標志位的數據作為源數據集、G部件1-6號標志位的數據作為目標數據集.圖4～5分別為C部件和G部件歸一化后的數據，由圖可知故障發(fā)生在C部件2號標志位和G部件1號標志位，圖5中的小圖為G部件2-6號標志位歸一化后的數據的放大圖.

圖4 C部件1-6號標志位的數據Fig.4 Data of 1-6 flag bit in C part

圖5 G部件1-6號標志位的數據Fig.5 Data of 1-6 flag bit in G part

本節(jié)利用網絡訓練損失及故障診斷準確率描述所設計網絡的故障診斷性能；通過對比遷移方法與非遷移方法所訓練網絡的實驗結果，驗證了基于深度遷移學習的故障診斷策略具有較好的故障診斷性能.圖6-7為采集的該航天器數據經過分組后的某組數據經預處理后獲得的2D圖像示例，每張圖片大小為28×28像素，即包含784個像素點.其中，圖6為無故障數據集經過轉換后的2D圖像，圖7為故障數據集經過轉換后的二維圖像，圖中每一行的各個像素數據分別對應著同一時間序列下，航天器的不同部件、不同標志位的輸出數據.將預處理后的源數據集二維圖像作為網絡輸入，以最小化交叉熵代價函數作為優(yōu)化目標，對搭建的殘差網絡模型進行預訓練.

圖6 無故障數據集二維圖像Fig.6 2D image of non-fault dataset

圖7 故障數據集二維圖像Fig.7 2D image of fault dataset

進一步地，基于深度遷移學習方法，將故障診斷網絡習得的知識遷移到當前在軌航天器數據集，以該數據集作為目標數據集，并基于源域和目標域的分布差異重構網絡訓練的代價函數，重構的代價函數中非負正則化參數λ的值為：

(9)

其中，i為當前訓練的回合數，rounds為總回合數，

本實驗訓練過程共進行了200個迭代回合.

最后，基于提出的故障診斷模型參數重調方法，對網絡各層參數微調，通過網絡訓練損失和診斷準確率反應所提策略的故障診斷性能.為方便對比，實驗中另外增加了普通的殘差網絡的驗證訓練，相應的訓練對比結果如圖8～9所示.

圖8 網絡訓練損失對比Fig.8 Comparison of network training loss

圖8為網絡訓練損失對比，其中L1為基于遷移學習的殘差網絡的訓練代價函數變化曲線，L2為普通的殘差網絡訓練代價函數變化曲線.通過對比可以看出隨著訓練回合數的增加，基于遷移學習的殘差網絡的訓練損失逐漸減小，而普通的殘差網絡的損失始終較大.圖9為基于遷移學習的殘差網絡和普通的殘差網絡的故障診斷準確率對比圖，可以看出普通的殘差網絡的故障診斷準確率最高在70%左右，且基本不會隨著訓練回合數的增加而有所提升；而基于遷移學習的殘差網絡對當前在軌航天器數據的故障診斷準確率很快到達90%以上，且此后一直保持穩(wěn)定.經上述對比實驗可知，經過遷移學習和模型參數重調訓練后的殘差網絡對當前在軌航天器數據具有較好的適應性以及較優(yōu)越的故障診斷性能.

圖9 故障診斷準確率對比Fig.9 Comparison of fault diagnosis accuracy

4 結 論

本文通過采用基于深度遷移學習的智能故障診斷方法，解決在軌航天器故障診斷問題.針對在軌航天器遙測數據樣本小、噪聲高、未標記的問題，將源域中經過預訓練的殘差網絡應用到目標域中，并基于聯合分布自適應方法重構代價函數，實現殘差網絡參數重調.仿真結果表明，相比于基本的基于殘差網絡的故障診斷方法，基于深度遷移學習的故障診斷方法具有更好的診斷效果.