馬文臻,王愛玲,李旭東,黎建輝,鄒自明,李云龍
1(中國科學(xué)院 計算機(jī)網(wǎng)絡(luò)信息中心,北京 100190)
2(中國科學(xué)院 國家空間科學(xué)中心,北京 100190)
3(中國科學(xué)院大學(xué),北京 100049)
衛(wèi)星與載荷的運轉(zhuǎn)異常往往不是一蹴而就的,運轉(zhuǎn)出現(xiàn)異常時,往往伴隨著相關(guān)參數(shù)的變化,而這些信息可以通過衛(wèi)星工程數(shù)據(jù)反映出來,例如在近期某個時間段內(nèi)電壓持續(xù)偏高、溫度持續(xù)偏高、姿態(tài)發(fā)生偏離等.異常可能由載荷軟硬件故障引起,也可能由單粒子事件等空間環(huán)境因素引起,還可能是由觀測到異常目標(biāo)或者引力波、伽瑪暴等特殊空間事件引起.及時識別數(shù)據(jù)異常,并在此基礎(chǔ)上挖掘分析出潛在的知識,進(jìn)而開展預(yù)測分析,對于判斷衛(wèi)星與載荷健康狀態(tài)、評估器件壽命、及時有效進(jìn)行故障處置、快速發(fā)現(xiàn)特殊空間事件等都有重要的意義.
空間科學(xué)衛(wèi)星的工程數(shù)據(jù)是衛(wèi)星通過地面站傳回的關(guān)于自身運轉(zhuǎn)工作狀態(tài)的遙測參數(shù),是地面數(shù)據(jù)處理系統(tǒng)判斷衛(wèi)星平臺及載荷在軌運行健康狀態(tài)的依據(jù),其異常檢測是地面數(shù)據(jù)處理系統(tǒng)研究的重點技術(shù),是增強衛(wèi)星在軌可靠性和安全運行的重要依據(jù).
空間科學(xué)衛(wèi)星的工程數(shù)據(jù)與其他所有類型航天器的工程數(shù)據(jù)具有通用的特點,數(shù)量大、維度高、參數(shù)相關(guān)性復(fù)雜,此外,由于空間科學(xué)衛(wèi)星搭載的有效載荷工作模式和科學(xué)實驗具有高度的特殊性、多樣性和創(chuàng)新性,載荷的工程數(shù)據(jù)具有更強的專業(yè)性,為高檢測率、低誤檢率、強解釋性的工程數(shù)據(jù)異常檢測實現(xiàn)帶來了嚴(yán)峻的挑戰(zhàn).
在國內(nèi)外的衛(wèi)星數(shù)據(jù)處理領(lǐng)域,異常檢測的傳統(tǒng)方法是統(tǒng)計學(xué)方法,近十幾年來人工智能方法也有廣泛應(yīng)用[1].
基于統(tǒng)計學(xué)的衛(wèi)星異常檢測方法最常用的有閾值門限法、協(xié)方差分析和數(shù)據(jù)相關(guān)性分析.工程數(shù)據(jù)的維度通常較為龐大,一方面,每個維度的衛(wèi)星工程數(shù)據(jù)可以看作一條時間序列,在統(tǒng)計計算過程中可將其看作一個向量,通過分析各個維度參數(shù)變化趨勢進(jìn)行單通道或者多通道聯(lián)合檢測;另一方面,某些維度的參數(shù)可能具有相關(guān)性,可使用多元回歸分析法,通過對每一個維度的參數(shù)構(gòu)建多元非線性回歸模型,實現(xiàn)對多個參數(shù)之間的相關(guān)關(guān)系的深層次分析[2].
閾值門限法的優(yōu)點是設(shè)定的閾值與載荷設(shè)計一致,工程實現(xiàn)簡單,而且對于具有固定閾值的參數(shù)來說準(zhǔn)確率是最高的,但是也有明顯的缺點:適用范圍僅限于可用閾值規(guī)則表達(dá)的參數(shù),然而很多類型的異常并不會引起變量的超限,因此不能表征全部的異常類型,對于某些參數(shù)正確率和某些參數(shù)的漏檢率不能兼得;不具備普遍適應(yīng)性,可擴(kuò)展性差,且當(dāng)衛(wèi)星載荷發(fā)生性能變化時,需要不停地重新設(shè)定閾值來適應(yīng)載荷的變化;閾值有時候會出現(xiàn)設(shè)置不合理的情況,閾值太寬容易發(fā)生漏檢,閾值太窄容易發(fā)生大量虛假報警,導(dǎo)致真正的異常事件被埋沒忽視[3].
協(xié)方差分析法是針對周期內(nèi)變化趨勢相同的數(shù)據(jù)來進(jìn)行異常檢測的,通過參數(shù)之間的協(xié)方差構(gòu)造卡方統(tǒng)計量,在一定的置信水平上判斷數(shù)據(jù)是否出現(xiàn)異常.該方法的優(yōu)點是可以有效地檢測出周期性數(shù)據(jù)的異常,但是對于周期時間長、數(shù)據(jù)量大的數(shù)據(jù),耗時較長,且對于局部異常數(shù)據(jù)不敏感[4,5].
相關(guān)性分析法是針對多個參數(shù)之間的相關(guān)關(guān)系建立的,通過挖掘其相關(guān)系數(shù)或關(guān)聯(lián)規(guī)則來判定數(shù)據(jù)是否異常.該方法的優(yōu)點是對衛(wèi)星中存在相互影響的遙測數(shù)據(jù)有很好的檢測效果,排除了單一參數(shù)因素產(chǎn)生的誤判漏判干擾,但是對于一些參數(shù)同時發(fā)生變化的數(shù)據(jù)來說,檢測效果并不是很理想[6].
人工智能及計算機(jī)技術(shù)的飛速發(fā)展,為衛(wèi)星異常檢測技術(shù)提供了新的理論基礎(chǔ),產(chǎn)生了基于知識的智能診斷方法,并顯示出強大的生命力和優(yōu)越性.比較成熟的方法是專家系統(tǒng),其采用產(chǎn)生式規(guī)則來表示專家的知識,較適合于復(fù)雜系統(tǒng)的分析,在國際眾多空間科學(xué)衛(wèi)星任務(wù)中均有應(yīng)用,其局限在于準(zhǔn)確且完備的專家知識、系統(tǒng)模型的構(gòu)建很難通過自動化的方式實現(xiàn),人工知識獲取與模型構(gòu)建過程耗時、費力,專家的知識來源也成為其診斷能力的瓶頸,此外一旦航天器設(shè)計發(fā)生變化,知識和模型往往需要推倒重建[7].
近年來,一些新的研究都嘗試?yán)脵C(jī)器學(xué)習(xí)算法進(jìn)行衛(wèi)星異常檢測,主要有聚類方法、神經(jīng)網(wǎng)絡(luò)算法、支持向量機(jī)算法和決策樹算法等[8].
聚類算法有基于距離、基于密度、基于子空間等多種類型[9].例如,典型的增量聚類算法是通過學(xué)習(xí)構(gòu)建反映各參數(shù)之間關(guān)系的正常數(shù)據(jù)模型,根據(jù)模型匹配返回的系統(tǒng)偏離值監(jiān)測系統(tǒng)異常行為,可以有效地檢測出閾值檢測方法中在閾值門限之內(nèi)的異常,避免漏判錯判,但是需要根據(jù)經(jīng)驗確定聚類的數(shù)量,且對離散值比較敏感[10].
長短期記憶網(wǎng)絡(luò)(long short-term memory,LSTM)是基于循環(huán)神經(jīng)網(wǎng)絡(luò)的改進(jìn)算法,輸入門、輸出門、遺忘門控制信息在神經(jīng)元之間的信息傳遞,通過迭代更新權(quán)重,最終得到理想的輸出值.LSTM 相對于深度神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)來講,能更好的記憶其在過去長時間內(nèi)的數(shù)據(jù)相關(guān)性,適合處理序列數(shù)據(jù),但是對于一些在時間序列上相關(guān)性不是很強的遙測數(shù)據(jù)來說,檢測效果并不是很理想[11].另外,網(wǎng)絡(luò)層數(shù)規(guī)模往往需通過實驗或經(jīng)驗值確定,存在局部極值問題,換一個載荷就需要重來一遍,往往不具有擴(kuò)展性和普適性.
支持向量機(jī)(support vector machine,SVM)算法將邊際定義為決策邊界和任何樣本之間的最小距離,基于最小二乘支持向量機(jī)(LS-SVM)定義最小二乘代價函數(shù),將二次規(guī)劃問題轉(zhuǎn)換成線性規(guī)劃問題,實現(xiàn)類內(nèi)距離最小化、類間距離最大化,具有良好的準(zhǔn)確性,但是由于通常結(jié)合主成分分析方法(principal component analysis,PCA)對數(shù)據(jù)進(jìn)行預(yù)處理降維,在處理非線性問題方面有局限性,可能導(dǎo)致異常檢測效果不明顯[12].
梯度提升決策樹(gradient boosting decision tree,GBDT)算法是以決策樹為基函數(shù)的集成學(xué)習(xí)方法,利用加法模型 (即基函數(shù)的線性組合)和前向分布算法實現(xiàn)學(xué)習(xí)的優(yōu)化過程,通過將學(xué)習(xí)得到的多個樹模型進(jìn)行集成,可以達(dá)到同時減少模型方差和偏差的效果,而且具有對數(shù)據(jù)缺失值不敏感、模型易于構(gòu)建、數(shù)據(jù)預(yù)處理要求低、速度快、效率高的優(yōu)點,同時可避免決策樹算法的過擬合現(xiàn)象[13].目前GBDT 算法在電力負(fù)荷預(yù)測[14]、電路故障診斷[15]、交通流量分析[16]、礦物識別[17]、航班延誤分類預(yù)測[18]等領(lǐng)域,均有成熟的應(yīng)用研究實例,顯示出很好的應(yīng)用潛力.
對于空間科學(xué)衛(wèi)星異常檢測這一復(fù)雜系統(tǒng),上文1.2 節(jié)所述的機(jī)器學(xué)習(xí)方法普遍不夠通用,均需針對具體的樣本特性與應(yīng)用場景構(gòu)建不同的模型,在實現(xiàn)方面它們各有優(yōu)缺點.如何針對性提高檢測的準(zhǔn)確率和方法的通用性,是空間科學(xué)衛(wèi)星數(shù)據(jù)處理領(lǐng)域長期努力的研究焦點.本文根據(jù)科學(xué)衛(wèi)星的數(shù)據(jù)特性設(shè)計了基于GBDT的衛(wèi)星異常檢測分類模型,在相對小的調(diào)參復(fù)雜度下實現(xiàn)了很高的檢測準(zhǔn)確率,而且可以靈活處理包括連續(xù)值和離散值的各種類型的數(shù)據(jù),通用性更好.
本文基于量子科學(xué)實驗衛(wèi)星(空間科學(xué)先導(dǎo)專項系列衛(wèi)星之一)的長管運行經(jīng)驗,依據(jù)工程數(shù)據(jù)表現(xiàn)特征從總體上將異常類型歸納為6 大類,包括時間碼異常、供電異常、實驗控制機(jī)異常、星務(wù)異常、數(shù)傳通信異常、測控與姿控異常.
(1)時間碼異常
衛(wèi)星工程參數(shù)數(shù)據(jù)的時間碼字段精確到日內(nèi)秒,用“年-月-日T 時-分-秒”的格式表達(dá).時間碼錯誤也為異常.有的參數(shù)采樣頻率為1 次/s,故時間碼逐條遞增1 s,如果有缺失、錯誤的時間碼,標(biāo)記為異常.有的參數(shù)為固定間隔采樣,那么設(shè)置采樣間隔閾值來判定異常.例如,對于16 s 采樣一次的參數(shù),當(dāng)其兩個樣本之間的間隔小于14 或者大于18 時判為異常.時間與其他參數(shù)之間無相關(guān)性.
(2)供電異常
平臺與載荷的所有設(shè)備的與電源相關(guān)的工程參數(shù),包括電壓、電流以及開關(guān)機(jī)狀態(tài)等.每個參數(shù)有自己的閾值,不同設(shè)備的電壓、電流閾值不相同,閾值范圍內(nèi)短期變化劇烈或者長時間不變化均為異常,同一設(shè)備的電流、電壓、開關(guān)機(jī)標(biāo)志位之間有相關(guān)性約束.
(3)載荷與實驗控制異常
各載荷(包括量子密鑰通信機(jī)、量子糾纏發(fā)射機(jī)、量子糾纏源、高速相干通信機(jī)、載荷溫控儀、實驗控制機(jī))的所有組成部分(例如通信板、實驗板、存儲板、電源板、相機(jī)等)的工程參數(shù),包括各種溫度、復(fù)位計數(shù)、工作模式、看門狗屏蔽有效性、極化檢測光開關(guān)狀態(tài)、極化檢測光檔位、泵浦光驅(qū)動主備狀態(tài)、PPS 秒脈沖檢測狀態(tài)、各類遙測總線標(biāo)識、數(shù)傳數(shù)據(jù)處理狀態(tài)、各類電阻、功率、事件表的各類事件數(shù)、軟件狀態(tài)、接收/發(fā)送幀計數(shù)、載荷指令的各類計數(shù)、隨機(jī)數(shù)模式、密鑰輸出狀態(tài)、量子通信狀態(tài)、隱形測量狀態(tài)、各類測量狀態(tài)、GPS 狀態(tài)、GPS 各方向計算角度、粗跟蹤狀態(tài)與角度、精跟蹤狀態(tài)與角度、同步光觸發(fā)狀態(tài)、各方向轉(zhuǎn)速、各類單光子計數(shù)、各類符合計數(shù)、存儲容量、存儲壞塊數(shù)、存儲錯誤數(shù)、各相機(jī)的視場與質(zhì)心、增益、校正、背景等.
每個參數(shù)有自己的閾值設(shè)置,閾值范圍內(nèi)短時間劇烈變化或者長時間固定不動均為異常.部分參數(shù)之間有相關(guān)性約束,例如開關(guān)機(jī)不同狀態(tài)下,溫度、電阻有所不同;不同的工作模式下,各種觸發(fā)狀態(tài)與測量狀態(tài)有所不同.
(4)星務(wù)異常
衛(wèi)星平臺的星務(wù)分系統(tǒng)的工程參數(shù),包括主控CPU 標(biāo)志、星務(wù)模式、星務(wù)狀態(tài)、采集模式、采集狀態(tài)、遙控模式、遙控狀態(tài)、遙測模式、遙測狀態(tài)、軌道模式、軌道狀態(tài)、姿控模式、姿控狀態(tài)、載荷模式、載荷狀態(tài)、軟件系統(tǒng)運行模式、進(jìn)程加載狀態(tài)等.
(5)數(shù)傳通信異常
衛(wèi)星平臺的數(shù)傳分系統(tǒng)的工程參數(shù),包括Flash 壞塊計數(shù)、Flash 存儲錯誤計數(shù)、Flash 擦除錯誤計數(shù)、數(shù)傳CPU復(fù)位計數(shù)、EDAC 糾錯計數(shù)、數(shù)傳EEPROM校驗和等.對于某些異常計數(shù)類的參數(shù),閾值內(nèi)如果發(fā)生加1 則為異常,不變化或者一定時間后自動清零均為正常.對于某些計數(shù),只要大于0 即為異常.有的參數(shù)為固定取值,一旦出現(xiàn)其他取值即為異常.部分參數(shù)之間有相關(guān)性約束.
(6)測控與姿控異常
衛(wèi)星平臺的測控、姿控、熱控分系統(tǒng)的工程參數(shù),包括單機(jī)狀態(tài)、姿控模式、角度、角速度、軌道GPS、軌道速度、熱敏及電阻溫度等.
通過實驗找到合適的擬合函數(shù),在訓(xùn)練得出基于工程數(shù)據(jù)的分類模型之后,便可以使用模型對新接收到的工程數(shù)據(jù)進(jìn)行分析判斷.正常工程數(shù)據(jù)預(yù)示著衛(wèi)星有較低的異常風(fēng)險,用標(biāo)簽“0”標(biāo)注;異常工程數(shù)據(jù)預(yù)示著衛(wèi)星有較高的異常風(fēng)險,用標(biāo)簽“1”標(biāo)注.那么可以將異常識別轉(zhuǎn)化為一個分類問題.檢測分類的結(jié)果可以為衛(wèi)星及載荷的異常及時發(fā)現(xiàn)與處置干預(yù)提供有力的支持.
GBDT是一種串聯(lián)式模型,每一層具有低方差高偏差特性,結(jié)合后形成方差和偏差的調(diào)和,使用CART回歸樹模型,基于前向分布算法進(jìn)行迭代計算.基本思想是在損失函數(shù)負(fù)梯度的方向上生成若干棵弱回歸樹,將這些樹組合在一起生成一棵強回歸樹,即最終的異常檢測模型.模型檢測的時候,對于輸入的一個樣本實例,首先會賦予一個初值,然后會迭代遍歷每一棵決策樹,每棵樹都會對預(yù)測值進(jìn)行調(diào)整修正,最后得到預(yù)測的結(jié)果.
在迭代過程中,假設(shè)前一輪迭代得到的強學(xué)習(xí)器是ft-1(x),損失函數(shù)是L(y,ft-1(x)),本輪迭代的目標(biāo)是找到一個CART 回歸樹模型的弱學(xué)習(xí)器ht(x),使本輪的損失L(y,ft(x))=L(y,ft-1(x)+ht(x)) 最小.也就是說,本輪迭代找到?jīng)Q策樹要讓樣本的損失盡量變得更小.
依據(jù)機(jī)器學(xué)習(xí)的“數(shù)據(jù)處理-模型訓(xùn)練-模型評估”標(biāo)準(zhǔn)流程,結(jié)合GBDT 算法特性,依據(jù)衛(wèi)星工程參數(shù)特征與異常分布情況,設(shè)計了基于GBDT的衛(wèi)星工程參數(shù)異常檢測流程,如圖1所示.首先選擇量子科學(xué)實驗衛(wèi)星的工程數(shù)據(jù)的樣本數(shù)據(jù),并對其進(jìn)行預(yù)處理,整合形成3 類樣本數(shù)據(jù),將離散變量轉(zhuǎn)為one-hot 編碼.之后,構(gòu)造出訓(xùn)練集與測試集,如果已有數(shù)據(jù)已經(jīng)覆蓋所有異常類型,則采取分層采樣的方法獲得訓(xùn)練集;如果已有數(shù)據(jù)未覆蓋所有異常類型,需要為訓(xùn)練集插入人造的異常數(shù)據(jù),保證異常特征的覆蓋性.然后確定損失函數(shù)和算法模型評價指標(biāo),利用訓(xùn)練集經(jīng)過多輪弱決策樹的遍歷迭代生成強決策樹,獲得GBDT 衛(wèi)星及載荷工程參數(shù)異常檢測模型.最后利用該模型對測試集進(jìn)行檢測,發(fā)現(xiàn)異常并識別異常類型,再對檢測結(jié)果進(jìn)行評價,輸出評價指標(biāo)供驗證分析.
圖1 基于GBDT的衛(wèi)星工程參數(shù)異常檢測流程圖
(1)數(shù)據(jù)預(yù)處理
分類器往往默認(rèn)數(shù)據(jù)是連續(xù)并且有序的.如果簡單按照數(shù)字特征處理,那么GBDT 樹學(xué)到的是一段一段的值域劃分規(guī)則.而屬性離散數(shù)據(jù)值并不是有序的,而是隨機(jī)分配的.本模型中,將離散變量轉(zhuǎn)為onehot 編碼,可解決分類器不好處理屬性數(shù)據(jù)的問題,同時在一定程度上也起到了擴(kuò)充特征的作用.
衛(wèi)星工程參數(shù)數(shù)據(jù)有很多屬性特征采用了多位數(shù)字編碼,如“終端A 機(jī)數(shù)據(jù)狀態(tài)”這個特征有初態(tài)、發(fā)送、空閑、上行4 種狀態(tài),原本使用0、1、2、3 表示,使用one-hot 編碼表示為1000、0100、0010、0001,每種狀態(tài)擴(kuò)充為4 種特征來表示,為后續(xù)實驗中使用交叉熵?fù)p失函數(shù)奠定了基礎(chǔ).
(2)特征參數(shù)的選取與優(yōu)化
在使用衛(wèi)星參數(shù)進(jìn)行訓(xùn)練建模的環(huán)節(jié)中,對于每一類數(shù)據(jù),使用網(wǎng)格搜索尋找最優(yōu)參數(shù),調(diào)節(jié)的參數(shù)包括學(xué)習(xí)率learning_rate、集成的樹的數(shù)目n_estimators、每棵樹的最大深度max_depth 等,需要聯(lián)合調(diào)參以獲得最優(yōu)性能.為了減少由網(wǎng)格搜索帶來的偶然性因素的影響,采用K折交叉驗證法來更加準(zhǔn)確有效地評估該模型的泛化能力.經(jīng)過測試優(yōu)化,設(shè)置K值為10,將數(shù)據(jù)集分成10 等份,使用其中9 份數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),另外1 份數(shù)據(jù)作為測試數(shù)據(jù),進(jìn)行模型的訓(xùn)練,使用準(zhǔn)確率作為度量測度來衡量模型的預(yù)測性能,對10 個驗證結(jié)果取平均.學(xué)習(xí)率的搜索范圍為{0.1,0.05,0.01},n_estimators的搜索范圍為{5,10,20,50,100},max_depth的搜索范圍為{3,5,10}.
(3)損失函數(shù)的選取
損失函數(shù)可以有多種選擇,比如平方損失函數(shù)、指數(shù)損失函數(shù)等,其中交叉熵?fù)p失函數(shù)是分類問題的首選,因為在分類問題上,樣本輸出不是連續(xù)的值,而是離散的類別,導(dǎo)致我們無法直接從輸出類別去擬合類別輸出的誤差,而最小化交叉熵實際上等價于極大似然估計,交叉熵?fù)p失函數(shù)更容易收斂到泛化能力強的地方.它將多種類型的異常轉(zhuǎn)化為多個二分類問題的聯(lián)合,針對第i 類異常,標(biāo)簽為y,模型輸出的概率為p,交叉熵?fù)p失函數(shù)可以表示如下:
綜上,二分類損失函數(shù)為:
在量子科學(xué)實驗衛(wèi)星任務(wù)中原本采用的是“閾值+規(guī)則表達(dá)式”的衛(wèi)星異常檢測方法,本文對基于GBDT的衛(wèi)星異常檢測方法與原傳統(tǒng)方法二者進(jìn)行了檢測準(zhǔn)確率和檢測效率方面的比較.實驗所用數(shù)據(jù)資源由國家科技資源共享服務(wù)平臺-國家空間科學(xué)數(shù)據(jù)中心提供,計算資源由中國科學(xué)院國家空間科學(xué)中心公共技術(shù)服務(wù)中心提供.
本文選取了量子科學(xué)實驗衛(wèi)星的3 大類工程數(shù)據(jù),合并組織為3 類文件作為實驗對象,分別為載荷及實驗控制機(jī)工程參數(shù)(1 類樣本)、星務(wù)/測控/姿控分系統(tǒng)工程參數(shù)(2 類樣本)和數(shù)傳通信分系統(tǒng)工程參數(shù)(3 類樣本),每一類樣本數(shù)據(jù)可能存在多種異常.
樣本數(shù)覆蓋衛(wèi)星在軌運行期間的兩年時間,從2017年1月1日到2018年12月31日.一個文件包含一天內(nèi)的數(shù)據(jù)樣本,每個樣本包含幾百個參數(shù).不同文件的采樣率為1 s 到幾秒不等,所以每個文件的樣本數(shù)在到幾千個到86 400 個之間,3 類文件總計樣本接近八千萬(8e+7)條數(shù)據(jù),詳情如表1所示.
表1 實驗數(shù)據(jù)說明表
依據(jù)模型輸出結(jié)果,3 類樣本的平均準(zhǔn)確率(AP,average precision),即該類樣本中分類正確的樣本占全部樣本的比例如下:
AP (1 類樣本)=98.11%
AP (2 類樣本)=98.15%
AP (3 類樣本)=99.62%
對于同一批實驗樣本,使用“閾值+規(guī)則表達(dá)式”的異常檢測方法進(jìn)行處理,平均準(zhǔn)確率分別為:96.48%,96.93%,94.87%,如圖2所示.
圖2 兩種異常檢測方法的平均準(zhǔn)確率比較
可見,基于GBDT的衛(wèi)星異常檢測方法可提升平均準(zhǔn)確率約兩個百分點,達(dá)到98%以上.
在具體的3 類樣本中,針對各異常類型繪制其P-R(Precision-Recall)曲線并計算平均準(zhǔn)確率(AP),以評價模型的分類檢測效果.
P-R 曲線刻畫精確率(Precision,即查準(zhǔn)率)和召回率(Recall,即查全率)之間的關(guān)系,精確率是在所有預(yù)測為正例的數(shù)據(jù)中,真正例所占的比例,召回率是預(yù)測為真正例的數(shù)據(jù)占所有正例數(shù)據(jù)的比例,將判斷閾值從0 逐漸調(diào)節(jié)至1,即得到P-R 曲線.圖3所示為本實驗的第1 類樣本中3 類異常各自的P-R 曲線,x軸為召回率,y軸為精確率.
圖3 第一類樣本中的3 類異常的P-R 曲線
針對各類樣本,計算每一類異常的AP,可以衡量GBDT 學(xué)習(xí)得到的模型對每個類別的分類能力,對所有類別異常的AP 取平均值得到mAP (mean average precision),可以衡量模型對所有類別的分類能力.
本實驗的3 類樣本中各異常類型的AP 及mAP結(jié)果如表2所示,可見本模型對于不同的異常種類的檢測效果都是非常好的.
表2 分類檢測效果評價表
在空間科學(xué)衛(wèi)星任務(wù)中,異常檢測是在每次數(shù)傳站接收數(shù)據(jù)之后進(jìn)行的,也就是針對每一軌接收的數(shù)據(jù)進(jìn)行一次檢測,本文針對單軌接收數(shù)據(jù)進(jìn)行了檢測性能比對.算法的運行環(huán)境為PC 單機(jī),Windows 7 操作系統(tǒng),Intel i5 處理器@2.6 GHz,8 GB 內(nèi)存.“閾值+規(guī)則表達(dá)式”的檢測方法與GBDT的運行時間,如圖4所示.
圖4 兩種異常檢測方法的運行時間比較
使用基于GBDT的衛(wèi)星工程參數(shù)異常檢測方法,單軌接收的3 類樣本的異常檢測消耗時間分別為2.3 ms、38.6 ms、1.4 ms.使用原本的“閾值+規(guī)則表達(dá)式”的衛(wèi)星異常檢測方法,單軌接收的3 類樣本的異常檢測消耗時間分別為17.6 ms、219.5 ms、11.0 ms.可見,采用基于GBDT的衛(wèi)星異常檢測方法使檢測速度有了平均6 倍以上的提升.
此外,與深度網(wǎng)絡(luò)這些計算密集型算法相比,基于GBDT的衛(wèi)星工程參數(shù)異常檢測方法對運行內(nèi)存等計算資源需求很小,甚至可以在星載FPGA (field programmable gate array)上使用,未來可以探討放到衛(wèi)星上面執(zhí)行,以支持在星上開展實時的工程數(shù)據(jù)異常分析與數(shù)據(jù)壓縮下行.
基于GBDT的衛(wèi)星異常檢測方法將多種類型的衛(wèi)星異常轉(zhuǎn)化為多個二分類問題的聯(lián)合,不僅能正確區(qū)分正常與異常兩種狀態(tài)的數(shù)據(jù),而且能夠準(zhǔn)確識別異常類型.在特征參數(shù)的選取與優(yōu)化過程中采用交叉驗證的方式來減少偶然性,避免了陷入局部極小值的問題.通過對量子科學(xué)實驗衛(wèi)星在軌運行兩年的真實工程數(shù)據(jù)進(jìn)行驗證,與衛(wèi)星任務(wù)中原本采用的“閾值+規(guī)則表達(dá)式”異常檢測方法相比,基于GBDT的衛(wèi)星異常檢測方法將平均準(zhǔn)確率提升了約兩個百分點,達(dá)到98%以上,并將檢測速度提升了大約6 倍,可以更為高效、快速地開展衛(wèi)星異常檢測工作,在空間科學(xué)衛(wèi)星任務(wù)中產(chǎn)生了較大的應(yīng)用價值.目前的實驗驗證只覆蓋了主要的異常類型,后續(xù)工作中可針對其它異常類型進(jìn)行擴(kuò)展和細(xì)化,以達(dá)到更好的異常分類檢測效果,并擴(kuò)展應(yīng)用到其他衛(wèi)星的異常檢測中.