王 旭，都曉輝，陳昌麟 ，付 宇，楊 濤

(1.航天東方紅衛(wèi)星有限公司，北京 100094; 2.山東航天電子技術(shù)研究所，山東 煙臺(tái) 264670； 3.空間電子信息研究院，西安 710100)

0 引言

機(jī)器學(xué)習(xí)作為人工智能技術(shù)的重要分支，在數(shù)據(jù)挖掘、生物特征識(shí)別、機(jī)器人等領(lǐng)域有著十分廣泛的應(yīng)用，提高了諸多行業(yè)的生產(chǎn)力水平。但在我國(guó)衛(wèi)星制造和衛(wèi)星在軌管理領(lǐng)域，使用機(jī)器學(xué)習(xí)技術(shù)對(duì)衛(wèi)星遙測(cè)進(jìn)行分析和建模的應(yīng)用尚不普及，仍然較多地依賴人工分析+專家系統(tǒng)解決特定的問題，在面對(duì)數(shù)量龐大、多類型且相關(guān)性復(fù)雜的數(shù)據(jù)時(shí)，無法提供有效的綜合處理能力[1]。相比專家系統(tǒng)，機(jī)器學(xué)習(xí)在這些方面有天然的優(yōu)勢(shì)：它能夠處理更加龐大的數(shù)據(jù)，能夠梳理和關(guān)聯(lián)數(shù)據(jù)的維度信息，并且具有數(shù)據(jù)處理的實(shí)時(shí)性。使用機(jī)器學(xué)習(xí)技術(shù)后，衛(wèi)星可以產(chǎn)生更多的數(shù)據(jù)，為建立各種功能模型提供參數(shù)和特征，而不必作為遙測(cè)下傳。應(yīng)用這些功能模型就能更加敏感地感知和預(yù)測(cè)衛(wèi)星的狀態(tài)，進(jìn)而提高衛(wèi)星研制效率和衛(wèi)星在軌自主管理水平。

本文以對(duì)星載銣鐘的遙測(cè)數(shù)據(jù)建模為例，介紹了利用Python的生態(tài)環(huán)境對(duì)衛(wèi)星數(shù)據(jù)進(jìn)行分析，并使用機(jī)器學(xué)習(xí)的算法來建立預(yù)測(cè)模型的通用方法，為探索人工智能技術(shù)在衛(wèi)星制造領(lǐng)域的應(yīng)用提供支撐。

1 算法研究與建模的方法

1.1 Python庫(kù)生態(tài)圈

Python是一門動(dòng)態(tài)語言，Python由于擁有強(qiáng)大而成熟的開發(fā)生態(tài)，逐步成為了機(jī)器學(xué)習(xí)領(lǐng)域最受歡迎的開發(fā)語言[2]。IEEE Spectrum第六屆編程語言排名評(píng)出了2019年度十大流行語言，Python連續(xù)數(shù)年穩(wěn)居榜首[3]，如圖1所示。這在GitHub上也得到了證實(shí)，現(xiàn)在Python存儲(chǔ)庫(kù)總數(shù)排名僅次于Java和C語言。Python在數(shù)據(jù)分析和機(jī)器學(xué)習(xí)建模方面的庫(kù)生態(tài)圈主要包括SciPy和scikit-learn。

圖1 2019年度編程語言排名

SciPy是在數(shù)學(xué)運(yùn)算、科學(xué)和工程學(xué)方面被廣泛應(yīng)用的Python類庫(kù)。在機(jī)器學(xué)習(xí)領(lǐng)域主要使用NumPy、Matplotlib和Pandas這三個(gè)類庫(kù)來完成數(shù)據(jù)清洗、顯示和數(shù)據(jù)分析工作[4]。

scikit-learn依賴SciPy及其相關(guān)類庫(kù)來運(yùn)行，其基本功能主要包括分類、回歸、聚類、數(shù)據(jù)降維、模型選擇和數(shù)據(jù)預(yù)處理六部分[5]。

1.2 確定算法并建模的步驟

利用Python進(jìn)行分析數(shù)據(jù)、研究算法并預(yù)測(cè)模型共有七個(gè)基本步驟。

1)定義問題：這個(gè)過程主要研究和提煉問題的特征，以幫助開發(fā)者更好地理解工程目標(biāo)。

2)導(dǎo)入數(shù)據(jù)：在訓(xùn)練機(jī)器學(xué)習(xí)模型時(shí)需要用到大量數(shù)據(jù)，最常用的做法是導(dǎo)入并利用目標(biāo)工程的歷史數(shù)據(jù)來訓(xùn)練。這些數(shù)據(jù)一般以.csv的格式存儲(chǔ)，通常有三種方法實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入：標(biāo)準(zhǔn)Python庫(kù)導(dǎo)入、NumPy導(dǎo)入、Pandas導(dǎo)入。

3)數(shù)據(jù)理解：通過描述性統(tǒng)計(jì)和可視化數(shù)據(jù)來分析現(xiàn)有的數(shù)據(jù)。這個(gè)過程需要導(dǎo)入原始數(shù)據(jù)，查看數(shù)據(jù)的維度、屬性、類型，并利用Pandas進(jìn)行數(shù)據(jù)描述性統(tǒng)計(jì)、分析數(shù)據(jù)屬性的相關(guān)性和分布情況。這個(gè)步驟一般會(huì)用到DataFrame的shape屬性、Type屬性、describe()方法、corr()方法、skew()方法等。其中，shape屬性可以方便獲得數(shù)據(jù)集的行列維度信息；Type屬性用于獲取每個(gè)字段的數(shù)據(jù)類型；describe()方法用于審查數(shù)據(jù)的描述性統(tǒng)計(jì)內(nèi)容；corr()方法用于計(jì)算數(shù)據(jù)集中數(shù)據(jù)屬性之間的關(guān)系矩陣；skew()方法用于計(jì)算所有數(shù)據(jù)屬性的高斯分布偏離情況。

4)數(shù)據(jù)準(zhǔn)備：開始機(jī)器學(xué)習(xí)的模型訓(xùn)練前，必須對(duì)數(shù)據(jù)進(jìn)行格式化處理，以便構(gòu)建一個(gè)預(yù)測(cè)模型。這是因?yàn)椴煌惴▽?duì)數(shù)據(jù)有不同的假定，需要按照不同方式轉(zhuǎn)換數(shù)據(jù)，這樣能夠得到一個(gè)準(zhǔn)確度比較高的模型。這個(gè)過程中一般會(huì)進(jìn)行調(diào)整數(shù)據(jù)尺度、正態(tài)化數(shù)據(jù)、標(biāo)準(zhǔn)化數(shù)據(jù)或二值數(shù)據(jù)等操作。

5)評(píng)估算法：通過一定方法分離一部分?jǐn)?shù)據(jù)，用來評(píng)估算法模型，并選取一部分代表數(shù)據(jù)進(jìn)行分析，以改善模型。這個(gè)過程包括主要通過使用scikit-learn進(jìn)行數(shù)據(jù)預(yù)處理和數(shù)據(jù)特征選定，以實(shí)現(xiàn)數(shù)據(jù)尺度的統(tǒng)一或正態(tài)化，并降低數(shù)據(jù)的擬合度[6]。

6)優(yōu)化模型：通過集成算法和算法調(diào)參提升預(yù)測(cè)結(jié)果的準(zhǔn)確度。一般有三種集成算法用于優(yōu)化模型：裝袋(Bagging)算法、提升(Boosting)算法和投票(Voting)算法。其中，袋裝算法先將訓(xùn)練集分離成多個(gè)子集，然后通過各個(gè)子集訓(xùn)練多個(gè)模型；提升算法是訓(xùn)練多個(gè)模型并組成一個(gè)序列，序列中的每一個(gè)模型都修正前一個(gè)模型的錯(cuò)誤；投票算法是訓(xùn)練多個(gè)模型，并采用樣本統(tǒng)計(jì)來提高模型的準(zhǔn)確度。算法調(diào)參是對(duì)參數(shù)化的機(jī)器學(xué)習(xí)模型進(jìn)行處理，用來提高模型的準(zhǔn)確度。一般用網(wǎng)格搜索優(yōu)化參數(shù)和隨機(jī)搜索優(yōu)化參數(shù)兩種方法。

7)模型部署：完成模型，將其部署到項(xiàng)目中，并執(zhí)行模型來預(yù)測(cè)結(jié)果和展示。

2 問題定義及數(shù)據(jù)準(zhǔn)備

2.1 定義問題

這個(gè)項(xiàng)目將通過使用星載銣鐘在真空環(huán)境下的遙測(cè)數(shù)據(jù)建立預(yù)測(cè)模型，數(shù)據(jù)集的每一行都是銣鐘狀態(tài)的描述。數(shù)據(jù)中包含以下4個(gè)特征和1 609條數(shù)據(jù)。選定的數(shù)據(jù)特征如下：

LV：銣鐘燈電壓；

LOCK：鎖定信號(hào)；

LS：光強(qiáng)信號(hào)；

RU：銣信號(hào)。

2.2 導(dǎo)入數(shù)據(jù)

星載銣鐘遙測(cè)數(shù)據(jù)集以.CSV的格式來存儲(chǔ)，因此可以通過標(biāo)準(zhǔn)的Python庫(kù)、NumPy、或者Pandas進(jìn)行導(dǎo)入。由于在機(jī)器學(xué)習(xí)的項(xiàng)目中經(jīng)常使用Pandas做數(shù)據(jù)清洗與數(shù)據(jù)準(zhǔn)備工作，因此本項(xiàng)目使用Pandas導(dǎo)入數(shù)據(jù)集。通過Pandas導(dǎo)入數(shù)據(jù)需要使用pandas.read_csv()函數(shù)，該函數(shù)的返回值為DataFram，可以方便后續(xù)處理。

首先導(dǎo)入在項(xiàng)目中需要的類庫(kù)，并導(dǎo)入數(shù)據(jù)集到Python中，本項(xiàng)目所導(dǎo)入的類庫(kù)如圖2所示，有numpy、matplotlib、pandas和sklearn，其中numpy是一種開源的數(shù)值計(jì)算擴(kuò)展庫(kù)，matplotlib是跨平臺(tái)交互式環(huán)境的繪圖庫(kù)，pandas是基于numpy的為解決數(shù)據(jù)分析任務(wù)而創(chuàng)建的工具庫(kù)，sklearn(全稱scikit-learn)是開源的機(jī)器學(xué)習(xí)工具包。

導(dǎo)入項(xiàng)目類庫(kù)后，為數(shù)據(jù)集中的相應(yīng)數(shù)據(jù)特征定義名稱，并將返回的DataFram命名為dataset，之后就可以開展數(shù)據(jù)分析理解工作了。

圖2 模型預(yù)測(cè)需要導(dǎo)入的類庫(kù)

2.3 理解數(shù)據(jù)

導(dǎo)入數(shù)據(jù)后需要進(jìn)行分析，便于構(gòu)建合適的模型。本項(xiàng)目使用dataset.shape方法觀察數(shù)據(jù)維度，使用dataset.types觀察數(shù)據(jù)特征。

本項(xiàng)目有1 609條記錄和4個(gè)特征屬性，如圖3所示。

本項(xiàng)目所有的特征屬性都是數(shù)字，并且都是浮點(diǎn)數(shù)，如圖4所示。

圖3 數(shù)據(jù)維度信息 圖4 數(shù)據(jù)特征屬性

使用set_option庫(kù)對(duì)數(shù)據(jù)進(jìn)行一次簡(jiǎn)單查看，該數(shù)據(jù)集的前21行數(shù)據(jù)如圖5所示。

圖5 數(shù)據(jù)特征

接下來分析數(shù)據(jù)的描述性統(tǒng)計(jì)信息。該信息中包含數(shù)據(jù)的最大值、最小值、中位值、四分位值等，分析這些數(shù)據(jù)能夠加深對(duì)數(shù)據(jù)分布、數(shù)據(jù)結(jié)構(gòu)等的理解，如圖6所示。

圖6 數(shù)據(jù)描述性統(tǒng)計(jì)信息

然后可以通過圖7查看皮爾遜相關(guān)系數(shù),或通過圖8相關(guān)性矩陣圖，找到數(shù)據(jù)特征之間的關(guān)系。

圖7 皮爾遜相關(guān)系數(shù)

由皮爾遜相關(guān)系數(shù)和相關(guān)矩陣圖可以看到，部分?jǐn)?shù)據(jù)特征具有強(qiáng)關(guān)聯(lián)關(guān)系。在機(jī)器學(xué)習(xí)建模中，當(dāng)數(shù)據(jù)的關(guān)聯(lián)性比較高時(shí)，有些算法(如linear、邏輯回歸等)的性能會(huì)降低。所以在開始訓(xùn)練算法前，應(yīng)對(duì)數(shù)據(jù)特征進(jìn)行降維處理[7]。

3 算法評(píng)估及模型優(yōu)化

3.1 數(shù)據(jù)分析

在評(píng)估機(jī)器學(xué)習(xí)建模的算法時(shí)，由于存在過度擬合的原因，不能將訓(xùn)練集直接作為評(píng)估數(shù)據(jù)集，一般將評(píng)估數(shù)據(jù)集和訓(xùn)練數(shù)據(jù)集完全分開，采用評(píng)估數(shù)據(jù)集來評(píng)估算法模型，這樣做的目的是用來評(píng)判生成模型的準(zhǔn)確度[8]。一般工程上會(huì)將數(shù)據(jù)總量的70%到90%分離出來用于模型訓(xùn)練生成，10%到30%用于評(píng)估算法模型。本項(xiàng)目分離80%的數(shù)據(jù)用于模型訓(xùn)練，20%的數(shù)據(jù)用于算法評(píng)估。

通過對(duì)本項(xiàng)目數(shù)據(jù)集的初步分析不難發(fā)現(xiàn)部分?jǐn)?shù)據(jù)表現(xiàn)出線性分布的特征，因此選擇彈性網(wǎng)絡(luò)回歸和線性回歸等算法處理數(shù)據(jù)的效果可能較好。同時(shí)，考慮到數(shù)據(jù)集中不同時(shí)刻采樣到的數(shù)據(jù)表現(xiàn)出了離散化的特點(diǎn)，因此在算法選擇上也可以同時(shí)考慮引入決策樹或支持向量機(jī)等算法。如何評(píng)估選擇合適的算法，需要進(jìn)一步評(píng)估。

本項(xiàng)目使用十折交叉驗(yàn)證法將數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行分離，再帶入各個(gè)算法中產(chǎn)生模型預(yù)測(cè)結(jié)果。由于帶入算法過程前分離了20%的數(shù)據(jù)用于算法評(píng)估，因此將預(yù)測(cè)結(jié)果與評(píng)估數(shù)據(jù)進(jìn)行均方差計(jì)算，均方差值小的算法準(zhǔn)確度高。

本項(xiàng)目選擇三個(gè)線性算法和三個(gè)非線性算法進(jìn)行比較。

線性算法：線性回歸(LR)、套索回歸(LASS0)、彈性網(wǎng)絡(luò)回歸(EN)。

非線性算法：分類與回歸樹(CART)、支持向量機(jī)(SVM)、K近鄰算法(KNN)。

執(zhí)行結(jié)果如圖9所示。從結(jié)果看，CART具有最優(yōu)的MSE，其次是LR和KNN[9-11]。

圖9 原始數(shù)據(jù)集建模結(jié)果

3.2 評(píng)估算法

本項(xiàng)目數(shù)據(jù)集中的四個(gè)參數(shù)采用了不同的度量單位，這會(huì)影響機(jī)器學(xué)習(xí)的結(jié)果。因此需要先對(duì)數(shù)據(jù)集中的參數(shù)進(jìn)行正態(tài)化處理，然后再次評(píng)估這些算法[12]。為了避免在數(shù)據(jù)正態(tài)化時(shí)出現(xiàn)數(shù)據(jù)采樣偏差，使用Pipeline對(duì)模型進(jìn)行評(píng)估。為了與前面的處理結(jié)果比較，采用與上面相同的均方差計(jì)算來評(píng)估算法模型。

從結(jié)果看，仍然是CART具有最優(yōu)的MSE，其次是LR、KNN和SVM，其中SVM在數(shù)據(jù)處理后精度得到明顯提高。執(zhí)行后結(jié)果如圖10所示。

圖10 正態(tài)化后結(jié)果

3.3 優(yōu)化模型

通過評(píng)估算法，發(fā)現(xiàn)幾個(gè)優(yōu)秀算法的準(zhǔn)確度比較接近，這時(shí)可以使用集成算法進(jìn)一步提高算法準(zhǔn)確度。本項(xiàng)目使用以下兩種流行的集成算法對(duì)表現(xiàn)較好的線性回歸、K近鄰、分類回歸樹算法進(jìn)行集成。袋裝算法(Bagging)是將訓(xùn)練集分離成多個(gè)子集，然后通過各個(gè)子集訓(xùn)練多個(gè)模型。提升算法(Boosting)是訓(xùn)練多個(gè)模型并組成一個(gè)序列，序列中的每一個(gè)模型都會(huì)修正前一個(gè)模型的錯(cuò)誤。本項(xiàng)目采用以下四種模型：

袋裝算法：隨機(jī)森林(RF)、極端隨機(jī)樹(ET)；

提升算法：AdaBoost(AB)、隨機(jī)梯度上升(GBM)。

在分析算法時(shí)依然采用和前面相同的評(píng)估框架和正態(tài)化后的數(shù)據(jù)進(jìn)行。執(zhí)行后結(jié)果如圖11所示。從結(jié)果看，線性算法和非線性算法的準(zhǔn)確度都有提高，其中隨機(jī)梯度上升算法的準(zhǔn)確度最好。

圖11 集成算法后結(jié)果

集成算法都有一個(gè)參數(shù)n_estimators，可以通過調(diào)整這個(gè)參數(shù)進(jìn)一步優(yōu)化算法的準(zhǔn)確度。調(diào)參后程序給出最優(yōu)的n_estimators結(jié)果為100，如圖12所示。

圖12 算法調(diào)參后結(jié)果

由此得到本項(xiàng)目最終的算法是隨機(jī)梯度上升，參數(shù)n_estimators=100，然后通過該算法對(duì)象的.fit方法進(jìn)行訓(xùn)練并生成最終的模型。使用模型對(duì)象的.predict方法就可以進(jìn)行數(shù)據(jù)預(yù)測(cè)了。最后通過評(píng)估數(shù)據(jù)集來評(píng)估該模型的準(zhǔn)確度。本項(xiàng)目使用了sklearn庫(kù)的mean_squared_error模塊來評(píng)估模型的準(zhǔn)確度，以均方差來表示，最終結(jié)果為：5.077。

3.4 模型部署

模型部署是機(jī)器學(xué)習(xí)項(xiàng)目的最后一步，也是最重要的步驟之一。選定算法后，對(duì)算法訓(xùn)練生成模型，通過pickle或joblib將其序列化，并發(fā)布到硬件環(huán)境上。之后就可以利用機(jī)器學(xué)習(xí)解決實(shí)際問題，如對(duì)新產(chǎn)生的遙測(cè)與模型進(jìn)行比較，并預(yù)測(cè)其變化趨勢(shì)等[13]。

對(duì)于使用衛(wèi)星遙測(cè)數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)的結(jié)果既可以應(yīng)用于衛(wèi)星地面測(cè)試系統(tǒng)，提高測(cè)試系統(tǒng)的數(shù)據(jù)分析能力和趨勢(shì)預(yù)報(bào)能力，也可以加載到星上嵌入式設(shè)備中，使衛(wèi)星具備數(shù)據(jù)現(xiàn)場(chǎng)分析和預(yù)測(cè)的能力，這是衛(wèi)星智能化的必要前提。

模型生成之后，也需要定期對(duì)模型進(jìn)行更新，使模型處于最新、最有效的狀態(tài)。

3.5 結(jié)果分析

對(duì)部署后的模型進(jìn)行了預(yù)報(bào)能力評(píng)估測(cè)試，測(cè)試的工況選擇衛(wèi)星在軌運(yùn)行期間需要經(jīng)歷的6種典型環(huán)境，因此將測(cè)試工況抽象為評(píng)估測(cè)試項(xiàng)A～測(cè)試項(xiàng)F。由于LOCK參數(shù)的數(shù)據(jù)聚合度較高，因此選擇以參數(shù)LOCK為測(cè)試對(duì)象進(jìn)行預(yù)報(bào)準(zhǔn)確度評(píng)估。模型預(yù)測(cè)結(jié)果見下表所示。從測(cè)試結(jié)果看，模型預(yù)報(bào)的準(zhǔn)確度優(yōu)于6E-3，說明模型訓(xùn)練和優(yōu)化的效果較好，能夠起到數(shù)據(jù)分析和準(zhǔn)確預(yù)測(cè)的作用。

表1 模型預(yù)測(cè)結(jié)果評(píng)估表

4 結(jié)束語

當(dāng)前，我國(guó)衛(wèi)星設(shè)計(jì)和在軌自主管理的智能化主要通過專家策略來實(shí)現(xiàn)，故障的類別與處理的過程是事先設(shè)計(jì)出來的，這對(duì)于典型故障的識(shí)別與處理有很好的效果，但由于無法充分挖掘星上遙測(cè)數(shù)據(jù)的價(jià)值，無法進(jìn)一步預(yù)測(cè)故障類型，導(dǎo)致對(duì)于意料之外的故障往往束手無策。隨著科技發(fā)展，衛(wèi)星智能化是必然的趨勢(shì)。衛(wèi)星產(chǎn)生的絕大部分?jǐn)?shù)據(jù)都將直接用于實(shí)時(shí)分析與處理，而不再需要生成遙測(cè)信息。作為衛(wèi)星設(shè)計(jì)人員，找到人工智能技術(shù)在衛(wèi)星設(shè)計(jì)和應(yīng)用中的著力點(diǎn)，并利用機(jī)器學(xué)習(xí)的算法對(duì)大數(shù)據(jù)進(jìn)行挖掘處理，是需要認(rèn)真思考和實(shí)踐的。

本文利用Python強(qiáng)大的生態(tài)環(huán)境和開源的算法，使用星載銣鐘遙測(cè)數(shù)據(jù)，按定義問題、導(dǎo)入數(shù)據(jù)、理解數(shù)據(jù)、數(shù)據(jù)分析、評(píng)估算法、優(yōu)化模型到結(jié)果部署七個(gè)步驟，詳細(xì)介紹了模型建立的過程，該模型可用于星上數(shù)據(jù)的實(shí)時(shí)處理和預(yù)報(bào)，并使衛(wèi)星具備實(shí)時(shí)自主控制的能力。本文是機(jī)器學(xué)習(xí)在衛(wèi)星設(shè)計(jì)和應(yīng)用上的探索，所使用的數(shù)據(jù)集為星載銣鐘真空高、低溫環(huán)境下開機(jī)過程的數(shù)據(jù)，因此訓(xùn)練出的模型是否適用于銣鐘長(zhǎng)期穩(wěn)定后的狀態(tài)還需要進(jìn)一步測(cè)試驗(yàn)證[14-15]。