孔祥芬,蔡峻青,張利寒,唐杰,侯晨光
1.中國民航大學(xué) 航空工程學(xué)院,天津 300300 2.中國航空綜合技術(shù)研究所,北京 100028
當(dāng)今世界正在產(chǎn)生越來越多的數(shù)據(jù),這些迅猛增長的數(shù)據(jù)已經(jīng)遠遠超越常規(guī)軟件工具所能處理的范疇。作為大規(guī)模數(shù)據(jù)的有效處理手段[1],大數(shù)據(jù)技術(shù)自問世以來,就得到了廣泛關(guān)注[2-3]并已經(jīng)在電力、水利、醫(yī)療、氣象[4-7]等領(lǐng)域獲得了迅猛的發(fā)展。美國政府、英國政府及歐盟委員會等[8-11]已紛紛將大數(shù)據(jù)提升至戰(zhàn)略高度,中國也相繼出臺大數(shù)據(jù)白皮書[12]與行動綱要[13]以引導(dǎo)和鼓勵各領(lǐng)域在大數(shù)據(jù)分析方法及關(guān)鍵應(yīng)用技術(shù)等方面開展探索研究。
航空系統(tǒng)生來擁有大數(shù)據(jù)基因[14]。作為由眾多系統(tǒng)及零部件構(gòu)成的復(fù)雜產(chǎn)品,現(xiàn)代化飛機裝載的傳感器能夠記錄數(shù)以千計的飛行參數(shù),每次飛行,僅僅是發(fā)動機就能產(chǎn)生1 TB數(shù)據(jù)[15]。除了這些飛行數(shù)據(jù),維修基地、庫存系統(tǒng)以及各種監(jiān)管機構(gòu)也產(chǎn)生大量的數(shù)據(jù),這形成了航空系統(tǒng)的大數(shù)據(jù)爆炸。大數(shù)據(jù)技術(shù)為解決當(dāng)前航空系統(tǒng)面臨的問題帶來了新的機遇,航空大數(shù)據(jù)可以集成多部門、多源、多尺度的結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù),借助云計算、人工智能等新型分析手段,實現(xiàn)集成分析和信息挖掘,有助于提高飛行安全性、減少運行延誤、更好地管理備件、預(yù)測各種設(shè)備的維護情況以及提高機隊的燃油經(jīng)濟性等,包括設(shè)計、開發(fā)、生產(chǎn)和運營在內(nèi)的整個航空產(chǎn)業(yè)鏈都將從中獲利。此外由于信息化基礎(chǔ)、業(yè)內(nèi)競爭和市場開放的要求,航空系統(tǒng)也必須與大數(shù)據(jù)分析結(jié)合[16]。
目前已有不少專家學(xué)者以及原始設(shè)備制造商(Original Equipment Manufacturer,OEM)、運營商(Maintenance, Repair & Operations,MRO)等企業(yè)對大數(shù)據(jù)在航空系統(tǒng)的應(yīng)用進行了研究,并且實驗成果正逐步轉(zhuǎn)化為實際應(yīng)用,但由于航空系統(tǒng)屬于保護性行業(yè)以及數(shù)據(jù)的保密性,整體的研究依舊以企業(yè)作為主導(dǎo)。本文將于第1節(jié)介紹學(xué)術(shù)界研究現(xiàn)狀,第2節(jié)分別介紹航空工業(yè)界在大數(shù)據(jù)采集、傳輸與存儲、分析平臺以及行業(yè)內(nèi)應(yīng)用的研究現(xiàn)狀,第3節(jié)指出當(dāng)前面臨的挑戰(zhàn)與發(fā)展趨勢,第4節(jié)為結(jié)論。
從定義看,數(shù)據(jù)是對客觀世界進行量化和記錄的結(jié)果[17]。這種記錄的粒度越來越細、維度越來越多、頻度越來越密,形成了“大數(shù)據(jù)”。大數(shù)據(jù)一般被認(rèn)為是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合[18]。要想讓大數(shù)據(jù)在面對規(guī)模龐大、高速增長和形態(tài)多樣的信息資產(chǎn)時具有更高的決策力、洞察力以及流程優(yōu)化能力,必須開發(fā)新的處理模式[19]。
相對于傳統(tǒng)的數(shù)據(jù)集合,將大數(shù)據(jù)的特點概括為“5V特性”[20]:規(guī)模性(Volume)、高速性(Velocity)、多樣性(Variety)、價值性(Value)、真實性(Veracity)。規(guī)模性是指數(shù)據(jù)量龐大,數(shù)據(jù)洪流已經(jīng)從GB、TB級上升到PB、EB、ZB級。高速性有兩層含義,一是數(shù)據(jù)量增長快,數(shù)據(jù)以數(shù)據(jù)流的形態(tài)快速、動態(tài)地產(chǎn)生;二是數(shù)據(jù)處理速度快[21]。多樣性是指數(shù)據(jù)類型繁多,并且包含結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。價值性一方面是說價值密度稀疏,另一方面是指潛在價值高,合理運用大數(shù)據(jù),可以用低成本創(chuàng)造高價值。而真實性是對數(shù)據(jù)質(zhì)量的要求[22]。
學(xué)術(shù)界對于新事物的出現(xiàn)一直保持著高度的敏感,大數(shù)據(jù)發(fā)展早期階段,《Nature》《Science》就已經(jīng)推出??痆23-24]深入討論了數(shù)據(jù)洪流所帶來的挑戰(zhàn),并指出如果能夠更有效地組織和利用,這些海量數(shù)據(jù)將帶來巨大利益。
當(dāng)前大數(shù)據(jù)發(fā)展較為迅猛的領(lǐng)域主要集中在計算機、醫(yī)療、電力、水利等領(lǐng)域。廖湘科等[25]針對大數(shù)據(jù)處理對計算機高性能計算設(shè)計帶來的挑戰(zhàn),介紹了天河二號超級計算機系統(tǒng)所采用的多種優(yōu)化措施,為大數(shù)據(jù)時代的超級計算機設(shè)計提供參考。薛付忠[26]創(chuàng)建了涵蓋健康/疾病檢測、風(fēng)險評估與干預(yù)的“大數(shù)據(jù)驅(qū)動的健康/疾病管理學(xué)理論方法體系”,并以此大力推進健康醫(yī)療大數(shù)據(jù)產(chǎn)業(yè)化發(fā)展。Kalam等[27]采用大數(shù)據(jù)分析技術(shù)對過電壓、低電壓事件與環(huán)境溫度、事件發(fā)生時刻、電壓幅值等數(shù)據(jù)之間的關(guān)系進行研究,分析了住宅光伏發(fā)電裝置和氣溫變化等因素對配電網(wǎng)低壓供電點的影響。Li等[28]研究基于超閾值廣義帕累托(Peak Over Threshold/Generalized Pareto, POT/GP)模型的水流大數(shù)據(jù)分析方法,并利用該方法對丹江口水庫的洪水進行預(yù)測。
同時,相關(guān)的基礎(chǔ)設(shè)施建設(shè)也在逐步跟進。歐美等發(fā)達國家由于技術(shù)的領(lǐng)先地位,率先將大數(shù)據(jù)運用于醫(yī)療衛(wèi)生等領(lǐng)域,并建立了專門的技術(shù)中心以及數(shù)據(jù)處理中心,以支持大數(shù)據(jù)的研究與應(yīng)用[29-31]。國內(nèi)許多高等院校和研究所也開始成立大數(shù)據(jù)的研究機構(gòu),同時有關(guān)大數(shù)據(jù)的學(xué)術(shù)組織和活動也紛紛成立和開展。從2012年起,中國機械工程學(xué)會、中國計算機學(xué)會以及中國通信學(xué)會等各大學(xué)會逐步組建專門的大數(shù)據(jù)委員會[32],并以論壇、大賽、會議等形式進行大數(shù)據(jù)的交流,教育部也開始對各高校大數(shù)據(jù)技術(shù)的研究進行了更多關(guān)注[33]。
為了有效地利用大數(shù)據(jù),有必要開發(fā)和使用可視化方法和計算工具。Park等[34]表示,有必要利用航空領(lǐng)域的大數(shù)據(jù)以及各種數(shù)據(jù)分析與可視化技術(shù)來收集和積累系統(tǒng)數(shù)據(jù)。Qin[35]介紹了一種使用飛行記錄器數(shù)據(jù)的工業(yè)大數(shù)據(jù)可視化研究方法以發(fā)現(xiàn)影響飛機燃油效率的因素,并將數(shù)據(jù)處理和可視化的方法歸納為5個部分:靈活的數(shù)據(jù)準(zhǔn)備、交互式探索、大數(shù)據(jù)可視化、統(tǒng)計驗證和報表自動化。然而整個數(shù)據(jù)可視化過程皆由R語言實現(xiàn),尚無法得知該方法在Python等語言上的適用性及其與其他組件和語言的交互性。
相對而言,學(xué)術(shù)界在航空大數(shù)據(jù)可視化的研究主要集中于機場方面。Sang等[36]利用清州國際機場的大數(shù)據(jù)分析了創(chuàng)造需求的方式,但是可視化的內(nèi)容不夠充分,分析工具沒有經(jīng)過獨立驗證證明是可靠的。Hwang[37]利用社會網(wǎng)絡(luò)的大數(shù)據(jù)對襄陽國際機場用戶的服務(wù)趨勢進行定量和可視化分析,明確客戶對機場服務(wù)的不同意見所導(dǎo)致的影響,從而給供應(yīng)商提出建議。該研究在大數(shù)據(jù)信息提取中采取的關(guān)鍵詞方法簡潔高效,但是可視化分析結(jié)果與關(guān)鍵詞的選取高度相關(guān)。Rehm等[38]討論了兩種最近的高維數(shù)據(jù)可視化技術(shù),將航空數(shù)據(jù)和天氣數(shù)據(jù)可視化,從而進行運營優(yōu)化,并展示了在歐洲主要機場的實際應(yīng)用。兩種技術(shù)都可以很好地將歐洲機場的航空數(shù)據(jù)和天氣數(shù)據(jù)可視化,目前主要的局限性在于運算速度。此外,鑒于歐洲各國多為地中海氣候,而世界各國機場所處氣候帶不同,天氣狀況存在差異,在使用過程中需針對性調(diào)整。Rathod等[39]對機場等待時間進行了探索性分析,從美國最繁忙的前三名機場(亞特蘭大、芝加哥和洛杉磯)采集數(shù)據(jù),應(yīng)用了多種數(shù)據(jù)可視化技術(shù),討論了這些機場在各種可視化方面的比較。該可視化分析結(jié)果將有助于預(yù)測旅客等待時間,可利用該方法結(jié)合各機場空間布局對等待時間進行優(yōu)化。
大數(shù)據(jù)應(yīng)用于航空系統(tǒng),很大程度上將用來提升旅客滿意度以及自身的運營收益。通過了解機場乘客的動態(tài)流量,大數(shù)據(jù)分析有助于規(guī)劃機場系統(tǒng)的進度。隨著社交網(wǎng)絡(luò)的普及,航空系統(tǒng)正逐步利用網(wǎng)絡(luò)平臺進一步提升旅客服務(wù)和競爭力。意識到這種大數(shù)據(jù)分析的新趨勢,Chen等[40]提出了基于社交媒體平臺的乘客價值模型,并以新浪微博中的中國南方航空為例,表明大數(shù)據(jù)分析能夠幫助航空公司更好地了解乘客并改善客戶關(guān)系管理。Tom等[41]使用大數(shù)據(jù)來預(yù)測希思羅機場的乘客流量,以改善移民、安全系統(tǒng)滲透、登機和離境的情況。
對于航空大數(shù)據(jù)輔助運營,Clemons等[42]使用大數(shù)據(jù)技術(shù)來描述1998—2014年間的美國航空運輸系統(tǒng),通過將這一層次上發(fā)生的變化與外部事件相關(guān)聯(lián)來分析行為驅(qū)動因素以及航空公司運營指標(biāo),并基于歷史數(shù)據(jù)構(gòu)建了一個數(shù)據(jù)挖掘工具箱以指導(dǎo)對未來系統(tǒng)特征的預(yù)測。Kasturi等[43]基于多種啟發(fā)式方法對大規(guī)模航空數(shù)據(jù)執(zhí)行大數(shù)據(jù)分析,提出航空公司航線盈利能力優(yōu)化模型,實際效果證明該方法分析簡便,有助于優(yōu)化決策過程。Kim等[44]將大數(shù)據(jù)分析中的文本挖掘方法應(yīng)用于航空業(yè),對每年潛在的主題文章內(nèi)容進行分析,提取并確定航空業(yè)的趨勢和前景,但研究僅限于包含航空相關(guān)關(guān)鍵詞的文章。
此外,在健康管理領(lǐng)域,陳金等[45]基于現(xiàn)在可用的數(shù)據(jù)和可預(yù)見的未來,為民航飛機健康管理提供了一個大數(shù)據(jù)分析和應(yīng)用平臺的設(shè)計。雖然并不完善,但可以滿足當(dāng)前的需求。Li等[46]提出了一種飛機健康管理的大數(shù)據(jù)體系結(jié)構(gòu),為世界各地運營的飛機提供管理和分析服務(wù),以此解決故障覆蓋率低、故障隔離率低、誤報率高以及維護效率低等問題。Li等[47]還提出了一個便于民航發(fā)展的民航飛機大數(shù)據(jù)平臺,從多種數(shù)據(jù)源收集數(shù)據(jù),為民用飛機提供決策支持及應(yīng)用系統(tǒng)。Xu和Kumar[48]介紹了基于機器學(xué)習(xí)的大數(shù)據(jù)分析框架,并將其用于提高輔助電源單元健康監(jiān)測服務(wù)的質(zhì)量和性能,目前已將準(zhǔn)確度提高到60%。此外,文中指出:為互聯(lián)網(wǎng)公司以及網(wǎng)絡(luò)應(yīng)用程序所開發(fā)和使用的許多機器學(xué)習(xí)算法不能直接應(yīng)用于航空領(lǐng)域,并且大數(shù)據(jù)技術(shù)可能不易用于工業(yè)領(lǐng)域。這兩條意見需引起相關(guān)專家學(xué)者重視。
國內(nèi)外學(xué)者在大數(shù)據(jù)分析領(lǐng)域也進行了有意義的探索。Singh和Kaushik[49]為了從大數(shù)據(jù)中獲取有價值的預(yù)測信息,定義大數(shù)據(jù)中間層體系結(jié)構(gòu)來執(zhí)行查詢分析和大數(shù)據(jù)評估。提出以元數(shù)據(jù)的形式存儲數(shù)據(jù)集的所有方面,以使用戶查詢將在選擇性數(shù)據(jù)集而不是整個數(shù)據(jù)集上執(zhí)行,并提供一個優(yōu)化的方法來執(zhí)行數(shù)據(jù)清理以及數(shù)據(jù)關(guān)聯(lián)和分類,但該方法在效率上仍存在問題。Athan等[50]描述了一種新穎的分析系統(tǒng),可以對大型航空數(shù)據(jù)流進行查詢處理和預(yù)測分析。然而該系統(tǒng)必須與航班數(shù)據(jù)進行關(guān)聯(lián)才能分析,且目前硬件僅由3臺物理服務(wù)器組成,若擴大使用需考慮兼容性問題。Anandavel等[51]介紹了開發(fā)和使用大數(shù)據(jù)基礎(chǔ)架構(gòu)分析航空數(shù)據(jù)的方法,并利用大數(shù)據(jù)分析領(lǐng)域的最新工具和技術(shù)來改進維修決策。不過研究中使用案例較為簡單,還需要復(fù)雜航空數(shù)據(jù)對該大數(shù)據(jù)分析架構(gòu)進行檢驗。
本節(jié)主要介紹航空系統(tǒng)中大數(shù)據(jù)采集、傳輸與存儲,航空大數(shù)據(jù)分析平臺基礎(chǔ)架構(gòu)和大數(shù)據(jù)應(yīng)用等方面的現(xiàn)狀,同時也對航空系統(tǒng)中典型的大數(shù)據(jù)分析平臺進行簡要闡述。
大數(shù)據(jù)技術(shù)的核心價值在于對數(shù)據(jù)進行深入挖掘分析,提取有意義的信息從而對數(shù)據(jù)進行增值。美國聯(lián)合航空公司[52]曾表示航空系統(tǒng)在數(shù)據(jù)收集上一直做得很好,而在數(shù)據(jù)利用上卻并不很擅長。C919總設(shè)計師吳光輝[53]也認(rèn)為迄今為止航空大數(shù)據(jù)的潛能仍然沒有得到很好挖掘。國泰航空董事長John Slosar、印度尼西亞鷹航首席執(zhí)行官Wiobowo以及澳洲航空首席執(zhí)行官Alan都曾指出[54]:從數(shù)字經(jīng)濟的發(fā)展趨勢看,航空公司必須不斷發(fā)展挖掘大數(shù)據(jù)的技術(shù)手段,建立強大的IT根基,未來市場將淘汰今天不肯在大數(shù)據(jù)挖掘和分析領(lǐng)域投入的航空公司。目前為止,所有發(fā)動機生產(chǎn)商,從普拉特·惠特尼公司(P&W,簡稱普惠)到GE以及CFM集團[55]都在通過應(yīng)用大數(shù)據(jù),改善提供給航空公司的產(chǎn)品,而各航空公司及維修基地也立足自己的數(shù)據(jù)資源進行大數(shù)據(jù)平臺的開發(fā)。
基于機載傳感器[56]的大數(shù)據(jù)獲取技術(shù)主要分為民航領(lǐng)域普遍應(yīng)用的快速存儲記錄器(Quick Access Recorder, QAR),航空裝備制造商普遍使用的遠程診斷(Remote Diagnosis, RD)數(shù)據(jù)采集技術(shù),以及軍用航空裝備領(lǐng)域普遍應(yīng)用的基于飛行數(shù)據(jù)管理系統(tǒng)(Flight Data Management System, FDMS)的數(shù)據(jù)采集技術(shù)。QAR飛參數(shù)據(jù)獲取技術(shù)通過機載快速存取裝置,可同時采集包括飛機飛行姿態(tài)、機上設(shè)備運行狀態(tài)、燃油使用量在內(nèi)的數(shù)百種數(shù)據(jù)。RD數(shù)據(jù)采集技術(shù)則通過飛機渦輪風(fēng)扇發(fā)動機上的傳感器采集發(fā)動機在起飛和降落階段的各種關(guān)鍵參數(shù)?;贔DMS的數(shù)據(jù)采集技術(shù)則是通過軍用飛機內(nèi)部的飛行數(shù)據(jù)管理系統(tǒng)收集數(shù)據(jù),收集的數(shù)據(jù)類型涉及飛機的發(fā)動機、飛控、導(dǎo)航和供電等機載系統(tǒng)的各項信息。
現(xiàn)在,有不少制造商都在如何采集、傳輸和存儲飛機傳感器數(shù)據(jù)方面開展工作,提出相應(yīng)的解決方案?;裟犴f爾公司[57]開發(fā)了JetWave高速通信系統(tǒng),可以將飛機運行數(shù)據(jù)實時傳送到地面,提高飛行效率和安全。波音公司[58]研發(fā)出飛機狀況管理系統(tǒng),不但可以采集并傳輸飛行數(shù)據(jù),還可以進行數(shù)據(jù)分析預(yù)測故障,從而實現(xiàn)維修預(yù)測。ARINC公司[59]開發(fā)完成了飛機狀態(tài)分析和管理系統(tǒng),該系統(tǒng)可以采集分析飛機上多個來源的數(shù)據(jù)信息,進行故障診斷,并評估故障部件對飛行的影響,使維修技術(shù)人員可以提前準(zhǔn)備好航材備件及拆裝工具,降低航班延誤的風(fēng)險。聯(lián)合技術(shù)航空系統(tǒng)(UTAS)公司開發(fā)出飛機接口裝置(Aircraft Interface Device, AID)用來收集和利用來自飛機的各種數(shù)據(jù)。該裝置作為預(yù)測飛機健康的數(shù)據(jù)中心,無論是在飛行過程中或是在地面都可以通過多種方法將數(shù)據(jù)傳送給飛行員或者工程技術(shù)人員,AID還可收集來自于飛機外場可更換件的數(shù)據(jù)并進行視情診斷。除了AID,UTAS公司還在開發(fā)新的系統(tǒng)用于飛機內(nèi)部的傳感器、作動器和數(shù)據(jù)處理網(wǎng)點之間的無線通信,其中的一個目標(biāo)是可以收集更多的數(shù)據(jù)進行故障診斷。
而普惠在航空大數(shù)據(jù)采集、傳輸與存儲上都已有相應(yīng)成果。普惠推出了[60]用于在線收集各飛行階段發(fā)動機數(shù)據(jù)的先進診斷與發(fā)動機管理(Advanced Diagnostics and Engine Management, ADEM)工具,對在役的7 000多臺普惠發(fā)動機進行基于實時數(shù)據(jù)的專家分析。與此同時,為提高數(shù)據(jù)的存儲和計算能力,普惠與IBM、麻省理工全球運營領(lǐng)袖項目及聯(lián)合技術(shù)研究中心等[61]展開合作,將商務(wù)、工程和制造系統(tǒng)都通過IBM云進行管理,憑借IBM的支持以增強其對4 000多臺在役商用發(fā)動機的性能監(jiān)控能力,為客戶提供更長的在翼時間、更強大的發(fā)動機機隊管理和健康解決方案。普惠加拿大公司的基于飛機聯(lián)通性的飛行數(shù)據(jù)采集、存儲、傳輸(Flight data Acquisition, Storage, Transmission, FAST)解決方案,是用無線方式采集和傳送飛行過程中的飛機和發(fā)動機數(shù)據(jù)。FAST將分析數(shù)百個與性能相關(guān)的數(shù)據(jù),如速度、溫度、壓力,以提供接近實時的發(fā)動機健康、使用和性能趨勢的監(jiān)控。
此外,羅爾斯·羅伊斯(簡稱羅羅)正收集和分析[62]發(fā)動機的設(shè)計、生產(chǎn)、機隊和運行方面的數(shù)據(jù),以及了解天氣條件、機場設(shè)施、飛機滑行情況和周轉(zhuǎn)時間等方面的數(shù)據(jù)與微軟合作開發(fā)“智能發(fā)動機”。中國東方航空機務(wù)系統(tǒng)[63]也在全面整合與統(tǒng)一整個機隊數(shù)據(jù),并進一步擴大對飛機各系統(tǒng)的數(shù)據(jù)采集與分析的覆蓋范圍,為后續(xù)利用大數(shù)據(jù)技術(shù)全面保障機隊的持續(xù)、穩(wěn)定、高水平運行打下堅實基礎(chǔ)。澳洲航空公司、中國國際航空股份有限公司、深圳航空有限責(zé)任公司也都引入了數(shù)據(jù)采集系統(tǒng)并收集了大量的數(shù)據(jù),為大數(shù)據(jù)技術(shù)的全面應(yīng)用做出充分的準(zhǔn)備[64]。
2.2.1 航空大數(shù)據(jù)平臺基礎(chǔ)架構(gòu)
當(dāng)前接納程度較高的航空大數(shù)據(jù)平臺基礎(chǔ)架構(gòu)主要思想是利用分布式文件處理系統(tǒng)作為航空大數(shù)據(jù)的存儲框架,利用分布式計算技術(shù)作為航空大數(shù)據(jù)的處理框架。架構(gòu)中包含數(shù)據(jù)采集及預(yù)處理、數(shù)據(jù)倉庫、大數(shù)據(jù)訪問框架等模塊,整體上可以分為數(shù)據(jù)層、分析層與應(yīng)用層三大塊。其中航空大數(shù)據(jù)生成和采集是一切工作的前提,而航空大數(shù)據(jù)的安全存儲是完成工作的保障。
1) 采集和預(yù)處理。航空數(shù)據(jù)的采集,即指使用某種技術(shù)或者手段獲得原始數(shù)據(jù)的過程。數(shù)據(jù)采集不僅要考慮數(shù)據(jù)源的物理性質(zhì),還要考慮數(shù)據(jù)分析的目標(biāo)。為使數(shù)據(jù)記錄做到全方位、全過程、全納和非干預(yù)的采集,不會造成結(jié)構(gòu)性短缺,除結(jié)構(gòu)化數(shù)據(jù)的采集,圖片、視頻、語音等非結(jié)構(gòu)化的數(shù)據(jù)也屬于采集對象。
由于數(shù)據(jù)來源結(jié)構(gòu)復(fù)雜,采集的原始數(shù)據(jù)中常常會存在與數(shù)據(jù)分析目標(biāo)相關(guān)性不大的成分。再加上不同的系統(tǒng)擁有不同的標(biāo)準(zhǔn),而這會導(dǎo)致數(shù)據(jù)的冗余和不完整,形成大量模糊信息,因此需要對采集后的數(shù)據(jù)進行預(yù)處理。數(shù)據(jù)的預(yù)處理以實現(xiàn)互操作為基礎(chǔ)。此外,傳統(tǒng)的數(shù)據(jù)預(yù)處理技術(shù)主要針對規(guī)模較小且語義清楚的結(jié)構(gòu)化數(shù)據(jù),而大數(shù)據(jù)的融合和質(zhì)量控制仍然是一個需要深入研究的問題,需要結(jié)合大數(shù)據(jù)的異構(gòu)性、冗余性和相關(guān)性等特性深入分析??傊瑪?shù)據(jù)預(yù)處理過程是重要環(huán)節(jié),通過數(shù)據(jù)預(yù)處理,為大數(shù)據(jù)分析的順利進行開辟了道路,也是高效率完成大數(shù)據(jù)分析的前提和基礎(chǔ)。
2) 存儲和共享。大數(shù)據(jù)存儲框架構(gòu)建在通用的設(shè)備上,可以使該架構(gòu)所需的硬件具有低成本和高擴展性的特點,標(biāo)準(zhǔn)的設(shè)備即可成為該架構(gòu)的終端構(gòu)成單元。目前Hadoop逐漸被互聯(lián)網(wǎng)企業(yè)廣泛接納,Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System, HDFS)可以實現(xiàn)計算節(jié)點上的數(shù)據(jù)存儲,從而實現(xiàn)對數(shù)據(jù)的高吞吐率,其可以部署在大規(guī)模廉價硬件集群上的特點使其特別適合于大規(guī)模數(shù)據(jù)存儲。
航空相關(guān)企業(yè)已經(jīng)收集了滿足自身的數(shù)據(jù),但這些航空大數(shù)據(jù)分散存儲在不同的地方、不同的系統(tǒng)中,造成了服務(wù)目標(biāo)單一、數(shù)據(jù)利用效率不高等問題,且大多無法處理和分析海量、多源、異構(gòu)的信息資源。同時數(shù)據(jù)庫之間存在著缺乏統(tǒng)一、有效的數(shù)據(jù)管理和共享機制等問題,形成了諸多“信息孤島”。此外,航空數(shù)據(jù)分散存儲在各自系統(tǒng)中,容易造成數(shù)據(jù)的安全漏洞,因此需要研究如何實現(xiàn)分散存儲數(shù)據(jù)之間的融合及同步處理分析技術(shù),對存儲的數(shù)據(jù)進行數(shù)據(jù)共享。首先,需要對已經(jīng)存在的航空信息系統(tǒng)的原始數(shù)據(jù)進行分析,了解各類數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)之間存在的邏輯關(guān)系。在此基礎(chǔ)上制定統(tǒng)一的數(shù)據(jù)存儲和共享標(biāo)準(zhǔn),通過統(tǒng)一的技術(shù)架構(gòu)和集成方法,有效降低數(shù)據(jù)交換和共享的復(fù)雜度,提高數(shù)據(jù)使用效率。繼而制定航空大數(shù)據(jù)的資源目錄,對數(shù)據(jù)接口、數(shù)據(jù)格式以及數(shù)據(jù)編碼進行統(tǒng)一定義。然后,需要定義數(shù)據(jù)整合規(guī)則及策略,并建立嚴(yán)格的數(shù)據(jù)校驗機制和數(shù)據(jù)共享機制。最后,開發(fā)分布式云平臺的數(shù)據(jù)存儲技術(shù),實現(xiàn)基于云平臺的數(shù)據(jù)統(tǒng)一存儲和共享。
3) 大數(shù)據(jù)分析。大數(shù)據(jù)存儲框架之上是通過網(wǎng)絡(luò)層連接的大數(shù)據(jù)訪問框架與大數(shù)據(jù)調(diào)度框架,大數(shù)據(jù)調(diào)度框架實現(xiàn)了對大數(shù)據(jù)的組織與調(diào)度,為數(shù)據(jù)分析提供了必要條件。大數(shù)據(jù)分析是航空大數(shù)據(jù)平臺的核心,是指對海量類型多樣、增長快速、內(nèi)容真實的數(shù)據(jù)進行分析,從而找出可以幫助決策的隱藏模式、未知的相關(guān)關(guān)系以及其他有用信息的過程。
大數(shù)據(jù)分析一般利用分布式計算集群對數(shù)據(jù)進行可視化分析、數(shù)據(jù)挖掘算法、預(yù)測性分析能力語義引擎等。可視化分析是對數(shù)據(jù)進行關(guān)聯(lián)分析并做出分析圖表,使數(shù)據(jù)直接展現(xiàn)在用戶面前。數(shù)據(jù)挖掘是從數(shù)據(jù)中提取隱含在其中、人們事先不知道、但又潛藏有用的信息和知識的過程。預(yù)測性分析能力是指應(yīng)用統(tǒng)計學(xué)方法,根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果來對未來發(fā)展進行預(yù)測的手段。語義引擎指的是對用戶的查詢關(guān)鍵字進行處理,引申語義含義從而更加準(zhǔn)確、全面實現(xiàn)用戶檢索。
航空大數(shù)據(jù)分析主要有批處理和流處理兩種方式。在批處理研究方面,MapReduce是常用的批處理引擎,然而MapReduce雖然能夠有效解決大數(shù)據(jù)處理中性能不足的難題,卻無法高效地支持算法邏輯運算。而類MapReduce的通用并行框架Spark具有更高的效率和數(shù)據(jù)獨立性,以及更高的執(zhí)行效率。在流處理方面,Storm是較為常用的流式處理系統(tǒng),其采用消息流的處理模型,消息一旦產(chǎn)生就開始傳遞和處理。
4) 其他。大數(shù)據(jù)調(diào)度框架之上是智能應(yīng)用系統(tǒng)。在應(yīng)用層面,需要針對航空相關(guān)技術(shù)領(lǐng)域,深入開展大數(shù)據(jù)技術(shù)應(yīng)用需求分析、場景設(shè)計、分析模型、專業(yè)方法的研究,催生具體應(yīng)用。航空系統(tǒng)是一種高維非線性的復(fù)雜系統(tǒng),對其中的子信息源而言,一方面可以單獨應(yīng)用大數(shù)據(jù)技術(shù),提升其價值,另一方面可以融合不同的子信息源,在更高的層面上構(gòu)建大數(shù)據(jù)平臺。此外,大數(shù)據(jù)的管理、安全和備份恢復(fù)框架用來幫助進行大數(shù)據(jù)的治理和保護。
2.2.2 典型航空大數(shù)據(jù)平臺
事實上,整個航空系統(tǒng)已有不少企業(yè)將其大數(shù)據(jù)分析技術(shù)綜合利用形成大數(shù)據(jù)分析平臺。較為出名的有GE推出的Predix平臺,波音推出的AnalytX平臺,普惠推出的Engine Wise平臺,空客Skywise平臺,法荷航Prognos平臺以及漢莎旗下的Condition Analytics與AVIATAR兩大平臺。
1) GE Predix平臺。早在2013年,GE便已經(jīng)發(fā)現(xiàn)了大數(shù)據(jù)的廣闊前景,并開發(fā)出一個基于云計算的軟件平臺Predix。此后幾年,圍繞Predix平臺,GE進行了大量的動作。2014年,GE已經(jīng)將各種工業(yè)設(shè)備的管理方案,整合成了四十余種數(shù)據(jù)與分析解決方案。2015年,GE成立了“GE Digital”,并宣布將Predix全面對外開放[65]。2016年初,Predix平臺正式開始運行,成為首個面向全球工業(yè)領(lǐng)域、專為工業(yè)數(shù)據(jù)分析開發(fā)的云服務(wù)平臺。
一開始的Predix只是一個GE飛機引擎的配套軟件服務(wù),用來對飛機引擎進行預(yù)見性維護,借此避免設(shè)備停機。而后,Predix的應(yīng)用擴大到GE旗下的其他工業(yè)業(yè)務(wù)。最后,基于戰(zhàn)略需要,Predix被GE重新定義為在工業(yè)應(yīng)用中基于云的操作系統(tǒng)。Predix平臺以連接工業(yè)資產(chǎn)設(shè)備和合作供應(yīng)商各類信息系統(tǒng)為基礎(chǔ),提供端到端的安全連接、實時性的設(shè)備資產(chǎn)監(jiān)控以及云端大數(shù)據(jù)分析,還能夠按行業(yè)客戶需要,按照Predix開發(fā)規(guī)則進行個性化、定制化的軟件開發(fā)和部署。Predix結(jié)合自身的層次化技術(shù)構(gòu)架,包含3個層次的服務(wù):包括“數(shù)字雙胞胎”、預(yù)集成的標(biāo)準(zhǔn)化工業(yè)數(shù)據(jù)挖掘和分析工具等在內(nèi)的應(yīng)用層;包括應(yīng)用開發(fā)服務(wù)以及資產(chǎn)、分析、數(shù)據(jù)、安全、運營服務(wù)六大核心服務(wù)在內(nèi)的工具庫;通過軟件和互聯(lián)網(wǎng)的方式,提供物聯(lián)網(wǎng)邊緣的設(shè)備接入、管理、應(yīng)用服務(wù)的Predix邊緣服務(wù)。
作為全球第1個專為工業(yè)數(shù)據(jù)與分析而開發(fā)的操作系統(tǒng),它能夠快速獲取、分析海量高速運行的工業(yè)數(shù)據(jù),做到對機器的實時監(jiān)測、調(diào)整和優(yōu)化,提升運營效率。此外,相比于傳統(tǒng)大數(shù)據(jù)存儲技術(shù),航空大數(shù)據(jù)存儲技術(shù)需要有專門的工業(yè)解析協(xié)議來解析收集的航空數(shù)據(jù),GE開發(fā)的Predix工業(yè)互聯(lián)網(wǎng)平臺可支持7種工業(yè)通信協(xié)議,并具備相關(guān)工業(yè)設(shè)備運行數(shù)據(jù)的實時傳輸與解析能力,可以與各種云環(huán)境中的應(yīng)用和服務(wù)進行無縫銜接,將其用于發(fā)動機狀態(tài)監(jiān)控,幫助發(fā)動機監(jiān)控團隊捕捉更多的數(shù)據(jù),使數(shù)據(jù)分析變得更精確、更快捷。同時,結(jié)合GE自身在運營安全和信息安全領(lǐng)域數(shù)十年的經(jīng)驗,大數(shù)據(jù)的安全存儲問題也將得到保證。
2) 波音AnalytX平臺。2017年第52屆巴黎航展期間,波音宣布啟動AnalytX,將全公司800多名分析專家匯聚在一起,將數(shù)據(jù)轉(zhuǎn)化為可執(zhí)行的見解和客戶解決方案。直至MRO歐洲會議和展覽會結(jié)束,AnalytX解決方案已為波音公司帶來223份分析合同。
該平臺是將波音現(xiàn)有分析服務(wù)和產(chǎn)品聯(lián)合在一起的企業(yè)能力,提供量身定制的分析驅(qū)動產(chǎn)品和服務(wù)組合。AnalytX應(yīng)用科學(xué)流程,通過先進的數(shù)據(jù)收集和處理能力,然后將其與航空專業(yè)知識相結(jié)合,提供智能解決方案,幫助客戶做出數(shù)據(jù)決策,從而在飛行任務(wù)優(yōu)化、維護和工程優(yōu)化、供應(yīng)鏈和庫存優(yōu)化、機隊性能和可靠性分析、降低燃油成本、降低風(fēng)險、提高效率以及預(yù)測性維護等領(lǐng)域提供產(chǎn)品和服務(wù),所有這些產(chǎn)品和服務(wù)都旨在加強數(shù)字化轉(zhuǎn)型和MRO價值提升。目前,AnalytX已開發(fā)出一系列新服務(wù),這些新服務(wù)能以更快的流動時間,更低的運營成本和更高的端到端可靠性形式推動著創(chuàng)新生命周期,隨著這些工具的引入,AnalytX平臺將能更高效、更經(jīng)濟地為客戶提供大量規(guī)定性、預(yù)測性和描述性解決方案。
3) 普惠Engine Wise平臺。2017年4月25日,普惠于弗羅里達州奧蘭多市宣布推出商用發(fā)動機服務(wù)平臺Engine Wise。Engine Wise依托大數(shù)據(jù)技術(shù),采用尖端的數(shù)據(jù)分析、實時信息輔助決策、高速靈活的響應(yīng)等,能夠提供智能解決方案,可以更好地代表普惠所提供的服務(wù),展示其為客戶機隊的可預(yù)測性、可靠性及健康做出的不斷改進,同時還能夠不斷改善與客戶的溝通,推動與客戶之間更加透明、更加緊密聯(lián)系的工作方式。目前該數(shù)字化分析平臺的服務(wù)對象已從PW4000發(fā)動機擴展至V2500發(fā)動機,并已實現(xiàn)了關(guān)鍵過程的自動化[66]。通過Engine Wise,普惠正在統(tǒng)一其售后服務(wù)產(chǎn)品組合并將推出新的服務(wù)來支持客戶不斷發(fā)展的需求,該服務(wù)品牌旗下的主要服務(wù)包括機隊管理計劃、發(fā)動機大修服務(wù)以及材料解決方案等,同時普惠還與客戶合作開發(fā)整個生命周期的新產(chǎn)品。
在Engine Wise服務(wù)品牌下,普惠正在拓展電子飛行數(shù)據(jù)采集存儲與傳輸(eFAST)系統(tǒng)[67]的可用性。這套近實時的機載數(shù)據(jù)抓取與傳輸裝置能夠在整個飛行周期內(nèi)捕捉幾萬個預(yù)定義的飛機及發(fā)動機數(shù)據(jù),并自動傳輸至客戶網(wǎng)站進行分析以優(yōu)化運營與維護。目前eFAST系統(tǒng)的服務(wù)范圍已從龐巴迪C系列飛機擴展至空客A320neo等機型,在這些飛機上應(yīng)用eFAST的全面數(shù)據(jù)訪問和準(zhǔn)確性,更快地識別和驗證根本原因和糾正措施,從而對事件做出更快、更好的響應(yīng),加快了技術(shù)解決方案并減少了發(fā)動機和部件的計劃外維護。普惠正在努力在不久的將來將Engine Wise平臺擴展到其他飛機型號。此外,普惠正大幅投資全新技術(shù)與資源以提升響應(yīng)速度與靈活度,并結(jié)合運營商的需求及提出的建議開發(fā)數(shù)據(jù)獲取與預(yù)測分析工具以幫助運營商制定減少運營干擾并增加飛機使用的建議,運營商屆時可更好地了解有關(guān)其機隊與整體運營的情況。
4) 空客Skywise平臺。作為波音的老對手,第52屆巴黎航空展期間,空客與大數(shù)據(jù)集成和先進分析的先驅(qū)Palantir Technologies公司合作推出了Skywise航空數(shù)據(jù)平臺。Skywise旨在成為所有主要航空公司使用的參考平臺,以提高其運營績效和業(yè)務(wù)成果,并支持其自身的數(shù)字化轉(zhuǎn)型。Skywise可以為所有用戶提供一個單一入口,將來自各個渠道的豐富的航空數(shù)據(jù)以及運營方以前跟空客在獨立服務(wù)器上分享的數(shù)據(jù)資源整合到一個安全的云平臺上,幫助運營商通過全面的數(shù)據(jù)來進行他們自己的分析和決定。更重要的是,通過將運營、維護和飛機數(shù)據(jù)整合到一個安全并開放的平臺上,航空公司可以在無需更多設(shè)備投資的情況下儲存、提取、管理和分析選定的空客數(shù)據(jù)以及他們自己的數(shù)據(jù)并和全球基準(zhǔn)數(shù)據(jù)作比較,這所創(chuàng)造的價值很快會給空客的用戶提供關(guān)于飛機、機隊、公司和全球航空業(yè)的更好的見解。
通過數(shù)據(jù)平臺的知識、全球數(shù)據(jù)和航空航天經(jīng)驗的獨特組合,Skywise將在以下關(guān)鍵領(lǐng)域幫助用戶提供服務(wù):減少飛行中斷、預(yù)測性維護、降低成本、運營優(yōu)化、飛行操作優(yōu)化、改造機艙和機坪運營以及針對突發(fā)情況的快速決策。此外,Skywise還提供分析業(yè)務(wù)、API和應(yīng)用程序等延伸性服務(wù),并可以根據(jù)客戶需求量身定制,從而確保整個數(shù)據(jù)鏈的連續(xù)性以及整個價值鏈的優(yōu)勢。支持平臺的技術(shù)能夠與客戶現(xiàn)有的IT基礎(chǔ)架構(gòu)無縫協(xié)作,并提供超越標(biāo)準(zhǔn)開源軟件所能實現(xiàn)的功能,而其核心技術(shù)能幫助用戶更好管理復(fù)雜的大數(shù)據(jù),同時還可以讓用戶在商業(yè)成果中獲得更多數(shù)據(jù)。
5) 法荷航Prognos平臺。自2015年起,法荷航維修工程公司(AFI KLM E&M)就擁有了自己內(nèi)部的大數(shù)據(jù)平臺[68]。2016年,法荷航通過連接到所有客戶數(shù)據(jù)源信息,獲得了客戶的全方位了解,并依此開發(fā)了許多個性化的服務(wù)。2017年,法荷航推出Prognos平臺,該平臺是由一系列從飛機各系統(tǒng)挖掘數(shù)據(jù)的軟件解決方案組成的一整套完善的預(yù)測性維修數(shù)據(jù)分析工具。Prognos中包括發(fā)動機監(jiān)控軟件,可為該公司保障范圍內(nèi)的所有發(fā)動機進行數(shù)據(jù)監(jiān)控,并通過利用大數(shù)據(jù)技術(shù)提前識別出即將發(fā)生故障的部件,為運營商降低成本。當(dāng)前,法荷航正在測試Prognos中關(guān)于發(fā)動機健康監(jiān)控的產(chǎn)品,以及針對A380飛機的Prognos應(yīng)用,其中A380飛機的數(shù)據(jù)來源于空客的大數(shù)據(jù)系統(tǒng)。此外,法荷航維修工程公司還表示目前正在開發(fā)用于波音747和787的非發(fā)動機部件的分析平臺以成為OEM支持服務(wù)的有益補充,新服務(wù)將集中在可能引起大部分航班取消和延誤、且已擁有大部分?jǐn)?shù)據(jù)的監(jiān)控系統(tǒng)。
6) 漢莎Condition Analytics及AVIATAR平臺。德國漢莎技術(shù)公司意識到,主要的發(fā)動機制造商都在研究大數(shù)據(jù)分析平臺,以加強預(yù)測性維護,因此,2017年第一季度,漢莎發(fā)布了一款將狀態(tài)監(jiān)控與維修預(yù)測兩項功能合二為一的狀態(tài)分析平臺——Condition Analytics。該平臺引入了航空公司的運營數(shù)據(jù)和專業(yè)工程知識,而且結(jié)合實際案例進行大數(shù)據(jù)分析,使零部件的維護修理更具預(yù)測性。漢莎力圖通過這一工具,逐漸以預(yù)測性維修工作替代原來以故障排除和狀態(tài)監(jiān)控為主導(dǎo)的維修方式。更為重要的是,漢莎可以依據(jù)各家航空公司的要求配置定制化的Condition Analytics平臺,短期可預(yù)見的是這一工具能夠幫助航空公司降低成本、提高飛機可靠性和安全性。
針對航空業(yè)務(wù)的技術(shù)和運營,2017年初,漢莎還推出了一個獨立、開放且模塊化的數(shù)字平臺——AVIATAR,該平臺的出現(xiàn)為不同數(shù)字化機隊管理的應(yīng)用軟件提供了一個綜合化的網(wǎng)絡(luò)平臺。AVIATAR的開放和模塊化架構(gòu)不僅可以安全地存儲航空公司的運營數(shù)據(jù),而且可以將數(shù)據(jù)用于預(yù)測維護方案、狀態(tài)監(jiān)測和故障分析。此外,航空業(yè)的運營商和其他參與者可以通過AVIATAR降低后續(xù)成本,實現(xiàn)航空公司運營優(yōu)化以及更安全、更可靠的機隊管理,為世界各地的乘客提供更優(yōu)質(zhì)的服務(wù)。AVIATAR提供各種應(yīng)用程序供用戶選擇并可以根據(jù)用戶的技術(shù)要求進行調(diào)整,同時,漢莎還將該平臺作為應(yīng)用程序的中央連接樞紐,允許合作伙伴、客戶、開發(fā)商的應(yīng)用程序連接到AVIATAR,共同為航空業(yè)提供數(shù)字產(chǎn)品和服務(wù)。目前,AVIATAR平臺已經(jīng)加載了交互式世界地圖,以提供更為細致、實時的服務(wù),并實現(xiàn)更為簡便、高效的人機交互。
相比于國外知名航空大數(shù)據(jù)分析平臺,中國部分航空企業(yè)也已建立了大數(shù)據(jù)分析平臺,但目前僅限于自身內(nèi)部使用。南航的大數(shù)據(jù)平臺分為兩個部分,分別是大數(shù)據(jù)服務(wù)平臺和大數(shù)據(jù)處理平臺,其中大數(shù)據(jù)處理平臺基于Hadoop建立,已成功解決南航的大數(shù)據(jù)存儲問題。隨著空客A380、波音787等機型的遠程診斷系統(tǒng)模塊的正式完成,2016年,“飛機遠程診斷實時跟蹤系統(tǒng)”第4代原型面世,這標(biāo)志著南航對于飛行大數(shù)據(jù)的研究全面進入工程應(yīng)用階段。中國航空Ameco工程部憑借廣泛的合作研究以及多年飛機維修的管理經(jīng)驗和監(jiān)控技術(shù)的開發(fā)經(jīng)驗,已建立了具有自主知識產(chǎn)權(quán)的飛機狀態(tài)預(yù)測和維修作業(yè)管理平臺。該平臺已經(jīng)在國航的數(shù)百架飛機上累計完成了500多萬飛行小時的試驗驗證,未來將會在國航全機隊中逐步推廣和應(yīng)用。海航建立了飛機健康管理大數(shù)據(jù)應(yīng)用平臺,該平臺通過對飛機狀態(tài)的實時監(jiān)控和健康管理,及時發(fā)現(xiàn)隱性故障、運行不正常事件,優(yōu)化機隊維修和工程管理水平,能夠有效提升機隊安全運行品質(zhì)和維修效率,為航空公司維修控制、工程管理、航線維護部門帶來極大的便利。海南航空也正在利用新的大數(shù)據(jù)分析工具Amadeus預(yù)訂分析系統(tǒng),幫助公司掌握在更大市場范圍內(nèi)的營運狀況,制定更切合實際的有效業(yè)務(wù)戰(zhàn)略。
相比于專家學(xué)者,航空系統(tǒng)相關(guān)企業(yè)對于大數(shù)據(jù)輔助決策、預(yù)測維修、輔助運營等方面的功能擁有更高的熱情以及更為現(xiàn)實的需求。相關(guān)航空企業(yè)早已將大數(shù)據(jù)分析技術(shù)應(yīng)用于自身的生產(chǎn)運營實踐中。
2.3.1 航空大數(shù)據(jù)輔助決策
羅羅是首先使用發(fā)動機數(shù)據(jù)進行革新的原始設(shè)備制造商之一,在大數(shù)據(jù)被炒得火熱之前就已經(jīng)采用大數(shù)據(jù)分析了。早在2006年,羅羅就已經(jīng)通過衛(wèi)星,實時監(jiān)測3 000多個發(fā)動機數(shù)據(jù)并進行分析。特別是通過行業(yè)首創(chuàng)的發(fā)動機健康監(jiān)測系統(tǒng),羅羅早已成為航空制造業(yè)大數(shù)據(jù)采集和應(yīng)用的領(lǐng)軍者。羅羅在飛機發(fā)動機的制造和維護過程中,也采用了大數(shù)據(jù)分析[69]。羅羅發(fā)動機中配備了大量傳感器用來采集發(fā)動機的各個部件及系統(tǒng)的數(shù)據(jù),通過專門的算法導(dǎo)入引擎健康模塊的數(shù)據(jù)采集系統(tǒng)中進行數(shù)據(jù)分析,可以幫助羅羅提前發(fā)現(xiàn)故障并幫助客戶更及時有效地安排發(fā)動機檢測和維修,因此一些業(yè)內(nèi)人士也將其發(fā)動機稱為“大數(shù)據(jù)引擎”。
由于現(xiàn)有的數(shù)據(jù)處理工具已經(jīng)無法滿足航空業(yè)越來越極致精細準(zhǔn)確的要求,空客公司2014年開始投入資金與Oracle共同建立基于Hadoop技術(shù)的大數(shù)據(jù)處理系統(tǒng)及飛行模擬數(shù)據(jù)分析軟件,空客公司內(nèi)部隨之成立了“數(shù)據(jù)處理與試飛集成中心”收集并分析來自事先安裝在飛行樣機上的傳感器在試飛過程中產(chǎn)生的數(shù)據(jù),并決定使用Google公司的MapReduce技術(shù)來提高數(shù)據(jù)訪問和處理的效率。一旦整個流程成熟固化后,很多真機飛行試驗可通過數(shù)據(jù)模擬預(yù)先進行甚至替代,同時可保證飛機的安全可靠性,這幫助空客公司大大降低了研發(fā)成本,也保證了交付周期。
2015年,波音與卡耐基梅隆大學(xué)的計算科學(xué)學(xué)院進行合作,利用其先進的人工智能與大數(shù)據(jù)技術(shù)對波音飛機進行全面升級[70],用數(shù)據(jù)來指導(dǎo)設(shè)計、制造、運營及維修預(yù)測等方面的工作,同時雙方組建了航空數(shù)據(jù)分析實驗室。2016年7月19日,波音與微軟公司簽署合作協(xié)議,把波音的航空分析應(yīng)用轉(zhuǎn)移至微軟Azure云平臺,結(jié)合波音自身專業(yè)且豐富的航空數(shù)據(jù)資源以及微軟的云技術(shù),加速實現(xiàn)維修預(yù)測以及優(yōu)化飛行,使航空公司降低成本并提高運營效率[71]。2016年8月11日,波音宣布開設(shè)一個新的實驗室,專注于數(shù)據(jù)分析驅(qū)動的軟件解決方案,采用快速構(gòu)思、構(gòu)建和擴展解決方案的方式幫助航空公司和其他航空器運營商提高效率并降低其業(yè)務(wù)成本。在2016年法恩伯勒國際航空展上,波音宣布為6家客戶提供先進的分析解決方案,使航空公司能夠做出更好的決策并顯著提高地面和空中的性能。
NASA根據(jù)數(shù)據(jù)產(chǎn)生的環(huán)境,將其大數(shù)據(jù)的發(fā)展分為“大科學(xué)”與“大事業(yè)”兩個階段,而NASA對大數(shù)據(jù)的研究正處于過渡階段[72]。NASA現(xiàn)在已擁有專門的故障預(yù)測中心進行復(fù)雜航空航天裝備故障預(yù)測方面的研究,其中一項成果便是由數(shù)據(jù)驅(qū)動的設(shè)備剩余壽命預(yù)測技術(shù)。NASA在大數(shù)據(jù)技術(shù)領(lǐng)域的專長在于航空安全領(lǐng)域,利用先進的算法,NASA可以從飛機當(dāng)中收集大量非結(jié)構(gòu)化數(shù)據(jù),提取相關(guān)信息以發(fā)現(xiàn)各類能夠幫助商業(yè)航空公司改進現(xiàn)有維護流程的安全隱患,同時預(yù)見并避免各類設(shè)備故障。同時,NASA的先進信息系統(tǒng)技術(shù)能夠采用成熟的大數(shù)據(jù)能力,以減少信息系統(tǒng)的風(fēng)險和成本,從而提高科學(xué)數(shù)據(jù)的獲取和實用性。
GE曾通過故障數(shù)據(jù)的采集與分析發(fā)現(xiàn)中國發(fā)動機故障的主要原因并試圖利用新型材料與新型設(shè)計方案開發(fā)更適合于中國環(huán)境的發(fā)動機,這成為應(yīng)用大數(shù)據(jù)為發(fā)動機優(yōu)化設(shè)計提供決策的典型案例[73]。2014年4月,GE中國航空工程技術(shù)部新設(shè)立航空大數(shù)據(jù)分析和數(shù)字化解決方案部專門解決運用大數(shù)據(jù)來預(yù)測飛機的發(fā)動機在何時需要檢修的問題。2017年,GE部署數(shù)字雙胞胎模型,其本質(zhì)上是一種基于噴氣發(fā)動機傳感數(shù)據(jù)、數(shù)字化發(fā)動機物理模型以及虛擬現(xiàn)實技術(shù)的綜合大數(shù)據(jù)分析技術(shù),GE據(jù)此可以使得維護計劃更有針對性[74]。目前,GE正在建立分析模型,綜合考慮發(fā)動機運行數(shù)據(jù)、歷史數(shù)據(jù)、客戶期望以及技術(shù)目標(biāo)等相關(guān)影響因素,對維修維護工作進行優(yōu)化。
除了進行自主研究,GE還在大數(shù)據(jù)領(lǐng)域開展了廣泛的合作。2014年3月,GE與中國東方航空簽署了一份戰(zhàn)略合作協(xié)議以分享各自掌握的大數(shù)據(jù),GE將利用這些信息對中國東方航空使用的飛機發(fā)動機進行分析,讓飛機進行遠程體檢[75],從而預(yù)測飛機的發(fā)動機在何時需要維修。目前預(yù)測的準(zhǔn)確率達到了80%以上,而GE的團隊正在對現(xiàn)有分析模型的準(zhǔn)確性進一步驗證,融入趨勢性分析程序開發(fā)新一代的遠程診斷平臺。2016年11月,GE宣布與Teledyne技術(shù)公司的子公司Teledyne控制建立戰(zhàn)略合作伙伴關(guān)系,用Teledyne的無線數(shù)據(jù)采集和管理技術(shù)加上GE的Predix云平臺,對發(fā)動機健康監(jiān)控的數(shù)據(jù)進行持續(xù)的分析,幫助開展維修預(yù)測,提升運營效率。同月,GE還與Capgemini以及凱捷管理顧問公司合作,分別推出用于解決平臺和格式差異的“構(gòu)型數(shù)據(jù)交換”計劃以及跨軟件數(shù)據(jù)傳輸平臺。
中國東方航空機務(wù)系統(tǒng)開展了基于自身運行特點的大數(shù)據(jù)技術(shù)分析與應(yīng)用,依托Airman、AHM等系統(tǒng)的支持,以自身運行數(shù)據(jù)為基礎(chǔ),通過加強與空客、波音、GE等重要廠商的合作,對諸多監(jiān)控數(shù)據(jù)的閥值參數(shù)進行了本地化修正。隨著對大數(shù)據(jù)技術(shù)應(yīng)用的不斷深入,中國東方航空開始自行開發(fā)軟件程序,以實現(xiàn)對飛機重要系統(tǒng)進行參數(shù)監(jiān)控和數(shù)據(jù)分析。
2017年10月18日,在“數(shù)字護航,比翼未來”數(shù)字科技高峰論壇上,中國南方航空展示了基于大數(shù)據(jù)的飛行大數(shù)據(jù)應(yīng)用、飛機遠程診斷系統(tǒng)、集合海量數(shù)據(jù)分析的最新一代機務(wù)應(yīng)用平臺等最新科技成果,并表示將與GE合作進一步推進數(shù)字化領(lǐng)域的深度交流與合作,在飛行大數(shù)據(jù)平臺功能提升等方面,創(chuàng)建大數(shù)據(jù)時代下的機務(wù)維修新模式,共建互利共贏的數(shù)字化維修智能生態(tài)圈。同時,中國南方航空與中國民航大學(xué)合作成立了南航工程技術(shù)中心,將在飛行大數(shù)據(jù)應(yīng)用等方向長期開展工程化研究。
海南航空集團歷經(jīng)25年的發(fā)展,已從單一的地方航空運輸企業(yè)發(fā)展成為以航空旅游、現(xiàn)代物流、現(xiàn)代金融服務(wù)為核心主業(yè)的大型企業(yè)集團,作為在航旅市場上擁有強大線下資源以及豐富運營經(jīng)驗的大型運營商,海南航空正將大數(shù)據(jù)用于高效整合線上線下資源。同時,海南航空試圖通過收購擴張的方式,加強在大數(shù)據(jù)領(lǐng)域的技術(shù)儲備,為打造數(shù)據(jù)開放平臺、數(shù)據(jù)產(chǎn)業(yè)鏈與生態(tài)圈提供助力。
2.3.2 航空大數(shù)據(jù)輔助運營
在航空大數(shù)據(jù)輔助運營領(lǐng)域,2016年,羅羅與微軟展開合作,建立全新的數(shù)字化功能應(yīng)用到微軟Azure云平臺上,實現(xiàn)對海量航空運行數(shù)據(jù)的匯總、整合,之后利用微軟Cortana智能套件對這些數(shù)據(jù)進行分析研究,提出個性化的解決方案,進一步降低航空公司能源消耗,全面提升運營效率。2017年,羅羅成立了一個數(shù)字化部門R2數(shù)據(jù)實驗室,以加快旗下航空發(fā)動機產(chǎn)品的設(shè)計、制造和操控效率。中國東方航空借著自身管理信息系統(tǒng)整合與工程維修信息管理系統(tǒng)建設(shè)的契機,將大數(shù)據(jù)的應(yīng)用擴展至航材管理、工程管理、維修管理、質(zhì)量管理、培訓(xùn)管理、供應(yīng)商選擇等業(yè)務(wù)上。同時,中國東方航空利用西雅圖Tableau軟件公司的系統(tǒng)進行市場研究、優(yōu)化航線,以期增加收入。
中小型航企由于自身資金周轉(zhuǎn)等問題,對于航空大數(shù)據(jù)輔助運營擁有更為迫切的需要。亞洲航空作為一家低成本航空公司,對于大數(shù)據(jù)技術(shù)的需求在于利用先進的數(shù)據(jù)捕捉和分析技術(shù)來保持低票價并盡可能的節(jié)省燃油消耗,公司正在使用GE的航班效率服務(wù)系統(tǒng)實施精準(zhǔn)導(dǎo)航服務(wù)、航班數(shù)據(jù)分析和燃油管理服務(wù)。這一建立在數(shù)據(jù)基礎(chǔ)上的服務(wù)系統(tǒng)降低了成本,提高了飛機利用率。澳洲航空還利用大數(shù)據(jù)分析,對運營不正常狀況做出快速反應(yīng),降低航班延誤數(shù)量,并已將航班延誤數(shù)量降低了60%。新加坡航空于2015年與羅羅簽訂了一個為期5年的合同,使用羅羅大數(shù)據(jù)分析系統(tǒng)以降低公司燃油消耗。2017年初,新加坡航空又與Amadeus合作,使用其Altea網(wǎng)絡(luò)收益管理系統(tǒng)、動態(tài)定價系統(tǒng)和Altea集團管理人員解決方案系統(tǒng)加強其運營能力。
2.3.3 航空大數(shù)據(jù)旅客分析
除此之外,旅客分析也是航空大數(shù)據(jù)輔助服務(wù)的一項重點內(nèi)容。法荷航集團開發(fā)了一款適用于移動設(shè)備的免費應(yīng)用,使用公司追蹤獲取的數(shù)據(jù)為旅客提供行李追蹤服務(wù),以減少行李遺失等旅行中不必要的困擾。日本航空公司認(rèn)為對于航空公司而言,分析大數(shù)據(jù)以保持旅客忠誠度是大數(shù)據(jù)所提供的重要機會之一,于2017年首次對其進行改造,投入8.28億美元建設(shè)新的云服務(wù)系統(tǒng)以提升客戶體驗。日本航空還計劃通過對旅客數(shù)據(jù)的處理,來確定具體航線和航班上旅客的餐食偏好,從而有針對性地制定菜單,滿足旅客需求。在中國,中國南方航空也在對客戶信息做大量分析,用于精準(zhǔn)營銷和產(chǎn)品設(shè)計。
作為新興領(lǐng)域且實際應(yīng)用迫切需求,航空大數(shù)據(jù)的應(yīng)用前景非常廣闊。大數(shù)據(jù)技術(shù)在航空系統(tǒng)的發(fā)展已經(jīng)走過了早期階段,并且航空公司和維修企業(yè)已切身感受到大數(shù)據(jù)技術(shù)所帶來的可靠性增長以及維修成本的降低,但想讓大數(shù)據(jù)在航空系統(tǒng)發(fā)揮出更多的價值依然存在重重挑戰(zhàn)。這其中有理念上不夠重視導(dǎo)致的,有方法不當(dāng)引起的,還有技術(shù)及人員不足帶來的挑戰(zhàn),但這些挑戰(zhàn)中又隱含了航空大數(shù)據(jù)未來的發(fā)展趨勢,故本節(jié)對這些挑戰(zhàn)與趨勢進行梳理。
民用航空是一個保護性行業(yè)。而保護性產(chǎn)業(yè)在接受新事物時具有沉穩(wěn)性。2016年,中國南方航空是首個加入國家綜合交通運輸出行大數(shù)據(jù)開放云平臺的航空企業(yè)。打造“互聯(lián)網(wǎng)+航空”領(lǐng)域的新型“粉絲經(jīng)濟”。同時,中國南方航空在公司內(nèi)部深度利用大數(shù)據(jù)挖掘企業(yè)流程再造,實現(xiàn)“提質(zhì)增效”。這在一定程度上利用大數(shù)據(jù)實現(xiàn)跨越式增長。但同時,也相應(yīng)發(fā)現(xiàn)大數(shù)據(jù)的局限性。
雖然航空企業(yè)高層思想上比較重視大數(shù)據(jù)的推廣及應(yīng)用,但是在龐大的航空企業(yè)內(nèi)部實施還具有一定阻力。目前某些公司的工作重心仍放在對傳統(tǒng)IT系統(tǒng)的升級以及基礎(chǔ)設(shè)施的建設(shè)上。此外,在開發(fā)階段,大數(shù)據(jù)軟件、系統(tǒng)與平臺的開發(fā)都需要投入大量的人力、物力、財力。在數(shù)據(jù)存儲與管理階段,分布式云平臺的建立與維護以及整個系統(tǒng)運行時的能源消耗也需要大量的資金成本。在航空企業(yè)內(nèi)部阻力以及沉穩(wěn)性的影響下,由此引發(fā)的資金不足問題很容易成為大數(shù)據(jù)研究發(fā)展的制肘。
因此,為使數(shù)據(jù)的力量有效地轉(zhuǎn)化為生產(chǎn)力,航空公司必須首先從思想層面接納大數(shù)據(jù),并實現(xiàn)由大數(shù)據(jù)帶來的思維方式的轉(zhuǎn)變。然后由公司首席數(shù)據(jù)官作為發(fā)起者,結(jié)合大數(shù)據(jù)研發(fā)團隊建立一個專門的大數(shù)據(jù)規(guī)劃、建設(shè)和運營組織,以這個上行下效、溝通流暢的組織作為大數(shù)據(jù)研究的堅強后盾。繼而在廣泛調(diào)研的基礎(chǔ)上制定出符合自身目前所處狀態(tài)的簡潔、全面、明確、現(xiàn)實的大數(shù)據(jù)發(fā)展戰(zhàn)略,為公司大數(shù)據(jù)研究指明方向。
當(dāng)前大數(shù)據(jù)處理方法主要分為批處理模式和流處理模式。其中批處理主要用于處理大容量靜態(tài)數(shù)據(jù),但處理速度相對較慢,較為偏向于大數(shù)據(jù)“5V特性”中的規(guī)模性。而流處理方式無需針對整個數(shù)據(jù)集執(zhí)行操作,而是對通過系統(tǒng)傳輸?shù)拿總€數(shù)據(jù)項執(zhí)行操作,可以做到近實時處理,偏重于高速性。兩種處理方式各有所長,而航空大數(shù)據(jù)的特點決定了其兩方面皆有需求,既需要對大量歷史數(shù)據(jù)進行分析,又需要對不斷產(chǎn)生的航空數(shù)據(jù)進行處理。此外,航空大數(shù)據(jù)中復(fù)雜的圖表、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)也對當(dāng)前的大數(shù)據(jù)處理方法提出了嚴(yán)重的挑戰(zhàn)。
因此,將批處理和流處理混合,以相同或相關(guān)組件為紐帶,在同一處理框架中同時實現(xiàn)批處理和流處理將是大勢所趨。不僅能夠滿足具體數(shù)據(jù)集的處理需求,還能夠成為航空大數(shù)據(jù)處理的通用解決方法。當(dāng)前已有Apache Spark以及Apache Flink在這種混合化方面做出了嘗試,但都在兼容性方面陷入瓶頸。因此處理模式混合化依然有一段長路需要走,而實現(xiàn)這樣的功能重點在于兩種不同處理模式如何和諧統(tǒng)一,以及對固定和不固定數(shù)據(jù)集之間的關(guān)系進行何種假設(shè)。
盡管數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)存儲、數(shù)據(jù)分析等技術(shù)一向是航空系統(tǒng)關(guān)注的重點,但技術(shù)問題依然是限制大數(shù)據(jù)在航空系統(tǒng)發(fā)展的重大難題。在數(shù)據(jù)傳輸上,目前主流的做法是在飛機降落后統(tǒng)一采集,雖然也有技術(shù)實現(xiàn)了航空數(shù)據(jù)的實時采集,但現(xiàn)階段傳輸成本較高,性價比較低。降低實時傳輸成本以及實時傳輸與事后獲取之間的平衡問題將是航空工業(yè)界亟需解決的問題。而隨著航空市場的發(fā)展,機隊規(guī)模的增加,當(dāng)前大數(shù)據(jù)分布式存儲的技術(shù)能否應(yīng)對持續(xù)增長的航空大數(shù)據(jù)也是各大企業(yè)需面對的挑戰(zhàn)。此外,對航空大數(shù)據(jù)復(fù)雜性內(nèi)在機理及物理意義了解不足,對航空大數(shù)據(jù)相互作用規(guī)律缺乏認(rèn)識,缺少面向航空大數(shù)據(jù)的新型高效算法等一系列問題都在技術(shù)上向大數(shù)據(jù)在航空系統(tǒng)的應(yīng)用發(fā)出了挑戰(zhàn)。
因此,分析平臺柔性化將成為之后航空大數(shù)據(jù)平臺的發(fā)展趨勢。雖說已有不少航空企業(yè)研發(fā)了自己的大數(shù)據(jù)系統(tǒng)或平臺,并且能夠很好地服務(wù)于現(xiàn)在產(chǎn)生的數(shù)據(jù),但目前的航空大數(shù)據(jù),在不久的將來還只會是小數(shù)據(jù)。隨著數(shù)據(jù)增長率不斷增加,航空大數(shù)據(jù)分析平臺應(yīng)該能夠支持現(xiàn)在以及將來產(chǎn)生的巨大的數(shù)據(jù)集,系統(tǒng)必須不斷演化,組件也要能擴展以適應(yīng)日益變化的需求。柔性化的平臺能夠支持不斷發(fā)展的配套組件,能夠使系統(tǒng)動態(tài)自適應(yīng)地進行預(yù)測并確保模型的準(zhǔn)確性,將成為航空大數(shù)據(jù)分析平臺未來發(fā)展的方向。
從用戶的角度講,航空大數(shù)據(jù)平臺不是個性平臺,而是一種與電力系統(tǒng)等行業(yè)的大數(shù)據(jù)平臺有諸多共同之處,但更偏重于航空應(yīng)用的平臺。美國產(chǎn)業(yè)研究中心支持的研究機構(gòu)就為全球包括航空業(yè)在內(nèi)提供了諸多成功案例。成功的平臺來自于第三方的專業(yè)技術(shù)人員和航空領(lǐng)域工作人員的協(xié)同與配合。
從航空企業(yè)內(nèi)部角度講,由于大數(shù)據(jù)發(fā)展本身時間尚短以及企業(yè)專業(yè)人才儲備不足等因素,航空企業(yè)自己研發(fā)包含大數(shù)據(jù)分析、機器學(xué)習(xí)和云計算等先進技術(shù)的解決方案頗為困難。而第三方企業(yè)缺乏航空專業(yè)知識,盡管具備廣義上的大數(shù)據(jù)處理手段,但在航空大數(shù)據(jù)這種具體行業(yè),具體需求的問題上缺乏針對性。自身能力不足與外界協(xié)助困難正是廣大航空企業(yè)面臨的一大困境。
因此,進行資源整合是必然選擇。當(dāng)前已有部分企業(yè)采用企業(yè)間合作、收購數(shù)字化分析企業(yè)、成立新部門、建立實驗室等方案進行大數(shù)據(jù)開發(fā),如羅羅與微軟之間的合作,普惠與IBM建立合作關(guān)系,F(xiàn)light Global航空數(shù)據(jù)集團收購航班時刻數(shù)據(jù)商Innovata,GE成立航空大數(shù)據(jù)分析和數(shù)字化解決方案部,空客建立A3實驗室。為應(yīng)對未來更加復(fù)雜、更為龐大的數(shù)據(jù),航空業(yè)必將進行更高層次的資源整合。在這種大趨勢下,缺乏大數(shù)據(jù)競爭力的小型航空企業(yè)將在航空大數(shù)據(jù)研究領(lǐng)域慢慢邊緣化,只能使用其他航空企業(yè)成熟的技術(shù)與分析平臺。
美國工程院院士史建軍指出,大數(shù)據(jù)是方法,不是目的。本文簡述了學(xué)術(shù)界對航空大數(shù)據(jù)的理論研究,介紹了航空工業(yè)界在航空大數(shù)據(jù)采集存儲、分析平臺以及應(yīng)用方面的實踐情況,同時指出目前面臨的挑戰(zhàn)以及可能的發(fā)展趨勢。盡管面臨種種難題,但大數(shù)據(jù)方法已在航空系統(tǒng)生根發(fā)芽。隨著國產(chǎn)大飛機的成功研制、“兩機專項”的提出以及“中國制造2025”的逐步實施,大數(shù)據(jù)這種方法在具有優(yōu)秀基因的航空系統(tǒng)擁有旺盛的生命力,期待這種生命力能綻放出美麗的青春。