亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于非關(guān)系型數(shù)據(jù)庫的衛(wèi)星參數(shù)存儲與處理

        2018-12-26 09:02:39楊揚笛吳海燕
        計算機技術(shù)與發(fā)展 2018年2期
        關(guān)鍵詞:數(shù)據(jù)挖掘數(shù)據(jù)庫工程

        楊揚笛,吳海燕,李 虎

        (1.中國科學(xué)院國家空間中心 衛(wèi)星運控技術(shù)實驗室,北京 100190;2.中國科學(xué)院大學(xué),北京 100049)

        0 引 言

        隨著我國空間信息技術(shù)的發(fā)展,空間探測器也越來越多地出現(xiàn)在任務(wù)中。然而包含于空間探測器中的科學(xué)衛(wèi)星,產(chǎn)生的數(shù)據(jù)也日益增多,對其計算能力、存儲系統(tǒng)、通信速度提出了挑戰(zhàn)??茖W(xué)衛(wèi)星處在軌運行階段,產(chǎn)生的數(shù)據(jù)種類繁多,一顆衛(wèi)星有效載荷可以達到幾十個之多;數(shù)據(jù)產(chǎn)生速度快,以工程數(shù)據(jù)為例,速度可達每秒幾MB甚至幾十MB;數(shù)據(jù)量非常大,在長達幾個月甚至幾年的運行時間里,會產(chǎn)生高達幾百GB甚至幾十TB的海量衛(wèi)星工程數(shù)據(jù)及科學(xué)數(shù)據(jù)。如何發(fā)展前沿技術(shù),以滿足衛(wèi)星運控中海量數(shù)據(jù)處理的要求,包括對其的存儲與管理、分析和共享等等,是值得研究和思考的。

        這些數(shù)據(jù)對于科學(xué)衛(wèi)星在軌運行提供載荷常規(guī)運行控制、有效載荷性能趨勢分析、故障預(yù)測等顯得非常重要。

        1 衛(wèi)星工程數(shù)據(jù)處理需求

        隨著我國航天事業(yè)的不斷發(fā)展,針對衛(wèi)星平臺的狀態(tài)診斷研究日益成熟,但針對有效載荷狀態(tài)診斷的研究水平卻未見提高。有效載荷承擔(dān)著對地觀測、空間科學(xué)探測及空間科學(xué)實驗等多項任務(wù)。由此可見,提高有效載荷的狀態(tài)診斷處理能力,對于增加任務(wù)完成質(zhì)量和保證衛(wèi)星的高可靠性,有著重要的實際意義[1]。對于復(fù)雜的有效載荷,在現(xiàn)有技術(shù)水平下很難保證其在任務(wù)中不出問題。衛(wèi)星的有效載荷有其獨有的特征[2]:

        (1)故障危害大。一些小問題可能導(dǎo)致龐大的有效載荷不能完成預(yù)定任務(wù),造成經(jīng)濟損失。

        (2)運行環(huán)境特殊,不確定性因素多。不管是高低溫、電磁干擾,還是流行撞擊以及廢棄飛行器的影響,都對有效載荷的正常工作提出了嚴峻的挑戰(zhàn)。

        (3)資源和能源的限制使得有效載荷的計算資源有限,能源獲取方式缺乏甚至是沒有,因此很多情況下需要地面干預(yù)。

        綜上所述,很多時候不能寄希望于衛(wèi)星進行自我診斷和檢查,需要地面支撐系統(tǒng)對衛(wèi)星工程數(shù)據(jù)進行大規(guī)模的診斷和排查,而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫顯然不能滿足這樣的要求。因此,衛(wèi)星工程數(shù)據(jù)的存儲方式和研究手段就成了當(dāng)前重要的課題之一[3]。

        2 非關(guān)系型數(shù)據(jù)庫的應(yīng)用

        2.1 海量數(shù)據(jù)處理現(xiàn)狀

        國外很早就開始了有關(guān)大數(shù)據(jù)的研究。1989年在底特律召開的第11屆國際人工智能聯(lián)合會議,提出了KDD(knowledge discovery in database)的概念,此后的KDD國際會議由于參與人數(shù)過多,主辦方?jīng)Q定轉(zhuǎn)變?yōu)槟陼?。第四屆知識發(fā)現(xiàn)與數(shù)據(jù)挖掘國際學(xué)術(shù)會議于1998年在美國紐約舉行,30多家軟件公司借此機會展現(xiàn)了自己最新的研究成果。

        相比之下,國內(nèi)雖然起步較晚,但各個方面都在快速發(fā)展。我國互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)發(fā)布了一個報告,指出了中國大數(shù)據(jù)技術(shù)和服務(wù)市場2012-2016年的預(yù)測情況:市場規(guī)模將會有巨大發(fā)展,由2011年的7 760萬美元直沖2016年的6.17億美元,未來5年的復(fù)合增長率高達51.4%,市場規(guī)模增長近7倍。在國內(nèi),大數(shù)據(jù)技術(shù)正在引起越來越多的企業(yè)和個人的關(guān)注。將大數(shù)據(jù)作為重點項目的公司不但有阿里巴巴、騰訊、百度等,作為國內(nèi)互聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)源地和創(chuàng)新高地的中關(guān)村,這里的企業(yè)也致力于在大數(shù)據(jù)發(fā)展與研究中貢獻自己的一份力量。

        隨著計算機技術(shù)的發(fā)展,存儲空間已經(jīng)不再是科學(xué)人員和研究人員首要考慮的問題。困擾他們的問題已經(jīng)變成了如何從大量的數(shù)據(jù)中快速或者盡快提取出有用的信息。要解決這個問題,不僅要從算法上提高查詢和處理的效率,同樣對傳統(tǒng)的關(guān)系型數(shù)據(jù)庫提出了一定的挑戰(zhàn)。在2009年之后,非關(guān)系型數(shù)據(jù)庫技術(shù)突飛猛進。迄今為止,非關(guān)系型數(shù)據(jù)庫數(shù)量已經(jīng)破百,各有各的優(yōu)勢。

        2.2 非關(guān)系型數(shù)據(jù)庫存儲

        非關(guān)系型數(shù)據(jù)庫,最初的意義是現(xiàn)代互聯(lián)網(wǎng)級別的數(shù)據(jù)庫。但這個詞的含義在2009年之后變得豐富起來。非關(guān)系型數(shù)據(jù)庫的特點包括:關(guān)系不如傳統(tǒng)關(guān)系型數(shù)據(jù)庫那樣緊湊,豐富的技術(shù)支持,簡單的API,基于事件的組成(而非ACID),海量數(shù)據(jù)的支持,等等。其中Hadoop/HBase以其跨平臺和多節(jié)點的優(yōu)勢發(fā)展迅速[4],而ElasticSearch和MongoDB以其快速的讀寫效率在各個開源的非關(guān)系型數(shù)據(jù)庫中脫穎而出,而Redis則以鍵值對的形式對memcached類關(guān)系型數(shù)據(jù)庫起到了很好的補充作用。

        Hadoop/HBase的海量數(shù)據(jù)處理技術(shù)基于MapReduce并行計算模式,能很好地滿足現(xiàn)代航天計劃在工程數(shù)據(jù)信息存儲和計算方面的需求。

        MongoDB介于關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫之間,為非關(guān)系型數(shù)據(jù)庫中最具有關(guān)系型數(shù)據(jù)庫屬性的,也是功能最豐富的。

        ElasticSearch是一個基于Lucene的搜索引擎式數(shù)據(jù)庫。它提供了一個分布式的支持多用戶能力的全文搜索引擎,并提供了基于RESTful的Web接口。

        Redis是一個開源的(BSD Licensed),基于內(nèi)存的數(shù)據(jù)存儲結(jié)構(gòu)。它支持的數(shù)據(jù)結(jié)構(gòu)包括字符串、哈希值、列表、集合、排序集合、點陣圖、地理坐標(biāo)信息等。

        2.3 大規(guī)模數(shù)據(jù)挖掘模型與算法現(xiàn)狀

        數(shù)據(jù)挖掘指從大量數(shù)據(jù)中提取或“挖掘”信息,是從儲存在各種數(shù)據(jù)庫(包括傳統(tǒng)關(guān)系型數(shù)據(jù)庫、數(shù)據(jù)倉庫等)的繁雜無用的數(shù)據(jù)中發(fā)掘或者提煉出有用的信息的過程[5-6]。數(shù)據(jù)挖掘是一個交叉學(xué)科領(lǐng)域,涉及多個學(xué)科。數(shù)據(jù)挖掘的任務(wù)可以分為兩大類:描述的和預(yù)測的。具體來說,可以分為:概念類描述;挖掘頻繁模式、關(guān)聯(lián)和相關(guān);分類和預(yù)測;聚類分析;離群點分析;演變分析[7-8]。

        綜上所述,針對工程數(shù)據(jù)的數(shù)據(jù)挖掘能夠分析工程數(shù)據(jù)在合法值內(nèi)變化對衛(wèi)星帶來的影響,如有效載荷漸漸失效的情況,以及有效載荷數(shù)據(jù)周期變長的情況,還有衛(wèi)星工程參數(shù)的變化情況等[9]。

        3 衛(wèi)星工程參數(shù)存儲與研究

        3.1 工程數(shù)據(jù)的分類

        從數(shù)據(jù)分析和數(shù)據(jù)整理的角度出發(fā),根據(jù)數(shù)據(jù)類型可將工程數(shù)據(jù)分為整型、枚舉型、浮點型。

        工程參數(shù)中整型與枚舉型分為標(biāo)識字和狀態(tài)字。屬于標(biāo)識字的有幀同步字段、衛(wèi)星識別字段等,一般來說在衛(wèi)星的整個壽命內(nèi)為固定值,它的二進制碼保持不變,多以十六進制形式保存;狀態(tài)字則表明了衛(wèi)星上設(shè)備的工作狀態(tài),除了根據(jù)衛(wèi)星狀態(tài)的變化而變化,地面指令控制等因素也會對其造成影響[3]。

        工程參數(shù)中浮點型主要包括溫度、電壓、電流、壓力等物理量。由于這些值是連續(xù)變化的,正常的采集值應(yīng)該是連續(xù)的。太陽光照強度、設(shè)備工作狀態(tài)等因素會影響溫度參數(shù)的變化;電壓分為一次電源電壓和二次電源電壓,由電池工作狀態(tài)決定;電流顯示了星上設(shè)備的工作情況,在設(shè)備的開關(guān)機狀態(tài)下一般固定在兩個狀態(tài);貯箱溫度以及燃料剩余量等因素影響著星上壓力值的變化。

        3.2 工程數(shù)據(jù)變化規(guī)律研究

        對于在軌衛(wèi)星的歷史工程數(shù)據(jù)的分析和未來工程數(shù)據(jù)的預(yù)測,對其參數(shù)變化規(guī)律進行研究至少要(但不限于)考慮以下幾種狀況[10]:

        (1)數(shù)據(jù)平穩(wěn)變化或維持在一穩(wěn)定值附近;

        (2)無狀態(tài)、測控事件發(fā)生而參數(shù)卻有階躍性的跳變;

        (3)與衛(wèi)星狀態(tài)變化、測控事件發(fā)生相關(guān)聯(lián)的工程參數(shù)變化;

        (4)參數(shù)于某值附近周期性變化。

        對于上面四種情況,從已有算法中選擇了四種具有代表性的數(shù)據(jù)分析處理方法,分別是基于多項式擬合外推的方式、基于求和自回歸滑動平均模型的時間序列的方式、非參數(shù)回歸算法、基于神經(jīng)網(wǎng)絡(luò)的預(yù)測技術(shù)。

        基于多項式擬合外推是根據(jù)衛(wèi)星歷史和實時工程數(shù)據(jù),使用多項式擬合參數(shù)變化曲線,得到擬合公式,再使用該公式對未來數(shù)據(jù)外推,并預(yù)測其發(fā)展變化狀況的一種預(yù)測方法。這種方法基于以下兩點:衛(wèi)星工程參數(shù)沒有跳躍式變化;假設(shè)所研究的與工程參數(shù)有關(guān)的分系統(tǒng)結(jié)構(gòu)、功能等沒有太大變化。該方法對于周期性隨時間變化不大的工程數(shù)據(jù)有很好的效果,因此對于平穩(wěn)變化的工程參數(shù)一旦有了微小的變化率,則可以擬合出其失效或者降低至次級性能的時間。

        基于求和自回歸滑動平均模型(ARMA模型)的時間序列的方式可以研究差分平穩(wěn)序列的變化情況。因為很多非平穩(wěn)序列差分后能夠顯示出許多平穩(wěn)序列的性質(zhì),此時的非平穩(wěn)序列稱為差分平穩(wěn)序列[11]。

        ARMA預(yù)測模型的預(yù)測過程如下:根據(jù)觀測模型,獲取數(shù)值序列;對觀測數(shù)值進行差分運算;對數(shù)據(jù)進行檢驗,例如白噪聲;建立ARMA的模型進行預(yù)測;對數(shù)據(jù)使用模型進行再一次的檢查。該方法多用于工程參數(shù)固定周期變化以及恒定在某一值附近的需要預(yù)測的參數(shù)[12]。

        基于非參數(shù)回歸的回歸函數(shù)一般表示為:

        gn(X)=W1(X1)Y1+W2(X2)Y2+…+Wi(Xi)Yi

        其中,Y為一維觀測隨機向量;X為n維隨機自變量;(Xi,Yi)為第i次觀測值;Wi(Xi)為權(quán)函數(shù)。

        非參數(shù)回歸就是在gn(X)毫不知情的情況下,利用已有的觀測值(Xi,Yi),利用X值去估計可能的Y值。因為不需要精確的數(shù)學(xué)模型,所以適合對隨時間變化的非線性系統(tǒng)進行預(yù)測。

        此處,對衛(wèi)星某些工程參數(shù)比較適合用此預(yù)測方法。因為基于非參數(shù)回歸的方法是建立在大量歷史數(shù)據(jù)的基礎(chǔ)上的,符合暗物質(zhì)衛(wèi)星當(dāng)前的狀況。由于無需建立預(yù)測模型即可進行預(yù)測,衛(wèi)星工程參數(shù)中許多周期性比較明顯的參數(shù)均可以使用此方法進行預(yù)測。

        誤差反向后傳(back propagation,BP)網(wǎng)絡(luò),是目前廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系,而無需事先揭示描述這種映射關(guān)系的數(shù)學(xué)方程。BP神經(jīng)網(wǎng)絡(luò)模型拓撲結(jié)構(gòu)包括輸入層(input)、隱層(hidden layer)和輸出層(output layer)。它的學(xué)習(xí)規(guī)則是使用梯度下降法,通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值,使網(wǎng)絡(luò)的誤差平方和最小[13-14]。

        一般的BP算法過程為:網(wǎng)絡(luò)初始化;輸入第一個學(xué)習(xí)樣本;求中間層的輸入和輸出;求輸出層的輸入和輸出;計算輸出層的誤差;計算中間層的誤差;調(diào)整各層連接之間的權(quán)值;輸入下一個學(xué)習(xí)樣本。

        先確定好訓(xùn)練次數(shù)和期望誤差,再進行算法的學(xué)習(xí)過程。當(dāng)訓(xùn)練次數(shù)達到或者低于期望誤差值即可停止訓(xùn)練。

        該預(yù)測模型適用于緩變的工程數(shù)據(jù)預(yù)測,適合具有大量歷史訓(xùn)練樣本的數(shù)據(jù)的工程數(shù)據(jù)預(yù)測。但由于該方法需求的樣本數(shù)量巨大,以及訓(xùn)練的方式復(fù)雜,所以當(dāng)其他預(yù)測方法無法滿足數(shù)據(jù)需求時,可作為一種替補的工程數(shù)據(jù)處理預(yù)測方法。

        3.3 工程數(shù)據(jù)挖掘示例

        在暗物質(zhì)衛(wèi)星以及其他衛(wèi)星的運行過程中,有很多值得分析的工程數(shù)據(jù)。比如太陽能帆板的電壓和電流判斷其壽命的問題。

        首先分析衛(wèi)星的工程數(shù)據(jù)在數(shù)據(jù)庫中的格式,該衛(wèi)星的地面支撐系統(tǒng)使用了Oracle的PTSQL數(shù)據(jù)庫管理其數(shù)據(jù)。工程數(shù)據(jù)儲存在一個大表中,由于大表是以接收時間為主鍵存儲工程數(shù)據(jù)的,所以不利于分析比較某一項工程數(shù)據(jù)的變化值。

        將一段時間內(nèi)的工程數(shù)據(jù)導(dǎo)出,并導(dǎo)入到相應(yīng)的非關(guān)系型數(shù)據(jù)庫。由于只關(guān)心帆板的電壓和電流讀數(shù),所以在導(dǎo)出數(shù)據(jù)表以及導(dǎo)入非關(guān)系型數(shù)據(jù)庫時,只選擇導(dǎo)出導(dǎo)入和與電壓電流有關(guān)的數(shù)據(jù)。

        通過第一種數(shù)據(jù)處理方法處理將近三個月的數(shù)據(jù)得出:太陽能帆板工作情況良好,電壓值和電流值在工作狀態(tài)下穩(wěn)定,暫時對其工作情況沒有影響。

        4 結(jié)束語

        通過使用四種非關(guān)系型數(shù)據(jù)庫進行衛(wèi)星工程數(shù)據(jù)的分析和處理,提出了四種只需關(guān)注于對有效載荷工作情況有影響的工程數(shù)據(jù)的處理方法,尤其是適合于基于非關(guān)系型數(shù)據(jù)庫的工程數(shù)據(jù)存儲方式,與傳統(tǒng)關(guān)系型數(shù)據(jù)相比具備快速的優(yōu)勢。

        [1] 王 帆.基于故障樹的空間有效載荷故障診斷系統(tǒng)研究[D].北京:中國科學(xué)院研究生院(空間科學(xué)與應(yīng)用研究中心),2007.

        [2] 福島洋介,石濱直樹.航天器的遙測數(shù)據(jù)采集分析[J].控制工程,2002(5):36-41.

        [3] 秦 巍,郭永富.一種基于歷史遙測數(shù)據(jù)的在軌衛(wèi)星故障預(yù)警系統(tǒng)[J].航天器工程,2010,19(6):40-45.

        [4] ZIKOPOULOS P,EATON C.Understanding big data:analytics for enterprise class Hadoop and streaming data[M].[s.l.]:McGraw-Hill Osborne Media,2011.

        [5] ZAKI M J, PARTHASARATHY S, OGIHARA M,et al.New algorithms for fast discovery of association rules[C]//Proceedings of 3rd international conference on knowledge discovery and data mining.California:AAAI Press,1997:238-286.

        [6] ZAKI M J.Scalable algorithms for association mining[J].IEEE Transactions on Knowledge and Data Engineering,2000,12(3):372-390.

        [7] SHVACHKO K,KUANG Hairong,RADIA S,et al.The Hadoop distributed file system[C]//Proceedings of 26th IEEE symposium on mass storage systems and technologies.Piscataway,NJ:IEEE Press,2010:1-10.

        [8] DEAN J,GHEMAWAT S.MapReduce:simplified data processing on large clusters[C]//Proceedings of the 6th conference on symposium on opearting systems design & implementation.Berkeley,CA,USA:USENIX Association,2008:10.

        [9] 劉明吉,王秀峰,黃亞樓.數(shù)據(jù)挖掘中的數(shù)據(jù)預(yù)處理[J].計算機科學(xué),2000,27(4):54-57.

        [10] 趙紅毅,任國恒.ID3算法在衛(wèi)星遙測數(shù)據(jù)分析中的應(yīng)用[J].西安工業(yè)大學(xué)學(xué)報,2010,30(5):491-494.

        [11] 王 環(huán),郭義琪,秦 巍,等.構(gòu)建多航天器在軌管理支持平臺[J].航天器工程,2007,16(3):114-119.

        [12] 李瑞瑩,康 銳.基于ARMA模型的故障率預(yù)測方法研究[J].系統(tǒng)工程與電子技術(shù),2008,30(8):1588-1591.

        [13] 周永進,蔡惠華,尹遜震,等.改進的BP網(wǎng)絡(luò)及其在數(shù)據(jù)預(yù)測中的應(yīng)用[J].微計算機信息,2007,23(27):150-151.

        [14] 王一夫,陳松喬,陳 安.海量數(shù)據(jù)預(yù)測模型設(shè)計及案例分析[J].計算機工程與應(yīng)用,2005,41(19):170-173.

        猜你喜歡
        數(shù)據(jù)挖掘數(shù)據(jù)庫工程
        探討人工智能與數(shù)據(jù)挖掘發(fā)展趨勢
        基于并行計算的大數(shù)據(jù)挖掘在電網(wǎng)中的應(yīng)用
        電力與能源(2017年6期)2017-05-14 06:19:37
        數(shù)據(jù)庫
        財經(jīng)(2017年2期)2017-03-10 14:35:35
        子午工程
        太空探索(2016年6期)2016-07-10 12:09:06
        數(shù)據(jù)庫
        財經(jīng)(2016年15期)2016-06-03 07:38:02
        數(shù)據(jù)庫
        財經(jīng)(2016年3期)2016-03-07 07:44:46
        數(shù)據(jù)庫
        財經(jīng)(2016年6期)2016-02-24 07:41:51
        一種基于Hadoop的大數(shù)據(jù)挖掘云服務(wù)及應(yīng)用
        工程
        工程
        搡老熟女中国老太| 久草手机视频在线观看| 久久久亚洲av波多野结衣| 中国农村熟妇性视频| 亚洲AV秘 无码二区在线| 亚洲精品一区二区三区国产| 亚洲一区二区三区高清在线观看| 国产一区二区三区在线电影| 欧美性群另类交| 日本一区二区三区小视频| 日韩精品在线观看在线| 香港三日本三级少妇三级视频| 精品国产一区二区三区久久久狼| 超级少妇一区二区三区| 国产成人国产三级国产精品| 少妇粉嫩小泬喷水视频www| 中文无码成人免费视频在线观看| 亚洲国产一区二区三区在观看| 日本人妻精品有码字幕| 国产又粗又猛又黄又爽无遮挡| 日本一区二区不卡视频| 亚洲国产av自拍精选| 国产91精品高潮白浆喷水| 欧美性巨大╳╳╳╳╳高跟鞋| 国产成人77亚洲精品www| 亚洲黄色大片在线观看| 大尺度无遮挡激烈床震网站 | 亚洲精品视频在线一区二区| 国产成人无码一区二区在线播放 | 久久夜色国产精品噜噜亚洲av| 四虎国产精品永久在线国在线 | 久久精品国产一区二区蜜芽| 精品日韩一区二区三区av| 免费av一区二区三区无码| 乱中年女人伦av| 青青草免费在线手机视频| 精品国产一区二区三区av| 国产精品免费大片| 国产精品不卡无码AV在线播放| 久久精品久99精品免费| 久久成人国产精品|