王 華,鮑俊雷,張德華,段慧芬,黃愛軍
海上測控任務數(shù)據(jù)中心一體化管理平臺設計*
王 華**,鮑俊雷,張德華,段慧芬,黃愛軍
(中國衛(wèi)星海上測控部,江蘇江陰214431)
根據(jù)海上測控任務數(shù)據(jù)和信息分布的特點,設計了海上測控任務數(shù)據(jù)中心的一體化管理平臺。首先,平臺設計采用基于無共享存儲的高性能集群模式數(shù)據(jù)庫架構,具備統(tǒng)一的計算與存儲系統(tǒng)能力以及良好的動態(tài)可擴展性;其次,平臺采用層次化設計,包括數(shù)據(jù)采集與處理、數(shù)據(jù)存儲、數(shù)據(jù)管理和數(shù)據(jù)應用4層,實現(xiàn)統(tǒng)一的數(shù)據(jù)中心管理和應用。根據(jù)應用需求,重點設計了航天器遙測故障預警與診斷、測控設備遠程監(jiān)控與故障診斷、外測數(shù)據(jù)精度分析與數(shù)據(jù)挖掘等典型數(shù)據(jù)應用模塊,實現(xiàn)數(shù)據(jù)核心價值。
海上測控;數(shù)據(jù)中心;一體化管理平臺;數(shù)據(jù)采集;數(shù)據(jù)存儲;數(shù)據(jù)挖掘;云計算
全球信息化的快速發(fā)展開啟了大數(shù)據(jù)分析處理的新時代,根據(jù)研究統(tǒng)計,2011年全世界數(shù)據(jù)較上年增長了40%,未來10年全世界的數(shù)據(jù)量將是現(xiàn)在的44倍[1]。在大數(shù)據(jù)時代,用戶的信息化管理面臨著前所未有的挑戰(zhàn),如何建立智能化的數(shù)據(jù)平臺,在提高數(shù)據(jù)響應效率的同時把應用做到極致,愈發(fā)成為人們關注的焦點[2]。誰擁有對海量數(shù)據(jù)的占有、分析、處理的主導權,誰就擁有“數(shù)據(jù)主權”,就能以此為基本參數(shù)和清晰坐標進行核心競爭力建設。因此,在航天測控領域,需要適應信息技術向數(shù)據(jù)技術邁進的大趨勢,研究設計功能更加完善、配置更加合理、應用服務更加靈活高效的數(shù)據(jù)管理系統(tǒng)。
根據(jù)海上測控業(yè)務的多樣性和復雜性,海上測控數(shù)據(jù)中心的建設應滿足以下需求:
(1)能夠滿足海上測控各項業(yè)務、各類數(shù)據(jù)的高效存儲和管理,具備對各類不同信息的兼容和統(tǒng)一訪問能力,同時兼具高效的精確查詢和統(tǒng)計查詢計算能力;
(2)能夠?qū)崿F(xiàn)對各類數(shù)據(jù)的分層管理和使用,具備統(tǒng)一的數(shù)據(jù)中心管理平臺和應用平臺,能夠與單位其他信息系統(tǒng)有良好的兼容能力;
(3)能夠?qū)崿F(xiàn)系統(tǒng)運行態(tài)的資源在線平滑擴展,系統(tǒng)擴展不再需要暫停業(yè)務,實現(xiàn)硬件資源的即插即用以及軟件系統(tǒng)的接入式擴展應用;
(4)能夠按照數(shù)據(jù)的特征進行自動生命周期管理,降低系統(tǒng)運維成本;
(5)基于堅實的數(shù)據(jù)挖掘理論和豐富的工程化經(jīng)驗,形成大數(shù)據(jù)挖掘能力,深度探索和發(fā)現(xiàn)隱藏在海量數(shù)據(jù)之中的模式、規(guī)律和關系,從低價值密度的數(shù)據(jù)萃取高價值密度的知識,以指導海上測控任務中各項業(yè)務的決策,體現(xiàn)數(shù)據(jù)的核心價值;
(6)具備良好的容災能力,具備數(shù)據(jù)中心自動瞬時故障轉移能力,保障數(shù)據(jù)的安全性。
大數(shù)據(jù)涉及的關鍵技術主要是海量數(shù)據(jù)的存儲、海量數(shù)據(jù)的分析與處理和知識挖掘三個方面,海上測控任務數(shù)據(jù)中心的平臺設計也應該圍繞這三方面開展研究應用。
隨著云計算時代的到來,更高的帶寬和更快的速度將使得計算機的大部分任務處理放在云端成為了可能,要達到這一目標,如何存儲和訪問海量數(shù)據(jù)是所有云計算提供商所必須解決的問題。從Google、Amazon等先進廠商提出的理念和實踐來看,無共享存儲集群是解決這一問題的關鍵技術。在無共享存儲架構集群中,每個節(jié)點擁有獨立的計算和存儲能力,數(shù)據(jù)根據(jù)預先設定的分布規(guī)則被分散到各個節(jié)點中,訪問被按照分布交付給對應的節(jié)點處理,結果最后合并返回[2]。由于這種架構具有較高的擴展性,可以用較多的普通計算機架設出具有極大存儲空間和極強處理能力的數(shù)據(jù)中心,因此特別適合于作為提供云計算的基礎組件。
借鑒這一思想和模式,本文設計了數(shù)據(jù)中心數(shù)據(jù)庫的集群式架構,如圖1所示。數(shù)據(jù)中心的主節(jié)點放置在陸上,部署集群式的服務器陣列,在海上(測量船)則部署集群服務器的終端節(jié)點,實現(xiàn)數(shù)據(jù)的分布存儲,定時數(shù)據(jù)同步和轉移。在這類大規(guī)模數(shù)據(jù)庫集群中,通常融合了列存儲、優(yōu)化索引、多級容錯、大規(guī)模并行處理、無共享、線性擴展等技術中的多種技術,實現(xiàn)了其集群系統(tǒng)對PB級以上數(shù)據(jù)的分析處理能力。
圖1 數(shù)據(jù)中心分布式集群架構Fig.1 Data center distributed cluster structure
數(shù)據(jù)庫集群系統(tǒng)采用基于無共享存儲的高性能集群技術,無共享存儲集群中的單個節(jié)點是一臺基本完整的計算機系統(tǒng),包括自備的CPU、內(nèi)存、存儲設備,各節(jié)點之間通過局域網(wǎng)連接,單個節(jié)點計算與存儲性能均比較有限,然而整個系統(tǒng)的擴展性非常出色,方便增加或刪減節(jié)點的動態(tài)擴展,并獲得相應的性能調(diào)節(jié),整個系統(tǒng)對外表現(xiàn)為功能強大的統(tǒng)一計算與存儲系統(tǒng)。
數(shù)據(jù)中心平臺具備一體化的平臺管理,其平臺架構設計如圖2所示。
圖2 數(shù)據(jù)中心平臺架構Fig.2 Data center Platform architecture
數(shù)據(jù)中心平臺架構分為4層:第一層是數(shù)據(jù)采集層,對數(shù)據(jù)的采集、數(shù)據(jù)整合及格式歸一化處理,該層是數(shù)據(jù)的源端;第二層是數(shù)據(jù)存儲層,對各類數(shù)據(jù)進行分布式集群存儲;第三層是數(shù)據(jù)管理層,對數(shù)據(jù)采集端及數(shù)據(jù)庫進行可視化管理、數(shù)據(jù)庫狀態(tài)的實時監(jiān)控、容災備份,提供快速、精確的大規(guī)模數(shù)據(jù)查詢、存儲等服務;第四層是數(shù)據(jù)應用層,在數(shù)據(jù)管理平臺的基礎上,可根據(jù)不同的數(shù)據(jù)特性和用途,實現(xiàn)對數(shù)據(jù)的統(tǒng)計分析、故障診斷、數(shù)據(jù)挖掘、數(shù)據(jù)計算、數(shù)據(jù)查詢?yōu)g覽等各種應用。
數(shù)據(jù)存儲的目的就是為了數(shù)據(jù)使用,如何使用好各類數(shù)據(jù),充分挖掘數(shù)據(jù)內(nèi)部的有價值信息,成為了數(shù)據(jù)應用的關鍵,為此,重點設計了幾種典型的數(shù)據(jù)應用。
3.1 航天器遙測故障預警與診斷
隨著航天器控制精度不斷提高,航天器在軌壽命的不斷延長,積累了大量的在軌遙測數(shù)據(jù),在軌遙測數(shù)據(jù)反映了衛(wèi)星在實際空間環(huán)境中真實的性能表現(xiàn)。對在軌遙測數(shù)據(jù)的挖掘和再利用,對于改進航天器設計,進一步提高航天器穩(wěn)定性和可靠性,延長在軌運行壽命,具有重要的意義。
通過在軌遙測數(shù)據(jù)的變化來監(jiān)視在軌衛(wèi)星的狀態(tài),判斷和定位衛(wèi)星的運行異常和故障,是航天器在軌運行管理的核心內(nèi)容之一。如圖3所示,通過歷史遙測數(shù)據(jù)和異常遙測數(shù)據(jù)的時間、事件、位置、姿態(tài)等特征數(shù)據(jù),利用數(shù)據(jù)挖掘分析算法,結合“自回歸”和“移動平均自回歸”算法對遙測參數(shù)進行“時間序列”建模分析,對現(xiàn)有的遙測數(shù)據(jù)趨勢進行曲線擬合和回歸分析[3]。對已經(jīng)確定出現(xiàn)的異常進行分析和定位,通過找出實際曲線與預測曲線殘差分析,分析部件或者元器件的實際性能與設計指標偏差;通過預測未來的遙測數(shù)據(jù)變化趨勢,進行衛(wèi)星的故障預警和應急準備。同時,還能輔助進行事前的在軌故障預警和事后的在軌故障分析診斷,提高在軌監(jiān)測分析的水平以及衛(wèi)星在軌管控能力。
圖3 航天器遙測故障預警與診斷Fig.3 EarlY Warning and diagnosis for sPacecraft telemetrY
3.2 測控設備遠程監(jiān)控與故障診斷
測量船的測控設備是海上測控的核心,其運行狀態(tài)直接關系到測控任務的執(zhí)行情況,因此測控設備運行狀態(tài)的監(jiān)控及開展有效的故障診斷是數(shù)據(jù)中心數(shù)據(jù)管理的重點。
通過數(shù)據(jù)中心的測控設備狀態(tài)監(jiān)控數(shù)據(jù),實時設備狀態(tài)的遠程監(jiān)控,可以建立設備的運行管理機制,實時掌控設備管理的階段特征和重點難點[4];統(tǒng)計分析設備的故障高發(fā)點和異常高發(fā)點;評估設備運行狀態(tài)和任務狀態(tài);進而對設備進行健康管理,提高設備的使用壽命,保持設備良好狀態(tài)。
其次,根據(jù)設備的數(shù)據(jù)模型及大量的輸入輸出數(shù)據(jù)建立對應的故障模型,通過對大量歷史信息的數(shù)據(jù)挖掘,解決偶發(fā)的設備故障或異常狀況,解決難以準確定位的故障等,為設備故障診斷提供數(shù)據(jù)決策支持,并開展對設備狀態(tài)運行趨勢預測分析等等,其大致的方法與圖3相類似。
3.3 外測數(shù)據(jù)精度分析與數(shù)據(jù)挖掘
單站測量體制下跟蹤測量數(shù)據(jù)的殘差影響分析是高精度測量數(shù)據(jù)事后處理的關鍵技術手段之一。高精度外測數(shù)據(jù)事后處理結果其作用一是分析和評估飛行器試驗是否成功的重要依據(jù),二是改進飛行器控制系統(tǒng)設計、定型,提高制導精度的關鍵,三是為測控系統(tǒng)總體設計、設備研制、精度鑒定和使用提供反饋信息,改進和提高測控設備的測量精度重要途徑。跟蹤測量數(shù)據(jù)的殘差影響分析的目的是通過數(shù)據(jù)處理和誤差殘差建模,對影響測量數(shù)據(jù)精度的各類系統(tǒng)誤差殘差進行修正效果分析、估計,為型號研制部門提供高精度數(shù)據(jù)處理結果[5-6]。因此,數(shù)據(jù)中心的核心數(shù)據(jù)是型號任務中的實時外測數(shù)據(jù)和設備校飛中的實時外測數(shù)據(jù),這些數(shù)據(jù)是分析評估測量船測量精度及改進測量誤差模型的關鍵信息,應用好這些數(shù)據(jù)意義很大。
此外,在外測數(shù)據(jù)的處理中,總存在一些無法識別分析或難以察覺的異常,因此開展對外測數(shù)據(jù)的數(shù)據(jù)挖掘,進而從大量外測數(shù)據(jù)中發(fā)現(xiàn)一些不易發(fā)現(xiàn)的知識。數(shù)據(jù)挖掘一般分成4類,即相關和依賴關系的發(fā)現(xiàn)、類別的判定、類別的描述及異常數(shù)據(jù)的發(fā)現(xiàn)。特別是對異常數(shù)據(jù)的分析、與其相關聯(lián)數(shù)據(jù)的分析,通過數(shù)據(jù)的表征信息,對異常信息分類出誤差因素測量誤差,挖掘出潛在深層有價值的信息,通過數(shù)據(jù)挖掘數(shù)據(jù)方法建立挖掘模型,進而修正外測數(shù)據(jù)事后處理數(shù)據(jù)模型,解決含有復雜船搖周期影響的測量船動態(tài)測量數(shù)據(jù)的異常檢測難題等等。還可以通過相同的型號任務、相似的測量工況及測量設備等多種情況進行數(shù)據(jù)的關聯(lián)分析和數(shù)據(jù)挖掘,分析系統(tǒng)誤差源,修正誤差模型,提高測量精度。
3.4 航海模擬訓練與氣象信息數(shù)據(jù)應用
測量船航海的海域范圍廣、行程遠,特別是某些海域海況復雜,測量海域的氣象水文信息資料尤為珍貴,在海上測量任務中,測量海況的好壞對測量精度的影響很大,對測量船航行的安全性也尤為重要,因此,數(shù)據(jù)中心的氣象海域信息是其重要的組成部分。
安全的船舶駕駛是測量船執(zhí)行測控任務的根基,通過航海測控海域信息的采集包括海況的浪高、浪大,海區(qū)的溫度、鹽度、密度的分布,水團和大洋環(huán)流、暗礁的分布狀況及測控海域的場景信息等,可以為建立真實的海區(qū)航海模擬器提供真實的數(shù)據(jù)資料庫。通過海域信息庫,將海域各類數(shù)據(jù)通過統(tǒng)一的數(shù)據(jù)接口輸入航海模擬訓練系統(tǒng),進行數(shù)據(jù)驅(qū)動模擬出真實的海域場景,通過這種信息化方式,逼真開展航海模擬訓練。
與海況信息一樣,海域的氣象信息同樣重要。常見的天氣要素包括氣溫、濕度、氣壓、風、云、天氣現(xiàn)象、能見度等,其與海況信息直接影響測控任務的執(zhí)行情況,建立豐富齊全的氣象信息資料庫,可有效指導航線規(guī)劃及測控任務的風險規(guī)避。
另外,測控通信的無線電波是在地球站和通信衛(wèi)星之間的空間傳播,星、站之間的電波傳播要穿透包含對流層(包括其中的云層和雨層)、平流層和電離層的大氣層,進入外層空間。從電波傳播機理和傳播損耗來看,300 MHz以下的電波不能穿過電離層,而10 GHz以上的電波受大氣層的云、水蒸氣及雨的衰減較大[7]。因此,采集建立任務海域?qū)嶋H降雨的氣候信息庫,建立降雨衰減預測模型,為海上測控應用提供必要的數(shù)據(jù)資料。
3.5 試驗任務質(zhì)量分析
隨著質(zhì)量管理體系的建立,其信息化系統(tǒng)逐步開始應用,各類試驗任務數(shù)據(jù)會逐步信息化,形成完整的試驗任務質(zhì)量體系管理數(shù)據(jù)。在質(zhì)量管理體系中,重要的一個環(huán)節(jié)是對質(zhì)量問題進行統(tǒng)計分析,查找質(zhì)量的原因,進行質(zhì)量的持續(xù)改進。因此,通過對數(shù)據(jù)中心的質(zhì)量信息的統(tǒng)計分析和數(shù)據(jù)挖掘,可以找出試驗任務實施過程中的薄弱環(huán)節(jié)和相關因素,通過糾正措施和應急預案提高試驗任務質(zhì)量等。
本文分析了海上測控任務數(shù)據(jù)中心的建設需求,根據(jù)測量船分布情況、測控數(shù)據(jù)及相關數(shù)據(jù)的實際情況,設計了一種適用于海上測控任務數(shù)據(jù)中心的一體化管理平臺。該平臺具備強大的統(tǒng)一計算與存儲系統(tǒng)能力以及良好的動態(tài)可擴展性,能實現(xiàn)統(tǒng)一的數(shù)據(jù)中心管理和應用。根據(jù)數(shù)據(jù)中心存儲的航天器遙測數(shù)據(jù)、測控設備運行數(shù)據(jù)、測控任務外測數(shù)據(jù)、海域數(shù)據(jù)、氣象數(shù)據(jù)及質(zhì)量數(shù)據(jù)等,分析了航天器遙測故障預警與診斷、測控設備遠程監(jiān)控與故障診斷、外測數(shù)據(jù)精度分析與數(shù)據(jù)挖掘等多種典型數(shù)據(jù)應用,實現(xiàn)了數(shù)據(jù)核心價值。
[1] 俞立平.大數(shù)據(jù)與大數(shù)據(jù)經(jīng)濟學[J].中國軟科學,2013(7):177-183. YU LiPing.Big data and large data economics[J].China Soft Science,2013(7):177-183.(in Chinese)
[2] 嚴霄鳳,張德馨.大數(shù)據(jù)研究[J].計算機技術與發(fā)展,2013(4):168-172. YAN Xiaofeng,ZHANG Dexin.Big data research[J]. ComPuter TechnologY and DeveloPment,2013(4):168-172.(in Chinese)
[3] 肇剛,李言俊.基于時間序列數(shù)據(jù)挖掘的航天器故障診斷方法[J].飛行器測控學報,2010,29(3):1-5. ZHAO Gang,LI Yanjun.SPacecraft fault diagnosis method based on time series data mining[J].Journal of SPacecraft TT&C TechnologY,2010,29(3):1-5.(in Chinese)
[4] 袁靜.面向設備故障診斷的數(shù)據(jù)挖掘關鍵技術研究與實現(xiàn)[D].西安:西安電子科技大學,2006. YUAN Jing.Research and imPlementation on KeY technolo_ gies of data mining oriented to equiPment failure diagnosis [D].Xi′an:Xidian UniversitY,2006.(in Chinese)
[5] 王敏,胡紹林,安振軍.外彈道測量數(shù)據(jù)誤差影響分析技術及應用[M].北京:國防工業(yè)出版社,2008. WANG Min,HU Shaolin,AN Zhenjun.Ballistic trajectorY error influence analYsis technologY and its aPPlication [M].Beijing:National Defense IndustrY Press,2008.(in Chinese)
[6] 孫衛(wèi)祥.基于數(shù)據(jù)挖掘與信息融合的故障診斷方法研究[D].上海:上海交通大學,2006. SUN Weixiang.Research on fault diagnosis method based on data mining and information fusion[D].Shanghai:Shanghai Jiaotong UniversitY,2006.(in Chinese)
[7] 劉濤.Ka波段衛(wèi)星通信雨衰與抗雨衰問題的研究[D].沈陽:東北大學,2008. LIU Tao.Research on rain attenuation and fade counter_ measures in Ka band satellite communication[D].ShenY_ ang:Northeastern UniversitY,2008.(in Chinese)
王 華(1977—),女,河南人,碩士,高級工程師,主要研究方向為軟件系統(tǒng)架構及數(shù)據(jù)庫應用等;
WANG Hua Was born in Henan Province,in 1977.She is noW a senior engineer With the M.S.degree.Her research concerns softWare sYstem architecture and database aPPlications.
Email:WhWindcolor@126.com
鮑俊雷(1978—),男,江蘇人,碩士,工程師,主要研究方向為軟件系統(tǒng)架構;
BAO Junlei Was born in Jiangsu Province,in 1978.He is noW an engineer With the M.S.degree.His research concerns softWare sYstem architecture.
張德華(1978—),男,江蘇人,碩士,工程師,主要研究方向為計算機應用;
ZHANG Dehua Was born in Jiangsu Province,in 1978.He is noW an engineer With the M.S.degree.His research concerns comPuter aPPlication.
段慧芬(1963—),女,吉林人,碩士,高級工程師,主要研究方向為航天測控;
DUAN Huifen Was born in Jilin Province,in 1963.She is noW a senior engineer With the M.S.degree.Her research con_ cerns sPace TT&C technologY.
黃愛軍(1982—),男,江蘇人,碩士,工程師,主要研究方向為計算機應用。
HUANG Aijun Was born in Jiangsu Province,in 1982.He is noW an engineer With the M.S.degree.His research concerns comPuter aPPlication.
Design of a Data Center Integrated Management Platform for Maritime TT&C Missions
WANG Hua,BAO Junlei,ZHANG Dehua,DUAN Huifen,HUANG Aijun
(China Satellite Maritime Tracking and Control DePartment,JiangYin 214431,China)
According to the characters of maritime task data and information distribution,this PaPer designs a data center integrated management Platform for maritime TT&C missions.BY aPPlYing the high Perform_ ance cluster Pattern database architecture based on shared memorY,the Platform can achieve PoWerful uni_ fied comPuting and storage sYstem caPacitY and good dYnamic scalabilitY.With hierarchical design,inclu_ ding data collection and Processing,data storage,data management and data aPPlication of the four laYers,unified data center management and aPPlication is realized.According to the aPPlication requirements,tYPi_ cal data aPPlication modules are designed to realize the core value of the data,such as the sPacecraft telem_ etrY fault earlY Warning and diagnosis,telemetrY and control equiPment remote monitoring and fault diagno_ sis and tracking accuracY analYsis and data mining.
maritime TT&C;data center;integrated management Platform;data acquisition;data storage;data mining;cloud comPutation
TP392
A
1001-893X(2016)01-0104-05
10.3969/j.issn.1001-893x.2016.01.019
王華,鮑俊雷,張德華,等.海上測控任務數(shù)據(jù)中心一體化管理平臺設計[J].電訊技術,2016,56(1):104-108.[WANG Hua,BAO Junlei,ZHANG Dehua,et al.Design of a data center integrated management Platform for maritime TT&C missions[J].Telecommunication En_ gineering,2016,56(1):104-108.]
2015-04-08;
2015-07-13 Received date:2015-04-08;Revised date:2015-07-13
**通信作者:WhWindcolor@126.com Corresponding author:WhWindcolor@126.com