葉青，陸曼曼，林明

（南寧市氣象局，廣西 南寧 530029）

當(dāng)前，我國已經(jīng)為氣象信息化的發(fā)展制定了明確的政策，所有地區(qū)的氣象部門都要認真研究氣象工作的現(xiàn)狀，發(fā)現(xiàn)問題，找到不足，然后做出有針對性的改進，制定科學(xué)的氣象信息化發(fā)展計劃。在建設(shè)氣象信息化工程的過程中，加強大數(shù)據(jù)云平臺的建設(shè)將有助于減少氣象領(lǐng)域一直存在的“信息孤島”現(xiàn)象，克服各個地區(qū)之間的信息交流障礙，促進有效的信息交換，提供包括氣象在內(nèi)的信息資源和數(shù)據(jù)云。氣象大數(shù)據(jù)平臺建設(shè)是氣象信息化建設(shè)的核心，目前國家局初步建立了氣象大數(shù)據(jù)平臺，初步實現(xiàn)了天氣預(yù)報智能化，從而大大提高提供氣象信息服務(wù)的能力，改善氣象信息化業(yè)務(wù)管理水平。

1 大數(shù)據(jù)時代氣象信息化面臨的問題

1.1 通信基礎(chǔ)設(shè)施支撐能力不足

目前，氣象通信系統(tǒng)快速響應(yīng)能力不足?，F(xiàn)有的氣象通信系統(tǒng)是基于“本地計算，本地服務(wù)、文件共享”的傳統(tǒng)業(yè)務(wù)模式設(shè)計的，主要支持氣象觀測數(shù)據(jù)的收集、傳輸以及氣象服務(wù)信息的分發(fā)。隨著衛(wèi)星、雷達等數(shù)據(jù)規(guī)模的快速增長，氣象信息系統(tǒng)對網(wǎng)絡(luò)帶寬的需求急劇增加，網(wǎng)絡(luò)流量也顯著增加?，F(xiàn)有系統(tǒng)不足以支持大量的在線訪問、在線協(xié)作。為了提高氣象預(yù)報的準(zhǔn)確性和預(yù)警提前量，需要氣象通信系統(tǒng)具備亞分鐘級數(shù)據(jù)速率。隨著氣象服務(wù)的不斷發(fā)展，高性能計算功能遠遠無法滿足業(yè)務(wù)需求。

1.2 氣象信息孤島現(xiàn)象嚴重

根據(jù)業(yè)務(wù)需求開發(fā)的氣象業(yè)務(wù)系統(tǒng)缺乏科學(xué)合理的頂層設(shè)計，沒有統(tǒng)一的標(biāo)準(zhǔn)和數(shù)據(jù)基礎(chǔ)，沒有構(gòu)成良好的業(yè)務(wù)生態(tài)系統(tǒng)，各地氣象系統(tǒng)之間相互獨立，相似的功能反復(fù)開發(fā)，導(dǎo)致氣象數(shù)據(jù)結(jié)構(gòu)不一致，這樣的信息孤島現(xiàn)象非常嚴重。數(shù)據(jù)環(huán)境密集且統(tǒng)一，但是，業(yè)務(wù)系統(tǒng)集約化程度較低?；趥鹘y(tǒng)體系結(jié)構(gòu)的CIMISS在數(shù)據(jù)管理功能和信息訪問效率方面，不能滿足大型數(shù)據(jù)處理應(yīng)用程序的并行計算要求。仍然有一些業(yè)務(wù)系統(tǒng)使用CIMISS作為數(shù)據(jù)源，并使用數(shù)據(jù)同步和其他技術(shù)在本地創(chuàng)建多個數(shù)據(jù)庫，從而產(chǎn)生新一輪的信息孤島，數(shù)據(jù)價值挖掘功能不足，以及部門和跨行業(yè)融合不足，不能充分發(fā)揮數(shù)據(jù)的作用。

1.3 提供氣象數(shù)據(jù)服務(wù)的能力不足

傳統(tǒng)的氣象數(shù)據(jù)管理模型無法提供有效的氣象預(yù)測，不能按需求提供針對性服務(wù)，也無法在線實時交換大量數(shù)據(jù)。傳統(tǒng)的計算能力和計算方法無法滿足海量數(shù)據(jù)處理和分析需求。在有限時間內(nèi)不能做到及時有效地處理、分析和應(yīng)用各種類型的數(shù)據(jù)，無法提供內(nèi)部并行服務(wù)。在氣象部門外，其他行業(yè)部門進行數(shù)據(jù)分析是必不可少的，但是，在大數(shù)據(jù)分析領(lǐng)域還處于初級階段，而且氣象數(shù)據(jù)與行業(yè)數(shù)據(jù)之間的相關(guān)性分析和整合還不夠。

1.4 氣象數(shù)據(jù)安全保護能力不足

氣象信息的安全保護體系已初具規(guī)模，關(guān)鍵業(yè)務(wù)系統(tǒng)已經(jīng)按照安全要求實施了分級保護，但現(xiàn)有的氣象信息服務(wù)系統(tǒng)對網(wǎng)絡(luò)安全突發(fā)事件的應(yīng)急能力還不夠?？偟膩碚f，各級氣象部門信息系統(tǒng)的安全防護相對薄弱，技術(shù)上缺乏系統(tǒng)的安全防護措施，大多數(shù)業(yè)務(wù)應(yīng)用系統(tǒng)都受到了威脅，網(wǎng)絡(luò)安全風(fēng)險很高。在基于密集資源池的業(yè)務(wù)模型中，網(wǎng)絡(luò)邊界變得越來越模糊，必須重建氣象信息安全技術(shù)的體系結(jié)構(gòu)，運用新的安全保護手段。隨著網(wǎng)絡(luò)覆蓋范圍的擴大和業(yè)務(wù)應(yīng)用程序的增長，整個系統(tǒng)的網(wǎng)絡(luò)安全性仍然存在較多漏洞，氣象應(yīng)用程序的安全隱患十分突出，缺乏內(nèi)容級別的安全性管理，和國家網(wǎng)絡(luò)安全標(biāo)準(zhǔn)也存在差距。

1.5 氣象信息綜合管理能力不足

氣象信息化快速發(fā)展，然而，目前還缺乏完善的技術(shù)標(biāo)準(zhǔn)、管理體系和工作方法，無法完全滿足氣象信息化發(fā)展的要求。在氣象信息管理方面缺乏頂層設(shè)計和約束機制。集成的管理信息系統(tǒng)使使用過程難以做到高效的數(shù)據(jù)交換、業(yè)務(wù)協(xié)調(diào)以及有效的決策支持變得困難，同時存在大量異構(gòu)格式的氣象管理數(shù)據(jù)，這些數(shù)據(jù)難以管理、共享和重用。

2 解決大數(shù)據(jù)時代氣象信息化問題的對策

2.1 建立健全氣象大數(shù)據(jù)平臺，提高基礎(chǔ)設(shè)施的支撐能力

建立基于云計算、大數(shù)據(jù)的氣象大數(shù)據(jù)平臺。氣象大數(shù)據(jù)平臺包括集中式的元數(shù)據(jù)管理、分布式的ETL管理、調(diào)度管理，可以進行大數(shù)據(jù)的采集、處理、存儲、共享，同時，還可以進行數(shù)據(jù)質(zhì)量管理、系統(tǒng)自我監(jiān)控以及系統(tǒng)自助服務(wù)和維護功能。氣象大數(shù)據(jù)平臺基于Hadoop集群、Impala集群、Oracle集群構(gòu)建。平臺基本架構(gòu)可以劃分成數(shù)據(jù)源層、大數(shù)據(jù)平臺層、應(yīng)用程序?qū)?。氣象大?shù)據(jù)平臺負責(zé)對整個數(shù)據(jù)資源進行標(biāo)準(zhǔn)化管理，以確保高效、穩(wěn)定的數(shù)據(jù)性能以及數(shù)據(jù)的快速聚合、快速交換、快速存儲以及質(zhì)量管理。

（1）數(shù)據(jù)源層包括與天氣服務(wù)有關(guān)的所有數(shù)據(jù)源。通過對氣象數(shù)據(jù)分類，可以分成多個數(shù)據(jù)塊，包括結(jié)構(gòu)化的CIMISS數(shù)據(jù)、非結(jié)構(gòu)化的CIMISS數(shù)據(jù)（衛(wèi)星，雷達，數(shù)值預(yù)報等）和氣象行業(yè)的外部數(shù)據(jù)（航空、農(nóng)業(yè)、保險、交通、水利等）、互聯(lián)網(wǎng)數(shù)據(jù)和地理數(shù)據(jù)。大數(shù)據(jù)平臺層基于前端計算機集群對數(shù)據(jù)進行分析、處理，生成高質(zhì)量的信息產(chǎn)品，并將這些信息產(chǎn)品進行分類存儲。使用分布式ETL工具提取、清洗、轉(zhuǎn)換、合并初始數(shù)據(jù)，根據(jù)數(shù)據(jù)倉庫模型的預(yù)定義組合將數(shù)據(jù)加載到數(shù)據(jù)倉庫中。

（2）大數(shù)據(jù)平臺層是整個大數(shù)據(jù)平臺體系結(jié)構(gòu)的核心組件。一個完整的大數(shù)據(jù)平臺必須提供脫機計算、臨時查詢、實時計算、實時查詢功能，僅僅依靠一個集群是無法實現(xiàn)的，因此，如何組合和使用上述三種集群非常重要。Impala集群由Kudu、Alluxio、Impala構(gòu)成，主要接收結(jié)構(gòu)化數(shù)據(jù)和基本數(shù)據(jù)；Hadoop集群包括由HBase、Spark、HDFS、Alluxio等構(gòu)成，主要存儲非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)；Oracle集群主要存儲臨時應(yīng)用程序數(shù)據(jù)。在大數(shù)據(jù)平臺上部署Solr Cluster的分布式搜索。借助Solr的集中配置，自動容錯和實時搜索功能可以滿足大索引量和高并發(fā)搜索量的數(shù)據(jù)應(yīng)用，通過Music氣象數(shù)據(jù)服務(wù)接口接收統(tǒng)一、標(biāo)準(zhǔn)化的數(shù)據(jù)，以實現(xiàn)統(tǒng)一格式氣象信息的顯示。

（3）氣象大數(shù)據(jù)平臺的應(yīng)用層位于架構(gòu)的最頂層，主要用在基于大數(shù)據(jù)平臺開發(fā)的業(yè)務(wù)應(yīng)用，從大數(shù)據(jù)平臺層中提取出來的數(shù)據(jù)將應(yīng)用于多項氣象應(yīng)用，能夠高效滿足即席查詢、日常統(tǒng)計查詢等應(yīng)用開發(fā)。目前，我國氣象部門正在進行氣象防災(zāi)減災(zāi)聯(lián)動支撐平臺、氣象與農(nóng)業(yè)、氣象與旅游等應(yīng)用專題研究，并且已經(jīng)取得了一定的成果。

（4）氣象大數(shù)據(jù)平臺應(yīng)通過數(shù)據(jù)和算法的融入，滿足氣象信息系統(tǒng)在數(shù)據(jù)共享、業(yè)務(wù)協(xié)同、計算框架等方面的集約化管理，實現(xiàn)氣象產(chǎn)品算法統(tǒng)一管理和調(diào)度運行、數(shù)算一體的業(yè)務(wù)應(yīng)用模式。

2.2 建立高效氣象通信系統(tǒng)，開展氣象高性能計算應(yīng)用

首先，利用電子政務(wù)外聯(lián)網(wǎng)和氣象寬帶網(wǎng)，建立直達省、市、縣的扁平化高效通信網(wǎng)絡(luò)，提高網(wǎng)絡(luò)帶寬，從而提高氣象數(shù)據(jù)傳輸能力，完成氣象通信系統(tǒng)2.0(CTS2.0)的業(yè)務(wù)運行，使氣象通信速度提升至秒級。

其次，建立高性能計算資源，啟動業(yè)務(wù)應(yīng)用，提高氣象網(wǎng)格化預(yù)報、短臨天氣預(yù)報的計算能力，加快天氣雷達、氣象衛(wèi)星、自動氣象站等氣象觀察數(shù)據(jù)源的計算分析速度，提高對氣象核心業(yè)務(wù)的支持。

最后，改造氣象業(yè)務(wù)系統(tǒng)，按照統(tǒng)一管理、數(shù)據(jù)共享的原則，打造省、市、縣建立多級氣象業(yè)務(wù)布局。整合綜合觀測、氣象預(yù)報、公共服務(wù)數(shù)據(jù)和處理等功能，實現(xiàn)技術(shù)集成、數(shù)據(jù)集成、業(yè)務(wù)集成，完善氣象業(yè)務(wù)系統(tǒng)的云+終端模式。促進氣象信息管理系統(tǒng)的集成和更新，幫助實現(xiàn)氣象管理功能的信息化、智能化，采用面向服務(wù)的體系結(jié)構(gòu)（SOA），集成行政管理、業(yè)務(wù)管理、人力資源管理、財務(wù)管理等管理功能，開發(fā)決策支持應(yīng)用程序、各種政務(wù)管理系統(tǒng)和業(yè)務(wù)管理應(yīng)用系統(tǒng)，創(chuàng)建全面的氣象信息管理系統(tǒng)，實現(xiàn)氣象信息化的全面發(fā)展。

2.3 構(gòu)建共治共用的信息安全管理體系

首先，應(yīng)該建立健全安全責(zé)任制度，強化信息安全管理體系的建設(shè)，強化信息安全管理人員的安全意識和培訓(xùn)，不斷提高氣象信息安全事件應(yīng)急處置能力，定期組織應(yīng)急演練。其次，健全信息安全技術(shù)體系，提高網(wǎng)絡(luò)安全防護能力，實現(xiàn)對網(wǎng)絡(luò)和核心業(yè)務(wù)系統(tǒng)的有效防護，運用資源池虛擬化防護能力，實行網(wǎng)絡(luò)安全審計，提高提升氣象業(yè)務(wù)內(nèi)網(wǎng)和外圍的安全威脅預(yù)警能力。

3 結(jié)語

綜上所述，氣象信息化是實現(xiàn)氣象業(yè)務(wù)現(xiàn)代化的重要保證。信息技術(shù)的發(fā)展為氣象信息化發(fā)展提供了強大的技術(shù)支持。以分布式計算、分布式存儲的大數(shù)據(jù)平臺成為實現(xiàn)氣象信息化的核心，為解決應(yīng)用程序集成之類的問題提供強大的工具，有效地推動了氣象服務(wù)的智能化、個性化，從而有效提高了氣象信息化服務(wù)水平。