方 興
(廣西壯族自治區(qū)遙感信息測繪院 地理信息中心,南寧 530000)
面向測繪地理信息的數(shù)據(jù)中心建設與應用研究
方 興
(廣西壯族自治區(qū)遙感信息測繪院 地理信息中心,南寧 530000)
本文依據(jù)廣西測繪地理信息數(shù)據(jù)中心建設情況,探討了數(shù)據(jù)中心建設原則和現(xiàn)實數(shù)據(jù)中心建設的困難,并從技術與資金、數(shù)據(jù)與業(yè)務和人才培訓3方面闡述了如何有效開展數(shù)據(jù)中心建設與管理。最后,基于大數(shù)據(jù)服務的測繪地理信息下的多數(shù)據(jù)中心融合實現(xiàn)提出了建設方案。
測繪地理信息;虛擬化;數(shù)據(jù)中心;大數(shù)據(jù)
在當今信息爆炸式增長、科技突飛式發(fā)展的潮流下,數(shù)據(jù)中心已經(jīng)成為信息化建設的基礎,是基礎架構中的核心支柱。由于數(shù)據(jù)中心在信息化項目中的作用和地位與日俱增、不可替代,無論是研究基礎科研理論的學者,還是設備制造廠商,都對如何建設一個綠色節(jié)能、經(jīng)濟高效、穩(wěn)健智能的數(shù)據(jù)中心展開了深入研究并提出各種解決方案。在實際工作中,建設數(shù)據(jù)中心需要建設者根據(jù)發(fā)展主體的戰(zhàn)略出發(fā),結合實際情況,制訂合情合理的建設方案。通過數(shù)據(jù)中心的建設促進信息化程度的不斷深化,不斷提升主體的競爭力和水平,才是數(shù)據(jù)中心建設的意義所在。為此,作者根據(jù)測繪地理信息數(shù)據(jù)中心建設的經(jīng)驗,對數(shù)據(jù)中心建設的原則、困難和實現(xiàn)進行探討。
隨著信息技術的不斷進步,企事業(yè)單位信息化進程不斷加快,需要存儲和處理海量信息的部門越來越迫切希望建設數(shù)據(jù)中心。從單位決策者的角度出發(fā),數(shù)據(jù)中心的建設應該嚴格按照發(fā)展戰(zhàn)略逐步實施;而對建設者來說,數(shù)據(jù)中心應該具備柔性的拓展能力以適應不斷變化的業(yè)務要求和技術標準。因此,在建設數(shù)據(jù)中心前必須明確發(fā)展戰(zhàn)略與建設方案相一致。
數(shù)據(jù)中心并不是簡單的軟件與硬件設備的集成,也不是存儲數(shù)據(jù)的倉庫,更不是簡單的應用堆疊。數(shù)據(jù)中心是整個信息化建設的基礎,建設數(shù)據(jù)中心主體的一切活動和發(fā)展將依托于數(shù)據(jù)中心得以實現(xiàn)。因此,數(shù)據(jù)中心的可控和穩(wěn)定運行才是建設主體需要考慮的第一要義。即在建設數(shù)據(jù)中心,建設主體應當著重從安全、管理、經(jīng)濟、效率等4個方面來考慮,才能保證數(shù)據(jù)中心成為主體的核心競爭力,而并非毫無價值的象征意義。
由于虛擬化技術在資源配置和效率方面都存在著極大優(yōu)勢,它的出現(xiàn)推動了數(shù)據(jù)中心的變革。根據(jù)Jonathan Eunice的描述:“虛擬化……為數(shù)據(jù)、計算能力、存儲資源以及其他資源提供了一個邏輯視圖,而不是物理視圖?!本S基百科這樣定義:“虛擬化……這種資源的抽象方法并不受實現(xiàn)、地理位置或底層資源的物理配置的限制。”“Open Grid Services Architecture Glossary of Terms”則延伸了它的意義“虛擬化:對一組類似資源提供一個通用的抽象接口集,從而隱藏屬性和操作之間的差異,并允許通過一種通用的方式來查看并維護資源?!睋?jù)調查,目前全球大部分數(shù)據(jù)中心的資源利用率為15%~20%,通過整合資源,利用虛擬化技術,可以將利用率提高到50%~60%。此外,虛擬化技術能方便管理者通過單一的整合視圖對所有可用的計算和存儲資源統(tǒng)一管理,簡化了管理的復雜性,極大地提高其工作效率??梢哉f,虛擬化技術的出現(xiàn),很好地從技術層面化解了管理、經(jīng)濟和效率三者的矛盾,成為了當今數(shù)據(jù)中心建設潮流中的主流技術。因此,建設一個有競爭力的數(shù)據(jù)中心時,虛擬化技術是主體,它還簡化了數(shù)據(jù)中心的建設。
此處以作者所在單位的虛擬化數(shù)據(jù)中心的建設為例:整合原有的12臺服務器規(guī)模將其縮減到只需5臺高性能的服務器,CPU利用率從單臺平均10%提高到單臺平均55%,業(yè)務與應用的數(shù)量從原有20多項增加到現(xiàn)有60多項,平均每臺服務器承擔10多項應用,同時將分散的存儲空間進行虛擬化,進而形成連續(xù)可擴展的近200TB的統(tǒng)一存儲空間。改造千兆核心網(wǎng)絡為萬兆核心網(wǎng)絡,進一步提高數(shù)據(jù)中心服務的效率和質量,尤其是在提供高分辨率的影像地圖應用服務時,網(wǎng)絡傳輸速率尤為重要。通過主導虛擬化數(shù)據(jù)中心的建設過程,作者感到技術理論與實際操作兩者之間存在較大的差距,其主要面臨的困難有以下幾點。
2.1高端人才短缺
管理人才、應用人才、研發(fā)人才、維護人才較為短缺。虛擬化技術和復雜的數(shù)據(jù)中心建設方案在不斷改進中,在建設項目實施中技術更新與業(yè)務業(yè)績的雙重壓力下,對人的素質要求越來越高,導致門檻過高,高端人才缺乏。
2.2建設資金難以得到保障
虛擬化數(shù)據(jù)中心的建設周期比較長,且軟件和硬件設備配套的資金需求遠遠高于一般的服務器、存儲和網(wǎng)絡的組合,給建設主體帶來的經(jīng)濟壓力特別大。因此,如果數(shù)據(jù)中心的經(jīng)濟效果未能及時顯現(xiàn)出來,則會影響到建設主體繼續(xù)投入資金的動力,同時還有可能弱化數(shù)據(jù)中心在信息化建設項目中的作用。
2.3數(shù)據(jù)中心的物理結構難以達到預期效果
建設的目標需要通過預測未來的發(fā)展需求確定,無論是容量剩余,還是資源緊缺,都無法實現(xiàn)經(jīng)濟效益最大化。同時又可能存在需求爆炸點,這是難以準確估計的,一旦業(yè)務集中大量爆發(fā),卻沒有準備數(shù)據(jù)中心建設所需要額外投入的預算資金,對主體而言將一個極大的挑戰(zhàn)。
自1997年下半年出現(xiàn)了“數(shù)字地球”這個名詞起,我國的測量測繪自1999年起逐步由模擬制圖轉向數(shù)字化制圖,地理信息的數(shù)字化揭開了測繪的新篇章,在如今的21世紀則面臨著信息大爆炸的挑戰(zhàn)。筆者自2004年起服務于從事遙感數(shù)據(jù)的獲取和制作、地理信息的生產(chǎn)與應用的事業(yè)單位,2010年初次接觸到虛擬化技術,通過不斷的技術學習和業(yè)務操作實踐,積累了一些服務于測繪地理信息的虛擬化數(shù)據(jù)中心的經(jīng)驗和體會,以下分別從技術與資金、數(shù)據(jù)與業(yè)務和人才培訓等3個方面進行分析。
3.1虛擬化的數(shù)據(jù)中心對技術和資金要求較高
測繪地理信息是一個專業(yè)技術生產(chǎn)行業(yè),其特點是數(shù)據(jù)類型特別多,數(shù)據(jù)容量特別大,數(shù)據(jù)生產(chǎn)和獲取的方式和流程特別復雜,因此實施虛擬化的數(shù)據(jù)中心會對計算能力、存儲能力和網(wǎng)絡傳輸能力的要求較高。例如:單位的服務器需要安裝數(shù)10個應用,每個應用都有不同的設置需求,每次新增應用都面臨分離還是合并的選擇:分離運行浪費資源、浪費資金;合并運行則兼容性難以保障,風險后果難以預測,情況復雜難以處理。然而,通過使用虛擬化將各應用分配到獨立的實例中,則能很好地化解這一矛盾。虛擬化在此發(fā)揮了其兼容性好、實現(xiàn)方式靈活的優(yōu)點,盤活了原有設備的使用效率,降低了資金的需求和投入,對單位的生產(chǎn)效率產(chǎn)生了很明顯的效果,同時對數(shù)據(jù)中心建設初期的管理也較為簡單和方便。在發(fā)展和建設的中后期,雖然設備增加、應用增加,情況愈趨復雜,但是單位成本反而有所下降,效益增加。
3.2虛擬化的數(shù)據(jù)中心適合測繪地理信息數(shù)據(jù)和業(yè)務發(fā)展的需求
虛擬化的數(shù)據(jù)中心不僅整合了原本零散的計算資源和存儲資源,還能夠合理的分配和最大化使用網(wǎng)絡傳輸資源。其中分布式計算、分布式存儲、百萬兆或萬兆核心網(wǎng)絡都是建設虛擬化的數(shù)據(jù)中心必須具備的基礎技術?,F(xiàn)在測繪地理信息數(shù)據(jù)的應用無所不在,廣泛涉及生產(chǎn)、設計、制造、物流、營銷、社交、管理及軍事等各大方面,已經(jīng)深入地滲透到現(xiàn)代社會的方方面面中。使用測繪地理信息數(shù)據(jù)的企業(yè)有:阿里巴巴、騰訊、亞馬遜、谷歌等;使用測繪地理信息數(shù)據(jù)的應用有:農(nóng)業(yè)精細化生產(chǎn)、消費者行為區(qū)域預測、企業(yè)和個人的信用跟蹤管理等。只有虛擬化的數(shù)據(jù)中心才能滿足測繪地理信息海量數(shù)據(jù)的快速流動,從而挖掘海量的測繪地理信息中的有效信息,不斷創(chuàng)造新價值。
3.3虛擬化的數(shù)據(jù)中心對人才的影響
虛擬化的數(shù)據(jù)中心為測繪地理信息行業(yè)的專業(yè)人才提供了統(tǒng)一、穩(wěn)定的使用環(huán)境,能夠顯著減少他們用于適應新環(huán)境的時間和精力,使其更專注于專業(yè)領域的學習和發(fā)展;同時,虛擬化數(shù)據(jù)中心的管理人員需要具備更高的技術水平和專業(yè)素質以應對規(guī)模逐漸擴大、情況愈趨復雜的虛擬化數(shù)據(jù)中心的管理與維護,同時進入的門檻也逐步提高。虛擬化的數(shù)據(jù)中心促進了專業(yè)分工與合作,使專業(yè)人才之間的界限更加清晰分明。這給使用主體帶來兩個好處:一是責任明晰,有利于形成發(fā)展的合力;二是推動機構的改革與發(fā)展。
《大數(shù)據(jù)時代》一書提到:“當樣本數(shù)量足夠大時,你會發(fā)現(xiàn)其實每個人都是一模一樣的。”因此,只有匯聚多個數(shù)據(jù)中心的測繪地理信息,才能夠顯著的對社會發(fā)展和經(jīng)濟增長產(chǎn)生有效益的推動力。在建設中,大數(shù)據(jù)服務測繪地理信息下的多數(shù)據(jù)中心融合應該受到政策、環(huán)境和標準3方面的嚴格約束,避免脫韁失控。為此,筆者結合自身在測繪地理信息行業(yè)中建設虛擬化數(shù)據(jù)中心的經(jīng)驗,從政策、環(huán)境和標準3方面提出以下解決方案。
4.1制定法律法規(guī)政策
測繪地理信息涉及國家秘密、敏感數(shù)據(jù)、個人隱私等,因此對于不宜公開的地理信息、只能有限度有范圍交流的信息、只能在特定場合流通的信息、允許公開公布且自由使用的信息等都應該有明確規(guī)定和限定,必須要確立明確的、可依據(jù)的法律法規(guī)政策才能保障多數(shù)據(jù)中心融合的實現(xiàn)。這需要具有權威和權力的國家機關進行制訂和解釋,這也是法律法規(guī)政策具備合法性的唯一途徑,是第一步,也是最艱難的一步。
4.2多數(shù)據(jù)中心融合需要形成一個自律的信用環(huán)境
信息的獲取和使用需要消費者自律,應盡量避免濫用或違規(guī)使用,這源自消費者內部的自我要求。信用是外部監(jiān)督力量,使用信息的行為應處于監(jiān)管之下,且違規(guī)行為要有相應的處罰,兩者相輔相成才能形成良性循環(huán)。同時,一個自律的良好信用環(huán)境的形成將是一個相對漫長的過程。
4.3多數(shù)據(jù)中心融合需要建立一個統(tǒng)一且唯一的標準
相對于政策與法律,標準是多數(shù)據(jù)中心融合基于專業(yè)技術可行性的角度對多方合作提出的基本要求,是實現(xiàn)多數(shù)據(jù)中心融合的最后一步,從實際操作來看,它將有利于整個測繪地理信息行業(yè)形成合力,促進行業(yè)發(fā)展。
在建設測繪地理信息數(shù)據(jù)中心時,建設主體要利用基于數(shù)據(jù)中心的虛擬化技術,全面考慮數(shù)據(jù)中心的物理安全和邏輯安全,保障信息能夠得到正確而有效的運用。通過大數(shù)據(jù)分析與挖掘功能,創(chuàng)新服務于主體的產(chǎn)品和服務,同時與同行業(yè)務形成差異化,逐漸提升主體的核心競爭力。
主要參考文獻
[1]李志剛.建設天地圖大數(shù)據(jù)中心,打造國家戰(zhàn)略性信息基礎平臺[J].測繪地理信息,2015(2).
[2]朱雪堅,方劍強,葉雪波.省域測繪地理信息大數(shù)據(jù)中心建設的可行性探討[J].地理空間信息,2015(3).
[3]楊學軍,夏正清.貴州測繪地理信息大數(shù)據(jù)系統(tǒng)建設探討[J].科技資訊,2015(3).
10.3969/j.issn.1673 - 0194.2016.16.126
P208
A
1673-0194(2016)16-0193-02
2016-07-02