邢漢發(fā),李長(zhǎng)輝,林 鴻,譚喜成,宋 楊
(1.廣州市城市規(guī)劃勘測(cè)設(shè)計(jì)研究院,廣東 廣州510060;2.武漢大學(xué) 國(guó)際軟件學(xué)院,湖北 武漢430079)
城市規(guī)劃管理中的地理空間數(shù)據(jù)分析與處理面臨著數(shù)據(jù)量高速膨脹、應(yīng)用模型復(fù)雜化的雙重挑戰(zhàn)[1-2]。而超級(jí)計(jì)算是解決國(guó)家經(jīng)濟(jì)建設(shè)、社會(huì)發(fā)展、科學(xué)進(jìn)步、國(guó)家安全和國(guó)防建設(shè)等領(lǐng)域一系列重大挑戰(zhàn)性問(wèn)題的重要手段,已經(jīng)成為世界各國(guó)特別是大國(guó)爭(zhēng)奪的戰(zhàn)略制高點(diǎn)[3-4]。然而當(dāng)前其巨大的存儲(chǔ)和計(jì)算潛力始終未被充分利用,如何應(yīng)用超級(jí)計(jì)算機(jī)來(lái)為工業(yè)和科研等領(lǐng)域服務(wù)已經(jīng)成為當(dāng)前研究的重要課題[5]。為滿足城市規(guī)劃和地理信息應(yīng)用領(lǐng)域?qū)A康乩砜臻g數(shù)據(jù)存儲(chǔ)、高性能計(jì)算和高效可視化的需求,有必要對(duì)超級(jí)計(jì)算機(jī)在規(guī)劃管理中的應(yīng)用做系統(tǒng)研究,并提出解決方案。
超級(jí)計(jì)算機(jī)是指“當(dāng)前時(shí)代運(yùn)算速度最快的大容量大型計(jì)算機(jī),是計(jì)算機(jī)領(lǐng)域的珠穆朗瑪峰”[5]。類似稱謂還有高性能計(jì)算機(jī)、高效能計(jì)算機(jī)等,是指由成百上千的處理器組成的、能計(jì)算普通PC機(jī)和服務(wù)器不能完成的大型復(fù)雜課題的計(jì)算機(jī),是運(yùn)算速度最快、存儲(chǔ)容量最大的計(jì)算機(jī),可以廣泛應(yīng)用于國(guó)家高科技領(lǐng)域和尖端技術(shù)研究,是國(guó)家科技發(fā)展水平和綜合國(guó)力的重要標(biāo)志。超級(jí)計(jì)算機(jī)首先是由希穆?tīng)枴た死子?0世紀(jì)60年代設(shè)計(jì)并制造,之后超級(jí)計(jì)算機(jī)飛速發(fā)展,到今天世界上運(yùn)行最快的我國(guó)自制研發(fā)的天河二號(hào),峰值運(yùn)算達(dá)33千萬(wàn)億次/s,相當(dāng)于800萬(wàn)臺(tái)普通筆記本電腦同時(shí)運(yùn)算的能力。
目前超級(jí)計(jì)算機(jī)在軍事、高科技領(lǐng)域以及國(guó)民經(jīng)濟(jì)建設(shè)中發(fā)揮著愈來(lái)愈大的作用,已廣泛地應(yīng)用于核武器研究和核材料儲(chǔ)存仿真,應(yīng)用于如氣象氣候、地球物理、空間物理、天文物理、高能物理、加速器物理、生命科學(xué)、材料設(shè)計(jì)和模擬、系統(tǒng)科學(xué)、人工智能、醫(yī)學(xué)等基礎(chǔ)科學(xué)研究領(lǐng)域,這些領(lǐng)域的研究成果許多將為工業(yè)化、產(chǎn)業(yè)化提供直接的科技支撐[6-7]。將來(lái)隨著超級(jí)計(jì)算機(jī)的發(fā)展,其應(yīng)用會(huì)不斷拓展到商業(yè)、服務(wù)業(yè)、政府決策等領(lǐng)域。超級(jí)計(jì)算機(jī)還是云計(jì)算主要的支撐平臺(tái)之一,伴隨云計(jì)算服務(wù)的進(jìn)一步普及,超級(jí)計(jì)算機(jī)將有著更為廣泛的應(yīng)用。
經(jīng)過(guò)多年的建設(shè)與積累,城市規(guī)劃系統(tǒng)所處理的測(cè)繪地理信息數(shù)據(jù)量呈一種加速增長(zhǎng)的趨勢(shì),TB乃至PB的數(shù)據(jù)作為重要的資源已經(jīng)出現(xiàn)。但由于當(dāng)前數(shù)據(jù)高效存儲(chǔ)、查找、共享能力有限,缺乏高效計(jì)算模型,難以滿足規(guī)劃計(jì)算中數(shù)據(jù)量膨脹、模型復(fù)雜化、實(shí)時(shí)計(jì)算需求,導(dǎo)致這些數(shù)據(jù)基本上都閑置在磁盤等存儲(chǔ)設(shè)備中,無(wú)法體現(xiàn)它們的價(jià)值,使城市規(guī)劃系統(tǒng)面臨著挑戰(zhàn)。
隨著對(duì)地觀測(cè)技術(shù)的發(fā)展,人們獲得測(cè)繪地理信息的能力大大增強(qiáng)。如圖1所示,城市規(guī)劃中的地理信息數(shù)據(jù)種類和數(shù)量急劇增長(zhǎng),這給計(jì)算機(jī)的存儲(chǔ)和計(jì)算都帶來(lái)了很大的壓力,當(dāng)數(shù)據(jù)超過(guò)一定的限制時(shí),普通計(jì)算機(jī)是無(wú)法處理的,這主要是由于單處理器運(yùn)行時(shí)對(duì)大數(shù)據(jù)進(jìn)行磁盤分頁(yè)和內(nèi)存映射的額外耗費(fèi)造成的。單機(jī)處理是有數(shù)據(jù)量限制的,對(duì)于更大規(guī)模的數(shù)據(jù),單機(jī)無(wú)法處理。
圖1 城市規(guī)劃中的多尺度數(shù)據(jù)資源
大部分的GIS模型都具有內(nèi)在復(fù)雜性,大多空間優(yōu)化問(wèn)題都是具有NP復(fù)雜度的問(wèn)題,同時(shí),模型和算法都是高計(jì)算復(fù)雜度和海量數(shù)據(jù)計(jì)算兼?zhèn)涞膯?wèn)題[8]。而對(duì)某些復(fù)雜問(wèn)題的求解,即使是精妙地改進(jìn)算法仍然是無(wú)能為力的。因此,在GIS模型分析計(jì)算領(lǐng)域?qū)τ?jì)算能力提出了迫切的需求[9]。
由于實(shí)際應(yīng)用的需要,如天氣預(yù)報(bào)、突發(fā)事件(火災(zāi)、地震)的快速反應(yīng)等,要求GIS系統(tǒng)具備在指定的時(shí)間內(nèi)能夠完成定量數(shù)據(jù)的處理,達(dá)到實(shí)時(shí)或近實(shí)時(shí)的處理能力,這對(duì)于實(shí)際應(yīng)用有重大的意義。這方面比較典型的例子是城市應(yīng)急響應(yīng)系統(tǒng)、災(zāi)害監(jiān)測(cè)系統(tǒng)、軍隊(duì)指揮控制系統(tǒng)及公眾地圖服務(wù)中對(duì)出圖效率和響應(yīng)時(shí)間的要求。對(duì)GIS實(shí)時(shí)計(jì)算能力要求是在考慮了數(shù)據(jù)的增長(zhǎng)和模型復(fù)雜化的前提下的不斷提高,因此是一個(gè)很有挑戰(zhàn)性的問(wèn)題。
本文充分發(fā)揮超級(jí)計(jì)算機(jī)海量數(shù)據(jù)管理和高性能計(jì)算的能力,以滿足規(guī)劃管理應(yīng)用中的GIS數(shù)據(jù)量膨脹、應(yīng)用模型復(fù)雜化、實(shí)時(shí)計(jì)算等需求。信息處理流程見(jiàn)圖2,平臺(tái)設(shè)計(jì)思路見(jiàn)圖3。針對(duì)當(dāng)前規(guī)劃數(shù)據(jù)海量增長(zhǎng)、復(fù)雜模型計(jì)算效率低下的問(wèn)題,將集群中的文件切分成塊,并創(chuàng)建多份數(shù)據(jù)塊的復(fù)制,利用多節(jié)點(diǎn)文件索引系統(tǒng)進(jìn)行管理;針對(duì)復(fù)雜模型計(jì)算效率低下的問(wèn)題,應(yīng)用MPI并行計(jì)算技術(shù),在計(jì)算機(jī)集群上面根據(jù)需求運(yùn)行多個(gè)程序?qū)嵗齺?lái)處理各個(gè)子任務(wù),然后再對(duì)結(jié)果進(jìn)行歸并,實(shí)現(xiàn)了海量空間數(shù)據(jù)的并行地理分析。對(duì)城市規(guī)劃中涉及到的地形地貌、淹沒(méi)、日照、視場(chǎng)分析等數(shù)據(jù)運(yùn)算密集型應(yīng)用進(jìn)行并行化處理。
圖2 城市規(guī)劃中的GIS信息處理流程
圖3 規(guī)劃管理應(yīng)用平臺(tái)設(shè)計(jì)思路
規(guī)劃管理應(yīng)用平臺(tái)能夠?qū)崿F(xiàn)基于語(yǔ)義的高效檢索和基于MPI的高性能計(jì)算方法,提高基于多源遙感、三維GIS等空間數(shù)據(jù)資源的利用效率,從而實(shí)現(xiàn)高效、合理、智能的城市規(guī)劃管理和分析功能。
平臺(tái)實(shí)現(xiàn)的主要技術(shù)指標(biāo)包括:①該平臺(tái)能夠?qū)?0種以上的城市多源異構(gòu)遙感、GIS數(shù)據(jù)進(jìn)行一體化描述和語(yǔ)義標(biāo)注;②提供海量多源異構(gòu)城市規(guī)劃遙感、GIS數(shù)據(jù)的描述、檢索、空間分析、規(guī)劃分析等5種以上服務(wù);③城市規(guī)劃海量空間數(shù)據(jù)的檢索的查全率達(dá)到98%以上,查準(zhǔn)率達(dá)到99%;④實(shí)現(xiàn)基于MPI的大規(guī)模城市規(guī)劃分析功能,如坡度分析、通視分析、日照分析等功能,對(duì)整個(gè)城市范圍的大比例尺數(shù)據(jù)的規(guī)劃分析性能提高5倍以上。
廣州超級(jí)計(jì)算中心是廣州市的科技一號(hào)工程,是助推戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展、支撐國(guó)家創(chuàng)新型城市和智慧廣州建設(shè)的重大戰(zhàn)略性基礎(chǔ)設(shè)施,為廣州、廣東乃至華南地區(qū)的經(jīng)濟(jì)社會(huì)發(fā)展提供強(qiáng)大引擎,為物聯(lián)網(wǎng)、動(dòng)漫渲染、工業(yè)設(shè)計(jì)、城市規(guī)劃、電子商務(wù)、電子政務(wù)等眾多領(lǐng)域的個(gè)人、研究機(jī)構(gòu)、企業(yè)和政府提供優(yōu)質(zhì)的高性能計(jì)算服務(wù)。有利于提升廣東、廣州的科技教育實(shí)力、產(chǎn)業(yè)競(jìng)爭(zhēng)力、文化創(chuàng)新力和國(guó)際影響力,推動(dòng)戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展,提升社會(huì)服務(wù)管理水平。同時(shí),也為規(guī)劃系統(tǒng)海量數(shù)據(jù)的共享和計(jì)算提供了一條可行途徑[5]。
廣州超算中心超級(jí)計(jì)算機(jī)系統(tǒng)從組成結(jié)構(gòu)上看,包括計(jì)算處理分系統(tǒng)、服務(wù)處理分系統(tǒng)、互連通信分系統(tǒng)、全局存儲(chǔ)分系統(tǒng)、監(jiān)控診斷分系統(tǒng)和基礎(chǔ)架構(gòu)分系統(tǒng)(見(jiàn)圖4)。
圖4 超級(jí)計(jì)算中心系統(tǒng)組成結(jié)構(gòu)
為了驗(yàn)證規(guī)劃管理平臺(tái)設(shè)計(jì)的可行性,本項(xiàng)目組依據(jù)平臺(tái)的性能需求,在廣州超算中心申請(qǐng)了9個(gè)計(jì)算節(jié)點(diǎn)(見(jiàn)圖5)。其中,1個(gè)主節(jié)點(diǎn)部署系統(tǒng)的應(yīng)用層,負(fù)責(zé)系統(tǒng)的用戶界面顯示和規(guī)劃應(yīng)用功能展示;1個(gè)子節(jié)點(diǎn)部署任務(wù)調(diào)度層,負(fù)責(zé)并行處理的作業(yè)調(diào)度,調(diào)用并行運(yùn)算功能;并行處理層運(yùn)行在7個(gè)子節(jié)點(diǎn)上,將計(jì)算完成的結(jié)果返回給主節(jié)點(diǎn)歸并。圖5是“廣州市三維規(guī)劃管理系統(tǒng)”在廣州超算中心先導(dǎo)系統(tǒng)上的系統(tǒng)實(shí)現(xiàn)界面,其是對(duì)廣州全市DEM數(shù)據(jù)的并行坡度分析結(jié)果圖,總共運(yùn)行時(shí)間約7s,比串行坡度分析效率提高近5倍。
圖5 平臺(tái)在廣州超級(jí)計(jì)算中心實(shí)現(xiàn)效果圖
本文針對(duì)城市規(guī)劃中地理信息數(shù)據(jù)量膨脹、模型復(fù)雜化、實(shí)時(shí)計(jì)算的迫切需求,依托超級(jí)計(jì)算機(jī)海量數(shù)據(jù)管理和處理能力,突破海量GIS數(shù)據(jù)高效存儲(chǔ)、復(fù)雜三維空間數(shù)據(jù)并行計(jì)算等技術(shù)難題,構(gòu)建城市規(guī)劃管理與應(yīng)用智能平臺(tái),為建設(shè)“智慧城市”、實(shí)現(xiàn)“三規(guī)合一”統(tǒng)一提供信息技術(shù)支撐,以提高測(cè)繪地理信息服務(wù)政府、服務(wù)社會(huì)的保障能力,最終推動(dòng)地理信息戰(zhàn)略型新興產(chǎn)業(yè)持續(xù)、健康、快速發(fā)展。
隨著大規(guī)??茖W(xué)計(jì)算成為繼實(shí)驗(yàn)和理論分析之后第三種科學(xué)研究手段后,高性能計(jì)算技術(shù)已經(jīng)成為國(guó)內(nèi)各個(gè)地區(qū)經(jīng)濟(jì)轉(zhuǎn)型期新的經(jīng)濟(jì)增長(zhǎng)點(diǎn)和技術(shù)服務(wù)支撐,國(guó)家級(jí)和省級(jí)的超算中心雨后春筍般競(jìng)相成立。廣州市正處于經(jīng)濟(jì)發(fā)展的轉(zhuǎn)型期,要充分利用廣州超算中心在高性能計(jì)算方面獨(dú)特的優(yōu)勢(shì),為以生物、地球科學(xué)、物聯(lián)網(wǎng)等為代表的各類新興產(chǎn)業(yè)提供優(yōu)質(zhì)的高性能計(jì)算技術(shù)服務(wù)。
[1]冉磊,高磊,張宇琳,等.三維數(shù)字城市技術(shù)在城市規(guī)劃中的應(yīng)用[J].城市勘測(cè),2010(2):99-101.
[2]劉勤,馬建林,趙江波.GIS在城市規(guī)劃管理信息系統(tǒng)中的應(yīng)用[J].城市勘測(cè),2010(3):20-22.
[3]王握文,陳明.“天河一號(hào)”超級(jí)計(jì)算機(jī)系統(tǒng)研制[J].國(guó)防科技,2009(6):4.
[4]張丹丹,郭培卿.第39屆全球超級(jí)計(jì)算機(jī)TOP500排行榜[J].高性能計(jì)算發(fā)展與應(yīng)用,2012,39(2):06-08.
[5]張軍華,臧勝濤,單聯(lián)瑜,等.高性能計(jì)算的發(fā)展現(xiàn)狀及趨勢(shì)[J].石油地球物理勘探,2010,45(6):918-925.
[6]劉航冶,李二森,張振華.基于集群的影像并行OPTA算法研究[J].測(cè)繪工程,2011,20(2):35-38.
[7]王結(jié)臣,王豹,胡瑋,等.并行空間分析算法研究進(jìn)展及評(píng)述[J].地理與地理信息科學(xué).2011,27(6):1-5.
[8]張劍清,柯濤,孫明偉,等.并行計(jì)算在航空攝影測(cè)量中的應(yīng)用與實(shí)現(xiàn)[J].測(cè)繪通報(bào),2008(12):11-14.
[9]吳佳妮,劉露,陳犖,等.高性能計(jì)算環(huán)境下地理計(jì)算服務(wù)流程并行處理方法[J].計(jì)算機(jī)科學(xué),2012,39(11):111-115.
[10]姚燕華,孫翔,王朝暉,等.廣州市控制性規(guī)劃導(dǎo)則實(shí)施評(píng)價(jià)研究[J].城市規(guī)劃,2008(2):38-44.
[11]周浩,鐘波,羅志才,等.OpenMP并行算法在衛(wèi)星重力場(chǎng)模型反演中的應(yīng)用[J].大地測(cè)量與地球動(dòng)力學(xué),2011,31(5):123-127.