仇舒蕾 張宇浩

本文根據(jù)具體數(shù)據(jù)與具體應用要求，規(guī)劃了一些圖譜來完成技術大數(shù)據(jù)的可視化。文章設計和完成的科技圖譜軟件，把不同種類的科技資源、信息根據(jù)不同需求進行可視化，形成相關圖譜，展現(xiàn)可視化結(jié)果為客戶帶來科學的交互功能。

如今社會每天日均會形成大量信息，其包括入人們生活的各個方面，人們也由此進到大數(shù)據(jù)時代。想要充分利用數(shù)據(jù)，必須要有和大數(shù)據(jù)相符合的數(shù)據(jù)分析水平，以對大數(shù)據(jù)實現(xiàn)獲取、保存和分析，獲取其中的價值用于具體生產(chǎn)中，是當下重要的研究內(nèi)容。

大數(shù)據(jù)技術

現(xiàn)如今人們具有多樣化的數(shù)據(jù)載體，這類數(shù)據(jù)載體持續(xù)形成、傳輸數(shù)據(jù)，獲取這些數(shù)據(jù)中潛藏的信息，用在具體生產(chǎn)工作中，可引導人們更高效地分析局勢，做出科學決策。以往的單臺主機在運算和存儲上無法滿足信息分析處理需求，由此衍生出了大數(shù)據(jù)系統(tǒng)。大數(shù)據(jù)系統(tǒng)具有從大量數(shù)據(jù)中迅速獲取有用內(nèi)容的能力，當前已有許多與大數(shù)據(jù)相關科技產(chǎn)生，包括大規(guī)模并行處理信息庫、信息挖掘、分布式文件軟件、分布式信息庫、云計算系統(tǒng)以及互聯(lián)網(wǎng)存儲等。

科技譜圖軟件的設計和實現(xiàn)

1.系統(tǒng)設計

（1）技術資源信息分析圖

實現(xiàn)對每一種信息分析結(jié)論的可視化，形成柱狀圖與餅狀圖，基于柱狀圖體現(xiàn)信息種類與數(shù)量，基于餅狀圖體現(xiàn)信息構(gòu)成與各部分占據(jù)的比例。其具備以下3種功能：交互操作，客戶能夠在餅狀圖與柱狀圖上獲取具體資料；轉(zhuǎn)換功能，轉(zhuǎn)換顯示不同種類信息分析結(jié)論的可視化展現(xiàn)；搜索功能，搜索各個城市的信息分析結(jié)論。

（2）技術資源分布熱力圖

基于技術資源分布熱力圖，可于城市地圖上對技術資源信息實現(xiàn)可視化。在城市地圖上通過特別高亮的模式展現(xiàn)每種信息所處的地理范圍，表明信息所處位置，以覆蓋物方式表述信息的布局密度。點擊地圖中的標注產(chǎn)生提示數(shù)據(jù)，展現(xiàn)該標注所處位置的數(shù)據(jù)資料，比如名稱、部位和數(shù)據(jù)等內(nèi)容，提供每種信息的熱力圖。

2.系統(tǒng)實現(xiàn)

2.1系統(tǒng)實現(xiàn)條件

該系統(tǒng)選擇Java語言在Eclipse開發(fā)條件下研發(fā)，采取 SpreingMVC結(jié)構(gòu)，以Tomcat用作信息中間件。于Eclipse內(nèi)建立一個Web頁面，下載可視化軟件Echarts與D3的開發(fā)包，把開發(fā)包插進Eclipse開發(fā)條件中。下載SpringMVC結(jié)構(gòu)所要依靠的Spring jar包，把JAR包融進項目內(nèi)。根據(jù)系統(tǒng)邏輯規(guī)劃與開發(fā)結(jié)構(gòu)在項目內(nèi)建立每層結(jié)構(gòu)包，在包內(nèi)建立項目的Java文件展開編程任務。

2.2技術資源大數(shù)據(jù)處置系統(tǒng)

大數(shù)據(jù)處理系統(tǒng)依靠開源分布式計算結(jié)構(gòu)Hadoop，涉及規(guī)范的Hadoop部件，像HBase，Solr，Hive，Gangh等，帶來可視化的分布和控制工具。系統(tǒng)支持大數(shù)據(jù)運轉(zhuǎn)環(huán)境基于類似SQL或是JSON的形式來訪問Hadoop軟件內(nèi)的其余部件模塊Hive，HBase，HDFS內(nèi)的文件。

針對實施預處理的信息，在大數(shù)據(jù)系統(tǒng)內(nèi)借助大數(shù)據(jù)處理系統(tǒng)完成存儲與分析，根據(jù)具體的可視化要求及可視化主體，獲得可視化的信息。大數(shù)據(jù)處理系統(tǒng)如圖1所示。

在大數(shù)據(jù)處理系統(tǒng)內(nèi)，首先建立Hive信息倉庫，通過信息預處理集成信息，對收集的技術資源信息進行劃分，分析信息的可視化主題，對應至原始信息表與相關信息項，實現(xiàn)最后的表結(jié)構(gòu)規(guī)劃。按照規(guī)劃的表結(jié)構(gòu)創(chuàng)建Hive信息倉庫，展開信息加載，按照已創(chuàng)建的信息空間，從原本信息庫內(nèi)抽取出相關的信息存進Hadoop的HDFS文件軟件內(nèi)，借助Sqoop技術完成信息導入。