張耀日

（中科云智（深圳）科技有限公司，廣東深圳 518000）

近年來，隨著大數(shù)據(jù)處理平臺體系架構(gòu)的完善和容器技術(shù)的發(fā)布應(yīng)用，基于大數(shù)據(jù)處理環(huán)境的數(shù)據(jù)集成技術(shù)越來越流行，這也使得大數(shù)據(jù)集成平臺的架構(gòu)和建設(shè)更加簡單和快速。與傳統(tǒng)的數(shù)據(jù)集成平臺相比，它在數(shù)據(jù)處理效率、可擴展性、容錯性等方面有了很大的提高。

1 數(shù)據(jù)集成技術(shù)概述

1.1 數(shù)據(jù)集成技術(shù)

信息集成化，是指把不同部門、不同系統(tǒng)、不同形式的異相信息，加以提取、轉(zhuǎn)化、添加到共同統(tǒng)一標準數(shù)據(jù)存儲庫的流程。信息集成化的主要目標，是為了能夠?qū)λ挟愊嘈畔⑦M行一個統(tǒng)一的存儲、管理與顯示。數(shù)據(jù)分析集成化可以完全遮蔽各類異構(gòu)數(shù)據(jù)之間的差異性、實現(xiàn)資源共享，并提升了數(shù)據(jù)共享的效率、更高效地提取數(shù)據(jù)的價值資訊。但數(shù)據(jù)分析集成化流程并非單純地將數(shù)據(jù)分析信息內(nèi)容堆砌，必須在集成化過程中將“臟數(shù)據(jù)信息”加以清理、對各類表現(xiàn)形式（存儲格式、數(shù)據(jù)庫類型、語義等）的數(shù)據(jù)分析信息內(nèi)容加以轉(zhuǎn)化、并重新統(tǒng)一裝載三個步驟。

1.2 數(shù)據(jù)集成模型

在大數(shù)據(jù)集成應(yīng)用的領(lǐng)域，目前已經(jīng)有了一些方式方法來建立集成模式以及相關(guān)的平臺體系，目前普遍使用的方式主要有聯(lián)邦式、基于中間件模式以及數(shù)據(jù)倉庫等，并且已經(jīng)較為普遍地運用于各類大數(shù)據(jù)集成行業(yè)中，在不同方面都能夠解決大數(shù)據(jù)間的相互訪問以及數(shù)據(jù)共享。

1.2.1 聯(lián)邦式數(shù)據(jù)庫

聯(lián)邦數(shù)據(jù)庫（FDBS）由半自治數(shù)據(jù)庫組成，在分散的數(shù)據(jù)源間彼此提供訪問連接，因此彼此也可以共享信息。這種數(shù)據(jù)庫的好處在于數(shù)據(jù)仍可以保存在一個分散的主系統(tǒng)下，不需形成一個集中統(tǒng)一的數(shù)據(jù)庫；但它的弊端也很明顯，即檢索速度較低，易產(chǎn)生死鎖、數(shù)據(jù)沖突等問題。

1.2.2 中間件模式模型

中間件模式模型是在大數(shù)據(jù)集成框架下處于分散的數(shù)據(jù)源體系（數(shù)據(jù)層）和系統(tǒng)應(yīng)用（應(yīng)用層）的中間，結(jié)構(gòu)如圖1所示。中間件模型使用戶能夠通過統(tǒng)一的訪問入口進行存取數(shù)據(jù)，將所有分散的主數(shù)據(jù)庫系統(tǒng)視為一個統(tǒng)一的集合。該模型的最大優(yōu)點是用戶不需要特別注意與底層主數(shù)據(jù)庫的關(guān)聯(lián)，從而提高了查詢結(jié)果。所有分散的主數(shù)據(jù)庫系統(tǒng)都可以描述為一個統(tǒng)一的數(shù)據(jù)集，使用單一的全局訪問入口。設(shè)計架構(gòu)模型的最大困難是如何建立這種統(tǒng)一的全局訪問可見性，能夠使在語義、格式上都有很大不同的主數(shù)據(jù)庫系統(tǒng)，能夠反映在這個中間層。

圖1 中間件模式模型架構(gòu)圖

1.2.3 數(shù)據(jù)倉庫模式模型

資料倉庫是近年來在信息行業(yè)最常用的一種詞語和方法，倉庫一般形容的是儲存東西的載體，在信息行業(yè)，是具體的存放信息的倉庫。同時數(shù)據(jù)倉庫又不同于資料庫，數(shù)據(jù)倉庫有著基于時間的、集成的、無易失性的、具有時間相關(guān)的特性，可以為公司、機構(gòu)進行信息服務(wù)的信息集合。模型結(jié)構(gòu)如圖2所示。數(shù)據(jù)存儲模式是一種多層次的結(jié)構(gòu)模式，一般包括信息收集、數(shù)據(jù)加工整理、信息存儲、統(tǒng)計分析等，數(shù)據(jù)儲存儲型是把離散的異構(gòu)數(shù)據(jù)資源加以綜合統(tǒng)一存儲，以便建立一個高質(zhì)量、標準化的信息集合體，以供公司、機構(gòu)研究決策。

圖2 數(shù)據(jù)倉庫模式模型架構(gòu)圖

2 科技管理數(shù)據(jù)集成平臺需求分析

2.1 需求特性分析

大數(shù)據(jù)時期，由于數(shù)據(jù)集成平臺應(yīng)用要求逐漸呈現(xiàn)出多元、個體化的特點，加之各主體之間差異也更加突出，所以對數(shù)據(jù)集成平臺要重視技術(shù)要求的收集工作，以找出應(yīng)用的實際需要、潛在要求以及未來需求，并對其準確認識、描述和集成，同時又按技術(shù)要求維度、集成層次和集成方式等方面加以分類整合，科學(xué)有效地解決技術(shù)要求問題，為數(shù)據(jù)集成平臺的順利開展技術(shù)業(yè)務(wù)打下了根基。

2.1.1 時效性

隨著市場競爭的越來越活躍，企業(yè)在產(chǎn)品創(chuàng)新和技術(shù)創(chuàng)業(yè)孵化的過程中對產(chǎn)品的使用要具備相應(yīng)的時效性，從而保持了市場競爭優(yōu)勢。

2.1.2 剛性

區(qū)域科技創(chuàng)新創(chuàng)業(yè)主體，通常并不會因為技術(shù)資源成本的降低而改變對人才的實際要求，所以用戶對技術(shù)的要求也缺少了相應(yīng)的柔性。

2.1.3 復(fù)雜性

大數(shù)據(jù)處理環(huán)境下，應(yīng)用中對技術(shù)的要求不僅單一化，而且還更加復(fù)雜，因此，除單純的技術(shù)要求之外，可能還要求與之相配套的專業(yè)隊伍、儀器設(shè)備等，甚至更可能的還是需要科技創(chuàng)業(yè)需求方案。

2.2 需求類型分析

（1）根據(jù)技術(shù)需求的不同環(huán)節(jié)，可以將其分為不同需求，例如，初始階段主要對科技群體有較強的需求，中試階段主要對中試基地有較強的要求，產(chǎn)業(yè)化階段主要對市場條件有較強的要求。

（2）根據(jù)需求主體的不同可將需求分類為用戶科技創(chuàng)業(yè)需要、科研機構(gòu)及高?？萍紕?chuàng)業(yè)需要以及行政管理機關(guān)需要等。

（3）根據(jù)技術(shù)要求領(lǐng)域的不同，可將其分類為新能源、生物工業(yè)、新材料、高端裝備工業(yè)、現(xiàn)代服務(wù)業(yè)等，但各個領(lǐng)域之間由于政策環(huán)境、資源基礎(chǔ)條件等原因，對技術(shù)要求也存在著很大差別。

2.3 整合需求分析

2.3.1 縱向整合

數(shù)據(jù)融合平臺技術(shù)的縱向集成方法，指的是面向科技創(chuàng)新主體在各個技術(shù)創(chuàng)新環(huán)節(jié)中對某一個要求進行組合集成的技術(shù)方法。由于研究環(huán)節(jié)、成果轉(zhuǎn)化環(huán)節(jié)和工業(yè)化環(huán)節(jié)的資本市場技術(shù)需求程度略有差異，基于異構(gòu)技術(shù)需求的垂直整合，大數(shù)據(jù)整合平臺還可以為科技金融行業(yè)提供融資渠道，如科技風(fēng)險投資、風(fēng)險投資和天使投資，以滿足全球商業(yè)技術(shù)融資的需要。

2.3.2 橫向整合

數(shù)據(jù)融合平臺技術(shù)需求橫向集成方法，指的是面向創(chuàng)新創(chuàng)業(yè)主體或某一特殊創(chuàng)業(yè)環(huán)節(jié)，對各類技術(shù)要求所進行的組合集成的方法。如在研究成果轉(zhuǎn)移過程各個環(huán)節(jié)的研究轉(zhuǎn)化團隊、轉(zhuǎn)移資本、技術(shù)工程化等方面的要求，以及在對異質(zhì)性技術(shù)需求橫向集成的基礎(chǔ)上，數(shù)據(jù)集成平臺將能夠提供研究成果轉(zhuǎn)移的子平臺，并融入到整個數(shù)據(jù)集成平臺體系中去，從而為科技創(chuàng)業(yè)主體在整個研究成果轉(zhuǎn)移流程中提供必要的技術(shù)支撐與服務(wù)，同時促進公司在技術(shù)研究與產(chǎn)業(yè)化的各環(huán)節(jié)中進行了無縫銜接。

2.3.3 網(wǎng)絡(luò)化整合

從數(shù)據(jù)融合平臺整合技術(shù)需求網(wǎng)絡(luò)化的方法，是指將各種技術(shù)需求橫向和縱向交叉整合到各種應(yīng)用程序中的方法，科技企業(yè)家的技術(shù)鏈接。網(wǎng)絡(luò)化集成可以通過技術(shù)問題和需求的有效集成，有效緩解技術(shù)需求在環(huán)境中分散分布的資源問題，提出了一個大數(shù)據(jù)集成平臺，通過大數(shù)據(jù)分析提出了一個服務(wù)解決方案，實現(xiàn)了企業(yè)之間的有效協(xié)作和交互技術(shù)要求和有關(guān)資源。

3 科技管理數(shù)據(jù)集成平臺構(gòu)建

為提升科技對信息整合的效率與成果，同時減少信息整合系統(tǒng)的運營與管理成本，本文介紹了以容器為代表的大數(shù)據(jù)分析與科技，來打造信息整合系統(tǒng)。容器是一個輕量級的虛擬化產(chǎn)品，具備空間占用低、執(zhí)行效率高的特性。容器通過進程分離的形式完成對工作平臺的分離，非常適合進行集群管理，能夠簡單、快捷地構(gòu)建各種大數(shù)據(jù)處理應(yīng)用系統(tǒng)。

3.1 整體架構(gòu)

3.1.1 云平臺層

云平臺層是整個平臺的基石，負責(zé)管理和調(diào)配分布式信息；同樣，通過對容器空間結(jié)構(gòu)加以重新安排，達到更多用戶的租戶空間資源配置與隔離。

3.1.2 大數(shù)據(jù)基礎(chǔ)能力層

大數(shù)據(jù)管理平臺技術(shù)層通過整合各項大數(shù)據(jù)管理產(chǎn)品，以及通過云平臺層帶來的各項優(yōu)勢，為技術(shù)企業(yè)管理信息集成的上層應(yīng)用領(lǐng)域供給各項必備的軟件。

3.1.3 數(shù)據(jù)集成層

作為整個平臺的運行核心，信息集成層將通過大數(shù)據(jù)管理基礎(chǔ)能力層所提出的各類方法，對大科技管理信息系統(tǒng)涉及的各類信息進行收集、轉(zhuǎn)換、處理和分類運算，從而為服務(wù)層提供大數(shù)據(jù)服務(wù)。

3.1.4 應(yīng)用服務(wù)層

通過對數(shù)據(jù)集成層加工、處理之后的大數(shù)據(jù)分析，應(yīng)用服務(wù)層能夠面向不同的使用場合進行定制化的業(yè)務(wù)，包括大數(shù)據(jù)分析可視化、科研關(guān)系分析、項目管理風(fēng)險評估等。同時，在應(yīng)用服務(wù)層可以使用由云平臺層開發(fā)的應(yīng)用統(tǒng)一調(diào)度體系，對應(yīng)用實施容器式管控。

3.2 大數(shù)據(jù)基礎(chǔ)能力層

大數(shù)據(jù)能力的基本層是計算架構(gòu)層，它可以快速整合所有重要的大數(shù)據(jù)處理部門，并提供更有效的工具來解決大數(shù)據(jù)收集的業(yè)務(wù)需求數(shù)據(jù)、數(shù)據(jù)存儲、信息處理等。大數(shù)據(jù)處理核心能力層的每個組件都可以更高效、更合理地利用各種分布式大型計算材料和資源云平臺層提供的存儲。大多數(shù)組件（與數(shù)據(jù)存儲相關(guān)的組件除外）都可以以容器形式部署，也因此，它能夠使用由云平臺層提供的統(tǒng)一資源調(diào)度機制來管理。大數(shù)據(jù)分析基礎(chǔ)能力層中所集成的組件則大致包括了如下五種。

3.2.1 數(shù)據(jù)采集組件

都是采用了分布式的數(shù)據(jù)采集平臺，整合了各種主要數(shù)據(jù)庫系統(tǒng)、各種網(wǎng)絡(luò)服務(wù)端口和本地操作系統(tǒng)，并具備容錯管理與修復(fù)機制，從而可以進行高安全、高速可用的數(shù)據(jù)收集與傳輸服務(wù)。常見的相關(guān)組件為Kafka 和Flume 等。

3.2.2 數(shù)據(jù)存儲組件

具有分布式的保存高度結(jié)構(gòu)化、半構(gòu)造化和非構(gòu)造化的科技管理信息，并有利于進行快速搜索和查找的功能。常用的相關(guān)組件為HDFS、MPP（massively parallel processing）、HBase、Elas‐ticsearch、Redis 等。

3.2.3 計算引擎組件

大多都是分布式運算架構(gòu)，支撐對大量的科技管理信息實施批數(shù)據(jù)處理，因此能夠有效提升大數(shù)據(jù)分析整體的運算效能。常見的相關(guān)組件為MapReduce、Spark 等。

3.2.4 數(shù)據(jù)處理組件

提供信息檢索與分析的數(shù)據(jù)倉庫手段，如能夠?qū)崿F(xiàn)大量的離線統(tǒng)計分析。同時，通過數(shù)據(jù)處理軟件可以完成對MySQL、HBase、HDFS 等大數(shù)據(jù)文件的提取、轉(zhuǎn)化和加載等操作。目前使用的相關(guān)軟件主要有Hive、SparkETL 等。

3.2.5 其他組件

除這些組件之外，在大數(shù)據(jù)分析技術(shù)基礎(chǔ)能力層還有一系列機器教學(xué)組成部分，如SparkMLIB、TensorFlow、PyTorch 等；數(shù)據(jù)分析挖掘與數(shù)據(jù)分析的組件，如RapidMiner 等；數(shù)據(jù)分析組件，如Atlas、Grinffin 等。

3.3 數(shù)據(jù)集成層

數(shù)據(jù)集成層也是該系統(tǒng)的運行核心，它主要采用了ETL 技術(shù)，先從各個數(shù)據(jù)中提取出最初的數(shù)據(jù)管理信息，接著再根據(jù)預(yù)定義的數(shù)據(jù)模型，對原始數(shù)據(jù)信息進行轉(zhuǎn)化運算，然后再把轉(zhuǎn)化后的信息重新添加到原始數(shù)據(jù)庫中。其中，原始資料包含多深度、多維度、多領(lǐng)域的科學(xué)信息、技術(shù)資料、信息化業(yè)務(wù)數(shù)據(jù)資料等，這些原始數(shù)據(jù)共同組成了科技財務(wù)信息系統(tǒng)的數(shù)字財富，針對不同的使用情景，可將上述的數(shù)據(jù)資產(chǎn)以不同的方法整合出來。比如，將技術(shù)人員在各個階段出具的申請書、任務(wù)書、匯報資料等數(shù)據(jù)整合出來，能夠復(fù)現(xiàn)出相應(yīng)項目的全部研發(fā)經(jīng)歷；再比如，通過把同一個科學(xué)指南研究方向下全部的項目和課題數(shù)據(jù)整合到一起，就能夠便于管理者了解該科學(xué)領(lǐng)域各個方面的研究成果。而科技管理數(shù)據(jù)整合的具體過程則包含了數(shù)據(jù)提取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載等。

4 結(jié)束語

本文從當(dāng)前科技管理工作實際業(yè)務(wù)需要入手，并根據(jù)以往的調(diào)研工作，提供了一個基于大數(shù)據(jù)處理環(huán)境下的科技管理工作大數(shù)據(jù)分析綜合平臺，該平臺充分利用了大數(shù)據(jù)處理的各種控制、運算、儲存等組件，具有不錯的穩(wěn)定性、可維護性和容錯性。利用這個網(wǎng)絡(luò)平臺，對高科技企業(yè)管理信息系統(tǒng)中產(chǎn)生的海量、多源、異構(gòu)性數(shù)據(jù)資源加以整合，企業(yè)能夠高效地運用科技管理數(shù)據(jù)資源，為支撐企業(yè)科學(xué)技術(shù)經(jīng)營決策、綜合統(tǒng)籌管理提供理論方法與科技保證。