王丹丹 張璐明 賀小剛 劉鵬

【摘要】? ? 在我國經(jīng)濟(jì)高速發(fā)展的今天，我國經(jīng)濟(jì)建設(shè)推動(dòng)信息化產(chǎn)業(yè)高速運(yùn)行，目前已經(jīng)滲透進(jìn)我國各行各業(yè)的生產(chǎn)活動(dòng)中，人們?nèi)粘Ｉ钜搽x不開信息化產(chǎn)品。在這種背景下，大數(shù)據(jù)平臺(tái)也成為科學(xué)技術(shù)重要角色。本文針對(duì)數(shù)據(jù)門戶產(chǎn)品進(jìn)行分析，并對(duì)數(shù)據(jù)門戶產(chǎn)品建設(shè)作出研究，促進(jìn)企業(yè)等機(jī)構(gòu)利用數(shù)據(jù)化產(chǎn)品，旨在提高企業(yè)工作效率與質(zhì)量，為我國經(jīng)濟(jì)健康發(fā)展提供奠定基礎(chǔ)。

【關(guān)鍵詞】? ? 數(shù)據(jù)產(chǎn)品? ? 大數(shù)據(jù)平臺(tái)? ? 成果展示

引言：

我國正在大跨步走向信息化時(shí)代，社會(huì)對(duì)于信息產(chǎn)品需求也逐漸提高。而以基礎(chǔ)框架與各類模塊數(shù)據(jù)門戶產(chǎn)品，因?yàn)槠溥m用性較強(qiáng)，所以被企業(yè)、社會(huì)廣泛使用。還可以根據(jù)用戶需求制定不同模塊內(nèi)容，受到用戶一致好評(píng)。所以，將數(shù)據(jù)門戶產(chǎn)品詳細(xì)剖析，分析其基本原理與內(nèi)容結(jié)構(gòu)，并采用適當(dāng)方法對(duì)其進(jìn)行建設(shè)，可以有效提高企業(yè)核心競(jìng)爭(zhēng)力，提高我國整體科技水平。

一、數(shù)據(jù)門戶產(chǎn)品的相關(guān)概述

1.1 內(nèi)存計(jì)算產(chǎn)品

內(nèi)存計(jì)算產(chǎn)品（In-Memory Computing），準(zhǔn)確分析是作為一種技術(shù)構(gòu)架存在，但是為內(nèi)存計(jì)算技術(shù)提供信息處理的平臺(tái)卻具有大數(shù)據(jù)特性，可以認(rèn)為其是數(shù)據(jù)門戶產(chǎn)品中一類。

例如Spark，基于hadoop分布式文件存儲(chǔ)數(shù)據(jù)，將數(shù)據(jù)存儲(chǔ)工作交給HDFS，專注與信息處理環(huán)節(jié)。以數(shù)據(jù)計(jì)算為主要內(nèi)容，提供交叉查詢與負(fù)載優(yōu)化等功能。目前使用Spark內(nèi)存計(jì)算技術(shù)為Databricks云，主要負(fù)責(zé)大數(shù)據(jù)處理相關(guān)工作，高效發(fā)揮Spark計(jì)算能力，為常見工作內(nèi)容優(yōu)化流程提供必要初始程序[1]。

而HANA為用戶提供內(nèi)存計(jì)算相關(guān)引擎，同時(shí)提供基于HANA的建模工具，可以從SAP公司商務(wù)配套軟件或產(chǎn)品中直接導(dǎo)入第三方數(shù)據(jù)內(nèi)容，數(shù)據(jù)信息處理后，可以將其傳送到SAP BI客戶端進(jìn)行完整重現(xiàn)，降低客戶數(shù)據(jù)處理所需時(shí)間，有效提高數(shù)據(jù)處理工作質(zhì)量。其他內(nèi)存計(jì)算產(chǎn)品也是以高速信息處理，準(zhǔn)確數(shù)據(jù)分析為主要發(fā)展方向，提供海量數(shù)據(jù)存儲(chǔ)條件，增加用戶黏性。

1.2 hadoop發(fā)行版

利用分布式計(jì)算機(jī)MapReduce，HBase數(shù)據(jù)庫，Hive引擎構(gòu)建的hadoop生態(tài)系統(tǒng)，現(xiàn)已成為目前主要數(shù)據(jù)應(yīng)用技術(shù)體系。包括華為，IBM等互聯(lián)網(wǎng)與IT廠商，都加入hadoop生態(tài)圈，并推出各家企業(yè)商用hadoop發(fā)行版本，在對(duì)hadoop開源社區(qū)兼容性，應(yīng)用安全性等都具有不同特色，可以實(shí)現(xiàn)批量處理信息數(shù)據(jù)，部分企業(yè)還在實(shí)時(shí)數(shù)據(jù)信息處理有較強(qiáng)建樹[2]。

作為目前應(yīng)用最為廣泛、最典型大數(shù)據(jù)處理平臺(tái)，不僅可以實(shí)現(xiàn)對(duì)海量數(shù)據(jù)高速處理，安全存儲(chǔ)，也可以實(shí)現(xiàn)高效管理與監(jiān)控復(fù)雜集群。而hadoop發(fā)行版的部分內(nèi)容因?yàn)樾阅軆?yōu)秀，在實(shí)際應(yīng)用中表現(xiàn)良好性質(zhì)，也被hadoop開源社區(qū)吸收采納，增加hadoop生態(tài)系統(tǒng)完善性與多樣性，對(duì)后續(xù)企業(yè)使用提供便利性。

1.3 大數(shù)據(jù)平臺(tái)及產(chǎn)品分析

開源hadoop系統(tǒng)在開發(fā)環(huán)節(jié)存在自身攜帶問題，無法滿足企業(yè)商業(yè)應(yīng)用需求，例如在圖形管理工具方面欠缺，會(huì)對(duì)工作效率大幅度降低。而hadoop發(fā)行版不僅與開源hadoop系統(tǒng)具有較高兼容性，也可以根據(jù)企業(yè)需求增添管理與應(yīng)用模塊，對(duì)開源hadoop方案進(jìn)行優(yōu)化升級(jí)，進(jìn)行合理改造;Spark擁有實(shí)時(shí)查詢功能，在流計(jì)算方面變現(xiàn)良好。而hadoop的核心內(nèi)容，分布式計(jì)算架構(gòu)MapReduce可以對(duì)海量數(shù)據(jù)進(jìn)行批量式計(jì)算。

在Spark日益成熟，行業(yè)許多hadoop發(fā)行版都會(huì)將Spark融入其中，未來兩者極有可能走向相互融合。相較于基于RDBS關(guān)系構(gòu)建數(shù)據(jù)庫，一體化平臺(tái)無論是性能、可拓展性等方面都有較大突破。而在以往SQL接口支持、ET/BI上下游軟件兼容性等薄弱方面，經(jīng)過近些年發(fā)展，部分核心內(nèi)容已經(jīng)得到有效突破，擁有良好進(jìn)展情況。而我國地域遼闊，人口眾多，每天會(huì)產(chǎn)生海量數(shù)據(jù)信息，實(shí)時(shí)交流軟件騰訊，購物平臺(tái)阿里，信息發(fā)布平臺(tái)微博等，都開始將技術(shù)研發(fā)專項(xiàng)大數(shù)據(jù)處理方面，未來中國大數(shù)據(jù)平臺(tái)與產(chǎn)品領(lǐng)域?qū)⑹强萍及l(fā)展主要方向。

二、數(shù)據(jù)門戶產(chǎn)品建設(shè)研究

2.1 基本概念與參考的模型

根據(jù)維基百科定義，大數(shù)據(jù)即無法使用常規(guī)工具，在可接受時(shí)間范圍內(nèi)，有效進(jìn)行捕獲處理的數(shù)據(jù)集合形式。在科技逐漸發(fā)展的現(xiàn)在，大數(shù)據(jù)則被描述為無法使用傳統(tǒng)數(shù)據(jù)處理產(chǎn)品處理的海量數(shù)據(jù)。

大數(shù)據(jù)技術(shù)并不僅限于可以迅速掌握龐大數(shù)據(jù)信息內(nèi)容，重點(diǎn)為如何對(duì)數(shù)據(jù)在短時(shí)間內(nèi)進(jìn)行有效專業(yè)化處理。大數(shù)據(jù)類型分為結(jié)構(gòu)化、半結(jié)構(gòu)化與非結(jié)構(gòu)化三種，目前全球多數(shù)企業(yè)處理信息數(shù)據(jù)多為半結(jié)構(gòu)化數(shù)據(jù)，并且以每年60%速度穩(wěn)定遞增。

而數(shù)據(jù)門戶產(chǎn)品就是基于大數(shù)據(jù)背景下，融合相關(guān)軟件硬件，構(gòu)成平臺(tái)處理一體化功能系統(tǒng)產(chǎn)品。網(wǎng)絡(luò)加速模塊、數(shù)據(jù)存儲(chǔ)單元共同構(gòu)成大數(shù)據(jù)硬件基礎(chǔ)設(shè)置，而分布式文件系統(tǒng)與其計(jì)算系統(tǒng)，內(nèi)存數(shù)據(jù)庫和大數(shù)據(jù)應(yīng)用中間件構(gòu)成大數(shù)據(jù)處理工具，擁有監(jiān)控功能，提供數(shù)據(jù)訪問渠道的平臺(tái)管理系統(tǒng)，實(shí)現(xiàn)深度學(xué)習(xí)與精準(zhǔn)預(yù)測(cè)的大數(shù)據(jù)應(yīng)用，共同構(gòu)成大數(shù)據(jù)平臺(tái)軟件硬件產(chǎn)品[3]。

其中，在大數(shù)據(jù)硬件基礎(chǔ)設(shè)施與平臺(tái)管理系統(tǒng)之間，還有例如分布式資源管理、協(xié)作服務(wù)，以及數(shù)據(jù)備份與恢復(fù)工具。

2.2 標(biāo)準(zhǔn)化的思路

2.2.1 平臺(tái)總體架構(gòu)

雖然信息技術(shù)行業(yè)推出多種大數(shù)據(jù)平臺(tái)，涉及到大數(shù)據(jù)內(nèi)容的相關(guān)產(chǎn)品數(shù)量更是無法有效統(tǒng)計(jì)。但是從宏觀角度審視，這些大數(shù)據(jù)平臺(tái)與產(chǎn)品卻存在一個(gè)問題，即水平參差不齊，難以真正推動(dòng)我國科學(xué)技術(shù)穩(wěn)定發(fā)展。

許多平臺(tái)應(yīng)用子模塊僅是將hadoop開源項(xiàng)目的部分內(nèi)容改動(dòng)，或者進(jìn)行差異化演進(jìn)，并沒有完全對(duì)大數(shù)據(jù)發(fā)展提供充足動(dòng)力。

所以，對(duì)于平臺(tái)總體進(jìn)行標(biāo)準(zhǔn)化構(gòu)建，就需要對(duì)子模塊內(nèi)容、數(shù)量進(jìn)行確認(rèn)。并對(duì)在什么大數(shù)據(jù)背景下可以被稱作大數(shù)據(jù)平臺(tái)，這種基礎(chǔ)性概念明確。產(chǎn)品術(shù)語稱呼，應(yīng)用場(chǎng)景等內(nèi)容也需要考慮到平臺(tái)總體標(biāo)準(zhǔn)化構(gòu)建當(dāng)中[4]。

2.2.2 基礎(chǔ)子模塊

確定大數(shù)據(jù)平臺(tái)總體框架后，還需要明確應(yīng)用技術(shù)框架。緊接著，對(duì)數(shù)據(jù)門戶產(chǎn)品基礎(chǔ)子模塊進(jìn)行標(biāo)準(zhǔn)化規(guī)定?；A(chǔ)子模塊包括分布式計(jì)算系統(tǒng)、文件系統(tǒng)，都需要進(jìn)行分別規(guī)范，除接口規(guī)范、應(yīng)用技術(shù)框架等可能與其他工程領(lǐng)域存在重復(fù)風(fēng)險(xiǎn)，其余內(nèi)容并不涉及其他領(lǐng)域，所以可以對(duì)其命名與應(yīng)用制定專屬化標(biāo)準(zhǔn)，促進(jìn)大數(shù)據(jù)平臺(tái)構(gòu)建標(biāo)準(zhǔn)化作業(yè)。在對(duì)基礎(chǔ)子模塊建立相應(yīng)標(biāo)準(zhǔn)時(shí)，要考慮到以大多數(shù)應(yīng)用群體為主，是否對(duì)模塊命名或制定標(biāo)準(zhǔn)是否符合當(dāng)前用戶實(shí)際作業(yè)情況。要在綜合全面對(duì)標(biāo)準(zhǔn)制定是否合規(guī)合理后，再進(jìn)行基礎(chǔ)子模塊制定相關(guān)工作。

2.2.3 擴(kuò)展子模塊

擴(kuò)展子模塊標(biāo)準(zhǔn)化，主要針對(duì)數(shù)據(jù)容錯(cuò)與備份、大數(shù)據(jù)應(yīng)用等環(huán)節(jié)。因?yàn)檫@部分拓展子模塊具有互通性，所以會(huì)與各種領(lǐng)域或多或少存在標(biāo)準(zhǔn)制定重復(fù)風(fēng)險(xiǎn)。所以，應(yīng)該從現(xiàn)有子模塊制定標(biāo)準(zhǔn)基礎(chǔ)上，對(duì)部分標(biāo)準(zhǔn)進(jìn)行近更新，或者視情況重新制定。

但是對(duì)于數(shù)據(jù)挖掘算法庫等大數(shù)據(jù)應(yīng)用中間件，以及管理運(yùn)維產(chǎn)品接口規(guī)范等擴(kuò)展子模塊，不建議重新制定相關(guān)標(biāo)準(zhǔn)[5]。

考慮到未來系統(tǒng)會(huì)呈現(xiàn)多樣化功能，所以要在數(shù)據(jù)門戶產(chǎn)品中預(yù)留一定可拓展空間，方便后續(xù)拓展子模塊增添與拆卸。這部分拓展子模塊無法確認(rèn)具體形式、工作特性，所以只需要做好標(biāo)準(zhǔn)化接口制定即可。

同理，即使現(xiàn)在應(yīng)用的擴(kuò)展子模塊，也需要對(duì)備用模塊做好制定標(biāo)準(zhǔn)化，避免在子模塊更換時(shí)，因協(xié)議、接口不匹配，造成產(chǎn)品使用出現(xiàn)問題。

三、數(shù)據(jù)門戶產(chǎn)品建設(shè)中的成果展示

為拓展大數(shù)據(jù)應(yīng)用層面，數(shù)據(jù)門戶產(chǎn)品建設(shè)也逐漸趨于完善。例如接收借助大數(shù)據(jù)的5v特性，即體量（Volume）、多樣（Variety）、時(shí)效（Velocity）、準(zhǔn)確（Veracity）與價(jià)值（Value），對(duì)ETL工具實(shí)現(xiàn)變革，成為在大數(shù)據(jù)時(shí)代下的ETL工具。

例如可以有效管理海量日志文件的Splunk，就是出名大數(shù)據(jù)ETL工具;而大數(shù)據(jù)BI軟件相較于傳統(tǒng)BI軟件，可以實(shí)現(xiàn)對(duì)TB級(jí)別數(shù)據(jù)實(shí)時(shí)分析，降低信息處理所需時(shí)間。而且在大數(shù)據(jù)BI軟件應(yīng)用程度不斷加深，也為人們提供一種大數(shù)據(jù)背景下的可視化工具，讓系統(tǒng)運(yùn)行更加透明、規(guī)范;為保障用戶信息安全，保護(hù)企業(yè)信息不發(fā)生泄漏現(xiàn)象，從隱私保護(hù)、漏洞檢測(cè)等方面考慮的大數(shù)據(jù)安全工具正成為市場(chǎng)重點(diǎn)關(guān)注對(duì)象，例如Splunk Enterprise Security等就是典型大數(shù)據(jù)安全保護(hù)工具。而且，對(duì)于數(shù)據(jù)門戶產(chǎn)品制定標(biāo)準(zhǔn)，雖然在數(shù)據(jù)庫與非結(jié)構(gòu)數(shù)據(jù)管理方面有完善標(biāo)準(zhǔn)，但是對(duì)于大數(shù)據(jù)可視化工具等卻沒有明確標(biāo)準(zhǔn)。尤其是開放數(shù)據(jù)集等新型產(chǎn)品，當(dāng)前運(yùn)行效果一般，導(dǎo)致標(biāo)準(zhǔn)制定相對(duì)模糊。

我國對(duì)于大數(shù)據(jù)平臺(tái)標(biāo)準(zhǔn)設(shè)置，對(duì)產(chǎn)品標(biāo)準(zhǔn)研制則集中在導(dǎo)入接口、大數(shù)據(jù)存儲(chǔ)與處理憑條、分析系統(tǒng)等幾個(gè)方面，以華為公司為代表的各類國內(nèi)公司承擔(dān)相關(guān)工作。目前已經(jīng)取得突破性進(jìn)展，部分標(biāo)準(zhǔn)制定已經(jīng)被國際各種企業(yè)所承認(rèn)，其余標(biāo)準(zhǔn)制定工作也逐漸被提上日程。

四、結(jié)束語

綜上，對(duì)于數(shù)據(jù)門戶產(chǎn)品建設(shè)工作要保持長(zhǎng)久發(fā)展，對(duì)技術(shù)及時(shí)更新?lián)Q代，避免出現(xiàn)獲得短期成果而忽略產(chǎn)品維護(hù)工作。

除對(duì)產(chǎn)品進(jìn)行常規(guī)維護(hù)外，還要積極總結(jié)用戶反饋，對(duì)產(chǎn)品內(nèi)容與框架適度調(diào)整，從而滿足用戶實(shí)際需求?？梢詾閿?shù)據(jù)門戶產(chǎn)品擴(kuò)寬應(yīng)用模塊，增強(qiáng)其綜合能力，為用戶提供更良好使用體驗(yàn)。也要建立起相應(yīng)風(fēng)險(xiǎn)應(yīng)對(duì)機(jī)制，保障在數(shù)據(jù)門戶產(chǎn)品出現(xiàn)問題時(shí)，及時(shí)修復(fù)，避免造成嚴(yán)重?fù)p失。

參? 考? 文? 獻(xiàn)

[1]李小潔. 基于用戶行為數(shù)據(jù)的高校圖書館門戶網(wǎng)站建設(shè)研究[J]. 山東圖書館學(xué)刊， 2020， 000（002）：46-51.

[2]王祎， 張輝， 陳延風(fēng). 美國政府?dāng)?shù)據(jù)開放網(wǎng)站管理體系研究及啟示[J]. 中國科技資源導(dǎo)刊， 2020， 52;541（01）：18-22+93.

[3]朱麗娜. 高校智慧圖書館建設(shè)路徑探討[J]. 科學(xué)與信息化， 2020， 000（001）：40-41.

[4]潘見獨(dú)、李慧、顧鋒. 從免費(fèi)到收費(fèi)：雙邊信息產(chǎn)品平臺(tái)的版本劃分策略研究[J]. 研究與發(fā)展管理， 2020， 32（05）：62-71.

[5]鄧玲，顧穎，蔡瀟. “互聯(lián)網(wǎng)+政務(wù)服務(wù)”環(huán)境下政務(wù)App建設(shè)的探索與研究——以江蘇省N市政務(wù)App為例[J]. 改革與開放， 2020.