陳珺

摘 要：為了貫徹落實(shí)中央關(guān)于媒體融合發(fā)展的戰(zhàn)略要求，需要積極應(yīng)對(duì)互聯(lián)網(wǎng)發(fā)展帶來(lái)的傳播格局調(diào)整和用戶(hù)需求變化，努力構(gòu)建與媒體發(fā)展趨勢(shì)相適應(yīng)、與建設(shè)新型一流媒體集團(tuán)相適應(yīng)的媒體大數(shù)據(jù)服務(wù)體系。通過(guò)匯聚內(nèi)外媒體數(shù)據(jù)資源，緊密?chē)@媒體融合發(fā)展業(yè)務(wù)需求，構(gòu)建大數(shù)據(jù)基礎(chǔ)平臺(tái)、大數(shù)據(jù)資源管理平臺(tái)、大數(shù)據(jù)分析平臺(tái)和大數(shù)據(jù)服務(wù)能力開(kāi)放平臺(tái)四大層級(jí)，逐步形成“數(shù)據(jù)整合、能力共享、應(yīng)用創(chuàng)新”的媒體大數(shù)據(jù)工作體系。

關(guān)鍵詞：媒體大數(shù)據(jù)；大數(shù)據(jù)平臺(tái)；數(shù)據(jù)資源管理；數(shù)據(jù)分析；數(shù)據(jù)服務(wù)

中圖分類(lèi)號(hào)：G220.7 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1671-0134（2018）09-064-03 DOI：10.19483/j.cnki.11-4653/n.2018.09.025

引言

根據(jù)中央關(guān)于推動(dòng)傳統(tǒng)媒體和新興媒體融合發(fā)展的重要指示與要求，要強(qiáng)化互聯(lián)網(wǎng)思維，堅(jiān)持傳統(tǒng)媒體和新興媒體優(yōu)勢(shì)互補(bǔ)、一體發(fā)展，堅(jiān)持以先進(jìn)技術(shù)為支撐，內(nèi)容建設(shè)為根本，推動(dòng)傳統(tǒng)媒體和新興媒體在內(nèi)容、渠道、平臺(tái)、經(jīng)營(yíng)、管理等方面的深度融合。

為了貫徹落實(shí)中央關(guān)于媒體融合發(fā)展的戰(zhàn)略要求，需要積極應(yīng)對(duì)互聯(lián)網(wǎng)發(fā)展帶來(lái)的傳播格局調(diào)整和用戶(hù)需求變化，努力構(gòu)建與媒體發(fā)展趨勢(shì)相適應(yīng)、與建設(shè)新型一流媒體集團(tuán)相適應(yīng)的媒體大數(shù)據(jù)服務(wù)體系。

1.需求分析

隨著傳統(tǒng)媒體和新興媒體融合發(fā)展的進(jìn)一步深化，媒體企業(yè)在大數(shù)據(jù)資源整合、大數(shù)據(jù)資產(chǎn)管理、大數(shù)據(jù)分析挖掘能力建設(shè)以及數(shù)據(jù)服務(wù)開(kāi)放共享等方面面臨一系列問(wèn)題，從而對(duì)技術(shù)系統(tǒng)的規(guī)劃建設(shè)提出了更高的要求。

1.1實(shí)現(xiàn)統(tǒng)一的大數(shù)據(jù)資源采集引進(jìn)匯聚

媒體機(jī)構(gòu)通過(guò)各種渠道采集和引進(jìn)了大量外部數(shù)據(jù)，包括國(guó)內(nèi)外互聯(lián)網(wǎng)網(wǎng)站、數(shù)字報(bào)刊雜志、“兩微一端”、社交媒體等。同時(shí)，媒體機(jī)構(gòu)內(nèi)部也產(chǎn)生各類(lèi)稿件數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、運(yùn)營(yíng)數(shù)據(jù)、用戶(hù)行為數(shù)據(jù)等。如此眾多的外部和內(nèi)部數(shù)據(jù)分散存儲(chǔ)在不同的部門(mén)和技術(shù)系統(tǒng)里，數(shù)據(jù)資源之間存在大量重復(fù)和冗余，數(shù)據(jù)關(guān)聯(lián)關(guān)系沒(méi)有打通，數(shù)據(jù)資源條塊化分隔情況比較嚴(yán)重，數(shù)據(jù)資源共享和再利用能力較低。因此，需要整合機(jī)構(gòu)現(xiàn)有大數(shù)據(jù)資源采集能力和引進(jìn)能力，按需匯聚各類(lèi)數(shù)據(jù)資源，實(shí)現(xiàn)數(shù)據(jù)資源的匯聚融合、開(kāi)放共享和互聯(lián)互通。

1.2實(shí)現(xiàn)媒體大數(shù)據(jù)資產(chǎn)全生命周期管理

一個(gè)媒體大數(shù)據(jù)服務(wù)體系離不開(kāi)高效的數(shù)據(jù)存儲(chǔ)與計(jì)算基礎(chǔ)平臺(tái)，由于數(shù)據(jù)種類(lèi)多、數(shù)據(jù)量大、計(jì)算處理效率不同，因此，對(duì)大數(shù)據(jù)存儲(chǔ)與計(jì)算處理能力提出了更高的要求。需要基于互聯(lián)網(wǎng)主流大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)，分層構(gòu)建高效分布式媒體大數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)，能夠?qū)崿F(xiàn)PB量級(jí)的大數(shù)據(jù)存儲(chǔ)和處理能力，并根據(jù)業(yè)務(wù)需要實(shí)現(xiàn)從實(shí)時(shí)到離線(xiàn)的不同數(shù)據(jù)處理效率。同時(shí)，需要實(shí)現(xiàn)對(duì)平臺(tái)上所有媒體大數(shù)據(jù)資產(chǎn)的全生命周期管理，實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)管理、標(biāo)準(zhǔn)管理、流程管理、質(zhì)量管理和安全管理。

1.3建設(shè)統(tǒng)一的大數(shù)據(jù)分析平臺(tái)

現(xiàn)在，策劃、采集、編寫(xiě)、發(fā)布、反饋等各類(lèi)媒體業(yè)務(wù)環(huán)節(jié)越來(lái)越離不開(kāi)大數(shù)據(jù)分析的支持，因此有必要進(jìn)一步加強(qiáng)自然語(yǔ)言處理、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、數(shù)據(jù)可視化等智能信息處理技術(shù)創(chuàng)新，提升知識(shí)發(fā)現(xiàn)、大數(shù)據(jù)分析挖掘能力，助力提升策采編發(fā)供饋等各項(xiàng)媒體業(yè)務(wù)創(chuàng)新能力，提供滿(mǎn)足業(yè)務(wù)需要的各類(lèi)公共性媒體大數(shù)據(jù)分析服務(wù)。

1.4提供開(kāi)發(fā)共享的媒體大數(shù)據(jù)能力開(kāi)放平臺(tái)

通過(guò)制訂統(tǒng)一的平臺(tái)標(biāo)準(zhǔn)、數(shù)據(jù)標(biāo)準(zhǔn)、服務(wù)標(biāo)準(zhǔn)和管理標(biāo)準(zhǔn)，將媒體大數(shù)據(jù)平臺(tái)形成的各項(xiàng)服務(wù)進(jìn)行封裝，實(shí)現(xiàn)這些服務(wù)的模塊化和標(biāo)準(zhǔn)化，形成各類(lèi)公共模型、工具和組件，提供面向各類(lèi)媒體創(chuàng)新業(yè)務(wù)的公共性、基礎(chǔ)性和開(kāi)放共享的服務(wù)能力支撐。

2.建設(shè)目標(biāo)

基于互聯(lián)網(wǎng)思維，匯聚內(nèi)外媒體數(shù)據(jù)資源，圍繞媒體融合發(fā)展業(yè)務(wù)需求，構(gòu)建統(tǒng)一的媒體大數(shù)據(jù)服務(wù)平臺(tái)，逐步形成“數(shù)據(jù)整合、能力共享、應(yīng)用創(chuàng)新”的媒體大數(shù)據(jù)工作體系。

匯聚內(nèi)外數(shù)據(jù)資源，形成媒體大數(shù)據(jù)服務(wù)體系；面向互聯(lián)網(wǎng)思維，構(gòu)建媒體大數(shù)據(jù)能力開(kāi)放平臺(tái)。

3.總體架構(gòu)設(shè)計(jì)

3.1總體架構(gòu)

媒體大數(shù)據(jù)服務(wù)體系從總體架構(gòu)上可劃分為大數(shù)據(jù)基礎(chǔ)平臺(tái)、大數(shù)據(jù)資源管理平臺(tái)、大數(shù)據(jù)分析平臺(tái)和大數(shù)據(jù)服務(wù)能力開(kāi)放平臺(tái)四個(gè)層級(jí)。

3.2大數(shù)據(jù)基礎(chǔ)平臺(tái)

大數(shù)據(jù)基礎(chǔ)平臺(tái)是大數(shù)據(jù)存儲(chǔ)管理以及分析計(jì)算運(yùn)行的基礎(chǔ)環(huán)境，包含大數(shù)據(jù)的基礎(chǔ)運(yùn)行環(huán)境搭建、資源任務(wù)調(diào)度管理、實(shí)時(shí)/離線(xiàn)計(jì)算支撐、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)檢索、系統(tǒng)管理監(jiān)控、數(shù)據(jù)訪(fǎng)問(wèn)的標(biāo)準(zhǔn)化SQL支持等功能。

可按需提供關(guān)系型數(shù)據(jù)庫(kù)、列式數(shù)據(jù)庫(kù)、分布式文件系統(tǒng)、分析型數(shù)據(jù)庫(kù)、全文檢索數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)庫(kù)等不同類(lèi)型的數(shù)據(jù)存儲(chǔ)資源。

可根據(jù)業(yè)務(wù)的使用場(chǎng)景以及數(shù)據(jù)自身的特點(diǎn)，提供合適的計(jì)算框架進(jìn)行實(shí)時(shí)或離線(xiàn)的計(jì)算，完成分析功能。針對(duì)實(shí)時(shí)性要求不是很高的數(shù)據(jù)可使用MapReduce或Hive等進(jìn)行非實(shí)時(shí)批處理，對(duì)響應(yīng)時(shí)間要求比較高的業(yè)務(wù)場(chǎng)景可使用Spark做實(shí)時(shí)內(nèi)存處理，對(duì)互聯(lián)網(wǎng)流式數(shù)據(jù)則使用Storm或者Spark Streaming做實(shí)時(shí)流處理。

可針對(duì)不同的分析任務(wù)按需分配資源，進(jìn)行資源管理調(diào)度，各分析任務(wù)之間相互不產(chǎn)生影響。

可針對(duì)分析算法或分析引擎，提供標(biāo)準(zhǔn)化的SQL支持?？商峁┐髷?shù)據(jù)基礎(chǔ)平臺(tái)運(yùn)行情況的管理和監(jiān)控功能，便于系統(tǒng)管理員運(yùn)維管理。

3.3數(shù)據(jù)存儲(chǔ)規(guī)劃

考慮到數(shù)據(jù)類(lèi)型、數(shù)據(jù)規(guī)模和數(shù)據(jù)增長(zhǎng)量，采用分布式、高可用、可擴(kuò)展的存儲(chǔ)架構(gòu)，實(shí)現(xiàn)對(duì)多來(lái)源數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一存儲(chǔ)規(guī)劃設(shè)計(jì)，采用分區(qū)分域、分層分級(jí)、分庫(kù)分表的設(shè)計(jì)理念，根據(jù)不同的數(shù)據(jù)類(lèi)型合理選擇數(shù)據(jù)存儲(chǔ)組件，采用MySQL、MongoDB、HBase、Hive、HDFS、ES、Codis等多種數(shù)據(jù)庫(kù)組件分別設(shè)計(jì)存儲(chǔ)策略。

數(shù)據(jù)存儲(chǔ)規(guī)劃分為以下幾個(gè)數(shù)據(jù)區(qū)：

3.3.1實(shí)時(shí)匯集區(qū)

針對(duì)數(shù)據(jù)源層各種異構(gòu)數(shù)據(jù)，我們需要采取多種數(shù)據(jù)接入方式，即可以使用傳統(tǒng)的FTP、Http、RPC等接入方式，也能夠支持sqoop，flume等這種以大數(shù)據(jù)為主的數(shù)據(jù)接入方式。針對(duì)互聯(lián)網(wǎng)等大數(shù)據(jù)量數(shù)據(jù)，可以采用 Kafka集群，充分發(fā)揮它的高吞吐量?jī)?yōu)勢(shì)，主要用來(lái)臨時(shí)保存互聯(lián)網(wǎng)數(shù)據(jù)、行為數(shù)據(jù)、交易數(shù)據(jù)等實(shí)時(shí)數(shù)據(jù)。

3.3.2大數(shù)據(jù)存儲(chǔ)區(qū)

對(duì)接入的數(shù)據(jù)需要根據(jù)數(shù)據(jù)的特點(diǎn)和業(yè)務(wù)場(chǎng)景進(jìn)行數(shù)據(jù)的存儲(chǔ)，即支持傳統(tǒng)型數(shù)據(jù)庫(kù)也支持非傳統(tǒng)型數(shù)據(jù)庫(kù)?；ヂ?lián)網(wǎng)數(shù)據(jù)可存儲(chǔ)到FastDFS、HDFS這種分布式文件系統(tǒng)中，具備存儲(chǔ)彈性，方便日后擴(kuò)充，滿(mǎn)足海量存儲(chǔ)需求。對(duì)數(shù)據(jù)進(jìn)行處理加工和分析后形成的結(jié)果數(shù)據(jù)包括內(nèi)容數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)，可以大對(duì)象存儲(chǔ)在列式數(shù)據(jù)庫(kù)HBASE中，并可通過(guò)HIVE對(duì)外提供HSQL標(biāo)準(zhǔn)服務(wù)，方便進(jìn)一步進(jìn)行非實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)分析和數(shù)據(jù)挖掘使用。

3.3.3數(shù)據(jù)業(yè)務(wù)區(qū)

核心業(yè)務(wù)數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、元數(shù)據(jù)的存儲(chǔ)可采用MySQL關(guān)系型數(shù)據(jù)庫(kù)集群進(jìn)行保存，同時(shí)可利用Mongodb數(shù)據(jù)庫(kù)的數(shù)組索引特性以及字段可擴(kuò)展特性，存儲(chǔ)數(shù)據(jù)的全部附加屬性，做適當(dāng)冗余，為數(shù)據(jù)服務(wù)提供高性能的讀寫(xiě)能力。

3.3.4數(shù)據(jù)檢索區(qū)

利用像ElasticSearch這類(lèi)全文檢索數(shù)據(jù)庫(kù)存儲(chǔ)全部需檢索數(shù)據(jù)，建立全文索引，實(shí)現(xiàn)大數(shù)據(jù)量的快速檢索。3.3.5數(shù)據(jù)熱區(qū)

為了實(shí)現(xiàn)快速訪(fǎng)問(wèn)建立數(shù)據(jù)熱區(qū)，可利用Codis這類(lèi)內(nèi)存數(shù)據(jù)庫(kù)存儲(chǔ)需快速響應(yīng)的熱數(shù)據(jù)，提高系統(tǒng)整體數(shù)據(jù)訪(fǎng)問(wèn)效率。

3.4大數(shù)據(jù)資源管理平臺(tái)

大數(shù)據(jù)資源管理平臺(tái)負(fù)責(zé)大數(shù)據(jù)資源匯聚、加工處理和數(shù)據(jù)全生命周期管理，是大數(shù)據(jù)服務(wù)體系建設(shè)中的核心環(huán)節(jié)之一。主要完成采集引進(jìn)的多類(lèi)異構(gòu)數(shù)據(jù)資源的匯聚和出入庫(kù)管理，數(shù)據(jù)的清洗加工處理、數(shù)據(jù)存儲(chǔ)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)流程管理、數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)安全管理等功能。

3.4.1數(shù)據(jù)資源匯聚和出入庫(kù)管理

負(fù)責(zé)將機(jī)構(gòu)內(nèi)外不同數(shù)據(jù)來(lái)源的數(shù)據(jù)資源統(tǒng)一接入到數(shù)據(jù)平臺(tái)中，支持文字、圖片、音視頻、文件、結(jié)構(gòu)化數(shù)據(jù)、二進(jìn)制文件等不同數(shù)據(jù)類(lèi)型。制定相應(yīng)的數(shù)據(jù)接口規(guī)范，采用統(tǒng)一的應(yīng)用架構(gòu)，以插件式開(kāi)發(fā)和插件化使用的模式構(gòu)建不同的數(shù)據(jù)流程任務(wù)，提供FTP、消息隊(duì)列、API等不同接口方式，滿(mǎn)足不同的業(yè)務(wù)流程和異構(gòu)數(shù)據(jù)的出入庫(kù)需求。數(shù)據(jù)在入庫(kù)存儲(chǔ)過(guò)程中需要先進(jìn)行安全性檢查與完整性校驗(yàn)，并進(jìn)行初步數(shù)據(jù)清洗預(yù)處理，包括有效性檢查和排重等，保證數(shù)據(jù)的可靠性，接入數(shù)據(jù)必須按照平臺(tái)要求的數(shù)據(jù)格式規(guī)范統(tǒng)一進(jìn)行轉(zhuǎn)換后入庫(kù)。并建立統(tǒng)一的數(shù)據(jù)匯聚出入庫(kù)監(jiān)控管理界面，能夠支持任務(wù)各要素的靈活配置和定義，支持進(jìn)行數(shù)據(jù)接入任務(wù)的監(jiān)控和日常運(yùn)維操作。

3.4.2數(shù)據(jù)加工處理

負(fù)責(zé)對(duì)接入平臺(tái)的各類(lèi)型數(shù)據(jù)進(jìn)行進(jìn)一步的加工處理。對(duì)各類(lèi)數(shù)據(jù)資源進(jìn)行清洗、過(guò)濾、去重和轉(zhuǎn)換等預(yù)處理工作；基于平臺(tái)建立的一套數(shù)據(jù)標(biāo)準(zhǔn)，抽取元數(shù)據(jù)、關(guān)鍵詞、實(shí)體信息等形成結(jié)構(gòu)化描述信息；使用分詞組件對(duì)文本數(shù)據(jù)進(jìn)行快速分詞；使用分類(lèi)技術(shù)對(duì)數(shù)據(jù)進(jìn)行自動(dòng)分類(lèi)；對(duì)數(shù)據(jù)進(jìn)行標(biāo)引、加工、修改、糾錯(cuò)、刪除等加工維護(hù)管理；建立搜索詞典到文檔數(shù)據(jù)的倒排索引表，根據(jù)詞語(yǔ)在文檔中的權(quán)重，為搜索詞語(yǔ)生成相關(guān)索引文檔表，結(jié)合分布式列存儲(chǔ)與分層查詢(xún)樹(shù)技術(shù)，建立針對(duì)海量數(shù)據(jù)的全文檢索和快速查詢(xún)，支持更進(jìn)一步的數(shù)據(jù)分析應(yīng)用服務(wù)需求。

3.4.3數(shù)據(jù)資源管理

負(fù)責(zé)對(duì)數(shù)據(jù)平臺(tái)內(nèi)所有數(shù)據(jù)資產(chǎn)進(jìn)行全生命周期存儲(chǔ)、管理和監(jiān)控。對(duì)機(jī)構(gòu)內(nèi)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等實(shí)現(xiàn)集中統(tǒng)一存儲(chǔ)管理，對(duì)主數(shù)據(jù)、元數(shù)據(jù)和數(shù)據(jù)資源目錄進(jìn)行統(tǒng)一維護(hù)和管理，構(gòu)建數(shù)據(jù)資源全景視圖。實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)流程管理、數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)安全管理。

（1）數(shù)據(jù)質(zhì)量和數(shù)據(jù)流程管理。為確保數(shù)據(jù)的完整性、規(guī)范性、一致性、準(zhǔn)確性，提供統(tǒng)一數(shù)據(jù)處理流程和中間狀態(tài)的調(diào)度、管理和監(jiān)控，可以及時(shí)發(fā)現(xiàn)數(shù)據(jù)處理各個(gè)環(huán)節(jié)出現(xiàn)的問(wèn)題和質(zhì)量風(fēng)險(xiǎn)，對(duì)發(fā)現(xiàn)的異常進(jìn)行報(bào)警。在數(shù)據(jù)入庫(kù)環(huán)節(jié)，制定數(shù)據(jù)質(zhì)量規(guī)則，對(duì)不符合質(zhì)量規(guī)則的數(shù)據(jù)進(jìn)行告警，并進(jìn)行相應(yīng)處理。管理員可以通過(guò)對(duì)規(guī)則的不斷修改完善，不斷提高入庫(kù)數(shù)據(jù)的質(zhì)量。

（2）元數(shù)據(jù)管理。元數(shù)據(jù)管理貫穿從數(shù)據(jù)采集引進(jìn)、數(shù)據(jù)處理加工、數(shù)據(jù)分析和數(shù)據(jù)服務(wù)全流程環(huán)節(jié)，對(duì)各流程環(huán)節(jié)形成的數(shù)據(jù)的元數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)定義、元數(shù)據(jù)生成和元數(shù)據(jù)管理維護(hù)，通過(guò)對(duì)元數(shù)據(jù)的管理形成數(shù)據(jù)服務(wù)平臺(tái)統(tǒng)一的數(shù)據(jù)視圖，為整個(gè)平臺(tái)數(shù)據(jù)資源管理奠定基礎(chǔ)。

（3）數(shù)據(jù)標(biāo)準(zhǔn)管理。制訂融合媒體數(shù)據(jù)存管控相關(guān)標(biāo)準(zhǔn)規(guī)范，貫穿數(shù)據(jù)的采集引進(jìn)、處理加工、存儲(chǔ)管理、公共服務(wù)整個(gè)全生命周期和全工作流程，通過(guò)對(duì)標(biāo)準(zhǔn)的制訂、維護(hù)和遵循，為平臺(tái)實(shí)現(xiàn)全媒體數(shù)據(jù)的匯聚融合、統(tǒng)一管理和共享服務(wù)提供數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范的指導(dǎo)。

3.5大數(shù)據(jù)分析平臺(tái)

大數(shù)據(jù)分析平臺(tái)通過(guò)構(gòu)建中文語(yǔ)義分析引擎、推薦引擎、智能檢索引擎、知識(shí)推薦引擎、圖片視頻智能分析引擎、專(zhuān)題分析、數(shù)據(jù)可視化工具等媒體大數(shù)據(jù)公共性基礎(chǔ)性智能處理模型工具組件，對(duì)平臺(tái)中的大量數(shù)據(jù)資源進(jìn)行深入分析，挖掘數(shù)據(jù)關(guān)系，構(gòu)建知識(shí)網(wǎng)絡(luò)，提升數(shù)據(jù)價(jià)值，助力策采編發(fā)供饋等各項(xiàng)媒體業(yè)務(wù)創(chuàng)新應(yīng)用需求。

將這些算法模型進(jìn)行模塊化、服務(wù)化封裝，針對(duì)媒體行業(yè)各類(lèi)業(yè)務(wù)需求提供基礎(chǔ)數(shù)據(jù)分析引擎和分析工具。通過(guò)標(biāo)準(zhǔn)化各類(lèi)處理、分析、挖掘算法的輸入輸出參數(shù)和中間結(jié)果，提供標(biāo)準(zhǔn)化的服務(wù)接口，可以方便地讀取、調(diào)用、管理和調(diào)優(yōu)。

在系統(tǒng)運(yùn)營(yíng)過(guò)程中不斷發(fā)現(xiàn)偏差點(diǎn)并進(jìn)行有針對(duì)性的優(yōu)化調(diào)整，支持對(duì)算法、模型、引擎的優(yōu)化、新增和替換。同時(shí)，通過(guò)合理的計(jì)算架構(gòu)的設(shè)計(jì)和相應(yīng)的任務(wù)調(diào)度，保證算法運(yùn)行在更高效的計(jì)算架構(gòu)下。

提供對(duì)數(shù)據(jù)分析工具集的有效管理，建立信息庫(kù)，統(tǒng)一存儲(chǔ)和管理相關(guān)算法的代碼、配置參數(shù)、調(diào)用接口規(guī)范、數(shù)據(jù)輸入輸出接口規(guī)范、文檔說(shuō)明、元數(shù)據(jù)等。

提供工具集對(duì)外交互界面，實(shí)現(xiàn)工具集的可視化、標(biāo)準(zhǔn)化和流程化使用和運(yùn)行監(jiān)控。提供工具集的擴(kuò)展接口，可以根據(jù)業(yè)務(wù)需求將新增或第三方提供的數(shù)據(jù)分析算法工具納入進(jìn)來(lái)，統(tǒng)一調(diào)度和管理。

3.6大數(shù)據(jù)服務(wù)能力開(kāi)放平臺(tái)

大數(shù)據(jù)服務(wù)能力開(kāi)放平臺(tái)負(fù)責(zé)將大數(shù)據(jù)平臺(tái)的各類(lèi)數(shù)據(jù)服務(wù)和分析服務(wù)進(jìn)行封裝并對(duì)外提供服務(wù)能力的開(kāi)放和共享。大數(shù)據(jù)平臺(tái)形成的服務(wù)能力有：數(shù)據(jù)訂閱類(lèi)服務(wù)、語(yǔ)義分析類(lèi)服務(wù)、圖片視頻智能分析類(lèi)服務(wù)、智能檢索類(lèi)服務(wù)、智能推薦類(lèi)服務(wù)、知識(shí)類(lèi)專(zhuān)題類(lèi)服務(wù)、統(tǒng)計(jì)分析類(lèi)服務(wù)、數(shù)據(jù)可視化等各種公共性服務(wù)能力。通過(guò)制訂服務(wù)標(biāo)準(zhǔn)和管理標(biāo)準(zhǔn)，形成標(biāo)準(zhǔn)化服務(wù)模塊和服務(wù)組件，提供標(biāo)準(zhǔn)化服務(wù)接口，為各類(lèi)業(yè)務(wù)系統(tǒng)按需調(diào)用。同時(shí)，數(shù)據(jù)服務(wù)管理通過(guò)對(duì)服務(wù)的注冊(cè)、認(rèn)證、授權(quán)、審計(jì)、監(jiān)控等管理功能，實(shí)現(xiàn)數(shù)據(jù)服務(wù)可管可控。

以面向服務(wù)的思想為核心理念，對(duì)服務(wù)進(jìn)行高度解耦，構(gòu)建細(xì)粒度、扁平化、低耦合的服務(wù)資源池，統(tǒng)一為上層應(yīng)用提供功能和數(shù)據(jù)支撐。

將多源、異構(gòu)數(shù)據(jù)以及關(guān)聯(lián)數(shù)據(jù)等數(shù)據(jù)的獲取方式進(jìn)行接口化封裝，實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)服務(wù)化。

對(duì)數(shù)據(jù)分析計(jì)算層的數(shù)據(jù)處理分析算法、組件進(jìn)行接口化封裝，實(shí)現(xiàn)數(shù)據(jù)分析的服務(wù)化。

通過(guò)數(shù)據(jù)和應(yīng)用封裝技術(shù)，實(shí)現(xiàn)對(duì)數(shù)據(jù)的訪(fǎng)問(wèn)和操作按照一定粒度封裝為獨(dú)立的服務(wù)實(shí)體，盡可能屏蔽內(nèi)部的細(xì)節(jié)，只提供標(biāo)準(zhǔn)化的交互接口，供各內(nèi)部模塊或者外部系統(tǒng)進(jìn)行調(diào)用。交互接口形式包括Open API、SDK、WEBService等，實(shí)現(xiàn)自有業(yè)務(wù)應(yīng)用支撐和開(kāi)放共享服務(wù)。

建立服務(wù)管理平臺(tái)作為服務(wù)注冊(cè)和服務(wù)治理的管控中樞。媒體大數(shù)據(jù)服務(wù)平臺(tái)向上層提供的服務(wù)通過(guò)服務(wù)管理平臺(tái)進(jìn)行統(tǒng)一管控，服務(wù)管理平臺(tái)負(fù)責(zé)服務(wù)的注冊(cè)、認(rèn)證、授權(quán)、審計(jì)、監(jiān)控等管理功能。

參考文獻(xiàn)

[1]周耀林，趙躍，Zhou Jiani.大數(shù)據(jù)資源規(guī)劃研究框架的構(gòu)建[J].圖書(shū)情報(bào)知識(shí)，2017（4）：59-70.

[2]梅劍平.大數(shù)據(jù)助力媒體融合—央視大數(shù)據(jù)平臺(tái)技術(shù)與實(shí)踐[J].現(xiàn)代電視技術(shù)，2017（5）：100-104.

[3]徐園，李偉忠.數(shù)據(jù)驅(qū)動(dòng)新聞 智能重構(gòu)媒體—浙報(bào)集團(tuán)“媒立方”技術(shù)平臺(tái)建設(shè)的實(shí)踐與思考[J].新聞與寫(xiě)作，2018（1）：97-101.