解林超　石佳　王仲鋒　紀(jì)德良

【摘要】 數(shù)據(jù)中心作為數(shù)據(jù)的集散中心和商務(wù)智能分析展現(xiàn)平臺(tái)，在大數(shù)據(jù)時(shí)代面臨著新的機(jī)遇和挑戰(zhàn)。本文介紹了大數(shù)據(jù)的特征，探討了大數(shù)據(jù)對(duì)傳統(tǒng)數(shù)據(jù)中心的影響，并從大數(shù)據(jù)基礎(chǔ)架構(gòu)、大數(shù)據(jù)分析應(yīng)用及數(shù)據(jù)中心職能轉(zhuǎn)變等幾個(gè)方面論述傳統(tǒng)數(shù)據(jù)中心如何適應(yīng)大數(shù)據(jù)時(shí)代，為大數(shù)據(jù)時(shí)代下數(shù)據(jù)中心的發(fā)展提供一些思路。

【關(guān)鍵詞】 大數(shù)據(jù) 數(shù)據(jù)中心 海量 價(jià)值

智能電網(wǎng)在發(fā)電、輸電、變電、配電和用電各個(gè)環(huán)節(jié)產(chǎn)生了海量的數(shù)據(jù)，電網(wǎng)數(shù)據(jù)類型復(fù)雜，并且數(shù)據(jù)體量已極具規(guī)模，傳統(tǒng)數(shù)據(jù)中心已無(wú)法滿足海量復(fù)雜數(shù)據(jù)的處理和分析要求。目前，電力企業(yè)數(shù)據(jù)中心已初步完成了結(jié)構(gòu)化數(shù)據(jù)庫(kù)、實(shí)時(shí)數(shù)據(jù)庫(kù)、非結(jié)構(gòu)化數(shù)據(jù)庫(kù)、地理信息數(shù)據(jù)庫(kù)的建設(shè)，但是各數(shù)據(jù)庫(kù)分別獨(dú)立部署，數(shù)據(jù)共享和關(guān)聯(lián)性不高，傳統(tǒng)數(shù)據(jù)中心平臺(tái)難以快速處理海量復(fù)雜數(shù)據(jù)、無(wú)法滿足大數(shù)據(jù)時(shí)代下的數(shù)據(jù)挖掘需求，無(wú)法支撐不同類型數(shù)據(jù)的關(guān)聯(lián)分析應(yīng)用。因此，電力企業(yè)需要積極思考傳統(tǒng)數(shù)據(jù)中心需要如何應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)。

一、大數(shù)據(jù)的特征

目前大數(shù)據(jù)（Big Data）在業(yè)界尚無(wú)形成統(tǒng)一的定義，引用麥肯錫全球研究院在《大數(shù)據(jù)：下一個(gè)創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的前沿》報(bào)告中的描述，即：大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。雖然大數(shù)據(jù)的定義還未統(tǒng)一，但大數(shù)據(jù)的特征卻是明確和公認(rèn)的。

數(shù)據(jù)體量巨大（Volume）。企業(yè)的各種終端設(shè)備和傳感器產(chǎn)生了大量的數(shù)據(jù)，PB級(jí)的數(shù)據(jù)集規(guī)?？芍^是常態(tài)。

數(shù)據(jù)類型繁多（Variety）。大數(shù)據(jù)時(shí)代，非結(jié)構(gòu)化數(shù)據(jù)越來(lái)越多，包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等，這些不同類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高要求。

處理速度快（Velocity）。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)中心的最顯著特征，在海量的復(fù)雜數(shù)據(jù)面前，數(shù)據(jù)的處理效率就是企業(yè)的生命，并且受數(shù)據(jù)時(shí)效性的制約，大數(shù)據(jù)要求處理速度更快、實(shí)時(shí)性更高。

價(jià)值密度低（Value）。價(jià)值密度的高低與數(shù)據(jù)總量的大小成反比，一段1小時(shí)的視頻，在連續(xù)不間斷的監(jiān)控中，有用數(shù)據(jù)可能僅有一二秒。如何在海量的復(fù)雜數(shù)據(jù)中快速完成數(shù)據(jù)價(jià)值的“去噪”和“提純”成為目前大數(shù)據(jù)背景下亟待解決的難題。

二、大數(shù)據(jù)對(duì)傳統(tǒng)數(shù)據(jù)中心的影響

目前，多數(shù)企業(yè)已建成一體化企業(yè)級(jí)數(shù)據(jù)中心平臺(tái)，能夠滿足日常業(yè)務(wù)的需求，但大數(shù)據(jù)時(shí)代對(duì)傳統(tǒng)數(shù)據(jù)中心的數(shù)據(jù)存儲(chǔ)能力、數(shù)據(jù)處理能力、數(shù)據(jù)交換能力、數(shù)據(jù)展現(xiàn)能力以及數(shù)據(jù)挖掘能力都提出了更高的要求，大數(shù)據(jù)對(duì)傳統(tǒng)數(shù)據(jù)中心提出了新的挑戰(zhàn)。

2.1 非結(jié)構(gòu)化數(shù)據(jù)的重要性越來(lái)越大

傳統(tǒng)數(shù)據(jù)中心的數(shù)據(jù)一般來(lái)源于用戶通過(guò)個(gè)人電腦、移動(dòng)終端、POS機(jī)等常規(guī)渠道生成的結(jié)構(gòu)化數(shù)據(jù)。而大數(shù)據(jù)時(shí)代數(shù)據(jù)類型多樣化，半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)爆發(fā)式增長(zhǎng)，且增長(zhǎng)速度遠(yuǎn)遠(yuǎn)超過(guò)結(jié)構(gòu)化數(shù)據(jù)。這些通過(guò)傳感器、監(jiān)測(cè)儀、機(jī)讀儀器等機(jī)器設(shè)備產(chǎn)生的天氣、位置、音頻、文本等海量復(fù)雜數(shù)據(jù)越來(lái)越多，企業(yè)開(kāi)始使用這些數(shù)據(jù)來(lái)改進(jìn)產(chǎn)品、提高效率、尋找缺陷，其數(shù)據(jù)的重要性將會(huì)越來(lái)越大。

2.2 數(shù)據(jù)的時(shí)效性要求越來(lái)越高

傳統(tǒng)數(shù)據(jù)中心的數(shù)據(jù)更新周期基本為日、周、月，輔以少量的實(shí)時(shí)數(shù)據(jù)更新，商務(wù)智能也基本以日、周、月、季度和年為時(shí)間維度的靜態(tài)數(shù)據(jù)分析。大數(shù)據(jù)時(shí)代，對(duì)數(shù)據(jù)的處理速度和數(shù)據(jù)的時(shí)效性提出了更高要求，而當(dāng)今社會(huì)日益加劇的商業(yè)競(jìng)爭(zhēng)讓每個(gè)企業(yè)都希望能通過(guò)實(shí)時(shí)分析報(bào)表和結(jié)果數(shù)據(jù)來(lái)隨時(shí)掌握企業(yè)運(yùn)營(yíng)狀況，并迅速作出決策和判斷。以電力電量平衡測(cè)算為例，需要實(shí)時(shí)采集電網(wǎng)數(shù)據(jù)、實(shí)時(shí)分析、實(shí)時(shí)計(jì)算，快速測(cè)算結(jié)果，并反饋至電力調(diào)度部門進(jìn)行有序用電執(zhí)行預(yù)案的實(shí)時(shí)決策，如果相關(guān)數(shù)據(jù)獲取不及時(shí)則會(huì)大大影響調(diào)度部門對(duì)有序用電的分析和決策。

2.3 大數(shù)據(jù)改變數(shù)據(jù)分析模式

傳統(tǒng)數(shù)據(jù)分析以結(jié)構(gòu)化數(shù)據(jù)分析為主，業(yè)務(wù)分析更是以被動(dòng)式信息接受為主。大數(shù)據(jù)時(shí)代下，隨著數(shù)據(jù)的累積和增加，可做的分析和對(duì)比也越來(lái)越多。通過(guò)對(duì)大量的數(shù)據(jù)進(jìn)行分析，從而揭示數(shù)據(jù)之間隱藏的關(guān)系、模式和趨勢(shì)；通過(guò)結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的融合關(guān)聯(lián)分析，實(shí)現(xiàn)文本分析、數(shù)據(jù)挖掘、圖形分析、空間分析等數(shù)據(jù)分析模式，為決策者提供不同角度不同形式的分析判斷依據(jù)。

2.4 大數(shù)據(jù)影響信息基礎(chǔ)架構(gòu)

目前電力企業(yè)數(shù)據(jù)中心主要以Unix為代表的操作系統(tǒng)服務(wù)器硬件平臺(tái)、以O(shè)racle關(guān)系型數(shù)據(jù)庫(kù)為代表的企業(yè)級(jí)數(shù)據(jù)存儲(chǔ)平臺(tái)和以BW（數(shù)據(jù)倉(cāng)庫(kù)，Business Warehouse）、BO（業(yè)務(wù)對(duì)象，Business Object）為代表的企業(yè)級(jí)商務(wù)智能分析平臺(tái)組成。隨著智能電網(wǎng)的發(fā)展，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)出快速增長(zhǎng)的勢(shì)頭，大量部署的傳感器、監(jiān)視器、智能交互終端等設(shè)備都可以成為數(shù)據(jù)來(lái)源，并且其數(shù)據(jù)量大大超過(guò)了結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)時(shí)代下，分布式處理的軟件框架使得x86服務(wù)器開(kāi)始大行其道，列存儲(chǔ)、內(nèi)存數(shù)據(jù)庫(kù)、NOSQL存儲(chǔ)、流計(jì)算等技術(shù)將成為數(shù)據(jù)存儲(chǔ)和處理的主流技術(shù)。

傳統(tǒng)數(shù)據(jù)中心商務(wù)智能專注單一數(shù)據(jù)集的分析處理，這造成了不同類型數(shù)據(jù)之間的割裂。而大數(shù)據(jù)分析聚合多個(gè)數(shù)據(jù)集，注重不同類型數(shù)據(jù)的融合集成與關(guān)聯(lián)分析，是一種綜合關(guān)聯(lián)性分析。因此，傳統(tǒng)數(shù)據(jù)中心分析處理架構(gòu)已無(wú)法適應(yīng)大數(shù)據(jù)時(shí)代的分析要求。

三、大數(shù)據(jù)時(shí)代下傳統(tǒng)數(shù)據(jù)中心發(fā)展的思考

大數(shù)據(jù)的核心價(jià)值在于從海量的復(fù)雜數(shù)據(jù)中挖掘出有價(jià)值的信息，通過(guò)大數(shù)據(jù)技術(shù)進(jìn)行更快地分析、更準(zhǔn)確地預(yù)測(cè)，發(fā)掘出新的業(yè)務(wù)模式，創(chuàng)造新的商業(yè)發(fā)展機(jī)會(huì)。因此，大數(shù)據(jù)時(shí)代下，企業(yè)迫切需要思考如何應(yīng)用大數(shù)據(jù)技術(shù)改造完善已有數(shù)據(jù)中心平臺(tái)，提升企業(yè)的數(shù)據(jù)處理能力，提高數(shù)據(jù)分析水平，將大數(shù)據(jù)融入企業(yè)的整體數(shù)據(jù)方案。

3.1 部署大數(shù)據(jù)分布式處理框架

分布式處理框架是大數(shù)據(jù)時(shí)代下數(shù)據(jù)中心架構(gòu)的基本特征，包括分布式存儲(chǔ)和分布式計(jì)算。分布式存儲(chǔ)采用了可擴(kuò)展的系統(tǒng)架構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，它不但提高系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。分布式計(jì)算將大量的分析計(jì)算任務(wù)分解為若干小任務(wù)，然后將分解后的任務(wù)分配到不同的處理節(jié)點(diǎn)，最后將計(jì)算結(jié)果綜合起來(lái)得到最終的結(jié)果。分布式計(jì)算具有更強(qiáng)的并行計(jì)算能力和擴(kuò)展性，且適合多類型數(shù)據(jù)的混合處理，因此，電網(wǎng)企業(yè)需要在原有數(shù)據(jù)中心架構(gòu)基礎(chǔ)上，構(gòu)建分布式處理框架，提升數(shù)據(jù)存儲(chǔ)和處理能力。

3.2 研究構(gòu)建大數(shù)據(jù)分析處理架構(gòu)

梳理電網(wǎng)企業(yè)數(shù)據(jù)中心現(xiàn)有的技術(shù)架構(gòu)，研究大數(shù)據(jù)關(guān)鍵技術(shù)，結(jié)合目前行業(yè)主流的大數(shù)據(jù)處理架構(gòu)，重點(diǎn)研究基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)中心信息基礎(chǔ)架構(gòu)，在保護(hù)企業(yè)現(xiàn)有信息化投資的基礎(chǔ)上，探索適合自身的大數(shù)據(jù)解決方案，將大數(shù)據(jù)融入企業(yè)整體數(shù)據(jù)方案。利用大數(shù)據(jù)技術(shù)改造完善數(shù)據(jù)中心分析處理架構(gòu)，研究融合結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、位置數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的大數(shù)據(jù)信息基礎(chǔ)架構(gòu)，構(gòu)建企業(yè)級(jí)大數(shù)據(jù)分析與挖掘平臺(tái)，實(shí)現(xiàn)不同類型數(shù)據(jù)的融合集成與關(guān)聯(lián)分析，支撐大數(shù)據(jù)分析應(yīng)用，提升數(shù)據(jù)分析和挖掘能力。

3.3 利用大數(shù)據(jù)分析創(chuàng)造價(jià)值

數(shù)據(jù)的核心是發(fā)現(xiàn)價(jià)值，駕馭數(shù)據(jù)的核心是分析。如何駕馭大數(shù)據(jù)，如何在海量數(shù)據(jù)中挖掘有價(jià)值的信息是重中之重，因此企業(yè)更應(yīng)專注于數(shù)據(jù)中隱藏的價(jià)值，通過(guò)應(yīng)用大數(shù)據(jù)技術(shù)分析，充分挖掘數(shù)據(jù)的核心價(jià)值，不斷優(yōu)化業(yè)務(wù)流程，降低管理成本，輔助企業(yè)做出科學(xué)的決策，為企業(yè)的持續(xù)創(chuàng)新與發(fā)展積蓄力量。

信息的影響力取決于數(shù)據(jù)關(guān)聯(lián)的能力，聚合多個(gè)大數(shù)據(jù)集所獲得的新的洞察力要遠(yuǎn)遠(yuǎn)超出單一大數(shù)據(jù)集所獲得的洞察力。例如種子公司與農(nóng)作物保護(hù)提供商和氣象部門合作就綜合利用了多個(gè)大數(shù)據(jù)集，包括天氣數(shù)據(jù)、土壤濕度數(shù)據(jù)、土壤類型數(shù)據(jù)、種子數(shù)據(jù)和其他數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)行交叉關(guān)聯(lián)分析，可以幫助種植戶收獲更高的產(chǎn)量。而在電力企業(yè)，將來(lái)自配電、用電、客戶、天氣等不同數(shù)據(jù)源的數(shù)據(jù)經(jīng)過(guò)轉(zhuǎn)換、整合，將會(huì)產(chǎn)生新的業(yè)務(wù)價(jià)值。對(duì)電力交易數(shù)據(jù)、氣候數(shù)據(jù)與客戶家庭年齡結(jié)構(gòu)、生活習(xí)慣等因素融合分析，了解客戶用電行為，滿足客戶的差異化需求，并通過(guò)探尋深層需求開(kāi)辟新的增值業(yè)務(wù)空間。

3.4 如何讓數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)

如何讓數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)，這是大數(shù)據(jù)時(shí)代下數(shù)據(jù)中心必須思考的關(guān)鍵問(wèn)題。傳統(tǒng)數(shù)據(jù)中心疲于應(yīng)付業(yè)務(wù)部門的需求，而大數(shù)據(jù)時(shí)代下，數(shù)據(jù)的復(fù)雜性決定了數(shù)據(jù)中心需要更加快速地應(yīng)對(duì)業(yè)務(wù)需求的變化和不確定性，因此數(shù)據(jù)中心必須由數(shù)據(jù)的保管者和服務(wù)者轉(zhuǎn)變?yōu)閿?shù)據(jù)的管理者和決策者，從被動(dòng)的響應(yīng)業(yè)務(wù)部門的要求轉(zhuǎn)變?yōu)橹鲃?dòng)向業(yè)務(wù)部門提供數(shù)據(jù)服務(wù)。

數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)是指數(shù)據(jù)作為一種生產(chǎn)力將數(shù)據(jù)分析挖掘的信息實(shí)時(shí)、主動(dòng)地反饋給業(yè)務(wù)決策者并影響、反哺企業(yè)業(yè)務(wù)的過(guò)程。大數(shù)據(jù)時(shí)代下，可以對(duì)企業(yè)業(yè)務(wù)進(jìn)行全過(guò)程分析、全方位監(jiān)控、模擬預(yù)測(cè)，實(shí)時(shí)進(jìn)行反饋，并及時(shí)調(diào)整決策改善業(yè)務(wù)發(fā)展方向，使得業(yè)務(wù)可以從數(shù)據(jù)上立即得以感知，業(yè)務(wù)可以用數(shù)據(jù)評(píng)價(jià)并由數(shù)據(jù)決策。

四、結(jié)語(yǔ)

大數(shù)據(jù)技術(shù)是當(dāng)前較新的技術(shù)發(fā)展方向，國(guó)內(nèi)外已開(kāi)展相關(guān)技術(shù)的研究與應(yīng)用，電力企業(yè)對(duì)電力大數(shù)據(jù)的技術(shù)研究也處于初級(jí)階段。大數(shù)據(jù)在業(yè)務(wù)領(lǐng)域中的應(yīng)用是一個(gè)循序漸進(jìn)的過(guò)程，對(duì)相關(guān)技術(shù)的應(yīng)用需要進(jìn)行客觀評(píng)估和充分論證，更要科學(xué)研判有關(guān)技術(shù)的發(fā)展前景，做出階段性發(fā)展規(guī)劃，構(gòu)筑符合企業(yè)實(shí)際的技術(shù)應(yīng)用主線。