人類已經(jīng)進入以數(shù)據(jù)為中心的時代，也即：“大數(shù)據(jù)”時代。在這個時代里，數(shù)以億計的計算機和移動設備正在持續(xù)地創(chuàng)造著越來越多的數(shù)據(jù)。爆炸式增長的、結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)創(chuàng)造著巨大的機遇，如何從如此龐大而復雜的數(shù)據(jù)中挖掘出企業(yè)需要的商業(yè)價值成為所有企業(yè)面臨的挑戰(zhàn)。

大數(shù)據(jù)意味著包括交易和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集，其規(guī)模或復雜程度超出了常用技術(shù)按照合理的成本和時限捕捉、管理及處理這些數(shù)據(jù)集的能力。不管是大交互數(shù)據(jù)，還是大交易數(shù)據(jù)，處理分析非結(jié)構(gòu)化數(shù)據(jù)一直以來都是數(shù)據(jù)處理的難點。數(shù)據(jù)集成作為挖掘數(shù)據(jù)價值的重要一步在整個數(shù)據(jù)分析中具有重要的作用。

對于絕大多數(shù)企業(yè)而言，信息系統(tǒng)建設通常具有階段性和分布性的特點，該特點不可避免的導致了“信息孤島”現(xiàn)象的存在。“信息孤島”就是指不同軟件間，尤其是不同部門間的數(shù)據(jù)信息不能共享，造成系統(tǒng)中存在大量冗余數(shù)據(jù)、垃圾數(shù)據(jù)，無法保證數(shù)據(jù)的一致性，嚴重地阻礙了企業(yè)信息化建設的整體進程。為解決這一問題，人們開始關(guān)注數(shù)據(jù)集成研究。

數(shù)據(jù)集成就是將若干個分散數(shù)據(jù)源中的數(shù)據(jù)，邏輯地或者物理地集成到一個統(tǒng)一的數(shù)據(jù)集合中。其核心任務是將相互關(guān)聯(lián)的分布式異構(gòu)數(shù)據(jù)源集成到一起，讓用戶以透明的方式訪問這些數(shù)據(jù)源，以便消除信息孤島現(xiàn)象。

數(shù)據(jù)集成市場正處于黃金時代

著名信息技術(shù)研究咨詢公司Gartner在其發(fā)布的“2013年數(shù)據(jù)集成工具魔力象限報告”中表示，對集成選項功能完整性的需求在快速上漲。隨著數(shù)據(jù)碎片化程度的不斷加劇，企業(yè)希望能夠有一款靈活的產(chǎn)品，能夠快速融入到現(xiàn)有的數(shù)據(jù)管理投資中，并提供更多的功能。

數(shù)據(jù)集成可以滿足人們不斷增長的信息需求，使更多的人更充分地使用已有數(shù)據(jù)資源，減少資料收集、數(shù)據(jù)采集等重復勞動和相應費用，實現(xiàn)數(shù)據(jù)源的凝聚放大效應，形成以業(yè)務為驅(qū)動的動態(tài)數(shù)據(jù)價值鏈。

大數(shù)據(jù)技術(shù)的發(fā)展為數(shù)據(jù)管理開辟了一條新的道路，這也為數(shù)據(jù)集成創(chuàng)造了新的機會。在這種情況下，數(shù)據(jù)集成就從傳統(tǒng)的數(shù)據(jù)提取、轉(zhuǎn)換和加載過程（ETL）變成了更加靈活的數(shù)據(jù)提取、加載和轉(zhuǎn)換的方法（ELT）。在過去，ETL形式中的數(shù)據(jù)集成通常是“一個自包含過程”，它只是簡單的專注于將干凈、合并的數(shù)據(jù)從源系統(tǒng)遷移至目標數(shù)據(jù)倉庫。但是，現(xiàn)在情況變得不同了，現(xiàn)在數(shù)據(jù)可以存在于任何地方，如果用戶需要在另一個系統(tǒng)上使用，只要在需要的時候調(diào)用就可以了。

Gartner認為，市場上對集數(shù)據(jù)集成、數(shù)據(jù)質(zhì)量以及主數(shù)據(jù)管理于一體的工具需求在不斷的增長。高質(zhì)量的數(shù)據(jù)對于數(shù)據(jù)集成項目的成功具有關(guān)鍵的作用，而不關(guān)心數(shù)據(jù)質(zhì)量的數(shù)據(jù)集成注定將會失敗。除了與數(shù)據(jù)質(zhì)量和主數(shù)據(jù)管理更好的集成以外，用戶還希望工具能夠支持更加廣泛的數(shù)據(jù)集成風格與功能。

包括Hadoop等大數(shù)據(jù)技術(shù)，以及NoSQL數(shù)據(jù)庫技術(shù)在內(nèi)的技術(shù)對數(shù)據(jù)集成工具的開發(fā)都產(chǎn)生了重大影響。未來數(shù)據(jù)集成工具發(fā)展的重要方向就是支持分布式架構(gòu)的集成。包括低成本，基于訂閱模式的收費方法以及基于云在內(nèi)的交付模式，也是未來數(shù)據(jù)集成市場的一個發(fā)展方向。

多方挑戰(zhàn)考驗數(shù)據(jù)集成

單純地看，數(shù)據(jù)集成在現(xiàn)實應用中是一個非常簡單的問題，也就是對多源數(shù)據(jù)進行清理和轉(zhuǎn)換，然后將數(shù)據(jù)加載到適當?shù)臄?shù)據(jù)存儲區(qū)中以便進行下一步的分析和處理。但是，事實卻不是這么簡單。數(shù)據(jù)集成面臨著多方挑戰(zhàn)。

首先是技術(shù)方面的挑戰(zhàn)。最具針對性的挑戰(zhàn)包括：多種源和多種不同的格式；結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；在不同時間從源系統(tǒng)獲得的數(shù)據(jù)信息；龐大的數(shù)據(jù)量。即使在理想的情況下，也必須以某種方式在一個位置獲得所需的所有數(shù)據(jù)。同時，對實時性的要求增加了數(shù)據(jù)集成的困難。

其次來自組織的挑戰(zhàn)。在大型組織中進行數(shù)據(jù)集成還會存在來自權(quán)力的壓力。數(shù)據(jù)是信息，代表著一種權(quán)力，但是讓人們相信數(shù)據(jù)是企業(yè)有價值的資產(chǎn)是一件頗具挑戰(zhàn)的事情。要實現(xiàn)企業(yè)數(shù)據(jù)集成的成功，就需要所有數(shù)據(jù)源的使用者能夠了解項目的用途和方向。這需要所有的組織成員能夠通力合作。

最后就是經(jīng)濟壓力。數(shù)據(jù)集成成本的增加主要是因為數(shù)據(jù)集成的過程可能會因為權(quán)力而變得緩慢而曲折，清理數(shù)據(jù)以及從多種源數(shù)據(jù)映射也會變得更加困難。當需要解決這些問題的時候，數(shù)據(jù)集成引起的額外費用都將會被記入整個數(shù)據(jù)集成體系結(jié)構(gòu)。另外，隨著組織發(fā)展過程中對數(shù)據(jù)入庫和商業(yè)智能需求的增加，有缺陷的數(shù)據(jù)集成體系結(jié)構(gòu)將變得越來越難以維護，這樣總體擁有成本會增加。

虛擬化提高數(shù)據(jù)集成效率

虛擬化意味著可以不受物理條件的限制，能夠迅速構(gòu)建物理環(huán)境，以便支持用戶在特定時刻對特定業(yè)務的需求?，F(xiàn)在已經(jīng)可以實現(xiàn)對服務器、存儲以及網(wǎng)絡實現(xiàn)虛擬化。

面對海量數(shù)據(jù)的處理需求，我們需要擺脫結(jié)構(gòu)化的數(shù)據(jù)倉庫。低成本的存儲在業(yè)務數(shù)據(jù)存儲方面可以節(jié)省成本。高昂的存儲成本限制了系統(tǒng)處理數(shù)據(jù)的質(zhì)量。對于海量數(shù)據(jù)的處理需要做到彈性存儲，彈性存儲意味著企業(yè)不會在期望操作的數(shù)據(jù)規(guī)?；蝾愋蜕鲜艿较拗?，從而可以降低使用數(shù)據(jù)倉庫無法獲得最佳結(jié)果的風險。

數(shù)據(jù)虛擬化可以將不同的數(shù)據(jù)連接起來，讓業(yè)務運營與數(shù)據(jù)集成流程變得更加靈敏。大多數(shù)情況下，企業(yè)主要運用傳統(tǒng)數(shù)據(jù)集成技術(shù)，從交易系統(tǒng)中獲取數(shù)據(jù)，將其移植到數(shù)據(jù)倉庫中以作商務智能和數(shù)據(jù)分析等用途。然后，對于需要實時決策的應用程序，這種方式就會面臨挑戰(zhàn)。

數(shù)據(jù)虛擬化擁有一個可置于企業(yè)應用程序、數(shù)據(jù)倉庫、交易數(shù)據(jù)庫、門戶網(wǎng)站及其他數(shù)據(jù)源之上的提取層，能使企業(yè)在無需創(chuàng)建存儲信息備份的環(huán)境下，對來自不同系統(tǒng)中的數(shù)據(jù)進行整合。這樣一來就省去了從源系統(tǒng)中復制數(shù)據(jù)或移除數(shù)據(jù)的麻煩，減少了IT人員的工作量，也降低了數(shù)據(jù)出錯的幾率。

數(shù)據(jù)虛擬化還支持在源系統(tǒng)中交易數(shù)據(jù)更新的寫入，這也是擁護者們看中這項技術(shù)的優(yōu)勢之一。正因為如此，數(shù)據(jù)虛擬化才會從數(shù)據(jù)聯(lián)合與企業(yè)信息集成（EII）技術(shù)中脫穎而出。后兩項為更早推出的類似技術(shù)，同樣為了簡化不同源陣列的數(shù)據(jù)分析流程。盡管三種技術(shù)在性能方面都有相似之處，甚至有“換湯不換藥”之嫌，但是EII技術(shù)提供的是一種數(shù)據(jù)陣列與報表的只讀處理方法。

其實，早在十年前就有數(shù)據(jù)聯(lián)合了，其產(chǎn)生的用意本在于取代ETL工具和數(shù)據(jù)暫存區(qū)，不用再建立新的數(shù)據(jù)市場?？上гu論家認為數(shù)據(jù)聯(lián)合從一開始就帶有重大缺陷，它只能與巨型數(shù)據(jù)套件匹配，且其運行環(huán)境需要極為復雜的數(shù)據(jù)轉(zhuǎn)換。更有甚者，很多人都認為數(shù)據(jù)聯(lián)合與面向服務架構(gòu)（SOA）的粘附性很強。

但是隨著企業(yè)不再將大數(shù)據(jù)分析作為一項孤立的應用來看待，并注意使用分析結(jié)果來驅(qū)動他們的主流業(yè)務流程，數(shù)據(jù)質(zhì)量和無縫上游整合就變得更為重要。并且大數(shù)據(jù)架構(gòu)靈活性的提升也帶來了更高級別的發(fā)展和管理復雜性，這可能需要新的流程和技巧，甚至是在IT部門中的一場文化變革。