吳嵩

在大數(shù)據(jù)領(lǐng)域，我們是一家做數(shù)據(jù)底層分析產(chǎn)品的公司，聚焦于數(shù)據(jù)庫的領(lǐng)域，我從這個角度來談下對大數(shù)據(jù)的一些理解和思考以及公司的實踐應(yīng)用。

數(shù)據(jù)庫的發(fā)展是從20世紀60、70年代，有了計算機之后在國外逐漸發(fā)展起來，那個時候的數(shù)據(jù)庫并不像現(xiàn)在的數(shù)據(jù)庫，最早的一批數(shù)據(jù)庫是層次型的或者是網(wǎng)狀型的，或者是對仗型的。到了2006年以后，Google的三篇論文撬動了大數(shù)據(jù)這個概念的快速發(fā)展。

十年之后的今天，大家對于大數(shù)據(jù)的認識已經(jīng)初步到位了，并且大家已經(jīng)明確了大數(shù)據(jù)要去融合、開放，實現(xiàn)一些深層次的數(shù)據(jù)分析和挖掘，政府也在確定自己的位置，企業(yè)也在找準(zhǔn)自己的位置。

神舟通用公司我們是航天科技集團下屬的公司，目前主要專注于數(shù)據(jù)庫和大數(shù)據(jù)平臺的研發(fā)，公司經(jīng)歷了24年的發(fā)展，從1993年開始我們就做國產(chǎn)的數(shù)據(jù)庫，其中無論是嵌入式軟件還是操作系統(tǒng)、數(shù)據(jù)庫、CAD產(chǎn)品，三維造型、數(shù)字加工都是我們自己做研發(fā)。

我們展開來看一下，今天對于政務(wù)大數(shù)據(jù)來講，現(xiàn)在我們看到的是大數(shù)據(jù)的處理能力需要進一步提升，數(shù)據(jù)關(guān)聯(lián)分析和數(shù)據(jù)融合需要更多的實踐，政務(wù)領(lǐng)域很多應(yīng)用跟移動已經(jīng)充分在結(jié)合，這是我們在做項目的過程中發(fā)現(xiàn)的特點。

回憶十年前這個階段，大數(shù)據(jù)框架產(chǎn)生之后，我們更多關(guān)注于一些更結(jié)合實際的東西，比如說資源管理，結(jié)合云計算，目前這個問題也基本解決了?，F(xiàn)在這個階段我們要解決數(shù)據(jù)的價值問題，也就是數(shù)據(jù)的共享、融合和深度的挖掘問題。

1.采集。無論是網(wǎng)絡(luò)或者是互聯(lián)網(wǎng)、物聯(lián)網(wǎng)，采集都應(yīng)該有相應(yīng)的手段和方法，這個還不是難點。2.存儲。目前也能解決，包括互聯(lián)網(wǎng)的數(shù)據(jù)：文本數(shù)據(jù)、表格數(shù)據(jù)、圖數(shù)據(jù)、即時數(shù)據(jù)，這些都不是技術(shù)難點。

現(xiàn)在很多的問題集中在應(yīng)用和分析層面上，分析可以講有很多歷史的統(tǒng)計，包括標(biāo)準(zhǔn)的海量統(tǒng)計，有很多多維的分析、可視化的展現(xiàn)，尤其是現(xiàn)在還提出來很多實時的要求，在生產(chǎn)系統(tǒng)里面還需要實時性的查詢。

在資源管理階段：計算、存儲、網(wǎng)絡(luò)，三步虛擬化解決已經(jīng)比較成熟了，現(xiàn)在用得比較多的桌面資源的虛擬化和應(yīng)用的虛擬化，能幫我們很多大數(shù)據(jù)和云平臺上的數(shù)據(jù)安全問題。

在樹立價值階段，現(xiàn)實世界更多呈現(xiàn)在我們面前的是數(shù)據(jù)，要處理好這些數(shù)據(jù)，我們是不是需要一些工具？這些工具包括我們的數(shù)據(jù)庫，也包括我們的數(shù)據(jù)分析，如報表這些，但是不僅是工具。

在有數(shù)據(jù)、工具的基礎(chǔ)上，還要建立模型，根據(jù)我們所有的條件建立模型。有了模型以后我們來形成我們處理問題的方法。

在面對這么多類型的大數(shù)據(jù)時，我們首先解決的是虛擬化存儲。在很多項目中，客戶提出了很多要求，我們根據(jù)實際的需要發(fā)展我們的產(chǎn)品線。結(jié)構(gòu)化數(shù)據(jù)的分析產(chǎn)品，我們叫MP數(shù)據(jù)集群，解決完以后我們又面臨著非結(jié)構(gòu)化數(shù)據(jù)的存儲和分析，之后又面臨著對象數(shù)據(jù)的存儲。同時在這些做項目的過程中，我們發(fā)現(xiàn)采集數(shù)據(jù)的處理本身也是一個很大的技術(shù)難點，我們需要解決。

在這之上，結(jié)合我們之前就有的一些數(shù)據(jù)挖掘的產(chǎn)品線，我們在數(shù)據(jù)挖掘和數(shù)據(jù)展現(xiàn)層面又完善了我們的產(chǎn)品，就構(gòu)成了存儲和分析的主線產(chǎn)品線。

龐大的數(shù)據(jù)要管理好，我們需要控制好它的授權(quán)，不是任何一個客源進來就能夠看到大量的數(shù)據(jù)，一定不是這樣的，所以政府希望我們?nèi)ソ鉀Q不同的人有不同的權(quán)限，所以說這一系列就構(gòu)成了我們這套在實踐當(dāng)中，在大數(shù)據(jù)項目里面總結(jié)出的產(chǎn)品線，實際上也是我們大數(shù)據(jù)的一個平臺。

總結(jié)起來，神舟公司的大數(shù)據(jù)平臺經(jīng)過了十幾年磨合，從2007年之前我們就在展開，那個時候我們是做海量的壓縮存儲的數(shù)據(jù)庫，那時候處理的是海量數(shù)據(jù)以及數(shù)據(jù)挖掘，到后來才逐步完善了我們這樣一個產(chǎn)品線。

政務(wù)大數(shù)據(jù)實際上現(xiàn)在已經(jīng)到大家埋頭苦干的階段了，各個領(lǐng)域都在用行業(yè)的大數(shù)據(jù)，政府有政府統(tǒng)一的政務(wù)服務(wù)的大數(shù)據(jù)，未來我們的空間還很大?，F(xiàn)在除了大的這幾個部委，軍隊各方面的大數(shù)據(jù)平臺都在建，無論是純行業(yè)的還是融合性的，多數(shù)據(jù)集成的大數(shù)據(jù)目前是我們參與得比較多的。

我們的企業(yè)特點就是掌握了自己的核心產(chǎn)品和自己的核心技術(shù)，在這里面以技術(shù)見長，但是我們也會再深入到幾個領(lǐng)域，比如說審計、網(wǎng)安、軍隊這樣的大領(lǐng)域，這些領(lǐng)域有我們的用武之地。同時這些政務(wù)大數(shù)據(jù)領(lǐng)域我們有相當(dāng)多的經(jīng)驗和積累，當(dāng)前主要專注于這些，我們和純做互聯(lián)網(wǎng)大數(shù)據(jù)的還不太一樣。

總之，面對這么紛繁復(fù)雜的數(shù)據(jù)，作為神舟公司，我們提供的是解決問題的一套工具，有了這套工具和平臺之后，我們可以去建立各種模型，最后為用戶和開發(fā)商總體提供一個解決方案，讓大家面對紛繁的數(shù)據(jù)時不再煩惱。（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）endprint