蔡皓宇

?

淺析數(shù)學(xué)與應(yīng)用數(shù)學(xué)在大數(shù)據(jù)中的應(yīng)用

蔡皓宇

（南京市第九中學(xué) 江蘇 南京 210000）

大數(shù)據(jù)是時(shí)代發(fā)展的必然產(chǎn)物，而數(shù)學(xué)與應(yīng)用數(shù)學(xué)專業(yè)旨在培養(yǎng)學(xué)生對(duì)于數(shù)學(xué)學(xué)科知識(shí)的應(yīng)用能力，將數(shù)學(xué)與應(yīng)用數(shù)學(xué)專業(yè)知識(shí)引入到大數(shù)據(jù)處理工作之中，對(duì)于知識(shí)應(yīng)用效用的發(fā)揮以及數(shù)據(jù)處理效率的提高均起到良好的促進(jìn)效果。本文就數(shù)學(xué)與應(yīng)用數(shù)學(xué)在大數(shù)據(jù)中的應(yīng)用展開論述。

數(shù)學(xué)與應(yīng)用數(shù)學(xué)；大數(shù)據(jù)；應(yīng)用

1 大數(shù)據(jù)概述

1.1 大數(shù)據(jù)概念的“興起”

計(jì)算機(jī)技術(shù)的應(yīng)用普及以及互聯(lián)網(wǎng)絡(luò)的興起，對(duì)于社會(huì)各行業(yè)起到了極大的促進(jìn)作用，更是在諸多行業(yè)之中產(chǎn)生了大量的“生產(chǎn)數(shù)據(jù)”，例如：光學(xué)觀測(cè)、監(jiān)控技術(shù)、醫(yī)療保健、傳感數(shù)據(jù)、客戶體驗(yàn)數(shù)據(jù)以及金融行業(yè)交易鏈等等，更有“無限”數(shù)據(jù)的形象說法，因?yàn)樵谥T多領(lǐng)域之中，數(shù)據(jù)的產(chǎn)生是“源源不斷”的，造成了數(shù)據(jù)的“類災(zāi)害”，在這種歷史發(fā)展環(huán)境之中，大數(shù)據(jù)的概念逐漸的被人們所重視。隨著大數(shù)據(jù)概念在廣大公眾視野中的逐漸顯露，其特點(diǎn)也逐漸的被大眾所了解，對(duì)于大數(shù)據(jù)的認(rèn)知中，其結(jié)構(gòu)不固定，且需要對(duì)其進(jìn)行實(shí)時(shí)分析等特點(diǎn)被人們所接受，在新時(shí)代大數(shù)據(jù)發(fā)展需求中，全新體系構(gòu)架的建立勢(shì)在必行，以滿足大規(guī)模數(shù)的獲取、傳輸、儲(chǔ)存以及分析。

1.2 大數(shù)據(jù)給數(shù)據(jù)處理技術(shù)帶來新的挑戰(zhàn)

大數(shù)據(jù)爆發(fā)帶來前所未有的發(fā)展空間和發(fā)展機(jī)遇，與此同時(shí)，對(duì)于傳統(tǒng)的數(shù)據(jù)信息的管理工作提出嚴(yán)峻的挑戰(zhàn)，第一，在大數(shù)據(jù)爆發(fā)的時(shí)代中，社會(huì)各個(gè)行業(yè)之中數(shù)據(jù)的生產(chǎn)和消費(fèi)變得更加的快捷、容易，對(duì)于數(shù)據(jù)的收集和集成管理工作提出全新的挑戰(zhàn)；第二，大數(shù)據(jù)時(shí)代中數(shù)據(jù)的一個(gè)最顯著的特點(diǎn)就是“大”，這給數(shù)據(jù)的儲(chǔ)存和管理工作帶來全新的挑戰(zhàn)，硬件和軟件的研發(fā)工作更加的迫切，需要其有跨越式的進(jìn)步和發(fā)展；最后，受到大數(shù)據(jù)異構(gòu)性、規(guī)模性、實(shí)時(shí)性、復(fù)雜性和隱私性等特性的需求要求，對(duì)于數(shù)據(jù)的查詢、分析和預(yù)測(cè)工作效率提出嚴(yán)峻的挑戰(zhàn)。

1.3 現(xiàn)實(shí)環(huán)境的局限性

傳統(tǒng)的數(shù)據(jù)管理和分析是以關(guān)系型數(shù)據(jù)庫管理系統(tǒng)為基礎(chǔ)的，這種數(shù)據(jù)管理系統(tǒng)在結(jié)構(gòu)化數(shù)據(jù)處理過程中有相對(duì)突出的優(yōu)勢(shì)，但是，在對(duì)半結(jié)構(gòu)化或是無結(jié)構(gòu)化數(shù)據(jù)處理過程中卻顯得有些“蒼白無力”，除了在全新數(shù)據(jù)結(jié)構(gòu)處理方面的欠缺之外，在硬件儲(chǔ)存方面也表現(xiàn)的“捉襟見肘”，雖然能夠通過提高儲(chǔ)存容量的上限來滿足現(xiàn)實(shí)的需求，但其造價(jià)也會(huì)“水漲船高”，提高硬件的生產(chǎn)成本，大數(shù)據(jù)的儲(chǔ)存和處理需要對(duì)硬件實(shí)行并行擴(kuò)容（通過并行增加硬件從而實(shí)現(xiàn)對(duì)儲(chǔ)存容量和處理效率的有效拓展），這些都是傳統(tǒng) RDBMS 不能夠?qū)崿F(xiàn)的，對(duì)于大數(shù)據(jù)的發(fā)展形成桎梏。

2 大數(shù)據(jù)實(shí)現(xiàn)的核心技術(shù)及實(shí)現(xiàn)方法

在現(xiàn)代計(jì)算機(jī)技術(shù)的“承載”下，大數(shù)據(jù)處理技術(shù)在對(duì)傳統(tǒng)計(jì)算機(jī)技術(shù)不斷完善與更新的基礎(chǔ)上，正在不斷的“改變世界”，大數(shù)據(jù)處理技術(shù)通過實(shí)時(shí)、高效、可視化呈現(xiàn)的對(duì)海量數(shù)據(jù)的處理過程中，能夠滿足用戶對(duì)于數(shù)據(jù)需求在形式和內(nèi)容上的“自由”，實(shí)現(xiàn)數(shù)據(jù)意義上的“按需分配”。通過云技術(shù)的應(yīng)用，使大數(shù)據(jù)的采集、傳輸、處理和應(yīng)用成為可能，在實(shí)際的生產(chǎn)生活中利用一系列非傳統(tǒng)的工具實(shí)現(xiàn)對(duì)大量結(jié)構(gòu)、非結(jié)構(gòu)以及半結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行處理。

大數(shù)據(jù)處理技術(shù)框架的形成，基于大數(shù)據(jù)處理的生命周期，涉及到大數(shù)據(jù)的采集與處理、大數(shù)據(jù)的儲(chǔ)存和管理、大數(shù)據(jù)的計(jì)算模式和計(jì)算系統(tǒng)、大數(shù)據(jù)的分析與研究以及大數(shù)據(jù)的隱私與安全等幾項(xiàng)核心技術(shù)。

2.1 大數(shù)據(jù)的采集與預(yù)處理工作

數(shù)據(jù)源的多樣化是大數(shù)據(jù)的一個(gè)重要的特點(diǎn)，數(shù)據(jù)的多樣化不僅僅表現(xiàn)在數(shù)據(jù)形成的多樣化，還體現(xiàn)在數(shù)據(jù)內(nèi)容的多樣化和數(shù)據(jù)結(jié)構(gòu)的多樣化，大數(shù)據(jù)技術(shù)的第一步就是要完成對(duì)數(shù)據(jù)的收集和預(yù)處理工作，為后續(xù)流程的進(jìn)行提供統(tǒng)一的高質(zhì)量的集成數(shù)據(jù)。

2.2 大數(shù)據(jù)的儲(chǔ)存和管理工作

大數(shù)據(jù)處理工作之多一困難，很重要的一個(gè)方面就是數(shù)據(jù)的“積累”，而實(shí)現(xiàn)對(duì)數(shù)據(jù)的有效的積累過程就需要對(duì)既有數(shù)據(jù)的儲(chǔ)存和管理，故而，在大數(shù)據(jù)技術(shù)的實(shí)現(xiàn)過程中，要克服數(shù)據(jù)儲(chǔ)存規(guī)模大、儲(chǔ)存管理復(fù)雜以及數(shù)據(jù)服務(wù)種類和水平要求較好這幾項(xiàng)困難，才能一舉攻破大數(shù)據(jù)技術(shù)的“堡壘”。

2.3 大數(shù)據(jù)的安全與隱私

在數(shù)據(jù)爆發(fā)的時(shí)代之中，對(duì)于人們的隱私構(gòu)成嚴(yán)重的威脅，在大數(shù)據(jù)管理過程中，主要面對(duì)的難題有：

1）大數(shù)據(jù)時(shí)代的安全與傳統(tǒng)安全相比，變得更加復(fù)雜;

2）使用過程中的安全問題;

3）對(duì)大數(shù)據(jù)分析較高的企業(yè)和團(tuán)體，面臨更多的安全挑戰(zhàn);

4）基于位置的隱私數(shù)據(jù)暴露嚴(yán)重;

5）缺乏相關(guān)的法律法規(guī)保證;

6）大數(shù)據(jù)的共享問題;

7）數(shù)據(jù)動(dòng)態(tài)性;

8）多元數(shù)據(jù)的融合挑戰(zhàn)。

3 數(shù)學(xué)與應(yīng)用數(shù)學(xué)在大數(shù)據(jù)中的應(yīng)用方向和前景

數(shù)學(xué)與應(yīng)用數(shù)學(xué)旨在教學(xué)生數(shù)學(xué)科學(xué)的基本理論與基本方法的基礎(chǔ)上，培養(yǎng)其運(yùn)用所學(xué)數(shù)學(xué)知識(shí)利用計(jì)算機(jī)技術(shù)解決實(shí)際問題的能力，為社會(huì)科技、教育和經(jīng)濟(jì)部門提供從事研究、教學(xué)或是生產(chǎn)經(jīng)營(yíng)等實(shí)際應(yīng)用、開發(fā)研究和管理工作的高級(jí)人才，而大數(shù)據(jù)是指無法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，專業(yè)是屬于計(jì)算機(jī)專業(yè)。在大數(shù)據(jù)處理應(yīng)用之中，會(huì)更多的融入應(yīng)用數(shù)學(xué)知識(shí)，以實(shí)現(xiàn)應(yīng)用數(shù)學(xué)在大數(shù)據(jù)處理中效用的進(jìn)一步發(fā)揮。

4 結(jié)語

綜上所述，大數(shù)據(jù)爆發(fā)是歷史發(fā)展的必然結(jié)果，也是新時(shí)代人們對(duì)于數(shù)據(jù)信息需求品質(zhì)提高的必然趨勢(shì)，大數(shù)據(jù)爆發(fā)在滿足人們對(duì)數(shù)字信息方面需求的同時(shí)，對(duì)于各項(xiàng)技術(shù)（包括對(duì)爆發(fā)性數(shù)據(jù)的收集、整理、儲(chǔ)存以及分析預(yù)測(cè)等技術(shù)）提出嚴(yán)峻的挑戰(zhàn)，需要社會(huì)各方人員用于創(chuàng)新，踏出具有歷史性的一步。在進(jìn)行大數(shù)據(jù)管理工作的研發(fā)過程中，對(duì)于核心技術(shù)要集中“攻破”，解決問題中的主要問題，對(duì)于核心技術(shù)的實(shí)現(xiàn)方式進(jìn)行有效的拓展。在新時(shí)代發(fā)展過程中，數(shù)學(xué)和應(yīng)用數(shù)學(xué)之于大數(shù)據(jù)管理工作之中有重要的作用，其應(yīng)用空間相當(dāng)?shù)膹V闊，應(yīng)給予足夠的重視，爭(zhēng)取其在大數(shù)據(jù)管理工作中發(fā)揮更為重要的效用。

[1]程學(xué)旗,靳小龍,王元卓,郭嘉豐,張鐵贏,李國(guó)杰. 大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J]. 軟件學(xué)報(bào),2014,25(09):1889-1908.

[2]黃劉生,田苗苗,黃河. 大數(shù)據(jù)隱私保護(hù)密碼技術(shù)研究綜述[J]. 軟件學(xué)報(bào),2015,26(04):945-959.

[3]孫洪濤,鄭勤華. 教育大數(shù)據(jù)的核心技術(shù)、應(yīng)用現(xiàn)狀與發(fā)展趨勢(shì)[J]. 遠(yuǎn)程教育雜志,2016,34(05):41-49.

big data is the inevitable outcome of the development of the times, and mathematic and applied mathematic major aims at training students to apply the knowledge of mathematics discipline, introducing the mathematic and applied mathematic expertise into the work of big data processing, which has a good effect on the application of knowledge and the improvement of the efficiency of data processing. This paper discusses the application of mathematics and applied mathematics in large data.

mathematics and applied mathematics; Big data; application

10.19551/j.cnki.issn1672-9129.2017.10.344

G434

A

1672-9129(2017)10-0278-02