陳強(qiáng)
摘要:隨著我國社會(huì)經(jīng)濟(jì)的不斷發(fā)展,信息時(shí)代的浪潮中催生出了大數(shù)據(jù)的一個(gè)概念,而隨著大數(shù)據(jù)而來就是計(jì)算機(jī)處理器的機(jī)器算法學(xué)習(xí),本文主要介紹一下大數(shù)據(jù)背景下機(jī)器學(xué)習(xí)算法的探索。
關(guān)鍵詞:大數(shù)據(jù);機(jī)器學(xué)習(xí);學(xué)習(xí)算法
0 引言
大數(shù)據(jù)主要是分為簡單的數(shù)據(jù)分析和智能的復(fù)雜性分析,而機(jī)器學(xué)習(xí)算法和數(shù)據(jù)收集分析都可以將大數(shù)據(jù)轉(zhuǎn)換為有效的關(guān)鍵知識(shí),隨著機(jī)器信息處理量的不斷劇增,機(jī)器的算法也需要重新的學(xué)習(xí),才能達(dá)到高效快速準(zhǔn)確的計(jì)算目的。
1 大數(shù)據(jù)背景下機(jī)器學(xué)習(xí)算法的研究現(xiàn)狀
隨著大數(shù)據(jù)時(shí)代的來臨,國內(nèi)外知名企業(yè)都投入了一定的人力和物力進(jìn)行機(jī)器算法的改進(jìn)研究,主要有谷歌、FACEBOOK、微軟企業(yè)、百度集團(tuán)、騰訊集團(tuán)、阿里巴巴集團(tuán)等等,主要是攻克大數(shù)據(jù)機(jī)器學(xué)習(xí)和人工智能處理系統(tǒng)這些領(lǐng)域,不斷的深化大數(shù)據(jù)處理背后的市場(chǎng)前景。在2014年國際舉行的計(jì)算機(jī)專家學(xué)者會(huì)議中提出了機(jī)器學(xué)習(xí)算術(shù),以及智能計(jì)算應(yīng)用系統(tǒng)的發(fā)展將成為今后的一個(gè)行業(yè)前進(jìn)方向和研究熱點(diǎn)。
2 大數(shù)據(jù)背景下機(jī)器學(xué)習(xí)算法的創(chuàng)新
2.1 大數(shù)據(jù)的規(guī)模性實(shí)驗(yàn)
在一些大規(guī)模的數(shù)據(jù)計(jì)算的時(shí)候都是需要運(yùn)行穩(wěn)定的處理機(jī)器進(jìn)行學(xué)習(xí)計(jì)算的,但是在進(jìn)行實(shí)驗(yàn)的時(shí)候,為了保障機(jī)器不受到數(shù)據(jù)信息的侵害,一般情況下,實(shí)驗(yàn)人員都會(huì)采取一些虛擬計(jì)算機(jī)處理器群,這樣就可以建設(shè)資金的投入。在建立好之后實(shí)驗(yàn)人員首先會(huì)使用一些較小的數(shù)據(jù)流進(jìn)行測(cè)試算法的可行性,也就是說測(cè)試設(shè)計(jì)的算法能不能對(duì)特定的數(shù)據(jù)信息流進(jìn)行快速準(zhǔn)確的處理。
在這種情況下為了更好的比對(duì)傳統(tǒng)機(jī)器的算法和設(shè)計(jì)的算法在進(jìn)行運(yùn)營和數(shù)據(jù)分析的時(shí)候,出現(xiàn)了那些不穩(wěn)定的因素,為了確保設(shè)計(jì)算法的正確性和穩(wěn)定。還需要收集到更大一級(jí)規(guī)模的數(shù)據(jù)信息流并進(jìn)行測(cè)試,將測(cè)試的結(jié)果和之間的結(jié)果進(jìn)行對(duì)比,來分析該設(shè)計(jì)算法中還存在那些疏忽的地方,在今后的算法設(shè)計(jì)過程不斷的積累經(jīng)驗(yàn),提高大數(shù)據(jù)算法的機(jī)器學(xué)習(xí)效率。
2.2 超大規(guī)模的數(shù)據(jù)模型處理
上文說到進(jìn)行數(shù)據(jù)信息處理的時(shí)候需要進(jìn)行大規(guī)模的處理計(jì)算,但是在計(jì)算不成熟的時(shí)候,不易進(jìn)行真實(shí)數(shù)據(jù)信息的處理,容易造成機(jī)器處理的問題。為了解決這個(gè)問題,工作人員設(shè)計(jì)了超大規(guī)模模型模擬處理的一種系統(tǒng)來進(jìn)行測(cè)試。
首先因?yàn)閿?shù)據(jù)的過于龐大在進(jìn)行節(jié)點(diǎn)存儲(chǔ)的時(shí)候不能達(dá)到精準(zhǔn)的效果,為了更加接近數(shù)據(jù)的計(jì)算實(shí)際情況,工作人員采取了大數(shù)據(jù)分布式節(jié)點(diǎn)控制的方式,來降低誤差的出現(xiàn),通過分布式的集體公差來確定數(shù)據(jù)分析的是否準(zhǔn)確。但是由于大數(shù)據(jù)在進(jìn)行分布式處理的時(shí)候,我們需要處理的結(jié)果和普通的數(shù)據(jù)結(jié)果有一定的出處,也就是術(shù)語中講到的高維稀疏情況的出現(xiàn),隨著該設(shè)計(jì)算法的不斷優(yōu)化更新,處理過程中還采取了異步無鎖算法對(duì)之前的設(shè)計(jì)進(jìn)行改善更新,提高了該算法的實(shí)際應(yīng)用性。最終經(jīng)過測(cè)試之后,我們發(fā)現(xiàn)利用了異步無鎖算法可以有效的減低數(shù)據(jù)信息在進(jìn)行同步通信的過程中的開支,提高了機(jī)器計(jì)算的效率,給人們提供了更加可靠的數(shù)據(jù)信息分析報(bào)告。
2.3 超參數(shù)優(yōu)化處理
在進(jìn)行小規(guī)模的機(jī)器學(xué)習(xí)算法的時(shí)候,我們可以采取網(wǎng)格搜索的一種先進(jìn)技術(shù)來對(duì)該設(shè)計(jì)算法的超參數(shù)進(jìn)行一定的優(yōu)化,經(jīng)過優(yōu)化后的數(shù)據(jù)參數(shù)在進(jìn)行處理分析的時(shí)候就可以有效的提高處理器的運(yùn)算速率。但是在小規(guī)模的數(shù)據(jù)機(jī)器算術(shù)學(xué)習(xí)的時(shí)候,這種算術(shù)還可以進(jìn)行使用,需要投入的資金還不算太大。一旦進(jìn)行超大規(guī)模的機(jī)器進(jìn)行算法學(xué)習(xí),那將產(chǎn)生非常的資金消耗是非常巨大的,并且隨著學(xué)習(xí)的過程中各級(jí)參數(shù)不停的變化,學(xué)習(xí)的時(shí)間和效率更加的緩慢。一種新的思路就是通過對(duì)模型參數(shù)在實(shí)驗(yàn)階段進(jìn)行反復(fù)的模擬測(cè)試,并且對(duì)算術(shù)自身設(shè)計(jì)的參數(shù)也進(jìn)行反復(fù)的測(cè)試和訓(xùn)練,經(jīng)過這樣對(duì)參數(shù)的反復(fù)修正,最終就可以得到該算法最佳的運(yùn)算參數(shù),在進(jìn)行機(jī)器學(xué)習(xí)的時(shí)候可以節(jié)省大量的陳本,并且大數(shù)據(jù)處理的速率和時(shí)間有了明顯的改變。
2.4 梯度下降法
在大數(shù)據(jù)算法學(xué)習(xí)的過程中主要是通過對(duì)傳統(tǒng)機(jī)器學(xué)習(xí)算法的程序進(jìn)行一定的升級(jí)改造,就可以達(dá)到大數(shù)據(jù)處理的一種實(shí)際運(yùn)算目的。在進(jìn)行算法升級(jí)改造的過程中工作人員采取了監(jiān)督學(xué)習(xí)訓(xùn)練的方法進(jìn)行處理,在處理中可以明顯的發(fā)現(xiàn)通過梯度下降法在運(yùn)用的時(shí)候有效的對(duì)機(jī)器學(xué)習(xí)效率提高了很多。在今后的優(yōu)化改進(jìn)過程中通過針對(duì)性的牛頓法進(jìn)行在線的處理,生成了在線的BFGS技術(shù),在今后的小批量的梯度下降法和在線的BFGS技術(shù)的結(jié)合應(yīng)用過程中將該算法的處理速率提高了很多。
2.5 樣本維度的分割
在進(jìn)行大數(shù)據(jù)算法學(xué)習(xí)的過程中要對(duì)之前的計(jì)算處理技術(shù)進(jìn)行升級(jí)改造,工作人員根據(jù)樣本的維度將大數(shù)據(jù)進(jìn)行了有效的分割,并且根據(jù)特殊的維度數(shù)據(jù)信息將分割的數(shù)據(jù)信息,統(tǒng)一整合之后輸入到各個(gè)計(jì)算機(jī)的節(jié)點(diǎn)中,通過設(shè)計(jì)的算法來進(jìn)行參數(shù)的更新和升級(jí),在升級(jí)之后處理的效率明顯的提高了很多,并且根據(jù)樣本維度分割后的數(shù)據(jù)流就是兩個(gè)不同環(huán)境的處理情況,可以進(jìn)行分開的處理很好的提高的大數(shù)據(jù)的處理速度。
3 結(jié)束語
在今后的大數(shù)據(jù)機(jī)器算法學(xué)習(xí)的時(shí)候,要根據(jù)實(shí)際數(shù)據(jù)的變化進(jìn)行升級(jí)改造,從而提高系統(tǒng)的處理速率。
參考文獻(xiàn)
[1]李成錄.大數(shù)據(jù)背景下機(jī)器學(xué)習(xí)算法的綜述[J].信息記錄材料,2018,1905:4-5.
[2]王凌.大數(shù)據(jù)背景下的機(jī)器學(xué)習(xí)算法簡述[J].數(shù)字傳媒研究,2017,3405:59-60+66.