摘要：本文將從當(dāng)前無限深度神經(jīng)網(wǎng)絡(luò)的概況出發(fā)，闡述大數(shù)據(jù)分析的價值和作用，對無限深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法進行分析與探究，希望為相關(guān)人員提供一些幫助和建議，更好地運用大數(shù)據(jù)分析，從而提高神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的有效性。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò);深度神經(jīng);大數(shù)據(jù)

近些年，互聯(lián)網(wǎng)技術(shù)、信息技術(shù)深入發(fā)展，人們進入到深度網(wǎng)絡(luò)時代。大數(shù)據(jù)是深度網(wǎng)絡(luò)時代的一大產(chǎn)物，由于其適用于經(jīng)濟、科學(xué)等多個領(lǐng)域，因此大數(shù)據(jù)的價值和作用逐漸凸顯出來。將其應(yīng)用于無限深度神經(jīng)網(wǎng)絡(luò)后，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法得到了進一步開發(fā)。從這個角度來看，應(yīng)積極研究無限深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法。

一、當(dāng)前無限深度神經(jīng)網(wǎng)絡(luò)的概況

現(xiàn)階段，深度神經(jīng)網(wǎng)絡(luò)的概念活躍于工業(yè)領(lǐng)域與學(xué)術(shù)領(lǐng)域，主要指的是一種前饋深度網(wǎng)絡(luò)。從特點上看，前饋網(wǎng)絡(luò)的同層神經(jīng)元不具備時間參數(shù)與反饋連接，這使得深度神經(jīng)網(wǎng)絡(luò)適合對靜態(tài)數(shù)據(jù)進行處理。無限深度神經(jīng)網(wǎng)絡(luò)則是指回復(fù)型、互連型的神經(jīng)網(wǎng)絡(luò)，不同神經(jīng)元具有反饋連接。從時間維度將其反饋結(jié)構(gòu)合理展開，伴隨時間的演進，神經(jīng)網(wǎng)絡(luò)能夠做到無限延伸。這樣一來，回復(fù)型、互連型的神經(jīng)網(wǎng)絡(luò)便可稱作無限深度網(wǎng)絡(luò)。

二、無限深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法

（一）基本學(xué)習(xí)算法

從計算能力來看，神經(jīng)網(wǎng)絡(luò)主要體現(xiàn)于連接權(quán)值。由此可以得出，基本學(xué)習(xí)算法便是對網(wǎng)絡(luò)權(quán)值展開調(diào)節(jié)的基本方法。對權(quán)值進行調(diào)節(jié)的目的在于讓網(wǎng)絡(luò)進行特定知識的學(xué)習(xí)或?qū)⑻囟ㄓ嬎闳蝿?wù)實現(xiàn)，并且網(wǎng)絡(luò)計算任務(wù)一般會會被量化成特定性能函數(shù)所作的優(yōu)化[1]。

（二）BPTT學(xué)習(xí)算法

BP學(xué)習(xí)算法屬于一種對前饋網(wǎng)絡(luò)展開訓(xùn)練的重要算法，人們使用BPTT學(xué)習(xí)算法時得到了較大的飛躍。按照BP學(xué)習(xí)算法基本理念，美國學(xué)者曾在上個世紀(jì)九十年代提出對無限深度網(wǎng)絡(luò)進行訓(xùn)練的傳遞算法，借助反向傳遞，形成了BPTT學(xué)習(xí)算法。整體來看，BPTT學(xué)習(xí)算法對以往的BP學(xué)習(xí)算法進行了一定擴展，先根據(jù)無限深度神經(jīng)網(wǎng)絡(luò)向前饋網(wǎng)絡(luò)進行轉(zhuǎn)換，隨后讓前饋網(wǎng)絡(luò)各層的權(quán)值保持一致，并和回復(fù)型、互連型的神經(jīng)網(wǎng)格擁有相同的權(quán)值。按照連續(xù)訓(xùn)練、階段性訓(xùn)練等訓(xùn)練方式，可形成相應(yīng)的擴展算法。一種是EpochBPTT擴展算法。EBPTT擴展算法可通過階段性訓(xùn)練方法對網(wǎng)絡(luò)權(quán)值展開一系列調(diào)整。借助該擴展算法展開網(wǎng)絡(luò)訓(xùn)練的過程中，應(yīng)把數(shù)據(jù)集劃分為不同的獨立段，各段分別在無限深度神經(jīng)網(wǎng)絡(luò)里代表相應(yīng)的時序。另一種是RealBPTT擴展算法。RealBPTT擴展算法能夠通過連續(xù)法或?qū)崟r法對網(wǎng)絡(luò)權(quán)值展開相應(yīng)調(diào)整。若t1是運行網(wǎng)絡(luò)的起始時間，t2是運行網(wǎng)絡(luò)的當(dāng)前時間，按照BPTT基本算法，RBPTT擴展算法和EBPTT算法有所差異，BPTT不具備階段概念，只有處于t1這一起始時間時，網(wǎng)絡(luò)狀態(tài)才會得到初始化，同時，網(wǎng)絡(luò)權(quán)值無需在指定的t2時間更新，而是在任意時間t都可以得到更新，處于t時間的性能函數(shù)便是網(wǎng)絡(luò)性能函數(shù)。

（三）RTRL學(xué)習(xí)算法

從擴展方式來看，BPTT學(xué)習(xí)算法以傳播的反向算法為基礎(chǔ)，由后到前對誤差進行傳播。不同于BPTT學(xué)習(xí)算法，RTRL學(xué)習(xí)算法能夠?qū)⒒顒有缘木W(wǎng)絡(luò)信息進行前向傳播。早在上個世紀(jì)八十年代，RTRL學(xué)習(xí)算法便被正式提出，人們還將該學(xué)習(xí)算法進行了多次變形。

（四）LSTM學(xué)習(xí)算法

在無限深度神經(jīng)網(wǎng)絡(luò)中一直存在網(wǎng)絡(luò)梯度的問題，詳細(xì)來講，傳播誤差時會產(chǎn)生梯度消失、梯度爆炸等問題。要想將以上問題有效解決，瑞士的著名學(xué)者在上個世紀(jì)末提出LSTM網(wǎng)絡(luò)，即長短時記憶，隨后人們又對LSTM學(xué)習(xí)算法展開了多種變形。若網(wǎng)絡(luò)激活函數(shù)屬于非線性函數(shù)，則伴隨時間的變化神經(jīng)網(wǎng)絡(luò)容易產(chǎn)生梯度爆炸、梯度消失等問題，解決該問題時可借助線性函數(shù)來實現(xiàn)，這是一個行之有效的方法。進行網(wǎng)絡(luò)訓(xùn)練的過程中，應(yīng)融合RERL學(xué)習(xí)算法與BPTT學(xué)習(xí)算法，訓(xùn)練輸出層與權(quán)值時運用BPTT學(xué)習(xí)算法，權(quán)值輸入則由RTRL學(xué)習(xí)算法加以更新[2]。除此之外，為了降低神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)難度，應(yīng)采用截斷法，從而讓網(wǎng)絡(luò)隱層輸出降低敏感性。

（五）學(xué)習(xí)方法的應(yīng)用

伴隨大數(shù)據(jù)的普及和推廣，以GPU為代表的計算設(shè)備得到了空前發(fā)展，相關(guān)學(xué)者也提出了深層網(wǎng)絡(luò)的訓(xùn)練思路。由于大數(shù)據(jù)得到了豐富，因此深度學(xué)習(xí)算法在應(yīng)用過程中取得了質(zhì)的飛躍。借助無限深度學(xué)習(xí)算法，人們能夠?qū)Σ煌愋偷臄?shù)據(jù)展開充分利用，如弱標(biāo)注數(shù)據(jù)、普通數(shù)據(jù)、標(biāo)注數(shù)據(jù)等，通過海量大數(shù)據(jù)自動化學(xué)習(xí)知識的抽象表達方法，換句話說，就是將原始數(shù)據(jù)向特定知識數(shù)據(jù)進行轉(zhuǎn)化。應(yīng)用無限深度學(xué)習(xí)算法后，算法精準(zhǔn)度得到了極大的提升，僅用了不到十年，無限深度學(xué)習(xí)算法便將文本理解、圖像理解以及語義理解等不同領(lǐng)域算法思想完全顛覆，經(jīng)過一段時間的演變，產(chǎn)生了基于數(shù)據(jù)訓(xùn)練的端到端模型，隨后通過直接輸出獲取計算結(jié)果，這是一種嶄新的學(xué)習(xí)算法模式。

無限深度神經(jīng)網(wǎng)絡(luò)最大的特點在于能夠?qū)r序特征、時序數(shù)據(jù)進行提取，即便增加了優(yōu)化難度，相關(guān)學(xué)者也予以高度重視，積極開發(fā)解決方案，如LSTM學(xué)習(xí)算法、BPTT學(xué)習(xí)算法等。與此同時，無限深度神經(jīng)網(wǎng)絡(luò)與常規(guī)深度神經(jīng)網(wǎng)絡(luò)相比，其在處理時序數(shù)據(jù)時具備的優(yōu)勢更大，計算能力也更強。除此之外，無限深度神經(jīng)網(wǎng)絡(luò)在文本理解方面可以根據(jù)順序來進行句子中的單詞處理，對于后續(xù)內(nèi)容的處理，無限深度神經(jīng)網(wǎng)絡(luò)還能夠?qū)η拔男畔⒆鞒龀橄笮缘恼?，記憶功能極強。

結(jié)語：

總而言之，研究無限深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法具有重要的意義。相關(guān)人員應(yīng)對當(dāng)前無限深度神經(jīng)網(wǎng)絡(luò)的概況有一個全面了解，充分把握大數(shù)據(jù)分析的價值和作用，能夠?qū)⒋髷?shù)據(jù)分析應(yīng)用到神經(jīng)網(wǎng)絡(luò)的基本學(xué)習(xí)算法、BPTT學(xué)習(xí)算法、RTRL學(xué)習(xí)算法、LSTM學(xué)習(xí)算法中，從而促進我國大數(shù)據(jù)分析的平穩(wěn)、快速發(fā)展。

參考文獻：

[1]鄧亞平，段建東，賈顥，等.基于布谷鳥算法優(yōu)化獨立循環(huán)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的超短期風(fēng)電功率預(yù)測[J].電網(wǎng)與清潔能源，2021，37（09）：18-26.

[2]于薏，周奕文，陳弟，等.基于深層卷積神經(jīng)網(wǎng)絡(luò)的眼科B型超聲圖像玻璃體視網(wǎng)膜疾病輔助診斷系統(tǒng)應(yīng)用評估[J].中華實驗眼科雜志，2021，39（09）：792-797.

作者簡介：

劉喆（2000.07.12——），女，漢族，籍貫：山東省平度市，學(xué)歷：本科在讀，研究方向：大數(shù)據(jù)。