摘要：多隱含層長短期記憶神經(jīng)網(wǎng)絡(luò)（long short-term memory，LSTM）循環(huán)神經(jīng)網(wǎng)絡(luò)權(quán)值與閾值更新依賴梯度下降算法，模型收斂速度慢，網(wǎng)絡(luò)節(jié)點的權(quán)值計算易出現(xiàn)局部極值，導致LSTM 神經(jīng)網(wǎng)絡(luò)模型不能得到全局最優(yōu)，網(wǎng)絡(luò)模型泛化能力下降，限制LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用。因此，利用加速粒子群優(yōu)化算法（accelerated particle swarm optimization，APSO）的優(yōu)化能力，提出一種改進LSTM 神經(jīng)網(wǎng)絡(luò)模型。該模型將均方根誤差設(shè)計為適宜值函數(shù)，并利用APSO 算法構(gòu)建尋優(yōu)策略，對各神經(jīng)元節(jié)點間的權(quán)值進行全局優(yōu)化，提升模型的泛化和預(yù)測性能。通過經(jīng)典DataMarket 及UCI 數(shù)據(jù)集的實驗結(jié)果表明，APSO-LSTM 模型的預(yù)測精度較傳統(tǒng)LSTM 模型有顯著提升，驗證了APSO-LSTM模型的有效性和實用性。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；權(quán)值優(yōu)化；適宜值；APSO-LSTM模型

中圖分類號：TP183 文獻標志碼：A 文章編號：1000-582X（2024）08-103-09

隨著深度學習的迅猛發(fā)展，人工智能已成為眾多學者研究的熱點之一[1]。目前，神經(jīng)網(wǎng)絡(luò)模型已被廣泛運用于語音識別[2]、機器翻譯[3?4]、視頻動作識別[5?6]及時序預(yù)測等任務(wù)。而循環(huán)神經(jīng)網(wǎng)絡(luò)RNN（recurrent neuralnetworks）作為神經(jīng)網(wǎng)絡(luò)模型的重要分支，也在各領(lǐng)域取得了巨大成就。RNN 適合處理時序數(shù)據(jù)及其潛在的時序聯(lián)系，但仍存在梯度消失及梯度爆炸等缺陷[7?8]，為此，Hochreiter 等[9]于1997 年提出了長短期記憶神經(jīng)網(wǎng)絡(luò)模型LSTM，用于改進傳統(tǒng)的RNN 模型，即通過3 個門控單元有針對性丟棄冗余并抑制梯度消失。但LSTM神經(jīng)網(wǎng)絡(luò)模型仍存在學習效率不高、隱層過多時出現(xiàn)梯度消失等缺陷，故眾多學者不斷對LSTM（longshort-term memory）模型予以改進。如門控循環(huán)神經(jīng)網(wǎng)絡(luò)（gated recurrent unit，GRU）是在LSTM 基礎(chǔ)上優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu)，由3 個門控單元變?yōu)? 個門控單元，GRU 模型現(xiàn)已在工業(yè)生產(chǎn)中被普遍運用。2018 年，Li 等[10]結(jié)合CNN（convolutional neural networks）與LSTM 模型，用以新聞文本分類，有顯著成效。Song 等[11]提出一種改進的深度LSTM神經(jīng)網(wǎng)絡(luò)，該模型在一定程度上能預(yù)測趨勢。

上述大多是以改進LSTM 的網(wǎng)絡(luò)結(jié)構(gòu)為目標，當隱含層數(shù)過多時，LSTM 神經(jīng)網(wǎng)絡(luò)的收斂速度較慢，模型參數(shù)的修正往往只能得到局部最優(yōu)。目前，已有越來越多的研究著眼于群體智能算法，并用其優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值及閾值等參數(shù)。Lin 等[12]提出了一種基于遺傳算法優(yōu)化的LSTM神經(jīng)網(wǎng)絡(luò)模型（GA-LSTM）用于股票分析。ElSaid 等[13]提出基于蟻群算法優(yōu)化的LSTM 神經(jīng)網(wǎng)絡(luò)模型（ACO-LSTM）等。APSO 算法是由Yang等[14]在2010 年提出的改進粒子群優(yōu)化算法，較標準的PSO（particle swarm optimization）算法[15-16]，APSO 更易獲取全局最優(yōu)解，且收斂速度更快。王永貴等[17]針對算法易陷入早熟收斂的問題，修改了慣性權(quán)重的變化規(guī)律，避免早熟收斂，使種群在后期也有豐富特性。夏學文等[18]提出具備反向?qū)W習和局部學習能力的粒子群優(yōu)化算法，該算法將每次迭代中的最差粒子位置和每個個體的歷史最差位置記錄下來，當算法陷入停滯時，對部分粒子采用反向?qū)W習策略，向這些較差的信息學習，使粒子脫離局部最優(yōu)。

本文提出基于APSO 算法優(yōu)化的LSTM神經(jīng)網(wǎng)絡(luò)模型APSO-LSTM（accelerated particle swarm optimizedlongshort-term memeroy），該模型通過將LSTM 神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果的均方根誤差設(shè)計為適宜值函數(shù)，并利用APSO 算法構(gòu)建尋優(yōu)空間，對LSTM 中網(wǎng)絡(luò)節(jié)點間的權(quán)重值進行全局優(yōu)化，提升模型泛化能力。同時，利用所提的APSO-LSTM神經(jīng)網(wǎng)絡(luò)模型在經(jīng)典數(shù)據(jù)集上建立預(yù)測模型，驗證該模型的有效性。