包志強，趙 研，胡嘯天，趙媛媛，黃瓊丹

(西安郵電大學 通信與信息工程學院，陜西 西安 710121)

0 引 言

循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network，RNN)進行反向傳播時，鏈式求導會導致梯度消失或者梯度爆炸問題，對循環(huán)神經(jīng)網(wǎng)絡隱藏層進行變形的長短時記憶(long short-term memory，LSTM)模型利用細胞單元狀態(tài)避免了梯度問題，因此得到了廣泛應用[1-6]。

自從LSTM模型提出后，很多學者對LSTM模型進行了簡單的變形，文獻[7]提出了一種增加了遺忘門門控單元的LSTM模型，可以對細胞單元狀態(tài)進行控制，避免出現(xiàn)狀態(tài)值一直增大的狀況，文獻[8]提出一種添加“窺視孔”(peephole)的LSTM模型，使得當前細胞單元狀態(tài)能夠影響遺忘門以及輸入門的輸出。

針對上述具有高度復雜的結(jié)構(gòu)和相對較多的參數(shù)的LSTM模型，本文提出了一種最小窺視孔長短時記憶模型(minimal peephole long short-term memory，MP-LSTM)。該模型既保留著LSTM模型避免梯度消失以及梯度爆炸的優(yōu)點，具有魯棒性，又擁有最少的門控單元，優(yōu)化了網(wǎng)絡結(jié)構(gòu)，減少了參數(shù)數(shù)目，并且在不同領(lǐng)域具有廣泛的適用性。最后，分別在The Adding Problem序列回歸問題、MNIST手寫數(shù)字數(shù)據(jù)庫、IMDB電影評論數(shù)據(jù)庫上展開實驗[9]，并與經(jīng)典LSTM模型、文獻[10]提出的門循環(huán)單元模型(gated recurrent unit，GRU)進行實驗對比，實驗結(jié)果顯示本文所提出的MP-LSTM模型相比于LSTM模型以及GRU模型具有更好的模型性能以及較少的參數(shù)。

1 LSTM模型結(jié)構(gòu)

RNN神經(jīng)網(wǎng)絡模型由于其隱藏層之間的特殊設計，使得每一時刻不僅會接收當前時刻的輸入，還會接收前一時刻隱藏層的輸出，因此可有效解決時間序列數(shù)據(jù)問題。

對于給定的一個序列，使用索引t表示不同時間位置，隱藏層ht表示t時刻的隱藏狀態(tài)。當RNN模型接收來自t時刻的輸入xt時，在輸入xt以及前一時刻的隱藏層ht-1的共同作用下，通過一個非線性映射f更新當前t時刻的隱藏層狀態(tài)，整個過程可用公式表示為

ht=f(ht-1,xt)

(1)

通常非線性映射f是由線性變換以及非線性激活函數(shù)組成，標準RNN模型中，從輸入層到隱藏層的公式為

ht=tanh(W[ht-1,xt]+b)

(2)

其中，tanh是常見的雙曲正切激活函數(shù)，表達式為

(3)

權(quán)值矩陣W用來連接前一時刻的隱藏層ht-1以及當前時刻的xt和當前時刻的隱藏層ht，[ht-1,xt] 表示將向量連接成一個更大維度的向量，b是偏移系數(shù)。實際上，RNN模型的訓練就是不斷地學習得到權(quán)值矩陣W以及偏移系數(shù)b。

由于梯度消失以及梯度爆炸而無法解決長時依賴問題，RNN模型在實際中無法做到出色的應用。因此，LSTM模型應運而生。LSTM模型通過獨特的門控單元學習到對于信息流的保存或者丟棄處理，從而避免RNN模型中無法解決的梯度問題。LSTM模型可以看作是標準RNN模型的一種改良。

最初提出的LSTM模型只有兩個門控單元，但這樣的模型有一個明顯的缺陷，其細胞單元狀態(tài)值可能會一直增大至飽和，因此有學者提出了增加了遺忘門門控單元的LSTM模型，通過實驗驗證，遺忘門在LSTM模型中有必不可少的作用[11]。這就是經(jīng)典的LSTM模型，其前向計算公式表示為

ft=σ(Wf[ht-1,xt]+bf)

(4)

it=σ(Wi[ht-1,xt]+bi)

(5)

ot=σ(Wo[ht-1,xt]+bo)

(6)

(7)

(8)

ht=ot⊙tanh(ct)

(9)

(10)

經(jīng)典的LSTM模型的結(jié)構(gòu)如圖1所示。

圖1 經(jīng)典LSTM模型

Gers和Schmidhube等提出一種添加“窺視孔”(Peephole)的LSTM模型，模型實際上是在門控單元的輸入中加入細胞單元狀態(tài)，如在遺忘門ft和輸入門it的輸入添加上一時刻的細胞單元狀態(tài)ct-1，在輸出門ot的輸入添加t時刻的細胞單元狀態(tài)ct。 并且可以選擇性的添加Peephole。用公式表示為

ft=σ(Wf[ht-1,xt,ct-1]+bf)

(11)

it=σ(Wi[ht-1,xt,ct-1]+bi)

(12)

ot=σ(Wo[ht-1,xt,ct]+bo)

(13)

(14)

(15)

ht=ot⊙tanh(ct)

(16)

在經(jīng)典LSTM模型中，細胞單元狀態(tài)不能對門控單元起任何作用，為了更好控制信息，Peephole-LSTM模型在門控單元的輸入中加入細胞單元狀態(tài)，相對于經(jīng)典LSTM模型，該模型增強了神經(jīng)網(wǎng)絡對時序信息的學習。

2 最小窺視孔長短時記憶模型

本文提出了一種最小窺視孔長短時記憶模型(MP-LSTM)，該模型只有兩個神經(jīng)網(wǎng)絡層，分別是一個sigmoid層以及一個tanh層，以及一個門控單元，稱為唯一門。

MP-LSTM模型在門控單元的輸入中加入細胞單元狀態(tài)，同時，耦合LSTM模型中的遺忘門控和輸入門控單元[12]，將原來分開決定的對哪些信息進行保存和丟棄的操作同時決定，即僅僅在那些有新信息添加進入的信息中進行遺忘選擇。并且運用遺忘門在LSTM模型中必不可少的作用，只保留遺忘門，在此模型中稱為唯一門，也就是說，該模型利用唯一門巧妙代替經(jīng)典LSTM模型中的輸入門以及輸出門，用公式表示為

it=1-ft,?t.

(17)

ot=ft,?t.

(18)

此外，MP-LSTM模型的前向計算公式為

ut=σ(Wu[ht-1,xt,ct-1]+bu)

(19)

(20)

(21)

ht=ut⊙tanh(ct)

(22)

MP-LSTM模型的結(jié)構(gòu)如圖2所示，該模型既保留著LSTM模型避免梯度消失以及梯度爆炸的優(yōu)點，具有魯棒性，又擁有最少的門控單元以及強學習能力。

圖2 MP-LSTM模型

3 實驗結(jié)果與分析

3.1 The Adding Problem

The Adding Problem序列回歸問題是為了驗證LSTM模型、GRU模型以及本文提出的MP-LSTM模型能夠解決長時依賴問題，The Adding Problem序列回歸問題有兩個輸入，一個來自[0,1]的隨機分布，另一個是在 {0，1} 中任意取值，且在一個完整的序列中，只有兩個數(shù)字取值為1，剩余數(shù)字均取值為0。最終的輸出就是這兩個取值為1的數(shù)字對應的來自[0,1]的隨機分布的值之和。

本文隨機生成10 000個訓練數(shù)據(jù)以及1000個測試數(shù)據(jù)。時間步設為50，隱藏層每層設為100個全連接神經(jīng)元，批大小設為100，學習率設為0.001，損失函數(shù)設為均方誤差損失函數(shù)(mean squared error，MSE)，均方誤差損失函數(shù)的公式如下

(23)

LSTM模型、GRU模型以及MP-LSTM模型在The Adding Problem序列回歸問題測試集上MSE值對比見表1。

表1 LSTM模型、GRU模型以及MP-LSTM模型在The Adding Problem序列回歸問題測試集上各類指標對比

實驗結(jié)果表明，隨著迭代的增加，所有的模型的MSE值逐漸減少，并且經(jīng)過200次迭代后，MP-LSTM模型的MSE值最低，運行時間最短，參數(shù)個數(shù)最少。因此，LSTM模型、GRU模型以及MP-LSTM模型在The Adding Problem序列回歸問題實驗上，MP-LSTM模型的模型性能較好一些。

3.2 MNIST手寫數(shù)字數(shù)據(jù)庫

MNIST手寫數(shù)字數(shù)據(jù)庫來自250個不同人手寫的數(shù)字構(gòu)成，擁有70 000張手寫數(shù)字圖片，其中，訓練數(shù)據(jù)有 60 000 張，測試數(shù)據(jù)有10 000張，并且每張圖片的像素都為28×28，數(shù)據(jù)集標簽是介于0到9的數(shù)字，用來描述給定圖片里表示的數(shù)字，是目前最流行的深度學習分類數(shù)據(jù)庫之一。

本文將MNIST手寫數(shù)字數(shù)據(jù)庫通過每行28個像素點作為輸入，因此，在這種方式下，相應地，時間步設為28，代表每列28個像素點，隱藏層每層設為128個全連接神經(jīng)元，批大小設為128，學習率設為0.001，損失函數(shù)設為交叉熵代價函數(shù)，交叉熵代價函數(shù)的公式如下

(24)

其中，p表示數(shù)據(jù)真實分布，q表示數(shù)據(jù)預測分布。

LSTM模型、GRU模型以及MP-LSTM模型在MNIST手寫數(shù)字數(shù)據(jù)庫測試集上分類準確率對比見表2。

表2 LSTM模型、GRU模型以及MP-LSTM模型在MNIST手寫數(shù)字數(shù)據(jù)庫測試集上各類指標對比

實驗結(jié)果表明，在最開始的迭代中，LSTM模型的準確率較高，但隨著迭代的增加，所有的模型的準確度逐漸提高，經(jīng)過200次迭代后，MP-LSTM模型的準確率最高，運行時間最短，參數(shù)個數(shù)最少。因此，LSTM模型、GRU模型以及MP-LSTM模型在MNIST手寫數(shù)字數(shù)據(jù)庫實驗上，MP-LSTM模型的模型性能較好一些。

3.3 IMDB電影評論數(shù)據(jù)庫

IMDB電影評論數(shù)據(jù)庫是最常用于情感分類的數(shù)據(jù)庫之一，它擁有50 000個標注數(shù)據(jù)，其中訓練數(shù)據(jù)有25 000個，測試數(shù)據(jù)有25 000個，并且已經(jīng)完成預處理的過程，每個數(shù)據(jù)都有一個評分，范圍是1到10的整數(shù)，IMDB電影評論數(shù)據(jù)庫只有兩類評論，一類為正面評論，即評分為6到10的整數(shù)；一類為負面評論，即評分為1到5的整數(shù)。

本文在IMDB電影評論數(shù)據(jù)庫上使用雙向神經(jīng)網(wǎng)絡去進行情感分類，序列長度設為250，隱藏層每層設為150個全連接神經(jīng)元，批大小設為256，學習率設為0.001，損失函數(shù)設為交叉熵代價函數(shù)。

LSTM模型、GRU模型以及MP-LSTM模型在IMDB電影評論數(shù)據(jù)庫中的各類指標對比見表3。

表3 LSTM模型、GRU模型以及MP-LSTM模型在IMDB電影評論數(shù)據(jù)庫測試集上各類指標對比

實驗結(jié)果表明，在最開始的迭代中，MP-LSTM模型的準確率較高，隨著迭代的增加，所有的模型的準確度逐漸提高，經(jīng)過200次迭代后，可以看到MP-LSTM模型的準確率最高，運行時間最短，參數(shù)個數(shù)最少。因此，LSTM模型、GRU模型以及MP-LSTM模型在IMDB電影評論數(shù)據(jù)庫測試集上，MP-LSTM模型的模型性能較好一些。

4 結(jié)束語

本文提出了一種最小窺視孔長短時記憶模型(MP-LSTM)，該模型在經(jīng)典LSTM模型的基礎(chǔ)上，引入獨特的最小門控和窺視孔，既保留著LSTM模型避免梯度消失以及梯度爆炸的優(yōu)點，具有魯棒性，又擁有最少的門控單元，減少了參數(shù)數(shù)目，并且通過在The Adding Problem序列回歸問題、MNIST手寫數(shù)字數(shù)據(jù)庫、IMDB電影評論數(shù)據(jù)庫分別進行實驗的結(jié)果也表明該模型參數(shù)少，運行時間短，模型性能在一定程度上相比于LSTM模型、GRU模型，有小幅度的提升，同時，不管在回歸問題還是預測問題上，都有著廣泛的適用性。