尹聰，胡漢平

（華中科技大學 人工智能與自動化學院，武漢 430074）

0 引言

混沌系統(tǒng)具有動力學特性復雜、誤差敏感、長期狀態(tài)不可預測等特性，在保密通信等領域應用廣泛［1］。而時滯混沌系統(tǒng)由于無窮維狀態(tài)空間等特性［2］，因此具有更加復雜的動力學特性。時滯混沌系統(tǒng)的參數(shù)及時滯辨識對保密通信系統(tǒng)的同步控制［3］及安全性分析［4］具有關鍵意義，而混沌系統(tǒng)中時滯的引入帶來的復雜的動力學特性在增強保密通信系統(tǒng)安全性的同時，也增大了系統(tǒng)參數(shù)辨識的難度。因此，對時滯混沌系統(tǒng)參數(shù)及時滯辨識問題的研究具有重要意義。

近年來，時滯混沌系統(tǒng)的參數(shù)辨識問題得到了廣泛關注，其中基于同步控制的方法和基于智能搜索算法的方法是兩種主流的辨識方法?；谕娇刂频姆椒榛煦缦到y(tǒng)設計狀態(tài)觀測器，將系統(tǒng)參數(shù)視為狀態(tài)觀測器的狀態(tài)變量，并根據(jù)穩(wěn)定性理論使觀測器的狀態(tài)變量收斂于系統(tǒng)參數(shù)。此類研究主要關注同步控制在理論上的可行性［5］和針對具體系統(tǒng)的狀態(tài)觀測器實現(xiàn)［6-7］?；谕娇刂频姆椒ㄖ袪顟B(tài)觀測器的設計依賴系統(tǒng)本身的特性，因此實現(xiàn)難度較大。智能搜索算法將參數(shù)辨識問題視為優(yōu)化問題，以系統(tǒng)在參數(shù)和時滯的估計值下輸出的狀態(tài)序列與實際采集到的狀態(tài)序列之間的誤差為目標函數(shù)，通過全局搜索和局部搜索實現(xiàn)目標函數(shù)的最小化。智能搜索算法包括多項選擇差分進化算法［8］、反饋教學優(yōu)化算法［9］、人工雨滴算法（Artifitial Raindrop Algorithm，ARA）［10］、混合布谷鳥搜索算法（Hybrid Cuckoo Search，HCS）［11］、全局花 朵授粉算法（Global Flower Pollination Algorithm，GFPA）［12］、元胞鯨 魚算法（Cellular Whale Algorithm，CWA）［13］等。它們的優(yōu)勢在于收斂性不依賴系統(tǒng)本身的特性，易于實現(xiàn)。但時滯混沌系統(tǒng)的系統(tǒng)參數(shù)和時滯與狀態(tài)序列誤差之間關系復雜，因此更容易陷入較差的局部最優(yōu)，導致此類方法不能辨識出真實的系統(tǒng)參數(shù)。

隨著深度學習的迅速發(fā)展，深度神經網絡不僅在計算機視覺［14］、時間序列分析及預測［15］等領域取得了成功，而且在動力學系統(tǒng)的參數(shù)辨識領域也逐漸成為研究熱點。文獻［16-17］分別采用卷積神經網絡（Convolutional Neural Network，CNN）和循環(huán)神經網絡（Recurrent Neural Network，RNN）對Lorenz63 混沌系統(tǒng)和Tustin 二階系統(tǒng)進行參數(shù)辨識。該類方法利用系統(tǒng)的多步狀態(tài)序列或頻域信息，通過學習系統(tǒng)狀態(tài)序列與參數(shù)之間的函數(shù)關系實現(xiàn)對無時滯動力學系統(tǒng)的參數(shù)辨識，但并未考慮系統(tǒng)時滯對動力學特性的影響，不能用于時滯混沌系統(tǒng)在時滯未知時的參數(shù)及時滯辨識。因此，本文從代數(shù)方程求根的思想出發(fā)，提出基于時間注意力機制的參數(shù)辨識神經網絡（Parameter Identification Neural Network with Temporal Attention，PINN-TA）模型。該模型首先通過時間注意力機制提取系統(tǒng)狀態(tài)序列的關聯(lián)特征，分析系統(tǒng)當前狀態(tài)和時滯狀態(tài)的關聯(lián)性，從而實現(xiàn)對系統(tǒng)時滯的辨識及對系統(tǒng)時滯狀態(tài)序列的逼近；再利用RNN 隱式逼近系統(tǒng)微分方程，構造系統(tǒng)當前狀態(tài)、時滯狀態(tài)與未知參數(shù)之間的代數(shù)方程；最終將代數(shù)方程的根作為系統(tǒng)參數(shù)的估計值，實現(xiàn)系統(tǒng)參數(shù)辨識。對時滯Logistic 方程、Ikeda 微分方程、Mackey-Glass 混沌系統(tǒng)等典型時滯混沌系統(tǒng)的仿真實驗表明，相較于現(xiàn)有智能搜索算法，PINN-TA 模型得到的參數(shù)及時滯辨識結果在辨識精度和辨識速度方面均存在明顯優(yōu)勢，能夠滿足時滯混沌系統(tǒng)參數(shù)辨識的精度和實時性要求。

1 系統(tǒng)方程

考慮由式（1）定義的時滯混沌系統(tǒng)：

其中：f為系統(tǒng)方程；τ為系統(tǒng)時滯；θ為系統(tǒng)參數(shù)。神經網絡具有萬能逼近性質，因此該系統(tǒng)可以由RNN 近似：

其中：δ為系統(tǒng)狀態(tài)序列的采樣間隔為RNN 對原系統(tǒng)方程的任意逼近。該網絡定義了狀態(tài)序列{xn}與系統(tǒng)參數(shù)θ之間的代數(shù)方程：

當時滯已知時，將系統(tǒng)當前的狀態(tài)和時滯狀態(tài)代入方程，此時系統(tǒng)未知參數(shù)θ即為式（3）所示的代數(shù)方程的根；而當時滯未知時，方程的構造則依賴時滯的辨識及系統(tǒng)時滯狀態(tài)的近似。因此，式（1）的參數(shù)辨識問題可以分解為兩個部分：時滯未知時對系統(tǒng)時滯τ的辨識，以及系統(tǒng)當前狀態(tài)序列和時滯狀態(tài)序列關于系統(tǒng)參數(shù)的代數(shù)方程的構造及求根。

2 參數(shù)及時滯辨識模型

本文模型通過時間注意力機制求得系統(tǒng)時滯狀態(tài)x(t-τ)（即xn-m）的近似值，同時根據(jù)注意力權值求出系統(tǒng)時滯τ的估計值；并利用系統(tǒng)近似的時滯狀態(tài)構建形如式（3）所示的代數(shù)方程，求得方程的根作為系統(tǒng)參數(shù)θ的辨識結果。因此，本文模型的輸入為系統(tǒng)的狀態(tài)序列，輸出為參數(shù)和時滯的估計結果。模型的整體結構如圖1 所示。

圖1 參數(shù)辨識神經網絡的總體結構Fig.1 General structure of parameter identification neural network

2.1 注意力網絡結構

本文模型對時滯的辨識基于時間注意力機制實現(xiàn)。注意力機制能夠提取輸入時間序列中不同元素與目標輸出之間的關聯(lián)性，并將目標輸出表達為輸入序列的加權和［18］：

其中：J為輸入序列的索引集；xj為輸入序列的第j個元素；ci為目標輸出序列的第i個元素；αij為注意力權值，該權值體現(xiàn)了ci與xj關聯(lián)性的強度。在混沌系統(tǒng)的時滯辨識問題中，目標輸出序列即為系統(tǒng)的時滯狀態(tài)xn-m的估計值由于系統(tǒng)時滯辨識的依據(jù)是混沌系統(tǒng)狀態(tài)的時間序列，且混沌系統(tǒng)為因果系統(tǒng)，因此本文模型中的注意力機制為時間注意力機制，且系統(tǒng)時滯不能為負，故式（4）可重寫為：

其中：M為系統(tǒng)時滯m的搜索上界。式（5）將系統(tǒng)的時滯狀態(tài)表達為從xn-M到xn的時間窗口內所有觀測值的加權和。

在本文模型中，時間注意力機制的權值向量αn=［αn，0，αn，1，…，αn，M］基于RNN 提取序列的自相關特征輸出。由于系統(tǒng)當前狀態(tài)與時滯狀態(tài)之間存在長距離相關性，且簡單的RNN 由于存在梯度消失等問題，難以學習序列中的長距離關聯(lián)特性，因此本文選擇具備長程信息記憶能力的長短期記憶網絡（Long Short-Term Memory，LSTM）［19］用于提取當前狀態(tài)序列與時滯狀態(tài)序列的長距離關聯(lián)性特征。在系統(tǒng)辨識問題中，系統(tǒng)狀態(tài)序列的時間雙向關聯(lián)［17］，因此將時間注意力機制中使用的LSTM 改為雙向LSTM（Bidirectional LSTM，BiLSTM）。

如圖1 所示，注意力網絡中的BiLSTM 以狀態(tài)序列｛xn｝與它的后向差分{xn-xn-1}為輸入，通過BiLSTM 提取每一時刻狀態(tài)的前向和后向關聯(lián)性特征{dn}。{dn}反映了系統(tǒng)在當前時刻的狀態(tài)如何受到過去時刻的影響，并如何影響系統(tǒng)未來的狀態(tài)。將{dn}分別由兩個前饋神經網絡（Feed Forward Neural Network，F(xiàn)FNN），即FFNNq和FFNNk投影到查詢向量空間{qn}和鍵值空間{kn}，并通過向量內積的方式和Softmax激活函數(shù)求得注意力權值向量αn。具體實現(xiàn)如下：

在注意力機制求解權值向量的過程中，LSTM 將序列的當前狀態(tài)觀測值及前后的各個觀測值通過非線性變換投影到高維空間，并由狀態(tài)序列在高維空間中的投影進行向量內積得出注意力權值。這一過程通過對來自給定系統(tǒng)的訓練集的學習，定義了某種適用于給定混沌系統(tǒng)的、不局限于線性相關性的廣義自相關函數(shù)：

輸出的權值向量αn即自相關函數(shù)中每一時刻系統(tǒng)狀態(tài)與自身平移個采樣間隔后的狀態(tài)在高維空間投影的內積的歸一化。權值的相對大小體現(xiàn)了系統(tǒng)當前狀態(tài)與各歷史狀態(tài)之間相關性的強弱，既表示了時滯取某一特定值的可能性大小，也給出了系統(tǒng)時滯狀態(tài)的近似求法。該模型采用多層FFNN 將權值向量轉換為系統(tǒng)時滯τ的辨識結果，并將系統(tǒng)歷史狀態(tài)的加權和作為系統(tǒng)時滯狀態(tài)的近似，記作

時滯τ為采樣間隔δ的整數(shù)倍（即m為整數(shù)）時，注意力權值向量應當為式（9）所示的獨熱（one-hot）編碼：

2.2 求根網絡結構

獲得系統(tǒng)時滯狀態(tài)的近似值后，由式（1）定義的原系統(tǒng)即可由RNN 逼近，形成關于系統(tǒng)狀態(tài)序列、時滯狀態(tài)序列和系統(tǒng)參數(shù)的代數(shù)方程，此時可求得代數(shù)方程的根作為系統(tǒng)參數(shù)的辨識結果。當待辨識參數(shù)＞1 時，若只有一組系統(tǒng)狀態(tài)和時滯狀態(tài)的觀測樣本，則代數(shù)方程一般有無窮多個根，因此僅憑一組觀測樣本無法求得唯一的參數(shù)辨識結果，此時需要聯(lián)立多組觀測樣本代入代數(shù)方程后組成的方程組才能求得系統(tǒng)參數(shù)的唯一解?？紤]到計算機有限字長的問題，由RNN 直接逼近系統(tǒng)方程，并將連續(xù)的若干組樣本代入方程直接求根的方法可能會引入較大的舍入誤差，影響參數(shù)辨識精度。形如式（3）的代數(shù)方程的構造和求根實質上定義了系統(tǒng)參數(shù)與狀態(tài)序列之間的函數(shù)關系：

因此本文將代數(shù)方程的構造和求根問題轉化為對函數(shù)G的逼近，并采用LSTM 實現(xiàn)這一函數(shù)逼近，從而求得系統(tǒng)參數(shù)的辨識結果。求根網絡的具體結構如圖2 所示。

圖2 求根網絡的詳細結構Fig.2 Detailed structure of root-finding network

求根網絡中LSTM 的輸入為系統(tǒng)狀態(tài)序列{xn}與它的后向差分{xn-xn-1}，以及由注意力機制辨識得到的近似時滯狀態(tài)LSTM 不僅隱式地實現(xiàn)了對原始系統(tǒng)方程的逼近，而且能夠自適應地選取序列中的關鍵樣本信息，并將現(xiàn)有狀態(tài)序列信息下系統(tǒng)方程的最佳逼近和關鍵樣本信息作為網絡的隱含狀態(tài)hn輸出。hn由FFNNθ解碼后即可得到系統(tǒng)參數(shù)的辨識結果。由求根網絡隱式逼近系統(tǒng)方程并通過代數(shù)方程求根得到參數(shù)辨識結果的公式如下：

其中：由于注意力機制需要遍歷系統(tǒng)狀態(tài)序列的第（n-M）～n個樣本才能求出系統(tǒng)在第n個樣本對應的時刻下時滯狀態(tài)的近似值，因此系統(tǒng)時滯狀態(tài)的首個估計值需要在第M個樣本處才能求出，即求根網絡的輸入是從系統(tǒng)狀態(tài)序列的第M個樣本開始的。求根網絡在遍歷狀態(tài)序列的過程中更新系統(tǒng)方程的最佳逼近和關鍵樣本信息，并由FFNN 解碼得到系統(tǒng)參數(shù)的辨識結果。這一過程基于代數(shù)方程組構建和求解的思想實現(xiàn)，只需遍歷狀態(tài)序列一次，不需要對系統(tǒng)參數(shù)給出初始估計，避免了迭代式求解系統(tǒng)最優(yōu)參數(shù)的過程，從而避免了智能搜索算法中的局部最優(yōu)問題。

3 仿真實驗與結果分析

3.1 實驗設計

為驗證PINN-TA 模型在時滯系統(tǒng)參數(shù)及時滯辨識中的有效性，以時滯Logistic 方程［20］、Ikeda 微分方程和Mackey-Glass 混沌系統(tǒng)［2］等3 種典型的時滯混沌系統(tǒng)作為待辨識系統(tǒng)對PINN-TA 模型進行仿真實驗。它們的定義分別如式（12）～（14）所示：

在仿真實驗中，每組實驗的系統(tǒng)參數(shù)和時滯在表1 給出的取值范圍中隨機選取。

三個混沌系統(tǒng)的狀態(tài)序列采樣間隔δ分別取0.01、0.025 和0.5，每個參數(shù)-時滯組合仿真的時間長度為1 000δ?？紤]到注意力機制存在如式（9）所示的性質，為避免端到端學習導致注意力網絡陷入較差的局部最優(yōu)，實驗中為注意力網絡單獨生成訓練集，并在訓練求根網絡前首先訓練注意力網絡。由于當且僅當時滯τ取采樣間隔δ的整數(shù)倍時，時滯才能根據(jù)式（9）轉換為獨熱編碼，因此將注意力網絡訓練集的時滯τ取為采樣間隔δ的整數(shù)倍，并隨機選取參數(shù)θ，再仿真生成各參數(shù)-時滯組合對應的狀態(tài)序列。除注意力網絡訓練集外，實驗的求根網絡訓練集和測試集均通過表1 給出的取值范圍均勻隨機選取參數(shù)θ和時滯τ而成?？紤]到呈收斂或發(fā)散形態(tài)的序列不是混沌序列，對保密通信等實際應用沒有意義，實驗剔除了各系統(tǒng)所有訓練集和測試集中呈收斂或發(fā)散形態(tài)的狀態(tài)序列，以及此類序列對應的參數(shù)-時滯組合，得到有效訓練集和測試集的參數(shù)-時滯組合數(shù)量如表2所示。

表1 各參數(shù)和時滯的取值范圍Tab.1 Value ranges of parameters and time delay

表2 各混沌系統(tǒng)的參數(shù)-時滯組合數(shù)Tab.2 Number of parameter-time delay groups of each chaotic system

為驗證PINN-TA 模型在不同的時滯混沌系統(tǒng)中的通用性，所有混沌系統(tǒng)采用的神經網絡參數(shù)及時滯辨識模型具有相同的結構，其中圖1 所示的神經網絡各個組成部分的神經元配置如表3 所示，dim（θ）表示待辨識參數(shù)的個數(shù)，括號中為神經元個數(shù)。

表3 神經元配置Tab.3 Settings of neurons

對各數(shù)據(jù)集的系統(tǒng)狀態(tài)序列及參數(shù)和時滯進行歸一化處理后，采用注意力網絡訓練集對注意力網絡進行訓練。訓練過程中將時滯τ根據(jù)式（9）換算成的獨熱編碼作為注意力網絡的期望輸出，采用注意力網絡輸出的權值向量與期望輸出之間的交叉熵（Cross Entropy，CE）［21］作為損失函數(shù)，該損失函數(shù)可表達為正確時滯的注意力權值的負對數(shù)的均值：

采用0.001 的學習速率和Adam 優(yōu)化器，batch 的大小為512（即每次取512 個參數(shù)-時滯組合評估一次損失函數(shù)）進行訓練，對整個數(shù)據(jù)集迭代100 輪后網絡基本收斂，損失函數(shù)的下降曲線如圖3 所示。

圖3 注意力網絡訓練過程中的損失函數(shù)值Fig.3 Loss function value of attention network during training process

注意力網絡訓練完畢后，采用求根網絡訓練集對求根網絡和FFNNτ進行訓練，并微調注意力網絡的參數(shù)，以使注意力網絡能夠處理時滯不為采樣間隔整數(shù)倍的情況。訓練求根網絡時，損失函數(shù)選取為求根網絡和FFNNτ輸出的參數(shù)和時滯的辨識值與真實值之間的均方誤差（Mean Squared Error，MSE）：

優(yōu)化器選取Adam，batch 的大小仍為512，求根網絡和FFNNτ的學習速率為0.001，注意力網絡的學習速率為10-5，對整個數(shù)據(jù)集迭代300 輪后網絡基本收斂，獲得對應混沌系統(tǒng)的參數(shù)和時滯辨識模型。

將系統(tǒng)狀態(tài)序列按照第2 章中給出的格式輸入PINN-TA神經網絡模型后，神經網絡在第M個采樣間隔后的每個樣本點都會輸出一組時滯τ和參數(shù)θ的估計值，如圖4 所示。本實驗取神經網絡對每組狀態(tài)序列輸出的參數(shù)θ的最后一個估計值和時滯τ的所有估計值的中位數(shù)，分別作為該序列的時滯τ和參數(shù)θ的辨識結果。

如圖4 所示，參數(shù)θ的估計值在接收到系統(tǒng)狀態(tài)序列的數(shù)個樣本后迅速收斂至真實值，并維持在真實值附近波動。注意力權值分布圖中，每個位置的顏色代表該時刻對應時滯的注意力權值，淺色表示高權值，深色表示低權值。圖中正確時滯對應的位置可見一條水平亮線，說明注意力網絡為正確時滯對應的采樣時刻分配了高權值，有效地捕捉了時滯狀態(tài)與系統(tǒng)當前狀態(tài)的關聯(lián)性。根據(jù)注意力權值求得的時滯τ的估計值在大多數(shù)時間內在時滯真實值附近波動，說明注意力權值向量可以作為辨識時滯的直接依據(jù)。

圖4 各混沌系統(tǒng)的參數(shù)及時滯辨識結果Fig.4 Identification results of parameters and time-delay of each chaotic system

3.2 結果比較

為驗證神經網絡在時滯混沌系統(tǒng)參數(shù)和時滯辨識中的優(yōu)勢，本文將PINN-TA 模型的參數(shù)辨識結果與ARA、GFPA、HCS、CWA 等四種現(xiàn)有的參數(shù)辨識智能搜索算法進行比較，各智能搜索算法的搜索范圍與表1 中定義的參數(shù)及時滯取值范圍一致。所有智能搜索算法在100 次迭代后得到的最佳參數(shù)/時滯估計值作為智能搜索算法對系統(tǒng)狀態(tài)序列的參數(shù)及時滯辨識結果。ARA、GFPA、HCS、CWA 均為近年來在混沌系統(tǒng)參數(shù)辨識中成功應用的智能搜索算法，分別以自然界中雨滴下落、花朵授粉、布谷鳥遷徙和鯨魚捕獵過程為原型，設計全局搜索策略和局部搜索策略，以系統(tǒng)輸出誤差為需要最小化的目標函數(shù)，求得系統(tǒng)參數(shù)的辨識值。各智能搜索算法的參數(shù)配置如表4 所示，且目標函數(shù)均為系統(tǒng)在參數(shù)估計值下輸出的狀態(tài)序列與真實的狀態(tài)序列{xn}之間的均方誤差：

表4 各智能搜索算法的參數(shù)配置Tab.4 Parameter setting of each intelligent search algorithm

PINN-TA 模型與各智能搜索算法的參數(shù)及時滯辨識性能以參數(shù)和時滯的辨識結果與真實值之間的均方根誤差（Root Mean Squared Error，RMSE）為評價標準：

表5 給出了PINN-TA 神經網絡與各智能搜索算法的參數(shù)及時滯辨識結果。可以看出，PINN-TA 模型不僅具備良好的辨識精度，而且辨識速度優(yōu)于現(xiàn)有的智能搜索算法。在時滯Logistic 方程的辨識實驗中，相較于目前最優(yōu)的ARA，PINN-TA 對兩個參數(shù)的辨識均方根誤差分別降低91.86%和93.54%，對時滯的辨識均方根誤差降低98.27%。在Ikeda微分方程的辨識實驗中，相較于ARA，PINN-TA 對兩個參數(shù)的辨識均方根誤差分別降低90.81%和98.64%，對時滯的辨識均方根誤差降低94.29%。在Mackey-Glass 混沌系統(tǒng)的辨識實驗中，相較于ARA，PINN-TA 對兩個參數(shù)的辨識均方根誤差分別降低99.13%和99.36%，對時滯的辨識均方根誤差降低90.31%，且辨識耗時縮短至18.59～19.43 ms?，F(xiàn)有的智能搜索算法將參數(shù)及時滯辨識問題描述為系統(tǒng)狀態(tài)誤差的最小化問題，側重于根據(jù)系統(tǒng)參數(shù)與誤差的關系，在參數(shù)的搜索空間中通過局部搜索及有限的全局搜索以求得使狀態(tài)誤差最小化的解。由于時滯混沌系統(tǒng)中參數(shù)和時滯與狀態(tài)誤差之間關系復雜，因此在搜索空間較大時容易陷入局部最優(yōu)，導致各智能搜索算法的辨識誤差普遍偏高。而PINNTA 模型從系統(tǒng)參數(shù)與狀態(tài)序列的代數(shù)關系出發(fā)，基于代數(shù)方程求根的思想，在利用注意力機制挖掘狀態(tài)序列關聯(lián)性特征的前提下，利用LSTM 逼近系統(tǒng)參數(shù)與狀態(tài)序列代數(shù)方程的根，避免了智能搜索算法陷入局部最優(yōu)的問題，取得了良好的辨識精度。

表5 PINN-TA與各種智能搜索算法對典型時滯混沌系統(tǒng)的辨識結果Tab.5 Identification results of typical time-delay chaotic systems obtained from PINN-TA and different intelligent search algorithms

4 結語

針對時滯混沌系統(tǒng)的參數(shù)及時滯辨識問題，本文提出了基于時間注意力機制的參數(shù)辨識神經網絡（PINN-TA）模型。通過基于BiLSTM 的注意力機制提取系統(tǒng)狀態(tài)序列的時間關聯(lián)特征，并利用LSTM 隱式地逼近系統(tǒng)方程，構造系統(tǒng)參數(shù)與狀態(tài)序列的代數(shù)方程，從而通過對隱式構造的代數(shù)方程近似求根得到系統(tǒng)參數(shù)的辨識結果。對三種典型時滯混沌系統(tǒng)的大量參數(shù)辨識實驗表明，相較于現(xiàn)有的智能搜索算法，PINN-TA 模型在辨識精度和辨識時間方面具有顯著優(yōu)勢，能有效解決時滯混沌系統(tǒng)參數(shù)辨識問題，可應用于混沌同步控制、保密通信等工程應用。未來的研究將主要集中于以下兩個方面：一是拓展模型的適用范圍，使其能夠實現(xiàn)對多維狀態(tài)序列或多個時滯的混沌系統(tǒng)的參數(shù)辨識；二是改善模型的可解釋性，求出隱含在求根LSTM 參數(shù)和隱含狀態(tài)中的系統(tǒng)代數(shù)方程及關鍵樣本。