包 秀 榮， 岳 荷 荷， 殷 洪 璽*， 秦 杰

( 1.大連理工大學(xué) 信息與通信工程學(xué)院, 遼寧 大連 116024； 2.內(nèi)蒙古師范大學(xué) 物理與電子信息學(xué)院， 內(nèi)蒙古 呼和浩特 010022 )

0 引 言

波形識別技術(shù)已經(jīng)在醫(yī)療、智能故障檢測、數(shù)字通信、工業(yè)自動控制等領(lǐng)域得到廣泛應(yīng)用[1-5]．因此研究一種實(shí)時性好、可靠性高、結(jié)構(gòu)簡單的波形識別技術(shù)至關(guān)重要．現(xiàn)今應(yīng)用最多的波形識別算法是對波形進(jìn)行非常好的特征提取，從而實(shí)現(xiàn)識別性能．但是由于針對多種不同波形，其算法比較耗時．實(shí)現(xiàn)波形識別的技術(shù)主要有離散小波變換、自組織映射網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等[6-11]．這些技術(shù)中神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜且訓(xùn)練耗時，數(shù)字化處理過程需要模數(shù)轉(zhuǎn)換，使功耗增大且速率降低．

本文給出的方法僅需要對波形進(jìn)行簡單的預(yù)處理，之后經(jīng)快速的算法實(shí)現(xiàn)實(shí)時波形識別．本文使用近年來新興的一種機(jī)器學(xué)習(xí)系統(tǒng)，即儲備池計(jì)算系統(tǒng)．儲備池計(jì)算系統(tǒng)由輸入層、儲備池和輸出層3個部分構(gòu)成[12]．儲備池計(jì)算中間層用一個非線性節(jié)點(diǎn)附加反饋回路構(gòu)成儲備池結(jié)構(gòu)．該系統(tǒng)也叫非線性時滯系統(tǒng)，隨著反饋強(qiáng)度的增加系統(tǒng)工作狀態(tài)可以從穩(wěn)定的固定點(diǎn)到倍周期狀態(tài)，再到混沌狀態(tài)，能產(chǎn)生豐富的動力特性．儲備池計(jì)算模擬了大腦處理信息的過程，能產(chǎn)生信號的瞬時神經(jīng)響應(yīng)，快速處理信號[13]．根據(jù)儲備池計(jì)算中所用器件特性不同，儲備池結(jié)構(gòu)分為電儲備池、光電儲備池和全光儲備池等類型[14-16]．

已有的研究中分別用全光儲備池、光電儲備池和電儲備池實(shí)現(xiàn)了兩種波形的識別．全光儲備池計(jì)算中用耦合的半導(dǎo)體光放大器構(gòu)成網(wǎng)絡(luò)進(jìn)行儲備池計(jì)算，實(shí)現(xiàn)了方波和三角波兩種波形的識別，識別錯誤率為2.5%[17]．用馬赫增德爾調(diào)制器附加光電反饋構(gòu)成的光電儲備池計(jì)算實(shí)現(xiàn)了方波和正弦波兩種波形的識別，其歸一化均方誤差為1.5×10-3[18]．本文的科研團(tuán)隊(duì)用電儲備池計(jì)算系統(tǒng)成功實(shí)現(xiàn)了方波和正弦波兩種不同波形的識別，歸一化均方根誤差最小達(dá)到0.22[19]．總之，目前儲備池計(jì)算系統(tǒng)的識別應(yīng)用中所識別波形數(shù)量少，且其中全光儲備池計(jì)算和光電儲備池計(jì)算難于集成．本文利用結(jié)構(gòu)簡單的Mackey-Glass電路混沌系統(tǒng)構(gòu)建儲備池計(jì)算系統(tǒng)的中間層，仿真研究多個波形的識別應(yīng)用，并分析系統(tǒng)中主要參數(shù)，如反饋線上的虛擬節(jié)點(diǎn)個數(shù)、反饋強(qiáng)度和輸入增益等參數(shù)的變化對波形識別效果的影響．

1 模型與原理

下面介紹由單個非線性節(jié)點(diǎn)附加反饋回路構(gòu)成的儲備池模型的計(jì)算原理．這種方法類似于環(huán)形遞歸神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)．如圖1所示，輸入信號只需輸入到非線性節(jié)點(diǎn)上，接著讀取延遲線上不同時刻的瞬時狀態(tài)，即虛擬節(jié)點(diǎn)狀態(tài)，瞬時模擬了經(jīng)典儲備池內(nèi)的處理節(jié)點(diǎn)．將不同時刻的瞬時狀態(tài)加權(quán)求和輸出，得到識別結(jié)果．計(jì)算步驟概括如下：

(1)對每個波形進(jìn)行抽樣，使其在一個延遲時間τ內(nèi)保持恒定，并乘以只有+1和-1值且隨機(jī)變化的模板，得到輸入信號J．輸入信號J是M×N矩陣，M為要處理信號的抽樣點(diǎn)個數(shù)，N為延遲線上虛擬節(jié)點(diǎn)的個數(shù)．

(2)輸入矩陣J串行注入到非線性時滯系統(tǒng)，延遲線上產(chǎn)生瞬時響應(yīng)狀態(tài)．輸入矩陣J的每一行的響應(yīng)就是時間長度為τ的延遲向量．

(3)當(dāng)輸入矩陣J的所有元素注入到儲備池，在虛擬節(jié)點(diǎn)上得到輸入信號的瞬時響應(yīng)，構(gòu)成狀態(tài)矩陣S．

(4)每個輸入波形得到一個狀態(tài)矩陣，利用這些狀態(tài)矩陣訓(xùn)練輸出權(quán)值完成分類．

圖1 Mackey-Glass混沌儲備池計(jì)算結(jié)構(gòu)Fig.1 Structure of reservoir computing based on the Mackey-Glass chaos

這里輸出權(quán)值訓(xùn)練采用的嶺回歸估計(jì)算法，是有偏估計(jì)回歸算法．該算法與最小二乘估計(jì)算法相比較，更適合對病態(tài)數(shù)據(jù)的擬合[20]．這里的病態(tài)矩陣是指對某些矩陣中某個元素的很小的變動會使計(jì)算結(jié)果誤差很大，而混沌信號具有這種特性，所以本文利用嶺回歸估計(jì)訓(xùn)練混沌儲備池計(jì)算的輸出權(quán)值．嶺回歸估計(jì)算法通過損失無偏性，換取較高的數(shù)值穩(wěn)定性，從而獲得較高的計(jì)算精度．

設(shè)多重線性回歸模型y=Xα+ε，回歸參數(shù)α的嶺估計(jì)定義為[20]

(k)=(X′X+kI)-1X′y

(1)

式中：I為單位矩陣；k為嶺參數(shù)，且k>0．設(shè)X已標(biāo)準(zhǔn)化，X′X為自變量樣本的相關(guān)陣，則式(1)是標(biāo)準(zhǔn)化的嶺回歸估計(jì)．式中k不是唯一值，所以計(jì)算得到的嶺回歸估計(jì)是回歸參數(shù)α的一個估計(jì)族．最后得到的回歸參數(shù)α就是輸出層的連接權(quán)值．

由單個非線性節(jié)點(diǎn)附加反饋回路構(gòu)成的儲備池?cái)?shù)學(xué)模型為[21]

(t)=-x(t)+f(x(t-τ),J(t))

(2)

式中：x為非線性節(jié)點(diǎn)的狀態(tài)變量，

x．

為x的一階導(dǎo)數(shù)，τ是歸一化延遲時間，f代表非線性函數(shù)，J(t) 為預(yù)處理后的輸入信號．這里選用Mackey-Glass混沌方程作為非線性函數(shù)，則其儲備池的動力學(xué)方程為

x．(t)=-x(t)+η[x(t-τ)+γ·J(t)]1+[x(t-τ)+γ·J(t)]p

(3)

式中：參數(shù)η為反饋強(qiáng)度，γ為輸入增益，p為非線性指數(shù)．指數(shù)p用來調(diào)節(jié)系統(tǒng)非線性程度．該動力系統(tǒng)的分岔圖如圖2所示．當(dāng)沒有輸入信號時，系統(tǒng)工作在倍周期和混沌的臨界狀態(tài)；有輸入信號后，系統(tǒng)顯示出更復(fù)雜的動力特性，特別是在相同的輸入信號下，系統(tǒng)應(yīng)有一致的瞬時響應(yīng)．當(dāng)然系統(tǒng)也可以用其他非線性方程作為非線性節(jié)點(diǎn)，例如半導(dǎo)體激光器或光電調(diào)制器等，同樣能完成任務(wù)[22]．

如上所述，虛擬節(jié)點(diǎn)等間隔地分布在延遲線上，延遲時間τ=Nθ，θ為虛擬節(jié)點(diǎn)之間的時間間隔．事實(shí)上，輸入信號的采樣周期即為τ，二進(jìn)制隨機(jī)模板的周期也為τ，模板隨機(jī)值之間的間隔為虛擬節(jié)點(diǎn)之間的時間間隔θ．根據(jù)經(jīng)驗(yàn)，θ為0.2時能得到最優(yōu)計(jì)算結(jié)果．

圖2 無輸入信號時Mackey-Glass混沌儲備池分岔圖

Fig.2 Bifurcation diagram of Mackey-Glass chaotic reservoir under no input

2 波形識別仿真實(shí)驗(yàn)及其結(jié)果分析

將上述儲備池計(jì)算動力學(xué)系統(tǒng)應(yīng)用于多種類型的波形識別，檢驗(yàn)其識別效果．先建立要處理信號的數(shù)據(jù)庫，由正弦波、方波和三角波3種波形隨機(jī)構(gòu)成，共有2 000組數(shù)據(jù)．串行輸入到儲備池之前，每個輸入波形每周期采樣16點(diǎn)，再與預(yù)處理模板進(jìn)行相乘，模板由隨機(jī)分布的+1、-1值序列構(gòu)成．儲備池內(nèi)，Mackey-Glass方程的非線性指數(shù)p選為8，這樣高的非線性有利于分類．輸出端采用10折交叉驗(yàn)證方法計(jì)算歸一化均方根誤差(Enrms)：

(4)

其中s(t)為儲備池計(jì)算系統(tǒng)的實(shí)際輸出值，y(t)為儲備池計(jì)算系統(tǒng)的期望輸出值[3]．儲備池計(jì)算系統(tǒng)的波形識別效果越好，Enrms越?。抡鎸?shí)驗(yàn)中采用1 800組數(shù)據(jù)進(jìn)行訓(xùn)練，200組數(shù)據(jù)用于測試．

研究了反饋環(huán)上虛擬節(jié)點(diǎn)個數(shù)N的變化對波形識別性能的影響，從而確定虛擬節(jié)點(diǎn)個數(shù)的最佳值．歸一化均方根誤差和虛擬節(jié)點(diǎn)個數(shù)之間的關(guān)系如圖3所示，圖中虛線為訓(xùn)練結(jié)果，實(shí)線為測試結(jié)果．由圖可看出，虛擬節(jié)點(diǎn)個數(shù)N=100時，Enrms最小，識別效果最好．虛擬節(jié)點(diǎn)個數(shù)較少時，儲備池狀態(tài)值過于單一，很難訓(xùn)練得到期望輸出值，所以Enrms都很高．相反，虛擬節(jié)點(diǎn)個數(shù)較多時，能得到很多不同儲備池狀態(tài)值，但有很多重復(fù)或接近的各種狀態(tài)，過度擬合了數(shù)據(jù)，Enrms沒有明顯下降，反而有小幅度增加，且處理數(shù)據(jù)量增大使計(jì)算量變大．因此，在接下來的波形識別實(shí)驗(yàn)中采用的儲備池計(jì)算虛擬節(jié)點(diǎn)個數(shù)為100．

圖3 Enrms與虛擬節(jié)點(diǎn)個數(shù)之間的關(guān)系Fig.3 Relationship between the Enrms and the number of virtual nodes

反饋強(qiáng)度η和輸入增益γ是儲備池模型的兩個重要參數(shù)，參數(shù)η和γ的變化對測試得到的Enrms的影響如圖4所示．圖中識別效果越好，顯示越接近藍(lán)色．由圖可看出反饋強(qiáng)度為2.2且輸入增益為0.8時，儲備池計(jì)算系統(tǒng)識別性能最佳，歸一化均方根誤差Enrms達(dá)到0.11．不同參數(shù)下的訓(xùn)練得到的歸一化均方根誤差也同時算出，最佳參數(shù)與之相同．反饋強(qiáng)度η<1時，儲備池工作在穩(wěn)定的固定點(diǎn)上，當(dāng)η慢慢增大時，儲備池輸出狀態(tài)由周期態(tài)演變?yōu)榛煦鐮顟B(tài)．反饋強(qiáng)度為2.2時，儲備池狀態(tài)處在倍周期狀態(tài)和混沌狀態(tài)之間的臨界狀態(tài)，是儲備池計(jì)算系統(tǒng)的最佳狀態(tài)[23-24]．同樣由圖可看出，輸入增益γ從0.1增加到0.7時，識別效果一直不好，但有改善的趨勢．γ為0.8時，識別效果最好．γ>0.9時識別效果又有下降趨勢．儲備池計(jì)算系統(tǒng)的波形識別結(jié)果如圖5所示．

圖4 Enrms與參數(shù)η和γ之間的三維色圖關(guān)系Fig.4 Color graph of three dimensions for the Enrms with parameters η and γ

圖5(a)是隨機(jī)輸入的3種不同波形；圖5(b)是儲備池計(jì)算系統(tǒng)識別的輸出信號，圖中虛線為濾波輸出信號，實(shí)線為采樣判決后的最終輸出信號．由圖可看出，3種波形得到正確識別．判決輸出信號為+1時，輸入為正弦波；判決輸出為0時，輸入為方波；判決輸出為-1時，輸入為三角波．

接著對更多的波，即對3種不同頻率f、2f、5f的方波、正弦波和三角波共9個不同的波進(jìn)行了識別仿真實(shí)驗(yàn)．同樣建立了隨機(jī)構(gòu)成的波形數(shù)據(jù)庫，共2 000組數(shù)據(jù)．由于識別波種類較多，每個波每個周期內(nèi)采樣25個點(diǎn)，儲備池內(nèi)設(shè)置400個虛擬節(jié)點(diǎn)，并設(shè)置了9個輸出端．其余參數(shù)不變的情況下，測試得到的Enrms達(dá)到0.22，識別結(jié)果如圖6所示．

圖6(a)為期望的輸出信號，圖6(b)為實(shí)際濾波輸出信號，圖中縱軸分為9行，每一行表示一種識別波形，紅色條表示輸出信號接近+1，即得到識別波形種類．隨機(jī)選取了部分結(jié)果展示，可以看到識別效果較好．

(a) 隨機(jī)輸入的3種不同波形

(b) 識別的輸出信號

圖5 3種不同波形的識別結(jié)果Fig.5 Recognition results for three kinds of different waveforms

(a) 期望的輸出信號

(b) 實(shí)際濾波輸出信號

圖6 對頻率分別為f、2f、5f的方波、正弦波和三角波共9個波識別的結(jié)果

Fig.6 Recognition results for square waves, sine waves and triangle waves with three different frequencies off, 2fand 5frespectively

3 結(jié) 語

采用單個非線性節(jié)點(diǎn)附加反饋環(huán)結(jié)構(gòu)的儲備池計(jì)算，相較于傳統(tǒng)的儲備池計(jì)算，具有系統(tǒng)結(jié)構(gòu)簡單、訓(xùn)練速度快等優(yōu)點(diǎn)[25-26]，與現(xiàn)有的光電儲備池和全光儲備池比較，則有硬件上容易實(shí)現(xiàn)、易于集成、性價(jià)比高等優(yōu)點(diǎn)．本文采用電路混沌儲備池實(shí)現(xiàn)了多種不同波形的識別任務(wù)，通過仿真計(jì)算儲備池輸出端的歸一化均方根誤差確定了系統(tǒng)的虛擬節(jié)點(diǎn)個數(shù)、輸入增益、反饋強(qiáng)度等參數(shù)最佳值，通過仿真實(shí)驗(yàn)得到了3種不同波形和對應(yīng)3種不同頻率的共9個不同波的識別結(jié)果，計(jì)算得到的歸一化均方根誤差分別為0.11和0.22，達(dá)到了較好的識別效果．

[1] FRANK J, MANNOR S, PINEAU J,etal. Time series analysis using geometric template matching[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2013,35(3):740-754.

[2]LI Hongqiang, FENG Xiuli, CAO Lu,etal. Heartbeat classification using different classifiers with non-linear feature extraction [J].TransactionsoftheInstituteofMeasurementandControl, 2016,38(9):1033-1040.

[3]QIN Jie, ZHAO Qingchun, XU Dongjiao,etal. Optical packet header identification utilizing an all-optical feedback chaotic reservoir computing [J].ModernPhysicsLettersB, 2016,30(16):1650199.

[4]JAFFE M B. Using the features of the time and volumetric capnogram for classification and prediction [J].JournalofClinicalMonitoringandComputing, 2017,31(1):19-41.

[5]CHAUDHARY A, BASU S, KUMAR R,etal. Shape classification of AltiKa 40-Hz waveforms using linear discriminant analysis and Bayes decision rule in the Gujarat coastal region [J].MarineGeodesy, 2015,38(s1):62-72.

[6]ZHAO Bendong, CHEN Shangfeng, LIU Junliang,etal. Classification of waveforms using unsupervised feature learning and artificial neural network [C] //Proceedingsof2015IEEEAdvancedInformationTechnology,ElectronicandAutomationControlConference,IAEAC2015. Piscataway: IEEE, 2015:192-196.

[7]PEREIRA T, PAIVA J S, CORREIA C,etal. An automatic method for arterial pulse waveform recognition using KNN and SVM classifiers [J].Medical&BiologicalEngineering&Computing, 2016,54(7):1049-1059.

[8]CHAOU A K, MEKHALDI A, MOULA B,etal. Classification of leakage current waveforms using wavelet packet transform on high voltage insulator [C] //ICHVE2014—2014InternationalConferenceonHighVoltageEngineeringandApplication. Piscataway: IEEE, 2014:7035489.

[10]LI Shuo, YANG Lin, YANG Yimin,etal. A model of recognition for human pulse wave types by the BP neural network [J].WITTransactionsonBiomedicineandHealth, 2014,18:375-380.

[11]MASET E, CARNIEL R, CROSILLA F. Unsupervised classification of raw full-waveform airborne lidar data by self organizing maps [J].LectureNotesinComputerScience, 2015,9279:62-72.

[12]PAQUOT Y, DAMBRE J, SCHRAUWEN B,etal. Reservoir computing:A photonic neural network for information processing [J].ProceedingsofSPIE—TheInternationalSocietyforOpticalEngineering, 2010,7728:77280B.

[14]NGUIMDO R M, DANCKAERT J, VERSCHAFFELT G,etal. Delay-based reservoir computing using semiconductor ring lasers [J].ProceedingsofSPIE—TheInternationalSocietyforOpticalEngineering, 2014,9136:91361S.

[15]LARGER L, SORIANO M C, BRUNNER D,etal. Photonic information processing beyond Turing:an optoelectronic implementation of reservoir computing [J].OpticsExpress, 2012,20(3):3241-3249.

[16]APPELTANT L, SORIANO M C, VAN DER SANDE G,etal. Information processing using a single dynamical node as complex system [J].NatureCommunications, 2011,2:468.

[17]VANDOORNE K, DIERCKX W, SCHRAUWEN B A,etal. Toward optical signal processing using photonic reservoir computing [J].OpticsExpress, 2008,16(15):11182-11192.

[18]PAQUOT Y, DUPORT F, SMERIERI A,etal. Optoelectronic reservoir computing [J].ScientificReports, 2012,2:287.

[19]岳荷荷. 基于混沌的保密通信和波形識別的應(yīng)用研究[D]. 大連:大連理工大學(xué), 2015.

YUE Hehe. Investigation of secure communication and waveform recognition based on chaos [D]. Dalian: Dalian University of Technology, 2015. (in Chinese)

[20]HOERL A E, KENNARD R W. Ridge regression:Biased estimation for nonorthogonal problems [J].Technometrics, 2000,42(1):80-86.

[21]SORIANO M C, BRUNNER D, ESCALONA-MORN M,etal. Minimal approach to neuro-inspired information processing [J].FrontiersinComputationalNeuroscience, 2015,9:68.

[22]DAMBRE J, VERSTRAETEN D, SCHRAUWEN B,etal. Information processing capacity of dynamical systems [J].ScientificReports, 2012,2:514.

[23]BUESING L, SCHRAUWEN B, LEGENSTEIN R. Connectivity, dynamics, and memory in reservoir computing with binary and analog neurons [J].NeuralComputation, 2010,22(5):1272-1311.

[24]MANEVITZ L, HAZAN H. Stability and topology in reservoir computing [J].LectureNotesinComputerScience, 2010,6438:245-256.