祁威 許少華

摘 要：非線性復雜時變信號模式分類是信號處理和人工智能研究領域的重要課題。將稀疏自動編碼器（SAE）與過程神經(jīng)網(wǎng)絡（PNN）棧式疊加，構建了一種深度過程神經(jīng)網(wǎng)絡模型（DPNN）。在傳統(tǒng)深度神經(jīng)網(wǎng)絡無監(jiān)督逐層初始化與梯度下降相結合的算法基礎上，通過引入一種時變輸入信號和連接權函數(shù)，基于一組正交函數(shù)基，建立DPNN的綜合訓練算法。DPNN模型可保持樣本特征的多樣性，有效提高對信號結構特征的提取能力和不同類別樣本特征的區(qū)分度。將傳統(tǒng)深度神經(jīng)網(wǎng)絡在信息處理機制上擴展為時間域，實現(xiàn)對時變信號直接分類處理，應用于心腦血管疾病的預測分析和處理取得了良好結果。

關鍵詞：稀疏自動編碼器；過程神經(jīng)網(wǎng)絡；深度過程神經(jīng)網(wǎng)絡；非線性時變信號；模式識別

DOI：10.11907/rjdk.173282

中圖分類號：TP301

Abstract：The classification of nonlinear complex time-varying signals is an important aspect of signal processing and artificial intelligence. Deep process neural network model is constructed by stacking sparse automatic encoders and process neural networks in this paper. We establish the depth process neural network integrated with training algorithm by introducing a time-varying input signal and connection weight function based on a set of orthogonal function base expansion algorithm. Based on the algorithm of unsupervised layer initialization of traditional depth neural network and gradient descent， DPNN model can maintain the diversity of sample characteristics and effectively improve the extraction of signal structure characteristics and different types of sample characteristics of the distinction.At the same time the traditional depth of neural network in the information processing mechanism is expanded into the time domain to achieve direct classification processing of time-varying signals， cardiovascular and cerebrovascular disease prediction， The cardiovascular and cerebrovascular disease prediction was analyzed and processed， and good results are obtained.

Key Words：sparse automatic encoder； process neural network； SAE depth process neural network； nonlinear time-varying signal； pattern recognition

0 引言

心腦血管疾病的發(fā)生與人的各項生理指標息息相關，其發(fā)病原因復雜多樣，給心腦血管疾病的預測帶來了困難，許多學者對此進行了研究。劉力生[1]研究表明，高血壓是心腦血管疾病的主要誘因之一，血壓升高會增加心腦血管疾病發(fā)病概率；謝華[2]提出血脂變化對心腦血管疾病發(fā)病有一定影響；吳碩琳等[3]研究發(fā)現(xiàn)，血糖是影響心腦血管病發(fā)病的風險因素之一。心腦血管疾病預測模型也經(jīng)歷了從統(tǒng)計分析模型到機器學習預測模型的發(fā)展過程，宋志剛[4]建立了基于LM算法的BP神經(jīng)網(wǎng)絡預測模型，實驗表明該模型對疾病的預測有一定效果；鄢華[5]通過對受限波茨曼機和深度置信神經(jīng)網(wǎng)絡的研究，提出了基于跳轉馬爾科夫鏈蒙特卡羅算法的模式集算法。

對心腦血管疾病預測時，時變信號常常受隨機因素、噪聲信號以及一些不確定因素影響，特別是多變量系統(tǒng)多個信號的組合過程特征呈現(xiàn)出高度的復雜性。深度自動編碼器[6]具有優(yōu)異的特征學習能力，訓練難度可通過基于無監(jiān)督學習的逐層初始化算法策略有效克服。但現(xiàn)有的深度神經(jīng)網(wǎng)絡模型中，在機制上無法實現(xiàn)對時變過程信號的直接分析處理。PNN模型[7]對連續(xù)時變系統(tǒng)的泛函逼近能力較強，具有連續(xù)性和解能力。本文將SAE與PNN結合，以SAE為網(wǎng)絡結構深度單元，通過棧式疊加方式建立網(wǎng)絡各隱層之間的信息變換和傳遞關系，構建一種DPNN預測和模式識別模型。

1 過程神經(jīng)網(wǎng)絡

1.1 過程神經(jīng)網(wǎng)絡原理

PNN具有時空二維信息處理能力，其輸入和連接權等都可以是時變函數(shù)，神經(jīng)元內增加了一個時間效應[8]的聚合算子，在機制上可同時表達為多種影響因素的共同作用和對時間效應的累積。PNN一般由輸入層、過程神經(jīng)元隱層、非時變神經(jīng)元隱層和輸出層構成。PNN拓撲結構如圖1所示。

1.2 過程神經(jīng)元網(wǎng)絡學習算法

本文采用基于函數(shù)正交基展開[9]的PNN學習算法。PNN輸入與輸出關系為：

2 稀疏自動編碼器

2.1 稀疏自動編碼器原理

深度神經(jīng)網(wǎng)絡具有優(yōu)異的高層特征[10]學習能力，通過無監(jiān)督學習的逐層初始化算法克服訓練難度，通過訓練學習一種深層非線性網(wǎng)絡結構實現(xiàn)對復雜函數(shù)的逼近。

SAE是深度神經(jīng)網(wǎng)絡模型的一種，SAE要求輸出盡可能等于輸入，并且它的隱藏層必須滿足一定的稀疏性，即隱藏層不能攜帶太多信息，所以隱藏層對輸入進行了壓縮，并在輸出層中解壓縮。為了保證隱藏層的稀疏性，自動編碼器的代價方程[11]加入了一個稀疏約束項：

3 基于SAE的深度過程神經(jīng)網(wǎng)絡

3.1 原理

在PNN深度結構構建中，以SAE為網(wǎng)絡結構深度單元，通過棧式疊加[15]方式，構成由時變過程信號輸入層、過程神經(jīng)元隱層、稀疏自編碼器深度結構單元、分類器輸出單元組成的深度過程神經(jīng)網(wǎng)絡模型。

網(wǎng)絡模型拓撲結構如圖3所示。

3.2 學習算法

為訓練DPNN，在學習算法設計中采用將時變輸入信號和連接權函數(shù)用一組正交函數(shù)基表示的方法，降低過程神經(jīng)元時空聚合運算的復雜性。

對于DPNN的整體學習問題，結合現(xiàn)有PNN訓練方法，采用無監(jiān)督逐層初始化[6]與有教師示教相結合的算法策略，在訓練機制上保證對各類樣本特征的提取和高層次組合能力，以及深度網(wǎng)絡的學習效率。

（3）SAE賦初值訓練。

①將PNN模型的各個過程神經(jīng)元隱層節(jié)點的輸出作為稀疏自動編碼器的輸入；

②依據(jù)式（8）計算誤差E和迭代次數(shù)M。如果E<ε或s>M則轉步驟（3）。

③依據(jù)式（9）和式（10），通過逐層初始化與梯度下降法[16]修正SAE權值與閾值，轉步驟（2）。

（4）BP分類器參數(shù)賦初值。

（5）采用BP算法進行DPNN全體參數(shù)微調。

4 實驗仿真及結果分析

4.1 數(shù)據(jù)集選取

心腦血管疾病的預測既重要又復雜，論文數(shù)據(jù)來源于Andras Janosi、William Steinbrunn、Matthias Pfisterer等在1998年收集的數(shù)據(jù)集文件（http：//archive.ics.uci.edu/ml/datasets/Heart+Disease）。

該數(shù)據(jù)集包括年齡、性別、血糖等計76項指標，每條數(shù)據(jù)都有嚴格的數(shù)據(jù)格式。論文選取預測所需9項指標：年齡、性別、靜息血壓、血脂、空腹血糖、靜息心電圖（正常的、有ST-T波異常）、最大心率、胸部疼痛類型（典型的心絞痛、不典型心絞痛、非心絞痛、無癥狀）、峰值運動ST段的斜率。設置模型的期望輸出為5：無風險、低危、中高危、高危和確診。按3∶1的比例劃分訓練集和測試集，選取數(shù)據(jù)集中的8 501條數(shù)據(jù)作為DPNN模型的訓練數(shù)據(jù)集，另外選取2 834條數(shù)據(jù)作為模型的測試數(shù)據(jù)集。

4.2 數(shù)據(jù)預處理

對于患者一月內的靜息心電圖，采用OpenCV表示成HOG特征向量[17]形式；胸部疼痛類型分別用00、01、10、11表示。

4.2.1 數(shù)據(jù)集擴展

由于DPNN模型層數(shù)較多，隨著學習能力增強，DPNN模型參數(shù)的個數(shù)也會增加。為避免因小樣本問題而產(chǎn)生的過擬合現(xiàn)象，本文利用“加噪”方法[18]擴充數(shù)據(jù)集，獲得大樣本數(shù)據(jù)，提高DPNN模型的泛化能力，增強模型算法的魯棒性。

4.2.2 數(shù)據(jù)集數(shù)據(jù)歸一化

原始數(shù)據(jù)經(jīng)過數(shù)據(jù)歸一化[19]處理后，數(shù)據(jù)映射到0-1范圍內，消除了指標的量綱影響。數(shù)據(jù)歸一化公式如下：

式（13）中，max為指標數(shù)據(jù)的最大值，min為指標數(shù)據(jù)的最小值。

4.2.3 數(shù)據(jù)集正交函數(shù)基表示

將患者一月內的9項指標分別用一組正交Legendre函數(shù)基表示，取正交函數(shù)基系數(shù)作為DPNN模型輸入。

4.3 模型建立與仿真

在構建DPNN模型中，過程神經(jīng)元隱層的節(jié)點個數(shù)、SAE深度結構的隱層數(shù)和節(jié)點數(shù)以及稀疏參數(shù)是重要的模型參數(shù)，對應選取9項指標確定模型的輸入層節(jié)點個數(shù)為9，對應5個分類期望輸出確定模型的節(jié)點個數(shù)為5的softmax輸出層；輸入函數(shù)和權函數(shù)展開為Legendre基函數(shù)，基函數(shù)個數(shù)為60；神經(jīng)元的激勵函數(shù)為非線性映射能力很強的Sigmod函數(shù)；最大訓練次數(shù)為10 000，訓練誤差為0.001；設置非稀疏懲罰項為0.05以保證DPNN模型的稀疏性。

4.3.1 模型仿真與結果分析

分別設置不同過程神經(jīng)元隱層的節(jié)點個數(shù)、SAE深度結構的隱層數(shù)和節(jié)點數(shù)，比較預測率，確定DPNN結構，實驗結果如表1所示。

由表1可知，PNN隱層節(jié)點數(shù)、基函數(shù)個數(shù)、SAE深度隱層層數(shù)、SAE深度隱層節(jié)點數(shù)增加到一定限度時，模型的預測率不再增加，反而減小。當PNN隱層節(jié)點數(shù)為20、SAE隱層層數(shù)為15、SAE隱層節(jié)點數(shù)為200、非稀疏懲罰項和稀疏目標為0.05時，模型的預測率最高。DPNN

模型訓練誤差曲線如圖4所示。

DPNN模型經(jīng)過7 316次訓練后，DPNN收斂準確率達97.6%；相同樣本下與BP神經(jīng)網(wǎng)絡、PNN和SAE對比[20]，可知DPNN效果較好，對比結果如表2所示。

對表2分析發(fā)現(xiàn)，4種預測模型的預測率高低順序為：BP模型

5 結語

建立以SAE為深度結構單元的新型DPNN模型，提高了時變信號過程特征的提取、表示、高層次綜合能力和不同類別樣本特征之間的區(qū)分度，實現(xiàn)了對時變信號的直接分類處理。建立時變信號基于正交函數(shù)基展開，融合無監(jiān)督算法與有教師示教算法的DPNN綜合訓練方法，有效改善了因隨機賦初值使得訓練目標函數(shù)易陷入局部極值或產(chǎn)生梯度彌散的問題，提高了網(wǎng)絡的泛化能力。改進后的識別模型對模式識別有較好效果。

參考文獻：

[1] 劉力生，龔蘭生，王文，等.降壓治療對中國腦血管病患者腦卒中再發(fā)預防的多中心隨機雙盲對照臨床研究[J].中華心血管病雜志，2005（7）：613-617.

[2] 謝華，徐丹鳳，陳艷秋，等.亞麻籽油對高脂誘導肥胖小鼠血糖和胰升血糖素樣肽-1分泌影響的研究[J].中國糖尿病雜志，2015，23（4）：356-359.

[3] 吳碩琳，石玉芝，王春雪，等.高齡腦卒中患者糖代謝異常對不良預后的影響[J].中華老年心腦血管病雜志，2014，16（2）：163-166.

[4] 王炳萱.LM優(yōu)化算法和神經(jīng)網(wǎng)絡預測控制在非線性系統(tǒng)中的研究[D].太原：太原理工大學，2016.

[5] 蘇寶星.基于深度學習的醫(yī)學圖像模式分類研究[D].金華：浙江師范大學，2016.

[6] 豐曉霞.基于深度學習的圖像識別算法研究[D].太原：太原理工大學，2015.

[7] 許少華，何新貴，劉坤，等.關于連續(xù)過程神經(jīng)元網(wǎng)絡的一些理論問題[J].電子學報，2006（10）：1838-1841.

[8] 許少華，何新貴.基于函數(shù)正交基展開的過程神經(jīng)網(wǎng)絡學習算法[J].計算機學報，2004（5）：645-650.

[9] 許少華，何新貴，尚福華.基于基函數(shù)展開的雙隱層過程神經(jīng)元網(wǎng)絡及其應用[J].控制與決策，2004（1）：36-39，48.

[10] 鄧俊鋒，張曉龍.基于自動編碼器組合的深度學習優(yōu)化方法[J].計算機應用，2016（3）：697-702.

[11] 李衛(wèi).深度學習在圖像識別中的研究及應用[D].武漢：武漢理工大學，2014.

[12] CHENG LUNG HUANG，JIAN FAN DUN.A distributed PSO-SVM hybrid system with feature selection and parameter optimization[J]. Applied Soft Computing Journal，2007（6）：157-160.

[13] ELEANOR A CURRAN，MARIA J STOKES. Learning to control brain activity： a review of the production and control of EEG components for driving brain-computer interface （BCI） systems[J].Brain and Cognition，2003（3）：1524-1531.

[14] 尹征，唐春暉，張軒雄.基于改進型稀疏自動編碼器的圖像識別[J].電子科技，2016（1）：124-127.

[15] KARL SJOSTRAND，MICHAEL SASS HANSEN，HENRIK B LARSSON，et al. A path algorithm for the support vector domain description and its application to medical imaging[EB/OL]. http：//www.doc88.com/p-6731225518170.html.

[16] BINGHUANG CAI，XIA JIANG.A novel artificial neural network method for biomedical prediction based on matrix pseudo-inversion[J].Journal of Biomedical Informatics，2013（2）：68-72.

[17] YOUNG SUP HWANG，SUNG YANG BANG.An efficient method to construct a radial basis function neural network classifier[J]. Neural Networks，1997（8）：1154-1165.

[18] A HYVRINEN， E OJA.Independent component analysis： algorithms and applications[J]. Neural Networks，2000（6）：156-162.

[19] MUHAMMAD TAHIR AKHTAR，WATARU MITSUHASHI，CHRISTOPHER J. Employing spatially constrained ICA and wavelet denoising， for automatic removal of artifacts from multichannel EEG data[J]. James，Signal Processing，2011（2）：297-301.

[20] YOUNG SUP HWANG，SUNG YANG BANG.An efficient method to construct a radial basis function neural network classifier[J]. Neural Networks，1997（8）：86-90.

[21] 秦勝君.基于稀疏自動編碼器的微博情感分類應用研究[J].廣西科技大學學報，2015（3）：36-40.

（責任編輯：杜能鋼）