張素莉

摘 要： 研究梳理了序列數(shù)據(jù)的定義，并且分析了5種類型的序列數(shù)據(jù)，結(jié)合局部連接神經(jīng)網(wǎng)絡(luò)的特點，研究了基于局部連接神經(jīng)網(wǎng)絡(luò)的序列數(shù)據(jù)的分類算法。使用該算法進(jìn)行計算，學(xué)習(xí)與收斂速度較快，對于自適應(yīng)建模與控制十分適用，利用方形基函數(shù)進(jìn)行計算，在網(wǎng)絡(luò)輸出過程中注意只能利用方形函數(shù)來逼近光滑函數(shù)。由于序列數(shù)據(jù)分類運算在數(shù)據(jù)挖掘中存在巨大的優(yōu)勢，因此對序列數(shù)據(jù)算法的研究具有很高的理論與應(yīng)用價值。

關(guān)鍵詞： 部分連接神經(jīng)網(wǎng)絡(luò)； 序列數(shù)據(jù)； 分類算法； 方形基函數(shù)

中圖分類號： TN915?34 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2016）09?0111?03

Abstract： The definition of sequence data is studied. The 5 kinds sequence data is analyzed. In combination with the cha?racteristics of the partially connected neural network， the classification algorithm of the sequence data based on partially connected neural network is studied. The algorithm used to calculation has fast learning and convergence rate， and is especially suitable for adaptive modeling and control. When the square primary function is used to calculate， the square function can be only used to approach the smooth function in network output process. The sequence data classification operation has great advantage in data mining， so the research of the sequence data classification algorithm has the high theory and application value.

Keywords： partially connected neural network； sequence data； classification algorithm； square primary function

0 引 言

計算機(jī)科學(xué)技術(shù)的發(fā)展，豐富和發(fā)展了數(shù)的概念，見圖1。數(shù)據(jù)類型在數(shù)據(jù)結(jié)構(gòu)中的定義是一個值的集合以及定義在這個值集上的一組操作。序列數(shù)據(jù)就是其中一種非常重要的數(shù)據(jù)類型，它應(yīng)用的領(lǐng)域也十分廣泛，如計算機(jī)科學(xué)文本中的單詞（word）序列、互聯(lián)網(wǎng)技術(shù)中網(wǎng)頁日志中的用戶訪問事件（Access Event）序列以及在生物科學(xué)中的DNA序列和蛋白質(zhì)序列等。通過對序列數(shù)據(jù)進(jìn)行分類運算，可以發(fā)現(xiàn)大量無規(guī)律數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，從而獲得關(guān)于這些數(shù)據(jù)深層次的內(nèi)涵知識，例如，大型電商平臺每日都產(chǎn)生大量的交易數(shù)據(jù)，對這些數(shù)據(jù)中的交易序列數(shù)據(jù)進(jìn)行分類運算，就可以對平臺購物的用戶進(jìn)行細(xì)分，進(jìn)而根據(jù)不同類型的用戶制作有針對性的市場廣告，并且點對點的推送，這樣就會大大提高廣告投放的效率；在生物學(xué)領(lǐng)域，對生物體蛋白質(zhì)序列進(jìn)行分類運算，就能夠找出各個簇中序列共享的子結(jié)構(gòu)，進(jìn)而可以推測共有的生物學(xué)功能。序列數(shù)據(jù)通常由兩個部分組成，這兩個部分是值元素和對應(yīng)的序關(guān)系，這兩個部分缺一不可，正是由于序列數(shù)據(jù)具有非數(shù)值類型、高維且長度不一以及特有的序關(guān)系等特征，使得對其進(jìn)行分類運算成為一個研究難點。

1 序列數(shù)據(jù)的基本概念

序列數(shù)據(jù)的分類運算具有如此重要的作用，首先要清楚序列數(shù)據(jù)的概念。序列數(shù)據(jù)最主要的特點就是具有序關(guān)系信息，這一信息通過元素的空間位置或時間先后來體現(xiàn)。序列數(shù)據(jù)的概念是序列數(shù)據(jù)分類運算的基礎(chǔ)，因此需要著重討論。

1.1 序列數(shù)據(jù)的定義

1.2 序列數(shù)據(jù)的類型

根據(jù)數(shù)據(jù)產(chǎn)生的領(lǐng)域不同，序列數(shù)據(jù)包含五種類型：

（1） 文本型序列數(shù)據(jù)，日常使用的電子郵件，天天瀏覽的網(wǎng)頁新聞以及各種文字類的信息等，這些海量的各種語言的文本就是一類序列數(shù)據(jù)，它們都是單詞序列的集合；

（2） 生物序列數(shù)據(jù)，目前最基本的兩種生物序列數(shù)據(jù)就是細(xì)胞中的DNA（RNA）和蛋白質(zhì)。DNA是由核苷酸排列組成的，蛋白質(zhì)是由氨基酸排列組成的，因此DNA和蛋白質(zhì)都可以看作是很長的“單詞”，生物序列中有一定生物學(xué)功能的序列片段就相當(dāng)于一個個“字母”，可以用來表征“單詞”；

（3） 事件序列數(shù)據(jù)，我們平時看電視或者聽廣播，這些視頻流和音頻流就是事件序列，此序列所隱含的序信息是時間序，且各序列元素值是某時刻所發(fā)生事件的描述信息；

（4） 時間序列數(shù)據(jù)，其在銀行金融和天氣預(yù)測等與人們?nèi)粘Ｉ钕⑾⑾嚓P(guān)的地方中廣泛存在，該類型序列數(shù)據(jù)的序信息也是時間序，但是與事件序列不同，時間序列數(shù)據(jù)的各個元素一般是數(shù)值類型，這樣就可以進(jìn)行各種運算和變換，產(chǎn)生的數(shù)據(jù)價值會更大；

（5） 數(shù)據(jù)流序列數(shù)據(jù)，是指高速到達(dá)的數(shù)據(jù)和信息，由于其傳遞的速度極快，因此需要處理的速度也很快，一般對到達(dá)數(shù)據(jù)處理時只是掃描一遍，并且沒有機(jī)會和時間把數(shù)據(jù)保存在本地，但同時，在處理的過程中要保持序信息在數(shù)據(jù)流中。

1.3 序列數(shù)據(jù)分類的應(yīng)用

（1） 廣告精準(zhǔn)投放。如今網(wǎng)購在年輕人中已經(jīng)十分普遍，一些大型的網(wǎng)購平臺，如天貓、京東等，每日都會產(chǎn)生大量的交易數(shù)據(jù)，平臺可以在后臺對這些數(shù)據(jù)中的交易序列數(shù)據(jù)進(jìn)行分類運算，對平臺購物的用戶進(jìn)行細(xì)分，進(jìn)而根據(jù)不同類型的用戶制作有針對性的市場廣告，并且點對點的推送，這樣就會大大提高廣告投放的效率，提高網(wǎng)購的平臺銷量，增加收益；

（2） 推測生物學(xué)功能。在生物學(xué)領(lǐng)域，生物細(xì)胞中的DNA（RNA）和蛋白質(zhì)，DNA是由核苷酸排列組成的，蛋白質(zhì)是由氨基酸排列組成的，因此DNA和蛋白質(zhì)都可以看作序列數(shù)據(jù)，對生物體蛋白質(zhì)序列進(jìn)行分類運算，就能夠找出各個簇中序列共享的子結(jié)構(gòu)，進(jìn)而可以推測共有的生物學(xué)功能，對生物多樣性的保護(hù)可以做出很大的貢獻(xiàn)。

2 部分連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及性能

20世紀(jì)80年代以來，神經(jīng)網(wǎng)絡(luò)的發(fā)展取得了很大的進(jìn)步，這給數(shù)據(jù)發(fā)掘帶來了巨大的利益，在理論上形成了一大批可以實際應(yīng)用的模型和算法，并把它應(yīng)用在一些自動控制系統(tǒng)、指揮系統(tǒng)中?，F(xiàn)階段，神經(jīng)網(wǎng)絡(luò)可分為部分連接神經(jīng)網(wǎng)絡(luò)與全連接神經(jīng)網(wǎng)絡(luò)兩大類，但是在使用部分連接網(wǎng)絡(luò)時，對于每組輸出/輸入數(shù)據(jù)只能列出少數(shù)甚至是一個權(quán)值進(jìn)行調(diào)整。目前，神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)模式識別與分類、非線性建模的分析、方案數(shù)據(jù)的優(yōu)化、知識的聯(lián)想記憶以及非線性建模的自動化控制設(shè)計等方面有著突出的貢獻(xiàn)。

2.1 部分連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)特點

圖2是一個3層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖，[q]組[r]維輸入向量[Xl=x1，x2，x3，…，xr，l=1，2，…，q，]數(shù)據(jù)首先通過輸入層，隨后進(jìn)入含有[m]個節(jié)點的隱含層內(nèi)，經(jīng)過預(yù)先設(shè)定的特定基函數(shù)的運算后，形成隱含層的數(shù)據(jù)輸出，隨后與訓(xùn)練數(shù)據(jù)后的權(quán)值相乘，最終得到網(wǎng)絡(luò)值數(shù)[s]維。

通過函數(shù)式（1）可以看出，在部分神經(jīng)網(wǎng)絡(luò)中，隱含層內(nèi)的所有節(jié)點對輸出層內(nèi)相對應(yīng)的節(jié)點都有影響，但是通過合理的預(yù)設(shè)對基函數(shù)進(jìn)行選擇，或者通過設(shè)置部分連接神經(jīng)網(wǎng)絡(luò)的主要結(jié)構(gòu)參數(shù)獲得不同的網(wǎng)絡(luò)連接形式，假設(shè)施加一個輸入值，可以使[αj（xi）]中不是零的元素達(dá)到極少數(shù)，也就是說絕大部分的元素都是零。因此，在實際的運算過程中，對任何的初始輸入值，在輸出過程中通常只會對隱含層內(nèi)部分非零節(jié)點的輸出采用加權(quán)求和的方式獲得數(shù)值，因此屬于局部神經(jīng)網(wǎng)絡(luò)的局部連接。

2.2 基于部分連接神經(jīng)網(wǎng)絡(luò)的序列數(shù)據(jù)分類算法

在對部分連接神經(jīng)網(wǎng)絡(luò)進(jìn)行設(shè)定時，在輸入層到隱含層的間隙處設(shè)定一個類似于查表結(jié)構(gòu)的特定映射，其對應(yīng)關(guān)系要根據(jù)具體網(wǎng)絡(luò)設(shè)計情況進(jìn)行預(yù)定。通過這樣的設(shè)計能使上部輸入層中的輸入矢量根據(jù)序列串?dāng)?shù)據(jù)之間的空間距離或時間長短來進(jìn)行計算，最終產(chǎn)生影響，實現(xiàn)將映射輸入到隱含層當(dāng)中。隱含層是一個類似“黑箱”的計算處理器，是由一族攝化感知器組成，這些感知器用于對數(shù)據(jù)的分類和分析，可以感知序列數(shù)據(jù)在時間距離和空間距離上的相似度，因此在輸入層中每輸入一個矢量值都會計算出一個閾值與之匹配，也可以理解為與隱含層中的[C]個感應(yīng)器相互對應(yīng)，這個[C]也叫做感知野，感知野是算法的一個重要參數(shù)。輸入的每一個矢量值只會對隱含層當(dāng)中的[C]個感應(yīng)器造成影響，并且使它的輸出值為1，其他感應(yīng)器的輸出值數(shù)是0，因此在設(shè)計時只需要考慮與[C]個感知器相對應(yīng)的權(quán)值進(jìn)行預(yù)設(shè)。

在網(wǎng)絡(luò)調(diào)試過程中，設(shè)計者只需考慮對輸出層的局部連接權(quán)值進(jìn)行調(diào)整。與其他計算方法相比，利用這樣的運算方式進(jìn)行計算，學(xué)習(xí)收斂速度較快，在自適應(yīng)建模與控制中很實用，除此之外，本算法選擇較為簡單的方形基函數(shù)進(jìn)行函數(shù)預(yù)設(shè)，在網(wǎng)絡(luò)輸出過程中只能利用方形函數(shù)來逼近光滑函數(shù)，雖然局限性較強，但是精確度很高，在計算過程中如果設(shè)計者想要提高分辨率，可以利用增大[C]值的方式計算。

2.3 算法訓(xùn)練結(jié)果分析

本文提出的基于部分連接的神經(jīng)網(wǎng)絡(luò)序列數(shù)據(jù)分類算法，在對序列數(shù)據(jù)進(jìn)行分類計算時存在兩點優(yōu)勢：一是速度快，二是結(jié)果精確度高。為了驗證算法的可靠性，設(shè)計了算法的訓(xùn)練。通過利用樣本數(shù)據(jù)，進(jìn)行分析，對上面兩個標(biāo)準(zhǔn)進(jìn)行衡量。

訓(xùn)練分為監(jiān)督式和無監(jiān)督式兩種，監(jiān)督式就是在訓(xùn)練的過程中有人員的隨時調(diào)整，無監(jiān)督式就是完全自動的訓(xùn)練。從對樣本數(shù)據(jù)訓(xùn)練的過程中可見，這兩種方式的訓(xùn)練模式，對序列數(shù)據(jù)的訓(xùn)練結(jié)果都是相近的，在不同的時刻，兩種模式都會出現(xiàn)網(wǎng)絡(luò)在對序列數(shù)據(jù)分析快速的響應(yīng)結(jié)果，有部分的耗時極大值，在監(jiān)督式的訓(xùn)練情況下，通過對數(shù)據(jù)反復(fù)多次地反復(fù)輸入，使得算法對樣本十分熟悉，這樣一來，使用該算法進(jìn)行計算，可以快速而穩(wěn)定的達(dá)到要求。

若進(jìn)行無監(jiān)督訓(xùn)練，在對應(yīng)較大文本的序列數(shù)據(jù)時，對于新的數(shù)據(jù)分類運用將會采用對某種已經(jīng)產(chǎn)生結(jié)果的典型矢量進(jìn)行修改來實現(xiàn)，這樣就會自動對已有的分析結(jié)果進(jìn)行修正，修正的結(jié)果不會對舊的結(jié)果加以記錄學(xué)習(xí)，分類的結(jié)果一直是最新有效的。

3 結(jié) 語

本文研究梳理了序列數(shù)據(jù)的定義，并且分析了5種類型的序列數(shù)據(jù)，結(jié)合局部連接神經(jīng)網(wǎng)絡(luò)的特點，研究了基于局部連接神經(jīng)網(wǎng)絡(luò)的序列數(shù)據(jù)的分類算法，通過以上分析，不難看出利用本算法進(jìn)行計算，學(xué)習(xí)與收斂速度較快，若將其運用到自適應(yīng)建模與控制當(dāng)中，利用方形基函數(shù)進(jìn)行處理，其網(wǎng)絡(luò)輸出也只能用方形函數(shù)來逼近光滑函數(shù)，雖具有一定的局限性，但是準(zhǔn)確度高。由于序列數(shù)據(jù)分類運算在數(shù)據(jù)挖掘中存在巨大的優(yōu)勢，因此對序列數(shù)據(jù)算法的研究具有很高的理論與應(yīng)用價值。

參考文獻(xiàn)

[1] 朱揚勇，熊赟.DNA序列數(shù)據(jù)挖掘技術(shù)[J].軟件學(xué)報，2007，18（11）：2766?2781.

[2] 朱揚勇，戴東波，熊赟.序列數(shù)據(jù)相似性查詢技術(shù)研究綜述[J].計算機(jī)研究與發(fā)展，2010（2）：264?276.

[3] 叢爽，鄭毅松.幾種局部連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及性能的分析與比較[J].計算機(jī)工程，2003，29（22）：11?13.

[4] 程起才，王士同.基于模糊系統(tǒng)的新型CMAC神經(jīng)網(wǎng)絡(luò)及學(xué)習(xí)算法[J].江南大學(xué)學(xué)報（自然科學(xué)版），2005，4（1）：27?32.

[5] 劉曉軍，閻朝鼎.一種新型的CMAC神經(jīng)網(wǎng)絡(luò)[J].中國科技信息，2005（14）：45.

[6] 王明玥，高渠，陳婷婷.基于神經(jīng)網(wǎng)絡(luò)的DNA序列分析[J].通訊世界，2015（13）：55?56.

[7] 戴東波，湯春蕾，熊赟.基于整體和局部相似性的序列聚類算法[J].軟件學(xué)報，2010，21（4）：702?717.

[8] 韓忠明，陳妮，樂嘉錦，等.面向熱點話題時間序列的有效聚類算法研究[J].計算機(jī)學(xué)報，2012，35（11）：2337?2347.

[9] 于世英，袁雪梅，盧海濤，等.基于序列聚類的相似代碼檢測算法[J].智能系統(tǒng)學(xué)報，2013（1）：52?57.

[10] 劉曉平，季浩，沈冠町.非線性系統(tǒng)規(guī)律的動態(tài)可視化方法[J].系統(tǒng)仿真學(xué)報，2012，24（6）：1287?1292.