摘要:對(duì)自組織特征映射(SOFM)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法進(jìn)行闡述#65377;討論SOFM神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，通過研究基于SOFM學(xué)習(xí)算法的矢量碼書設(shè)計(jì)中存在的問題，提出一種改進(jìn)算法#65377;最后把這種算法應(yīng)用在IP電話語音壓縮編碼的參數(shù)矢量量化上#65377;計(jì)算機(jī)仿真結(jié)果表明，SOFM神經(jīng)網(wǎng)絡(luò)對(duì)于語音碼書訓(xùn)練是非常有效的，改進(jìn)的SOFM學(xué)習(xí)算法能夠大大減少訓(xùn)練時(shí)間，提高整個(gè)系統(tǒng)的性能#65377;

關(guān)鍵詞:SOFM神經(jīng)網(wǎng)絡(luò);學(xué)習(xí)算法;矢量量化;IP電話;語音壓縮編碼

中圖分類號(hào):TP273+.21文獻(xiàn)標(biāo)識(shí)碼:A

1引言

矢量量化(Vector Quantitation)作為一種高效的數(shù)據(jù)壓縮技術(shù)在語音#65380;圖像的壓縮編碼中獲得了廣泛的應(yīng)用#65377;由Shannon的率失真理論可知，它比標(biāo)量量化能更有效地去除信號(hào)之間的相關(guān)性，獲得更高的壓縮比#65377;矢量量化的關(guān)鍵在于碼書(Codebook)的設(shè)計(jì)，碼書的好壞直接影響圖像#65380;語音編碼的質(zhì)量#65377;矢量量化的經(jīng)典方法是1980年由Linde#65380;Buzo#65380;Gray提出的GLA算法(也稱LBG)，該算法理論依據(jù)充分#65380;推導(dǎo)過程嚴(yán)謹(jǐn)#65380;物理概念清晰#65380;通用性好且易于實(shí)現(xiàn)#65377;但也存在以下嚴(yán)重缺陷:(1)從碼書中搜索訓(xùn)練矢量的最近碼字需要大量的存儲(chǔ)空間和煩瑣的計(jì)算;(2)初始碼書的選擇影響碼書訓(xùn)練的收斂速度;(3)碼書的自適用能力不強(qiáng)#65377;為了解決這些問題，人們進(jìn)行了許多研究與改進(jìn)，其中用神經(jīng)網(wǎng)絡(luò)的方法設(shè)計(jì)碼書取得了很好的效果#65377;在各種神經(jīng)網(wǎng)絡(luò)模型中，Kohonen的自組織特征映射(SOFM)神經(jīng)網(wǎng)絡(luò)非常適合碼書的設(shè)計(jì)#65377;用SOFM神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的碼書，由于有受初始碼書影響小#65380;較強(qiáng)的抗信道誤碼能力#65380;適應(yīng)性強(qiáng)等特點(diǎn)，在性能上優(yōu)于GLA算法#65377;雖然該算法有上述優(yōu)點(diǎn)，但也存在網(wǎng)絡(luò)收斂速度較慢#65380;計(jì)算量太大的等缺點(diǎn)#65377;針對(duì)這些問題，本文提出了一種改進(jìn)算法，該算法不僅改善了語音編碼質(zhì)量，同時(shí)大大降低了碼書的訓(xùn)練時(shí)間#65377;

2SOFM網(wǎng)絡(luò)聚類算法分析

SOFM網(wǎng)絡(luò)也稱為Kohonen網(wǎng)絡(luò)#65377;Kohonen認(rèn)為，神經(jīng)網(wǎng)絡(luò)在接受外界輸入時(shí)，將會(huì)分成不同的區(qū)域，不同的區(qū)域?qū)Σ煌哪Ｊ骄哂胁煌捻憫?yīng)特征，同時(shí)這一過程是自動(dòng)完成的#65377;該網(wǎng)絡(luò)是一種具有側(cè)向聯(lián)想能力的神經(jīng)網(wǎng)絡(luò)，其輸出節(jié)點(diǎn)呈二維陣列分布#65377;輸出節(jié)點(diǎn)與其鄰域和其它節(jié)點(diǎn)廣泛互連，互相激勵(lì)，在穩(wěn)定時(shí)每一鄰域的所有節(jié)點(diǎn)對(duì)某種輸入具有類似的輸出，并且這種聚類的概率分布與輸入模式的概率分布相接近#65377;計(jì)算技術(shù)與自動(dòng)化2007年3月第26卷第1期譚建豪等:自組織特征映射網(wǎng)絡(luò)在壓縮編碼設(shè)計(jì)中的應(yīng)用

2.1輸入樣本模式

SOFM的輸入樣本模式一般為RN的矩陣，記作Xk，其中列數(shù)N為變量空間維數(shù)，行數(shù)R為樣本數(shù)#65377;輸入樣本模式以長度為N的行向量輸入到每個(gè)神經(jīng)元#65377;

2.2網(wǎng)絡(luò)結(jié)構(gòu)

SOFM包含一個(gè)輸入層和一個(gè)二維輸出層，在這些輸出層上，分布著離散的神經(jīng)元，這些神經(jīng)元即為信息吸引點(diǎn)#65377;對(duì)于每個(gè)神經(jīng)元，都有一個(gè)長度為N的權(quán)值向量#65377;這些權(quán)值向量不是用于相互連接神經(jīng)元，而是用于連接輸入信號(hào)和每個(gè)神經(jīng)元，信號(hào)之間的相似性即表現(xiàn)在這些權(quán)值上#65377;SOFM就是通過這種方式將輸入樣本模式按其信息的相似性組織到各自的類中，同類中的成員具有相近的權(quán)值，不同類之間的權(quán)值存在明顯差別#65377;根據(jù)Melssen's 1994年的研究，建議結(jié)構(gòu)圖中采用的神經(jīng)元數(shù)目可依照2Me

2.3相似性標(biāo)準(zhǔn)

在網(wǎng)絡(luò)智能化之前，必須預(yù)先定義相似函數(shù)以衡量輸入樣本模式和類之間的相似性，這樣相近的模式就被組織到同類中，不同的模式就擊中不同的類#65377;相似性越差，擊中的類之間的距離就越遠(yuǎn)#65377;目前比較常用的相似性檢測(cè)方法是Euclidean距離函數(shù)，其表達(dá)式為:式中:ξki(t)為正則化的輸入樣本模式;wkij(t)為權(quán)值#65377;

2.4輸入樣本模式正則化

由于輸入樣本模式中某些變量的變化或分布范圍比較大，這些變量將會(huì)完全主導(dǎo)模式識(shí)別結(jié)果，從而屏蔽了其他變量的影響，因此輸入樣本模式在輸入網(wǎng)絡(luò)之前必須進(jìn)行正則化處理#65377;其處理方式為:將

2.5網(wǎng)絡(luò)智能化

在進(jìn)行網(wǎng)絡(luò)智能化時(shí)，首先，對(duì)所有權(quán)值向量進(jìn)行隨機(jī)初始化#65377;然后，計(jì)算并比較相似距離函數(shù)，其中的一些相似性較好的神經(jīng)元被選為信息吸收中心點(diǎn)#65377;假設(shè)神經(jīng)元j被選為中心點(diǎn)，隨著智能化過程的反復(fù)進(jìn)行，j及其周邊神經(jīng)元的權(quán)值向量將依據(jù)式(7)被不斷更新#65377;

式中:η(t)為學(xué)習(xí)速率;rj(t)為邊境半徑;λ(rj(t))為邊境函數(shù)，通常所使用的邊境函數(shù)為方波函數(shù)或?qū)ΨQ三角函數(shù)#65377;

邊境rj(t)之外的權(quán)值向量保持不變#65377;當(dāng)所有的R個(gè)樣本都輸送到網(wǎng)絡(luò)之后，即完成了一次智能化過程，此時(shí)所有權(quán)值向量都收斂于穩(wěn)定值wkij#65377;如果還有新的輸入樣本模式則進(jìn)入下一次循環(huán)，直至所有輸入樣本模式被識(shí)別#65377;

2.6分析結(jié)果解釋

在完成網(wǎng)絡(luò)智能化之后，這些輸入樣本模式被依據(jù)其內(nèi)在的相關(guān)性被組織到結(jié)構(gòu)圖中，從而形成一定的空間結(jié)構(gòu)，因此我們必須對(duì)該結(jié)構(gòu)圖進(jìn)行物理意義上的解釋以尋求有用的信息#65377;通常的解釋方法有:

(1)計(jì)數(shù)圖 主要用于分析信息吸引點(diǎn)的空間拓?fù)?65377;統(tǒng)計(jì)每個(gè)神經(jīng)元被擊中的次數(shù)，然后描繪為二維或三維圖形，波峰處即為信息吸引中心點(diǎn)，也即我們所尋求的類#65377;

(2)距離圖 主要用于分析權(quán)值#65377;隨機(jī)選取一個(gè)神經(jīng)元作為原點(diǎn)，然后依據(jù)式(8)計(jì)算所有其他點(diǎn)與該點(diǎn)之間的距離，從而得到距離圖#65377;距離圖對(duì)于分析類之間的差異程度非常有用#65377;假設(shè)有神經(jīng)元j1#65380;j2，而神經(jīng)元j1被選為原點(diǎn)，則j1與j2之間的距離可表示為:

2.7反正則化

在確定了類之后，對(duì)各自類所對(duì)應(yīng)的權(quán)值向量進(jìn)行反正則化，即可獲得該類所代表的具體的變量取值范圍#65377;例如，神經(jīng)元為某一類的信心吸引中心，那么j中變量的反正則化處理方式可表示為:設(shè)

這樣，我們就可知道類j中，變量的平均值為ykij#65377;

3基于SOFM網(wǎng)絡(luò)的碼書設(shè)計(jì)

利用SOFM網(wǎng)絡(luò)設(shè)計(jì)碼書時(shí)，SOFM網(wǎng)絡(luò)由一個(gè)輸入層和一個(gè)輸出層組成，輸出層的節(jié)點(diǎn)是一個(gè)二維陣列，他們中的每個(gè)神經(jīng)元是輸出樣本的代表，每個(gè)輸入樣本模式通過權(quán)值和輸出層的每個(gè)節(jié)點(diǎn)(神經(jīng)元)相連#65377;該網(wǎng)絡(luò)的輸入節(jié)點(diǎn)個(gè)數(shù)和碼書維數(shù)相同，輸出節(jié)點(diǎn)個(gè)數(shù)等于碼書大小#65377;每個(gè)輸入節(jié)點(diǎn)通過可變權(quán)值與輸出節(jié)點(diǎn)相連，訓(xùn)練結(jié)束后，所有的權(quán)值就構(gòu)成碼書#65377;另外每個(gè)輸出節(jié)點(diǎn)都有一個(gè)隨時(shí)間變化的拓?fù)溧徲?，如圖1所示#65377;

圖1 輸出節(jié)點(diǎn)隨時(shí)間變化的拓?fù)溧徲騕JZ)]

4改進(jìn)的SOFM學(xué)習(xí)方法

基本的SOFM算法在選擇獲勝神經(jīng)元時(shí)需要計(jì)算輸入矢量和輸出矢量之間的歐氏距離，共 需要M次失真計(jì)算，那么N個(gè)輸入矢量需要進(jìn)行MN次失真計(jì)算，如果平均迭代次數(shù)為R，則共需要MNR次失真計(jì)算，計(jì)算量相當(dāng)大#65377;本文將引入一種改進(jìn)的SOFM網(wǎng)絡(luò)學(xué)習(xí)算法，以提高系統(tǒng)性能#65380;減少搜索時(shí)間#65377;其算法原理如下:

定義矢量各分量的和為矢量的和值#65377;設(shè)訓(xùn)練矢量Xki的和值為

因此，我們可從每次搜索獲勝神經(jīng)元前預(yù)先計(jì)算M個(gè)碼字的和值SYki j，j=1，2，…，M，并保存在碼書中#65377;在搜索 獲勝神經(jīng)元過程中，預(yù)先計(jì)算MD，然后判斷碼字Ykij的和值SY kij是否滿 足不等式(13)#65377;若滿足，則碼字Ykij可免去距離計(jì)算#65377;至此，改進(jìn)的SOFM學(xué) 習(xí)算法可描述為:

(1)初始化權(quán)值向量wkij(0);

(2)計(jì)算當(dāng)前碼書中個(gè)碼字Ykij的和值SYkij; (3)計(jì)算訓(xùn)練矢量Xki的和值SXki，Xki以并行方式輸入到每個(gè)神經(jīng)元;

(4)根據(jù)不等式(12)搜索與訓(xùn)練矢量Xki距離最小的神經(jīng)元，并按式(15)調(diào)整碼矢及其鄰域的權(quán)值:

5計(jì)算機(jī)仿真及結(jié)果分析

為了驗(yàn)證改進(jìn)的SOFM優(yōu)越性，我們把它應(yīng)用在800 B/s速率的IP電話語音編碼模型(圖3)的VQ編碼器中#65377;圖2的主要原理是利用編碼速率為2.4KB/s的LPC-10模型產(chǎn)生一個(gè)800 B/s編碼器模型，應(yīng)用矢量量化技術(shù)使用與原來相同的比特來傳輸3幀原編碼數(shù)據(jù)#65377;矢量編碼器的作用是編碼10個(gè)線性預(yù)測(cè)系數(shù)，其碼書大小為1024，即用10個(gè)比特來表示編碼索引，3個(gè)幀就用30個(gè)比特來表示#65377;碼書用10人(5男4女1小孩)大約30分鐘的隨機(jī)對(duì)話語音數(shù)據(jù)訓(xùn)練產(chǎn)生#65377; 圖2 IP電話語音壓縮編碼原理圖

用GLA算法和基本的SOFM算法及改進(jìn)的SOFM算法在計(jì)算機(jī)上對(duì)語音數(shù)據(jù)以22.5ms一幀的速率進(jìn)行訓(xùn)練#65377;我們來比較一下系統(tǒng)的性能和各種算法的訓(xùn)練時(shí)間#65377;

表1三種算法仿真結(jié)果比較

峰值信噪比(dB)信噪比(dB)訓(xùn)練時(shí)間

(s)GLA算法18.8315.6856基本的SOFM算法19.4517.0744改進(jìn)的SOFM算法19.9117.5213從仿真結(jié)果看，SOFM算法優(yōu)于基于窮盡搜索的GLA算法，而改進(jìn)的SOFM算法的訓(xùn)練時(shí)間要遠(yuǎn)低于基本的SOFM算法，系統(tǒng)性能也有較大提高#65377;

6結(jié)論

本文在基本的SOFM算法基礎(chǔ)上提出了一種改進(jìn)的SOFM算法，并把它應(yīng)用在語音壓縮編碼的碼書設(shè)計(jì)上，設(shè)計(jì)的碼書效果較好，節(jié)省了大量的訓(xùn)練時(shí)間#65377;通過計(jì)算機(jī)仿真實(shí)驗(yàn)，可以看出，改進(jìn)的SOFM算法比基本的SOFM算法在訓(xùn)練時(shí)間上有很大縮短，在語音合成質(zhì)量上也有一些提高，平均可以提高0.4dB左右#65377;

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文。