胡宏梅，別玉霞

(1.蘇州健雄職業(yè)技術(shù)學(xué)院人工智能學(xué)院，江蘇 太倉 215411；2.沈陽航空航天大學(xué)電子信息工程學(xué)院，遼寧 沈陽 110136)

1 粒子群算法的基本原理

粒子群優(yōu)化算法(Particle Swarm Optimization，PSO)是Kennedy 和Eberhart 受鳥群覓食的啟發(fā)而提出來的一種算法，將鳥群作為PSO 算法中的種群，每一只鳥相當(dāng)于PSO 算法中一個(gè)粒子，鳥的覓食過程看作為粒子迭代進(jìn)化過程，將鳥覓到的食物看作為PSO 算法欲求解問題的目標(biāo)，找到食物的鳥即為所有粒子所追隨的對(duì)象，即最優(yōu)解。PSO 算法模擬鳥之間的個(gè)性化學(xué)習(xí)和彼此協(xié)作交互，促使整個(gè)群體不斷搜索并向最優(yōu)解靠近，常用來解決一些優(yōu)化問題。

PSO 算法初始化為一群隨機(jī)粒子，而每個(gè)粒子對(duì)應(yīng)到優(yōu)化問題中都會(huì)得到一個(gè)適應(yīng)值，同時(shí)，粒子的移動(dòng)是通過不斷更新速度和位置完成的，而這兩個(gè)參數(shù)的更新是由當(dāng)前的最優(yōu)粒子和個(gè)體最優(yōu)值來決定的，通過跟蹤這兩個(gè)極值從而達(dá)到搜索最優(yōu)解的目的。

假設(shè)欲求解問題的目標(biāo)函數(shù)為:

記群體中粒子i的位置Xi＝(xi1，xi2，…，xin)，速度Vi＝(vi1，vi2，…，vin)，且該粒子所經(jīng)歷的最好位置記為Pi＝(pi1，pi2，…，pin)，整個(gè)群里所經(jīng)歷過的最好位置記為Pg＝(pg1，pg2，…，pgn)，則在跟蹤兩個(gè)極值移動(dòng)過程中，該粒子第t＋1 次迭代中速度和位置更新如式(2)所示:

式中:c1、c2為學(xué)習(xí)因子，也稱為加速常數(shù)；r1、r2是在(0，1)之間產(chǎn)生的隨機(jī)數(shù)；w為慣性權(quán)重；vij(t＋1)為粒子i在第t＋1 次迭代中第j維速度，vij∈[－vmax，vmax]，其中，vmax是常數(shù)，用來限定粒子的飛行速度。

速度更新公式中，包括了三個(gè)部分，第一部分是粒子i的慣性部分，反映出了粒子i的運(yùn)動(dòng)習(xí)慣，使其維持之前的運(yùn)動(dòng)速度，保證算法的全局搜索性；第二部分是認(rèn)知部分，讓粒子i能記住自己所經(jīng)歷過的最好位置，并向其不斷逼近的趨勢(shì)，具有一定的目標(biāo)性，防止隨機(jī)搜索而偏離最優(yōu)解；第三部分為社會(huì)部分，反映出粒子之間的協(xié)同合作性，使得粒子在保持自身移動(dòng)的同時(shí)還能關(guān)注全局最優(yōu)值，并向其移動(dòng)靠近，進(jìn)而能達(dá)到搜索全局最優(yōu)的目的。

粒子i所經(jīng)歷過的最好位置Pi是由式(3)確定:

而整個(gè)群體所經(jīng)歷過的最好位置Pg(t)由式(4)決定:

PSO 算法的基本流程如下:

步驟1 初始化種群大小為M，維數(shù)為n及參數(shù)c1、c2、r1、r2。

步驟2 初始化M個(gè)粒子的速度V＝{V1，V2，…，VM}和位置X＝{X1，X2，…，XM}。

步驟3 計(jì)算每個(gè)粒子所對(duì)應(yīng)的目標(biāo)函數(shù)f(Xi(t))，并根據(jù)式(3)和式(4)更新個(gè)體最優(yōu)Pi和全局最優(yōu)Pg。

步驟4 根據(jù)式(2)更新粒子的速度Vi(t)和位置Xi(t)。

步驟5 是否達(dá)到最大迭代次數(shù)或最大閾值，如果是，則結(jié)束算法，輸出全局最優(yōu)解；如果否，則跳到步驟3 繼續(xù)執(zhí)行。

2 粒子群算法中參數(shù)分析

PSO 算法中主要涉及到的參數(shù)有:學(xué)習(xí)因子c1、c2，慣性權(quán)重w以及最大速度等。

2.1 慣性權(quán)重的設(shè)置[1]

慣性權(quán)重w是PSO 算法中比較重要的參數(shù)之一，它的大小決定了本次迭代中粒子飛行速度受上次迭代中飛行速度影響的程度，也間接決定了粒子全局和局部的搜索能力。

分析可知，w取較大值有利于全局搜索，但增大算法開銷，降低算法效率；w取較小值有利于局部搜索，加速算法收斂，但容易陷入局部最優(yōu)，因此設(shè)置一個(gè)合適的w即可平衡全局和局部搜索能力，兼顧算法收斂速度和收斂精度，降低陷入局部最優(yōu)解的可能性，提高算法的整體性能。

Shi 等[2]通過一系列的實(shí)驗(yàn)，得出慣性權(quán)重函數(shù)的線性下降范圍為[0.9，0.4]，慣性權(quán)重范圍的確定使得粒子在搜索的前期能夠迅速明確最優(yōu)解所處的搜索范圍。根據(jù)慣性權(quán)重的變化，粒子的搜索速度和范圍也隨之變化，從而實(shí)現(xiàn)更加精確的搜索。但這種方法存在一個(gè)問題，即若粒子前期未能搜索到最優(yōu)位置，則后期隨著粒子全局搜索能力的下降，局部搜索能力的增強(qiáng)，則容易出現(xiàn)局部收斂，針對(duì)這一現(xiàn)象，提出了一種非線性慣性權(quán)重算法[3]，其表示為

式中:wstart和wend分別為慣性權(quán)重的起始值和終點(diǎn)值，即最大值和最小值，k為控制因子，控制著慣性權(quán)重隨迭代次數(shù)的變化，文獻(xiàn)中指出k的取值為3.0～4.0 時(shí)，算法所達(dá)到的效果較好。

如圖1 所示，當(dāng)?shù)螖?shù)在0 到200 之間時(shí)，慣性權(quán)重w從慢到快變化；而當(dāng)?shù)螖?shù)在250 以上時(shí)，慣性權(quán)重w由快到慢變化，故粒子在搜索前期無法保持較大的搜索范圍，后期的收斂速度也受到一定的影響，同時(shí)，兩者慣性權(quán)重的交接點(diǎn)即0.675也處于這個(gè)范圍內(nèi)，故在慣性權(quán)重近于交接點(diǎn)值時(shí)，可以通過增加迭代次數(shù)來擴(kuò)大粒子的搜索范圍。

圖1 線性和非線性慣性權(quán)重函數(shù)曲線

如圖2 所示，可以看出k的取值不同，慣性權(quán)重的結(jié)果也會(huì)受到影響，k＝0.5、1.5、3 和3.6 時(shí)，對(duì)應(yīng)的慣性權(quán)重如圖2 所示，當(dāng)k＝0.5 時(shí)，慣性權(quán)重取值較大，搜索范圍較為廣泛，不易搜索到最優(yōu)解；當(dāng)k＝1.5 時(shí)，慣性權(quán)重取值的前期變化較為緩慢，能夠獲得較大的搜索范圍，而后期慣性權(quán)重相對(duì)于k＝3 和3.6 時(shí)，減小得較為緩慢，很難在局部搜索中獲取最優(yōu)解。為了確保粒子在整個(gè)迭代過程中既能有效地進(jìn)行全局搜索，又能有效進(jìn)行局部搜索，讓粒子在前期能更精確獲得最優(yōu)解搜索范圍，后期能獲得最優(yōu)解，本文將采用非線性和線性相結(jié)合的方式來設(shè)置慣性權(quán)重，如式(7)所示:

圖2 k 取值不同時(shí)慣性權(quán)重的對(duì)比

2.2 學(xué)習(xí)因子的設(shè)置

學(xué)習(xí)因子c1使得粒子根據(jù)個(gè)體的歷史經(jīng)驗(yàn)向個(gè)體最優(yōu)解靠近，而c2則使得粒子通過個(gè)體間的相互協(xié)作引導(dǎo)著粒子向全局最優(yōu)方向靠近。

當(dāng)c1＝0、c2＝0 時(shí)，粒子只靠自身速度在進(jìn)行盲目搜索；當(dāng)c1≠0、c2＝0 時(shí)，粒子將失去與其他粒子間的協(xié)作關(guān)系，僅靠自身能力搜索整個(gè)空間，缺乏搜索指導(dǎo)，其他粒子的優(yōu)勢(shì)將無法體現(xiàn)，易陷入局部收斂；當(dāng)c1＝0、c2≠0 時(shí)，粒子的搜索主要依靠與其他個(gè)體間的相互協(xié)作，而缺少了對(duì)自身經(jīng)歷的學(xué)習(xí)，盲目跟隨群體中的最優(yōu)粒子，易錯(cuò)過最優(yōu)解。因此，只有對(duì)c1、c2進(jìn)行合理取值，才能使得粒子充分利用自身經(jīng)驗(yàn)和個(gè)體間協(xié)作有效搜索全局最優(yōu)解。

本文以線性權(quán)重和非線性權(quán)重的交接點(diǎn)約為0.675 為分界點(diǎn)，當(dāng)w大于等于交點(diǎn)時(shí)，則學(xué)習(xí)因子c1和c2分別取2.5 和0.5，而w小于交點(diǎn)時(shí)，學(xué)習(xí)因子c1和c2分別取0.5 和2.5，具體如式(8)所示:

2.3 最大速度vmax的設(shè)置

粒子群里的粒子速度主要是用來控制粒子在搜索空間中的移動(dòng)距離。通常，粒子速度越大，其每次搜索跨越度就越大，全局搜索能力就越強(qiáng)。但如果粒子最大速度設(shè)置過大，在提高其全局搜索能力的同時(shí)也提高了粒子的自由度，這樣容易使粒子跳過最優(yōu)解，很難搜索到全局最優(yōu)；反之，如果粒子最大速度設(shè)置過小，每次迭代粒子在空間中移動(dòng)就相對(duì)緩慢，局部搜索能力增強(qiáng)，全局搜索能力變?nèi)?，粒子容易陷入局部最?yōu)。vmax的選擇通常憑經(jīng)驗(yàn)給定，并一般設(shè)定為問題空間的10%～20%。

3 粒子群算法的應(yīng)用

3.1 語音識(shí)別原理[4－6]

如圖3 所示，首先將語音信號(hào)分成訓(xùn)練語音和識(shí)別語音，然后進(jìn)行預(yù)處理和特征參數(shù)提取，得到兩組隨機(jī)向量序列；接著通過矢量量化器把兩組隨機(jī)向量序列轉(zhuǎn)化成兩組觀測(cè)序列，一組用于訓(xùn)練DHMM 模型，一組用于識(shí)別，最后利用Viterbi 算法計(jì)算測(cè)試觀測(cè)序列在每個(gè)DHMM 上的輸出概率，輸出概率最大的詞就是識(shí)別結(jié)果。而本文所做工作對(duì)應(yīng)的是圖3 識(shí)別過程中矢量量化里的碼書設(shè)計(jì)。

圖3 語音識(shí)別方法

3.2 編碼方式

從一段語音中提取M個(gè)特征矢量作為矢量量化碼書設(shè)計(jì)的訓(xùn)練矢量，其維數(shù)為k，而碼書大小為N。粒子群算法采用的是基于碼書的編碼方式，每個(gè)編碼和可行解相互對(duì)應(yīng)，每個(gè)粒子對(duì)應(yīng)一個(gè)碼書，即每個(gè)粒子對(duì)應(yīng)具有N個(gè)碼字的碼書。在這種編碼方式下，每個(gè)粒子都是由N個(gè)聚類中心(碼字)組成，故每個(gè)粒子的速度Vi和Xi位置都是N×k維矢量，均可表示為:

3.3 初始粒子的設(shè)置

數(shù)據(jù)維數(shù)為k，給定n個(gè)粒子，最大迭代次數(shù)為Tmax。最初將訓(xùn)練矢量任意歸類，隨后將采用最近鄰條件和質(zhì)心條件獲取初始粒子。初始化中，粒子i的位置矢量即為矢量量化碼書的胞腔質(zhì)心，其速度矢量可隨機(jī)初始化為0，按照此過程循環(huán)n次，即可產(chǎn)生n個(gè)粒子速度和位置矢量。

3.4 適應(yīng)度函數(shù)

在矢量量化碼書設(shè)計(jì)中，通常采用類內(nèi)、類間離散度以及矢量不均勻來衡量碼書設(shè)計(jì)算法的性能，本文采用類內(nèi)離散度的倒數(shù)作為適應(yīng)度函數(shù)。設(shè)訓(xùn)練矢量為Z＝{z1，z2，z3，…，zM}，利用適應(yīng)度函數(shù)確定最佳劃分，將訓(xùn)練矢量聚類到每個(gè)胞腔中形成最終碼書為Y＝{y1，y2，y3，…，yN}。式(11)給出了類內(nèi)離散度J的求解方法:

式中:d(zi，yj)為胞腔i內(nèi)所有訓(xùn)練矢量到其質(zhì)心的距離，ziεRj表示胞腔j內(nèi)的所有訓(xùn)練矢量。

類間離散度是指碼書中各胞腔質(zhì)心間的距離，其值越大，說明收斂性能越好，碼書質(zhì)量越高，其計(jì)算公式如式(13)所示:

式中:yi和yj分別是指第i、j胞腔的質(zhì)心，T為轉(zhuǎn)置。

適應(yīng)度函數(shù)采用類內(nèi)離散度的倒數(shù)表示，用f表示，如式(14)所示，c為一個(gè)調(diào)節(jié)常數(shù)。由適應(yīng)度函數(shù)可知，類內(nèi)離散度越小，則適應(yīng)度值越大，碼書質(zhì)量性能越好。

3.5 優(yōu)化粒子群算法的應(yīng)用[7－11]

為了避免算法陷入局部最優(yōu)及過早收斂等問題，本文將引入柯西變異策略以改進(jìn)算法的收斂速度和收斂精度等問題。

柯西變異公式如式(15)所示，其中CM 為柯西變異算子，rand 為均勻分布在(0，1)范圍內(nèi)的任意實(shí)數(shù)。

若粒子的種群規(guī)模為N，f()代表第t次迭代中第i個(gè)粒子的適應(yīng)度表示第t次迭代中粒子群適應(yīng)度的平均值，根據(jù)式(15)計(jì)算粒子群的聚集度δ，當(dāng)f()距離偏差越大時(shí)，δ值越大，說明群多樣性越好；當(dāng)f()距離偏差越小時(shí)，δ值則越小，說明群多樣性越差。

當(dāng)δ

步驟1 算法初始化。從一段語音中按要求提取M個(gè)訓(xùn)練矢量Z＝{z1，z2，z3，…，zM}，其中，zi為k維矢量。將其隨機(jī)劃分聚類，得到初始碼書，每個(gè)碼書有N個(gè)碼字，將此步驟循環(huán)L次，生成L個(gè)初始碼書，作為粒子群中L個(gè)粒子的初始位置X＝{x1，x2，x3，…，xL}，粒子的初始速度V＝{v1，v2，v3，…，vL}、個(gè)體極值Pi和全局極值Pg設(shè)置為0。

步驟2 參照式(1)和式(2)更新粒子速度和位置，計(jì)算并比較其適應(yīng)值，記錄下此次循環(huán)中所有粒子經(jīng)歷的最好位置及其適應(yīng)值，與全局極值Pg相比較，若適應(yīng)度小于Pg時(shí)的適應(yīng)度，則更新全局極值Pg；同時(shí)，記錄此次循環(huán)中每個(gè)粒子所經(jīng)歷的最好位置及其適應(yīng)值，將其與自身個(gè)體極值Pi相比較，若適應(yīng)值小于自身Pi所對(duì)應(yīng)的適應(yīng)值，則更新該粒子的個(gè)體極值Pi，更新公式參照式(3)和式(4)。

步驟3 計(jì)算粒子群的聚集度δ和柯西變異算子CM，比較兩者大小，當(dāng)δ

步驟4 根據(jù)最近鄰劃分原則，以粒子的更新位置為質(zhì)心，重新將訓(xùn)練矢量進(jìn)行劃分聚類。聚類完成后，根據(jù)聚類結(jié)果更新確定新的質(zhì)心，形成新的碼書，計(jì)算類間離散度。

步驟5 當(dāng)算法達(dá)到最大迭代次數(shù)或最大閾值要求時(shí)，算法結(jié)束，比較類間離散度，輸出最優(yōu)碼書，否則，t＝t＋1，轉(zhuǎn)到步驟2。

4 實(shí)驗(yàn)結(jié)果

本文在MATLAB 平臺(tái)上運(yùn)行，選取一段長(zhǎng)60 s的語音信號(hào)，其中選取40 s 語音作為訓(xùn)練信號(hào)，20 s語音作為測(cè)試信號(hào)，采樣頻率FS 為8000 次/s，采樣精度NBITS 為16 位精度的采樣，幀長(zhǎng)frame 為160，采樣點(diǎn)sample 為500。

算法中的參數(shù)選取源于經(jīng)驗(yàn)值，粒子數(shù)N＝30，c1、c2取值見式(8)，慣性權(quán)重w的選取依據(jù)式(7)，wmax取為0.9，wmin取為0.4。本文將從收斂性和重構(gòu)信號(hào)兩個(gè)方面對(duì)比兩種算法的不同。

如圖4 和圖5 所示，收斂性對(duì)比:在codebook 為512 時(shí)，迭代次數(shù)為20，此時(shí)，標(biāo)準(zhǔn)PSO 出現(xiàn)了過早收斂現(xiàn)象，且全局最優(yōu)值(距離)取值很大，收斂最小值為506.734 8，未達(dá)到收斂要求，而改進(jìn)后的PSO 在迭代次數(shù)＝20 時(shí)依然在遍歷搜索，未完成收斂，全局最優(yōu)值(距離)取值最小為49.594 9；在codebook 為1 024 時(shí)，迭代次數(shù)為31，兩個(gè)算法均呈現(xiàn)逐步收斂，但標(biāo)準(zhǔn)PSO 收斂最小值為43.577 7，而改進(jìn)后的PSO 收斂最小值卻達(dá)到了0.832 4，接近原始信號(hào)提取的特征值。

圖4 codebook＝512 時(shí)

圖5 codebook＝1 024 時(shí)

重構(gòu)信號(hào)對(duì)比:通過標(biāo)準(zhǔn)PSO 和改進(jìn)后的PSO兩個(gè)算法對(duì)原始信號(hào)進(jìn)行量化重構(gòu)，重構(gòu)后的信號(hào)波形如圖6 所示，標(biāo)準(zhǔn)PSO 重構(gòu)后的信號(hào)相對(duì)于原始信號(hào)丟了部分?jǐn)?shù)據(jù)，改進(jìn)后的PSO 重構(gòu)后的信號(hào)雖然出現(xiàn)了雜波，但整體信號(hào)特征保留，同時(shí)，通過人的聽覺感知兩個(gè)信號(hào)的不同，標(biāo)準(zhǔn)PSO 重構(gòu)后的信號(hào)丟失了部分信息，導(dǎo)致聽起來邊界不清，內(nèi)容不易理解，而改進(jìn)后的PSO 重構(gòu)后的信號(hào)雖出現(xiàn)“吱吱啦啦”的聲音，但語音內(nèi)容容易理解。

圖6 語音信號(hào)重構(gòu)對(duì)比

5 結(jié)論

粒子群優(yōu)化算法是受鳥群覓食的啟發(fā)而提出的一種群智能優(yōu)化算法，常被用于解決多目標(biāo)優(yōu)化問題。本文將粒子群算法用于語音信號(hào)識(shí)別中，為了提升信號(hào)識(shí)別質(zhì)量，提出一種柯西變異和粒子群聚集度混合擾動(dòng)方法改進(jìn)標(biāo)準(zhǔn)粒子群算法，實(shí)現(xiàn)當(dāng)粒子群聚集度小于柯西變異算子時(shí)，則認(rèn)為此時(shí)粒子群多樣性欠缺，通過變異當(dāng)局最優(yōu)值擾動(dòng)粒子聚類，避免粒子的過早收斂，增加全局遍歷性，實(shí)驗(yàn)結(jié)果從兩個(gè)方面驗(yàn)證了改進(jìn)粒子群算法的性能，證明了其有效性和改善度。