侯俊龍,潘文林,王 璐,何翠玲,王 翠

(云南民族大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,云南 昆明 650500)

語(yǔ)言是人類(lèi)進(jìn)行思想交流、情感傳達(dá)最為重要的工具,是文化傳承與發(fā)展的重要載體,而語(yǔ)音作為語(yǔ)言的聲學(xué)表現(xiàn)形式,對(duì)豐富和發(fā)展中國(guó)傳統(tǒng)文化起著至關(guān)重要的作用.近年來(lái),隨著深度學(xué)習(xí)逐步發(fā)展成為語(yǔ)音識(shí)別領(lǐng)域的研究熱點(diǎn),越來(lái)越多的基于深度學(xué)習(xí)的語(yǔ)音識(shí)別技術(shù)也得到了高速發(fā)展.百度使用的基于神經(jīng)網(wǎng)絡(luò)的端到端模型能夠高效的識(shí)別出英語(yǔ)或普通話(huà)[1]；谷歌提出的無(wú)界交錯(cuò)狀態(tài)遞歸神經(jīng)網(wǎng)絡(luò)能以92%的準(zhǔn)確率識(shí)別出每個(gè)人的聲音[2].雖然該技術(shù)取得了先進(jìn)性的進(jìn)展,但到目前為止,所做的工作大多集中于漢語(yǔ)、英語(yǔ)等國(guó)際主流語(yǔ)言,在少數(shù)民族語(yǔ)言方面的研究仍屈指可數(shù),這也使得該技術(shù)距離廣泛的應(yīng)用尚存在很大差距,該文選用無(wú)本民族文字的普米語(yǔ)作為研究對(duì)象,開(kāi)展少數(shù)民族語(yǔ)言的孤立詞語(yǔ)音高效識(shí)別研究.隨著科技的不斷發(fā)展,語(yǔ)言的衰退和消亡在所難免.解魯云[3]研究發(fā)現(xiàn),普米族是我國(guó)曾經(jīng)有著不斷遷徙歷史的人口較少、呈雜居分布的少數(shù)民族,該民族沒(méi)有統(tǒng)一的文字,但有其獨(dú)立的語(yǔ)言-普米語(yǔ).其發(fā)展與傳承歷代以來(lái)均依賴(lài)于口耳相傳,并且該民族與漢族在雜居中逐漸吸收和順應(yīng)漢民族文化,使得普米語(yǔ)正逐步走向消亡.為更好的保護(hù)和發(fā)展正處于瀕危狀態(tài)的普米族語(yǔ)言,我國(guó)研究員正努力的探尋有效方法及途徑.為瀕臨滅絕的普米語(yǔ)建立語(yǔ)音語(yǔ)料庫(kù),開(kāi)展普米語(yǔ)孤立詞識(shí)別研究是解決瀕危語(yǔ)言問(wèn)題最為有效的方法.

現(xiàn)有的普米語(yǔ)孤立詞識(shí)別研究工作大多是利用傳統(tǒng)的深度學(xué)習(xí)方法對(duì)普米語(yǔ)孤立詞進(jìn)行識(shí)別,主要的研究工作有：李余芳等[4]通過(guò)建立HMM模型,然后采用Viterbi算法對(duì)普米語(yǔ)孤立詞進(jìn)行識(shí)別,其識(shí)別精度超過(guò)了95%.胡文君等[5]為提高普米語(yǔ)語(yǔ)音識(shí)別系統(tǒng)的性能,通過(guò)引入深度學(xué)習(xí)模型對(duì)普米語(yǔ)語(yǔ)音展開(kāi)研究發(fā)現(xiàn),基于深度學(xué)習(xí)的語(yǔ)音識(shí)別具有比其他模型更強(qiáng)的魯棒性.楊花等[6]對(duì)支持向量機(jī)中的懲罰參數(shù)和核函數(shù)參數(shù)使用粒子群算法進(jìn)行優(yōu)化,然后將其用于普米語(yǔ)語(yǔ)譜圖識(shí)別,其實(shí)驗(yàn)發(fā)現(xiàn)基于最優(yōu)參數(shù)的分類(lèi)準(zhǔn)確率達(dá)到89.8%.不難看出,普米語(yǔ)孤立詞識(shí)別研究取得了一定的成果,但識(shí)別精度仍相對(duì)較低,尚未達(dá)到可用程度.人們?yōu)榱颂岣咂彰渍Z(yǔ)孤立詞識(shí)別的性能,開(kāi)始不斷的增加模型復(fù)雜度,王翠等[7]將卷積神經(jīng)網(wǎng)絡(luò)的AlexNet模型用于佤語(yǔ)語(yǔ)譜圖識(shí)別,其實(shí)驗(yàn)表明利用AlexNet模型對(duì)語(yǔ)譜圖進(jìn)行識(shí)別可有效避免清、濁音的干擾,識(shí)別精度高達(dá)96%.復(fù)雜模型固然具有更好的性能,但該模型也帶來(lái)了更多的計(jì)算資源消耗和更長(zhǎng)的訓(xùn)練時(shí)間等問(wèn)題,使得神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成本變得越來(lái)越高,如何讓神經(jīng)網(wǎng)絡(luò)得到高效快速的訓(xùn)練也逐漸地成為了語(yǔ)音識(shí)別領(lǐng)域亟待處理的問(wèn)題.

近來(lái)麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室的研究人員發(fā)現(xiàn)任何1個(gè)密集的、隨機(jī)初始化的前饋神經(jīng)網(wǎng)絡(luò)都包含著稀疏的子網(wǎng)絡(luò),這些網(wǎng)絡(luò)能夠通過(guò)保留初始權(quán)重,從零開(kāi)始以與原網(wǎng)絡(luò)同樣的速度進(jìn)行相應(yīng)的精度訓(xùn)練[8].本文為有效降低神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成本、加速模型訓(xùn)練,選用無(wú)本民族文字的普米語(yǔ)作為研究對(duì)象,將卷積神經(jīng)網(wǎng)絡(luò)中的AlexNet模型利用迭代剪枝算法以逐層剪枝的方式進(jìn)行修剪,然后從生成的稀疏網(wǎng)絡(luò)中探索一個(gè)具有比原網(wǎng)絡(luò)更快學(xué)習(xí)速度的剪枝網(wǎng)絡(luò)用于普米語(yǔ)語(yǔ)譜圖識(shí)別.

1 相關(guān)工作

目前,在深度學(xué)習(xí)研究領(lǐng)域大致有2個(gè)研究派別：一派為了追求更高的模型精度,不斷的擴(kuò)充神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)[9]或神經(jīng)元數(shù)量[10],通過(guò)將模型變得更為復(fù)雜,來(lái)使得神經(jīng)網(wǎng)絡(luò)具有更高的精度.另一派則旨在將模型高效、穩(wěn)定的部署于設(shè)備.但是,隨著神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的日趨復(fù)雜,網(wǎng)絡(luò)的訓(xùn)練成本也變得越來(lái)越高,這些均使得復(fù)雜模型很難在設(shè)備上有效的部署.從模型壓縮[11]與優(yōu)化加速[12]的研究工作中發(fā)現(xiàn),神經(jīng)網(wǎng)絡(luò)剪枝技術(shù)能夠在保持模型精度的前提下刪除那些對(duì)模型最終輸出影響不大的參數(shù).

近年來(lái),普遍使用的神經(jīng)網(wǎng)絡(luò)剪枝技術(shù)可以分為2類(lèi)：神經(jīng)元剪枝[13-14]、權(quán)值連接剪枝[15].神經(jīng)元剪枝是選擇某種評(píng)價(jià)指標(biāo)來(lái)度量神經(jīng)元的貢獻(xiàn)度,剪除那些對(duì)模型最終輸出貢獻(xiàn)度較低的神經(jīng)元或卷積核,該方法可使神經(jīng)網(wǎng)絡(luò)變得更“瘦”.其次,權(quán)值連接剪枝是通過(guò)從訓(xùn)練好的網(wǎng)絡(luò)中剪除那些具有較小權(quán)重的連接,最終使神經(jīng)網(wǎng)絡(luò)變得更為“稀疏”,該方法相比于神經(jīng)元剪枝,信息丟失相對(duì)較少,對(duì)模型的精度影響不大.

在早期,剪枝算法被廣泛應(yīng)用于模型壓縮等問(wèn)題,文獻(xiàn)[16]通過(guò)訓(xùn)練網(wǎng)絡(luò)來(lái)學(xué)習(xí)網(wǎng)絡(luò)中連接的重要性,然后在不影響模型精度的前提下,修剪那些不太重要的連接,將AlexNet模型中近6 100萬(wàn)的參數(shù)減少到670萬(wàn),模型被壓縮將近90%.彭冬亮教授[17]所提出的閾值剪枝算法通過(guò)訓(xùn)練網(wǎng)絡(luò)和修剪較低權(quán)重連接和再訓(xùn)練網(wǎng)絡(luò)可以減少GoogLeNet中近94%的參數(shù),并且經(jīng)過(guò)較少的迭代次數(shù)以后,修剪后的網(wǎng)絡(luò)具有與原網(wǎng)絡(luò)相似的精度,模型壓縮取得了較為顯著的效果.受到這些研究成果的啟發(fā),將采用迭代剪枝算法從1個(gè)隨機(jī)初始化的前饋神經(jīng)網(wǎng)絡(luò)中逐層修剪那些具有較小權(quán)重的連接,從生成的稀疏網(wǎng)絡(luò)中尋找1個(gè)具有比原網(wǎng)絡(luò)更快學(xué)習(xí)速度的稀疏網(wǎng)絡(luò),并將其用于普米語(yǔ)語(yǔ)譜圖識(shí)別,探索迭代剪枝算法在普米語(yǔ)孤立詞識(shí)別中的加速效果.

2 剪枝原理

2.1 “迭代剪枝”算法

“迭代剪枝”用于從原始網(wǎng)絡(luò)中生成不同修剪程度的稀疏網(wǎng)絡(luò),算法具體描述如下：

Step 1 隨機(jī)初始化一個(gè)前饋神經(jīng)網(wǎng)絡(luò)f(x;θ),并構(gòu)造1個(gè)與θ相同維數(shù)的mask矩陣M=1|θ|；

Step 2 訓(xùn)練神經(jīng)網(wǎng)絡(luò)f(x;θ⊙M)的參數(shù)k次直至模型收斂,保存最終權(quán)重矩陣Wk；

Step 3 將各層權(quán)重按絕對(duì)值大小進(jìn)行排序,把排序后權(quán)重矩陣中的前p%參數(shù)所對(duì)應(yīng)的mask設(shè)置為0,其余(1-p)%參數(shù)所對(duì)應(yīng)的mask設(shè)置為1,更新mask矩陣M為M′；

Step 4 利用mask矩陣M′生成稀疏網(wǎng)絡(luò)權(quán)重矩陣W′=W⊙M′；

Step 5 將W′中剩余的非0參數(shù)重置為初始值并重新訓(xùn)練經(jīng)剪枝生成的稀疏網(wǎng)絡(luò)；

Step 6 迭代進(jìn)行Step 3～Step 5,直至生成1個(gè)充分修剪的稀疏網(wǎng)絡(luò).

2.2 “迭代剪枝”流程

過(guò)參數(shù)化神經(jīng)網(wǎng)絡(luò)雖然具有很好的性能,但其應(yīng)用常因內(nèi)存消耗過(guò)大、訓(xùn)練速度緩慢等情況而受到限制.剪枝作為解決這類(lèi)網(wǎng)絡(luò)難以訓(xùn)練等問(wèn)題的一項(xiàng)關(guān)鍵技術(shù),能夠有效的加速模型訓(xùn)練.迭代剪枝分為4個(gè)階段：首先,隨機(jī)初始化1個(gè)過(guò)參數(shù)化網(wǎng)絡(luò)并訓(xùn)練直至收斂；其次,按一定比率逐層修剪較低權(quán)重；接著重新訓(xùn)練經(jīng)剪枝生成的稀疏網(wǎng)絡(luò)；最后反復(fù)進(jìn)行上2步中的剪枝及再訓(xùn)練操作,直至生成1個(gè)充分修剪的稀疏網(wǎng)絡(luò).

2.3 剪枝前后神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

深度神經(jīng)網(wǎng)絡(luò)通常是密集連接的全連接網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)中的神經(jīng)元按接受信息的先后可依次分為輸入層、隱藏層和輸出層.在未進(jìn)行剪枝操作前,網(wǎng)絡(luò)中后一層的各個(gè)神經(jīng)元均與前一層的每個(gè)神經(jīng)元相連,其網(wǎng)絡(luò)結(jié)構(gòu)如圖1(a)所示.近年來(lái),網(wǎng)絡(luò)剪枝研究成果顯示,在密集連接的神經(jīng)網(wǎng)絡(luò)中,存在大部分連接對(duì)模型的最終輸出貢獻(xiàn)不大,可以在保持模型精度的前提下修剪那些對(duì)模型貢獻(xiàn)度不大的連接.深度神經(jīng)網(wǎng)絡(luò)經(jīng)剪枝后,原先密集連接的神經(jīng)網(wǎng)絡(luò)就變成了稀疏網(wǎng)絡(luò),生成的稀疏網(wǎng)絡(luò)結(jié)構(gòu)如圖1(b)所示,后一層的神經(jīng)元不再與前一層的各個(gè)神經(jīng)元均相連,后一層的部分神經(jīng)元甚至不再有信息輸入,這些使得網(wǎng)絡(luò)的規(guī)模得以大幅度縮減、網(wǎng)絡(luò)間的計(jì)算量大大降低,進(jìn)而實(shí)現(xiàn)模型的加速訓(xùn)練.

3 “迭代剪枝”算法實(shí)現(xiàn)

“迭代剪枝”的任務(wù)是以迭代的方式逐層的修剪網(wǎng)絡(luò)中較低的權(quán)值連接,最后從生成的稀疏網(wǎng)絡(luò)中尋找一個(gè)最佳的剪枝網(wǎng)絡(luò),我們將該問(wèn)題表述為：

(W1,W2,…,Wl)*=arg minL(A(W1,W2,…,Wl).

(1)

其中A表示剪枝前網(wǎng)絡(luò),我們?cè)噲D通過(guò)迭代剪枝找到一組最佳稀疏權(quán)重(W1,W2,…,Wl)*使模型的訓(xùn)練損失最小.為此,我們通過(guò)隨機(jī)初始化1個(gè)神經(jīng)網(wǎng)絡(luò)f(x;θ)并進(jìn)行如下操作.

(2)

2) 模型采用隨機(jī)梯度下降法來(lái)訓(xùn)練1組使R(W)最小的參數(shù)W(l).在每次梯度下降迭代中,第l層參數(shù)W(l)的學(xué)習(xí)更新方式如(式3)所示.

(3)

3) 保存模型最終訓(xùn)練得到的各層權(quán)重W(l)并構(gòu)造1個(gè)與W(l)相同維數(shù)的二元mask矩陣M(l)=1|θ|,如(式4)所示.

(4)

(5)

5) 將mask矩陣M中與所選權(quán)重對(duì)應(yīng)位置的值設(shè)為0, mask矩陣變?yōu)镸′,如(式6)所示.

(6)

6) 使用mask矩陣M′生成稀疏矩陣W′,其中{wi,j|mi,j=0}被設(shè)置為0,如(式7)所示.

(7)

7) 迭代進(jìn)行4)～6).

4 AlexNet模型

AlexNet模型是在LeNet的基礎(chǔ)上通過(guò)堆疊3個(gè)卷積層和1個(gè)匯聚層而成的第1個(gè)現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò),該模型總共有8個(gè)可訓(xùn)練層,其中包含5個(gè)卷積層和3個(gè)全連接層,具有多達(dá)上千萬(wàn)的待訓(xùn)練參數(shù).模型中的卷積層可看成是特征提取層,而全連接層則看作是特征映射層.在模型最后1層采用softmax激活函數(shù)對(duì)普米語(yǔ)語(yǔ)譜圖進(jìn)行分類(lèi),卷積層與全連接層均使用relu激活函數(shù).為加速模型收斂,還在該模型的每個(gè)卷積層之后都加入1個(gè)批量歸一化(batch normalization, BN)層,其網(wǎng)絡(luò)結(jié)構(gòu)及其參數(shù)如圖2所示.

圖中Input表示輸入層,輸入的是100×100×3的圖像；conv1表示第1個(gè)卷積層,使用96個(gè)11×11的卷積核,s=4表示步長(zhǎng)；MaxPooling表示匯聚層,在該模型中均采用大小為3×3的最大匯聚,Flatten表示展平層,常用于將多維輸入一維化；fc表示全連接層.

5 實(shí)驗(yàn)

在本節(jié)中,我們將驗(yàn)證經(jīng)迭代剪枝生成的稀疏網(wǎng)絡(luò)在普米語(yǔ)語(yǔ)譜圖識(shí)別上的性能.第1,給出普米語(yǔ)孤立詞識(shí)別的流程；第2,介紹如何自建數(shù)據(jù)集；第3,對(duì)實(shí)驗(yàn)設(shè)置的參數(shù)進(jìn)行了說(shuō)明；第4,分別在AlexNet原網(wǎng)絡(luò)與剪枝網(wǎng)絡(luò)中對(duì)普米語(yǔ)孤立詞進(jìn)行識(shí)別；最后,比較不同的剪枝策略并說(shuō)明迭代剪枝的優(yōu)勢(shì).

5.1 普米語(yǔ)孤立詞識(shí)別流程

普米語(yǔ)孤立詞識(shí)別的流程大致如圖3所示,首先通過(guò)對(duì)采集的原始聲音語(yǔ)料經(jīng)預(yù)處理轉(zhuǎn)換為語(yǔ)譜圖,然后由其組成數(shù)據(jù)集輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行模型訓(xùn)練,最后給出識(shí)別結(jié)果.

5.2 自建數(shù)據(jù)集

1) 實(shí)驗(yàn)選用無(wú)文字的普米語(yǔ)作為研究對(duì)象,首先從漢文詞庫(kù)中挑選600個(gè)孤立詞,由3個(gè)會(huì)說(shuō)普米語(yǔ)的人分別在錄音棚環(huán)境下錄制語(yǔ)音,每個(gè)孤立詞讀8遍,得到14 400條語(yǔ)音語(yǔ)料.

2) 在錄制得到普米語(yǔ)孤立詞語(yǔ)音語(yǔ)料后,尚且不能直接將采集到的原始聲音語(yǔ)料用于模型訓(xùn)練或測(cè)試,一個(gè)重要的工作是對(duì)每條語(yǔ)音語(yǔ)料進(jìn)行歸類(lèi)整理,最后生成600類(lèi)帶標(biāo)簽的孤立詞語(yǔ)音語(yǔ)料.

3) 由于聲音是隨時(shí)間變化而變化的短時(shí)平穩(wěn)信號(hào),所以可以對(duì)普米語(yǔ)孤立詞語(yǔ)音在每個(gè)時(shí)刻連續(xù)的進(jìn)行短時(shí)傅里葉變換將其轉(zhuǎn)換為短時(shí)譜(又稱(chēng)語(yǔ)譜圖),經(jīng)變換生成的語(yǔ)譜圖如圖4所示,最終由這14 400張100×100×3的普米語(yǔ)孤立詞語(yǔ)譜圖組成數(shù)據(jù)集.

4) 數(shù)據(jù)集生成以后,還需將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.結(jié)合對(duì)本文數(shù)據(jù)集規(guī)模大小的考慮,我們隨機(jī)選取整個(gè)數(shù)據(jù)集中每一類(lèi)的50%將其標(biāo)記為訓(xùn)練集,20%標(biāo)記為驗(yàn)證集,其余的30%標(biāo)記為測(cè)試集.

5) 數(shù)據(jù)集劃分完成后,為便于神經(jīng)網(wǎng)絡(luò)讀取數(shù)據(jù),將數(shù)據(jù)集及標(biāo)簽分別轉(zhuǎn)化為Numpy數(shù)組文件,模型訓(xùn)練時(shí)通過(guò)直接讀取生成的文件來(lái)獲取樣本特征及其標(biāo)簽.

5.3 設(shè)置實(shí)驗(yàn)參數(shù)

在模型開(kāi)始訓(xùn)練前,先將模型參數(shù)設(shè)置為：訓(xùn)練輪數(shù)為1 500輪,批次大小為128,每層剪枝比率為β=15%,迭代剪枝次數(shù)為15次,選擇隨機(jī)梯度下降法(SGD)作為參數(shù)學(xué)習(xí)更新的方法,SGD中的學(xué)習(xí)率α設(shè)置為0.001 2,動(dòng)量μ為0.9,模型選用交叉熵?fù)p失函數(shù),并且為了減小模型在數(shù)據(jù)集上的過(guò)擬合現(xiàn)象,模型還加入l2正則化項(xiàng).

5.4 AlexNet模型剪枝結(jié)果分析

為驗(yàn)證經(jīng)迭代剪枝算法生成的稀疏網(wǎng)絡(luò)在普米語(yǔ)語(yǔ)譜圖識(shí)別中的性能,利用卷積神經(jīng)網(wǎng)絡(luò)中的AlexNet模型在自建數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn).首先,隨機(jī)初始化1個(gè)AlexNet模型并訓(xùn)練其直至收斂,然后采用上文所述的迭代剪枝算法以逐層剪枝的方式修剪網(wǎng)絡(luò)15次,每次修剪完成后都將剩余參數(shù)重置為初始值并再訓(xùn)練剪枝后網(wǎng)絡(luò)相同的輪數(shù).每次剪枝生成的稀疏網(wǎng)絡(luò)在驗(yàn)證集和測(cè)試集上的正確率隨剪枝次數(shù)的變化情況如圖5所示,由圖中曲線(xiàn)變化可見(jiàn),隨著剪枝次數(shù)的增加,網(wǎng)絡(luò)中剩余的參數(shù)量逐漸減少,這將使網(wǎng)絡(luò)計(jì)算量得以大幅度地減少,網(wǎng)絡(luò)的泛化能力得到顯著提高.神經(jīng)網(wǎng)絡(luò)從隨機(jī)初始化開(kāi)始至剪枝9次期間,剪枝網(wǎng)絡(luò)的準(zhǔn)確率均達(dá)到了與原網(wǎng)絡(luò)類(lèi)似的精度,后面再接著對(duì)網(wǎng)絡(luò)剪枝發(fā)現(xiàn)剪枝網(wǎng)絡(luò)在驗(yàn)證集與測(cè)試集上的精度開(kāi)始逐漸下降.

迭代剪枝完成后,從生成的稀疏網(wǎng)絡(luò)中尋找1個(gè)最佳的剪枝網(wǎng)絡(luò).實(shí)驗(yàn)中選取剪枝7次后生成的稀疏網(wǎng)絡(luò)為最佳剪枝網(wǎng)絡(luò),這時(shí)網(wǎng)絡(luò)中剩余的參數(shù)僅占原網(wǎng)絡(luò)的32.06%.在得到最佳剪枝網(wǎng)絡(luò)后,再在訓(xùn)練集上分別訓(xùn)練AlexNet原始網(wǎng)絡(luò)和搜尋到的最佳剪枝網(wǎng)絡(luò),并在測(cè)試集上評(píng)估它們的性能,剪枝前后網(wǎng)絡(luò)在驗(yàn)證集上的正確率及損失變化情況如圖6所示.由圖6(a)可見(jiàn),AlexNet剪枝網(wǎng)絡(luò)經(jīng)過(guò)近450輪迭代訓(xùn)練后開(kāi)始逐漸收斂,而原網(wǎng)絡(luò)則需經(jīng)過(guò)近1300輪的迭代訓(xùn)練后才逐漸收斂,并且由圖6(b)可見(jiàn),剪枝后網(wǎng)絡(luò)在驗(yàn)證數(shù)據(jù)集上的損失下降得比原網(wǎng)絡(luò)快.

在上述剪枝策略下,發(fā)現(xiàn)剪枝前后網(wǎng)絡(luò)的精度基本一致,但剪枝后網(wǎng)絡(luò)具有比原網(wǎng)絡(luò)更快的收斂速度.最終結(jié)果顯示,AlexNet剪枝網(wǎng)絡(luò)在測(cè)試數(shù)據(jù)集上的識(shí)別正確率(98.53%)比原網(wǎng)絡(luò)準(zhǔn)確率(98.37%)高0.16%.

5.5 不同剪枝策略比較

將迭代剪枝策略與傳統(tǒng)的一次性剪枝方法進(jìn)行比較,迭代剪枝是對(duì)模型進(jìn)行反復(fù)的訓(xùn)練-修剪-再訓(xùn)練操作,每次修剪較少的權(quán)重.而一次性剪枝則是一次性修剪較多的權(quán)重,最后再對(duì)生成的稀疏網(wǎng)絡(luò)進(jìn)行訓(xùn)練.利用AlexNet模型在這2種不同的剪枝策略下分別進(jìn)行實(shí)驗(yàn).在一次性剪枝方法中,一次性修剪原網(wǎng)絡(luò)68%的參數(shù),實(shí)驗(yàn)結(jié)果見(jiàn)表1.

表1 不同剪枝策略比較

由表中數(shù)據(jù)可知,經(jīng)迭代剪枝生成的稀疏網(wǎng)絡(luò)具有和原網(wǎng)絡(luò)類(lèi)似的較高識(shí)別精度,但經(jīng)剪枝生成的網(wǎng)絡(luò)具有比原網(wǎng)絡(luò)快得多的收斂速度.此外,我們還將迭代剪枝策略與一次性剪枝方法相比較發(fā)現(xiàn),二者的收斂速度大致相同,但我們的方法具有比一次性剪枝策略更高的識(shí)別精度.在一次性剪枝實(shí)驗(yàn)中出現(xiàn)部分精度損失可能的原因是一次性修剪過(guò)多的權(quán)重,對(duì)網(wǎng)絡(luò)造成了破壞,使網(wǎng)絡(luò)在后續(xù)的訓(xùn)練中精度很難恢復(fù).

6 結(jié)語(yǔ)

本文針對(duì)語(yǔ)音識(shí)別領(lǐng)域,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度慢、訓(xùn)練成本高等問(wèn)題,選用迭代剪枝算法對(duì)隨機(jī)初始化網(wǎng)絡(luò)以迭代的方式進(jìn)行逐層修剪,并從剪枝生成的稀疏網(wǎng)絡(luò)中搜尋1個(gè)最佳的剪枝網(wǎng)絡(luò)用于普米語(yǔ)語(yǔ)譜圖識(shí)別.實(shí)驗(yàn)結(jié)果表明,將經(jīng)迭代剪枝生成的AlexNet剪枝網(wǎng)絡(luò)用于普米語(yǔ)語(yǔ)譜圖識(shí)別具有和原網(wǎng)絡(luò)類(lèi)似的較高識(shí)別精度,并且剪枝后網(wǎng)絡(luò)還具有比原網(wǎng)絡(luò)更快的收斂速度.對(duì)隨機(jī)初始化網(wǎng)絡(luò)進(jìn)行迭代剪枝具有如下優(yōu)點(diǎn)：①能夠大幅度縮減網(wǎng)絡(luò)規(guī)模、有效降低網(wǎng)絡(luò)計(jì)算量,促進(jìn)模型快速訓(xùn)練；②可以避免神經(jīng)網(wǎng)絡(luò)中過(guò)多的參數(shù)冗余、提高模型泛化能力.然而,通過(guò)該算法來(lái)生成最佳剪枝網(wǎng)絡(luò)往往需要反復(fù)的進(jìn)行模型訓(xùn)練,相比于一次性剪枝,所耗費(fèi)的時(shí)間較長(zhǎng).在接下來(lái)的工作中,將探索更為快速、有效的剪枝方法來(lái)生成最佳剪枝網(wǎng)絡(luò).