王 翠,王 璐,解雪琴,楊建香,和麗華,侯俊龍,潘文林

(云南民族大學 數(shù)學與計算機科學學院,云南 昆明 650500)

佤語是跨境的少數(shù)民族語言,對少數(shù)民族語言佤語的識別研究有利于國家安全和少數(shù)民族文化保護.佤語作為中國語言資源保護工程采集的少數(shù)民族語言之一,專家在語料庫中抽樣發(fā)現(xiàn)人工標注仍然存在很多問題,說明精準的標注不僅昂貴而且十分困難.然而,目前對佤語的研究主要停留在語音學的角度[1-2],主要包括音素,音節(jié),詞法分析等,這些研究為佤語的實驗語音學發(fā)展提供準確的人工標注樣本奠定了語音學基礎(chǔ).佤語數(shù)據(jù)集包含1 860類孤立詞,每類僅包含20個樣本；imageNet數(shù)據(jù)集的分類類別大約在1 200類,每類超過1 000張圖片,所以本文的實驗數(shù)據(jù)存在分類類別多,每類所包含的分類樣本數(shù)目少的情況.

由于深度學習的成功,許多領(lǐng)域利用深度學習的方法來處理識別和分類的研究問題：語音[3],視覺[4]和語言[5].目前最好的機器學習系統(tǒng)需要成千上萬的例子用于訓練,例如：GoolNet[6]模型擁有22層神經(jīng)網(wǎng)絡(luò),ImageNet作為訓練數(shù)據(jù)集,對1 000類進行分類,訓練數(shù)據(jù)達到120萬,準確率達到93%；Inception[7-8]模型結(jié)合殘差連接,同樣以ImageNet作為訓練數(shù)據(jù)集,準確率達到96.7%.一些主流語言憑借大量數(shù)據(jù)樣本應(yīng)用深度學習方法的研究產(chǎn)品基本已落地：Google利用注意力機制LAS對英語的識別率達到94.6%；百度利用端到端模型[9-10]識別英語和漢語2種語言.Qingnan Wang[11]利用端到端模型對藏語的音節(jié)進行識別.蔡琴[12]利用HTK對維吾爾語的連續(xù)數(shù)字短語的識別率達到80%,對詞的識別率達到91.19%.然而,佤語的手工標注昂貴費時且缺乏標簽,尋找一種適合小樣本學習的方法對佤語的識別研究非常有幫助.

目前,常規(guī)分類方法對小樣本的識別研究主要有2種方案：①利用支持向量機對小樣本進行研究；②通過擴充數(shù)據(jù)樣本應(yīng)用深度學習的方法進行研究.傅美君[13-14]通過提取佤語的2個動態(tài)特征基因和共振峰,并基于遺傳支持向量機和免疫遺傳多核支持向量機完成對佤語的分類準確率達到86%,精度還有一定的提升空間.機器學習在少量數(shù)據(jù)下學習新概念的能力欠缺,如果直接將深度學習方法應(yīng)用到小樣本學習容易發(fā)生過擬合現(xiàn)象,直接擴大佤語的標記樣本難以實現(xiàn),且效果不一定好.人類僅僅通過少量的學習便可以辨別不同物體,元學習模仿人類學習的能力適合小樣本學習.王璐[15]采用元學習方法Reptile對小樣本的佤語進行識別,最終識別率達到93%.MAML是Chelsea Finn[16]借助從其他任務(wù)學習到的經(jīng)驗知識應(yīng)用到新任務(wù)的方法,加快小樣本中新任務(wù)的訓練。MAML成為小樣本領(lǐng)域的一種主流方法, 具有快速學習的能力,本文選用MAML方法對小樣本的佤語孤立詞進行識別研究.

1 相關(guān)工作

人類具有快速學習的能力,已經(jīng)證明人類在學習新事物時只需要少量的樣本且準確率較高[17].借鑒人類的學習經(jīng)驗僅僅通過少數(shù)的例子就可以快速學習新例子,元學習模仿人類的學習能力,讓模型學會學習,元學習的快速發(fā)展將縮短人類和機器學習對小樣本識別的差距.元學習在小樣本識別[18]主要有2個研究方向：概念學習和經(jīng)驗學習.目前小樣本識別發(fā)展快速：谷歌的One-shot匹配網(wǎng)絡(luò)[19]通過在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上添加外部記憶,將學習到的新概念知識應(yīng)用到小樣本學習,在imagenet數(shù)據(jù)集上的One-shot學習準確率從87.6%提升到93.2%. Finn[16]提出MAML是小樣本識別領(lǐng)域非常好的方法之一,模型不僅簡單而且功能強大,可以快速適應(yīng)深度網(wǎng)絡(luò),在不同任務(wù)上訓練的模型可以快速適應(yīng)僅有少量樣本的新任務(wù),在圖像分類、回歸、微調(diào)的強化學習上產(chǎn)生不錯的效果.

近兩年對MAML的研究及相關(guān)擴展非常多,例如：Finn[20-21]通過在MAML模型上添加概率得到一種概率元學習算法,可以從模型分布中為新任務(wù)模擬目標模型,處理小樣本的模糊性任務(wù)效果較好；Boney[22]將半監(jiān)督和無監(jiān)督方法擴展到MAML模型,對無標記的樣本效果明顯優(yōu)于其他方法；Triantafillou[23]構(gòu)造元數(shù)據(jù)集為了在不同的任務(wù)上得到更好的泛化性由大量種類繁多的數(shù)據(jù)組成,Prototypical網(wǎng)絡(luò)和MAML網(wǎng)絡(luò)在元數(shù)據(jù)上的表現(xiàn)欠佳,而在Proto-MAML表現(xiàn)良好.Antonious[24]提出的MAML++是針對MAML的改進算法,明顯提升收斂速度和泛化性能； Singh Behl[25]提出的Alpha MAML合并在線超參數(shù)自適應(yīng)方案從而規(guī)避了MAML的穩(wěn)定性需要大量的參數(shù)調(diào)整.MAML成為小樣本領(lǐng)域的一種主流方法,對小樣本的研究,有助于對少量標記語言的識別,本文主要解決小樣本的語音識別問題.

2 元學習

2.1 元學習的基本單位——任務(wù)

(1)

(2)

表1 元學習基本單位(任務(wù))

2.2 元學習的學習過程

對于特定場景的模型學習分2個階段完成,模型訓練階段和模型測試階段.同樣,元學習也不例外,由元訓練Metatrain和元測試Metatest共同完成我們的任務(wù),所不同的是,針對模型的優(yōu)化程度、模型的靈敏度及模型的泛化性能,我們的元學習在Metatest階段針對不同場景存在2種處理方式,經(jīng)微調(diào)后完成元測試Metaindirect-test和直接元測試Metadirect-test,2個階段的數(shù)據(jù)設(shè)置如表2所示.Metatrain階段任務(wù)批次數(shù)為P,每個批次含有Q個任務(wù)；Metaindirect-test階段有O個任務(wù)用于Metatest,Metadirect-test階段有M個樣本用于Metatest.一般情況下,元訓練Metatrain和元測試Metatest遵循兩不交叉原則：

1)元訓練類別CMetatrain(taskpq(xij))和元測試類別CMetatest(taskp′q′(xi′j′))不能完全相同,即

(3)

2)元訓練任務(wù)TMetatrain(taskpq)和元測試任務(wù)TMetatest(taskp′q′)遵循單個任務(wù)的兩不交叉原則.

表2 元訓練和元測試設(shè)置

2.3 與模型無關(guān)的元學習——MAML

在特定批次的任務(wù)中(采樣p-th(1≤p≤P)批次,其中包含Q個任務(wù)),2個學習器的學習過程如下：

2.3.1 基學習器

2.3.2 元學習器

元訓練過程如算法1所示.

表3 算法1： MAML-training[16]

表4 算法2：MAML-test[16]

整個MAML-Training階段所要完成的工作是對先驗任務(wù)的經(jīng)驗積累.內(nèi)循環(huán)(4～8)即快速學習階段,學習特定先驗任務(wù)屬性；外循環(huán)(9)即元學習階段,將特定先驗任務(wù)屬性元平攤給模型參數(shù)(元級參數(shù)).這樣,網(wǎng)絡(luò)一旦收斂,元級參數(shù)即為我們需要學習的初始化參數(shù).

MAML-test階段是將先驗任務(wù)學習到的模型初始化參數(shù)(即經(jīng)驗)應(yīng)用到新任務(wù)上,該階段模型只需要幾步微調(diào)即可收斂.

2.4 Reptile

Reptile[26]基于元學習的一階梯度學習網(wǎng)絡(luò)的初始參數(shù),從而利用元知識快速適應(yīng)新任務(wù).Reptile能有效避免像二階微分近似所需的計算時間和計算量,所以收斂速度快.梯度下降的更新公式如下.

(4)

Retile通過學習不同任務(wù)的初始參數(shù)W,當面對新任務(wù)時能夠通過公共最近快速找到新任務(wù)的梯度下降方向,如圖2所示.

3 實驗

元學習能夠利用其他任務(wù)上的先驗知識補充新任務(wù)數(shù)據(jù)不足的缺陷.采用不同大小的佤語訓練任務(wù)5-way 1-short和5-way 5-short對新任務(wù)識別精度對比,發(fā)現(xiàn)MAML和Reptile不僅具有快速學習能力提升小樣本的識別精度,而且不會出現(xiàn)過學習現(xiàn)象.

3.1 數(shù)據(jù)說明

佤語數(shù)據(jù)集作為實驗的研究對象,數(shù)據(jù)集由兩男兩女對1 860類孤立詞進行發(fā)音,每人對每類孤立詞讀5遍,總計37 200條佤語孤立詞語音.相比imageNet數(shù)據(jù)集中1 200類,每類1 000個樣本,佤語數(shù)據(jù)集中的數(shù)據(jù)類別多,每類所含數(shù)據(jù)少的特點,訓練樣本不足.將語音信號通過傅里葉變化轉(zhuǎn)換成對應(yīng)的語譜圖,分別選用元學習領(lǐng)域的Reptile和MAML對小樣本的佤語數(shù)據(jù)集進行研究.以編號0078和1 550類語音信號為例,佤語語譜圖如圖3所示,橫坐標表示時間,縱坐標表示頻率,顏色的深淺表示能量.

3.2 模型

模型由4層卷積和一層全連接構(gòu)成,每個卷積層由64個3×3的卷積核構(gòu)成,每個卷積操作按先卷積,批量正則化,Relu激活函數(shù),2×2的最大池化順序進行.

3.3 實驗過程

MAML和Reptile模型對佤語數(shù)據(jù)集的超參數(shù)設(shè)置如下：訓練周期epoch=100,epoch_len=400,evel_batches=40,meta_batch_size=4,inner_learning_rate=0.01,meta_learning_rate=0.001,n= 1,k= 5,q=5；n= 1,k= 5,q= 5代表1個任務(wù)總共有5類,每類訓練樣本數(shù)為1測試樣本為5,即5-way 1-short 5-query任務(wù).利用公式(2)進行梯度的迭代更新得到參數(shù)θ′.

3.4 實驗結(jié)果

基于二階梯度更新的MAML模型和一階梯度更新的Reptile模型分別對5-way1-short任務(wù)和5way 5-short任務(wù)的實驗結(jié)果顯示.圖4表示MAML的準確率變化曲線：(a)在5-way 1-shot的訓練準確為89.7%,驗證準確率為78.6%；(b)在5-way 5-shot的訓練準確率為96.5%,驗證準確率為94.5%.圖5表示Reptile模型的準確率變化曲線(a)在5-way 1-shot的訓練準確率接近100%,驗證準確率61.6%；(b)表示Reptile模型在5-way 5-shot的訓練準確率為100%,驗證準確率為93.6%.

實驗結(jié)果分析：橫向比較,同類樣本數(shù)越多,識別率越高.而元學習是一種基于任務(wù)的平攤機制,學習任務(wù)之間的共性,單類樣本數(shù)對MAML模型的結(jié)果影響沒有Reptile模型敏感.縱向比較：基于相同網(wǎng)絡(luò)的迭代輪數(shù),一階梯度更新的Reptile模型明顯快于二階梯度更新的MMAL模型,可以使網(wǎng)絡(luò)快速的達到收斂狀態(tài).

4 結(jié)語

元學習使任務(wù)分配上的損失最小化,在同一任務(wù)的梯度更新內(nèi)積最大化,即使在小樣本學習的情況下也能達到不錯的效果.MAML和Reptile模型在相同的實驗設(shè)置下對佤語語譜圖進行識別,實驗結(jié)果表明MMAL達到的識別精度更高,而Reptile的收斂速度更快.本實驗的佤語語譜圖并非全屏語譜圖,去除語譜圖的白邊信息提高語譜圖的有效區(qū)域可能改善實驗的識別精度.充分考慮語譜圖之間的特性,佤語語譜圖之間存在高相似性這一特征,怎樣改進元學習的方法使其充分利用這一特征將是一個有趣且值得探究的問題.