郭楊　擁措

摘要：語言模型是自然語言處理研究的基礎(chǔ)，是計(jì)算機(jī)識別和自然語言理解的橋梁。到目前為止，語言模型走過來了三個階段：統(tǒng)計(jì)模型、神經(jīng)網(wǎng)絡(luò)模型、深度神經(jīng)網(wǎng)絡(luò)模型。隨著深度學(xué)習(xí)技術(shù)的廣泛應(yīng)用，大規(guī)模數(shù)據(jù)集的使用、復(fù)雜的模型以及高昂的訓(xùn)練代價(jià)稱為語言模型建模的特點(diǎn)。隨著信息化的高速發(fā)展，藏語的語言模型成為目前乃至以后的研究趨勢。文章全篇介紹了語言模型的研究現(xiàn)狀以及藏語語言模型的研究現(xiàn)狀，并探討了當(dāng)前藏語語言模型在分析過程所經(jīng)歷的難題，并提出可能的解決方案以及應(yīng)用前景。

關(guān)鍵詞：語言模型;藏語;研究現(xiàn)狀

中圖分類號：G424 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）09-0181-04

引言

語言模型是許多自然語言處理任務(wù)的基礎(chǔ)部分，對語言模型的研究可以促進(jìn)自然語言處理方面技術(shù)的攻堅(jiān)克難。通過對藏語模型的研究，可以提高藏文文本的分詞技術(shù)，藏語語音的識別技術(shù)等，對于少數(shù)民族地區(qū)的民族化文化信息處理技術(shù)有著不可磨滅的重要性。

藏語是促進(jìn)西藏文化和民族文化的主要工具和手段。因此，本文目標(biāo)是基于對語言模型以及藏語語言模型的國內(nèi)外最新研究的成果進(jìn)行比較、分類、總結(jié)，從而探索出語言模型在自然語言處理方面的潛在趨勢，幫助其他愛好研究自然語言的研究者全方位、各層次、多角度的了解該領(lǐng)域內(nèi)的算法與技術(shù)。

關(guān)于藏語模型的相關(guān)研究很少，傳統(tǒng)的N-gram語言模型仍在使用。最新的神經(jīng)網(wǎng)絡(luò)語言模型尚未應(yīng)用于藏文。本文將基于語言模型、藏語語言模型這兩個板塊，通過分析兩個板塊下最新的衍變模型來進(jìn)行詳細(xì)闡述。

1 語言模型

自然語言從其出現(xiàn)開始，漸漸的變?yōu)橐环N在上下文的信息中表達(dá)和傳遞的方式，進(jìn)而交付給計(jì)算機(jī)來處理自然語言。那么隨之而來的一個重要問題就是如何解決自然語言的語境相關(guān)性？經(jīng)過探索和發(fā)現(xiàn)，就是為自然語言建立數(shù)學(xué)模型。該數(shù)學(xué)模型是統(tǒng)計(jì)語言模型（Statistical Language Model），統(tǒng)計(jì)語言模型是現(xiàn)階段自然語言處理任務(wù)中最基礎(chǔ)的部分，在諸多任務(wù)中，如：文本分類、文本校對、機(jī)器翻譯和語音識別等都有著它潛移默化的身影。

那什么是語言模型？假設(shè)，對于一個觀測值：“yuyanmox-ing”，可能是由“語言模型”“寓言模型”“語言魔性”…等得到的，但是要想得到究竟是哪一個，通常需要計(jì)算它們的概率，比如：P（'‘語言模型”"yuyanmoxing“）>P（“寓言模型”|“yuvanmox-ing”）>…，（P（110）），則可以確定為“語言模型”。如何對這個概率進(jìn)行計(jì)算呢？從數(shù)學(xué)的角度來看：

如果我們直接用第一種方法，即為判別式模型，如果用第二種方法，即為生成式模型。當(dāng)采用生成式模型的話，需要計(jì)算這個語句序列出現(xiàn)的概率即為P（I）的概率，如何計(jì)算P（I）的概率呢？計(jì)算一個文本序列w={w1，w2...wn）的概率，需要知道他們之間的關(guān)系，我們對這個關(guān)系的建模即為語言模型。

在研究白然語言處理的過程當(dāng)中，總是有著各種各樣的嘗試，如何完美表達(dá)，完美計(jì)算和完美理解等。但是，由于基于手動規(guī)則的處理，早期模型在所有領(lǐng)域都不全面。手動規(guī)則已經(jīng)達(dá)到了瓶頸，無法更深入的解決問題，于是在許多相關(guān)數(shù)學(xué)基礎(chǔ)的研究者探索和發(fā)現(xiàn)中，通過統(tǒng)計(jì)，在大量沒有標(biāo)記的數(shù)據(jù)下進(jìn)行有序的語法和語義的統(tǒng)計(jì)學(xué)習(xí)，從而取得一些成功。到目前為止，基于統(tǒng)計(jì)的語言模型已逐步從統(tǒng)計(jì)語言模型，神經(jīng)網(wǎng)絡(luò)模型升級到深度神經(jīng)網(wǎng)絡(luò)模型。

第一階段的統(tǒng)計(jì)語言模型分為生成模型和判別模型。序列可以是單詞，句子或整個章節(jié)?？梢酝ㄟ^貝葉斯規(guī)則將生成的模型轉(zhuǎn)換為判別模型，并且將概率分配給術(shù)語序列中的可能項(xiàng)。概率越高，序列符合語言規(guī)則越多，它出現(xiàn)的越“合理”[1j。隨著時(shí)間的推移，學(xué)術(shù)探索者提出了許多語言模型，其中N-gram模型是最突出的代表。同時(shí)，還引入了N-gram模型的高級語言模型，如最大熵模型。

直到Bengio[21探索了一種新的模型一前饋神經(jīng)網(wǎng)絡(luò)語言模型（Neural Network Language Model），才逐漸揭開語言模型的第二個神秘面紗。從最基礎(chǔ)的上下文計(jì)數(shù)（Context-counting）到上下文預(yù)測（Context-predicting）的創(chuàng)新成為了一種新的機(jī)遇和挑戰(zhàn)。同時(shí)，統(tǒng)計(jì)的基本單位從詞項(xiàng)變?yōu)樵~向量（Word Embed-ding），這是實(shí)現(xiàn)級別的主要變化，從而可以在識別和計(jì)算過程中更有效地進(jìn)行改進(jìn)。

在語言模型研究的第三階段，深度學(xué)習(xí)在白然語言處理的應(yīng)用中起著重要作用。遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Net-work）是深度神經(jīng)網(wǎng)絡(luò)家族的一員，其特點(diǎn)是圖靈完整性和序列構(gòu)建，已成為一種重要的語言建模方法。同時(shí)在深度神經(jīng)網(wǎng)絡(luò)的欠缺方面，也進(jìn)行了優(yōu)化，比如：模型結(jié)構(gòu)、耗費(fèi)時(shí)間、輸入輸出等層面。三個階段的語言模型的優(yōu)劣，見表1。

2 語言模型的研究現(xiàn)狀

在進(jìn)入21世紀(jì)后，大數(shù)據(jù)、云計(jì)算等新興技術(shù)撲面而來，世界開始步人人工智能的時(shí)代，中國也在緊隨其后開始探索人工智能。最為突出的行業(yè)就是新聞行業(yè)，國內(nèi)許多知名的公司和機(jī)構(gòu)開始逐一踏人自動化生產(chǎn)的潮流中，一場新聞機(jī)器人的熱浪蓄勢待發(fā)。

機(jī)器新聞寫作本質(zhì)上是使用自然語言來生成文本的過程，實(shí)際就是生成（Natural Language Generation）編寫新聞的過程。機(jī)器新聞寫作的核心技術(shù)是自然語言生成、大數(shù)據(jù)和云計(jì)算的支持。目前，用于數(shù)據(jù)到文本生成的大多數(shù)神經(jīng)網(wǎng)絡(luò)模型基于遞歸神經(jīng)網(wǎng)絡(luò)。RNN的神經(jīng)語言模型和Seq2 seq架構(gòu)，同時(shí)使用了注意力模型。

文本生成本身就是一個輸入輸出的問題，輸出一個序列，出來一個結(jié)果，而RNN就一種很適合對文本序列數(shù)據(jù)進(jìn)行建模統(tǒng)計(jì)的神經(jīng)網(wǎng)絡(luò)。基于RNN的語言模型構(gòu)建就是一種利用RNN的方法來表達(dá)語言序列的生成過程。同時(shí)與基礎(chǔ)的RNN的層級上來看，加入了詞向量層（Embedding）和softmax函數(shù)，多層級的加入與計(jì)算，使語言模型更加完善。換一個NLP任務(wù)來說，在機(jī)器翻譯中，Seq2seq是RNN的變種，是EncoderDecoder的一種，同時(shí)注意力機(jī)制（Attention Mechanism）的引入，對于輸入的數(shù)據(jù)進(jìn)行加權(quán)計(jì)算，矩陣的變換等，也使得序列對序列方式下的表現(xiàn)更為直觀，更為高效。

下面按照時(shí)間順序具體介紹一下最新的研究方法，并如何一步步改進(jìn)完善的，并分析它們之間的聯(lián)系與區(qū)別。

Mei等人2016年提出一種端到端（End-to-End）新的神經(jīng)網(wǎng)絡(luò)模型，是基于編碼解碼（Encoder-Decoder）框架為一身的（簡稱MBW）c4]。同時(shí)用到了RNN的變形，基于長短期記憶網(wǎng)絡(luò)（LongShort-term Memory）和對準(zhǔn)器（Coarse-to-Fine Aligner）來實(shí)現(xiàn)文本的選取和文本的描述。

2016年，Lebret等人，通過爬取維基百科上面的人物傳記數(shù)據(jù)來生成人物傳記的句子，提出一種基于條件神經(jīng)語言模型（Condition Neural Language Models）的神經(jīng)模型（簡稱Table NLM）[5]，在模型的構(gòu)建中，使用了拷貝機(jī)制，通過計(jì)算向量與屬性和值的數(shù)量關(guān)系來選取最有可能的替代品來預(yù)測未知詞。

Sha等人2017年提出的神經(jīng)網(wǎng)絡(luò)模型，是一種基于規(guī)劃順序（Order-planning）[6]，通過不同field之間關(guān)系模擬，來實(shí)現(xiàn)更好的文本生成的順序排序，減少少見詞的出現(xiàn)（Rare Words），

Chisholm等人設(shè)計(jì)的一種白編碼器Seq2seq模型（簡稱S2SAE）[7]，是針對一句話的人物傳記，從而實(shí)現(xiàn)了從維基百科人物傳記結(jié)構(gòu)化數(shù)據(jù)報(bào)文本單句的生成。

Liu等人在2018年提出的模型中，是一種面向結(jié)構(gòu)（Struc-ture-aware）的Seq2seq模型[8]，通過對表格內(nèi)容進(jìn)行白定義屬性門 （Field-gating）LSTM編碼。

Bao等人2018年的Seq2seq模型[9]，是一種面向表格（Table-aware）的模型，實(shí)驗(yàn)對象具有特殊性，是一個開放領(lǐng)域的數(shù)據(jù)集WIKITABLETEXT，因?yàn)槠涮厥庑?，在模型的基礎(chǔ)上使用強(qiáng)大的拷貝機(jī)制（Copying Mechanism），在數(shù)據(jù)集的測試上，有了很大的提升。

Nema等人2018年提出了一種新的結(jié)構(gòu)化描述（簡稱BAM-GO）[10j，同時(shí)使用雙焦點(diǎn)注意力機(jī)制和門控正交化，一方面結(jié)合了宏觀和微觀層面的信息，也在文本的生成過程中將已出現(xiàn)的屬性值在后續(xù)步驟中選擇性遺忘（Never Look Back）。

Wiseman等人2018年設(shè)計(jì)的抽取模板來生成的方式（簡稱Ntemp）[11]，是基于隱藏的半馬爾科夫（HSMM）解碼器的生成模型。利用一個類似二進(jìn)制的轉(zhuǎn)移概率來判斷兩種輸入情況，一種情況不在數(shù)據(jù)源中，通過原始詞來預(yù)測生成新的文本;另一種可直接生成本文，利用的是RNN來實(shí)現(xiàn)。

Freitag等人2018年構(gòu)建的自然語言生成過程（簡稱NLG-DA）[12]，實(shí)現(xiàn)了無監(jiān)督的學(xué)習(xí)方式，同時(shí)也使用了降噪自編碼器（Denoising-Autoencoder）來對生成的語句重新構(gòu)造，會更好的生成正確的語句。該模型經(jīng)常被用于E2E數(shù)據(jù)集[13]。 Kaffee等人2018年提出的針對單句的跨語言跨領(lǐng)域的神經(jīng)網(wǎng)絡(luò)模型（簡稱UL）[l4]?；诰幋a解碼（Encoder-Decoder）架構(gòu)，利用數(shù)學(xué)上的三元組進(jìn)行輸入，而解碼使用了一層GRU，3+1的多層次結(jié)合來生成文本，也利用了拷貝機(jī)制來加強(qiáng)文本生成的效果。

神經(jīng)網(wǎng)絡(luò)模型的研究方法的聯(lián)系與區(qū)別：見表2

在語言模型預(yù)訓(xùn)練的探索過程中，王英杰、謝彬和李寧波為了減輕模型對這種大型數(shù)據(jù)集的依賴，提出一種基于BERT針對中文科技自然語言處理小數(shù)據(jù)集任務(wù)的預(yù)訓(xùn)練語言表征模型ALICE，實(shí)驗(yàn)結(jié)果表明，與BERT相比，ALICE分別提高了1.2%的準(zhǔn)確率與0.8%的F1值[17]。

3 藏語語言模型的研究現(xiàn)狀

藏語是一種少數(shù)民族語言，對藏語語言模型的研究目前還處于最基礎(chǔ)的，最初級階段，依然使用的是N-CRAM語言模型，是基于N元文法模型的研究，而對神經(jīng)網(wǎng)絡(luò)方面的研究是少之又少。

2011年，北方民族大學(xué)多拉和才讓三智在研究中發(fā)現(xiàn)，建立藏語語言模型，重新探索新的藏語語法體系[18]。根據(jù)藏語特點(diǎn)，2012年李冠宇和孟猛，提出了一種藏語識別聲學(xué)模型，并利用高級藏語知識來減少模式匹配的模糊性，在HTK平臺上建立了依賴于上下文的連續(xù)隱馬爾可夫聲學(xué)模型，實(shí)現(xiàn)了西藏拉薩的連續(xù)詞匯連續(xù)語音識別[191。最后發(fā)現(xiàn)，在最優(yōu)情況下，模型詞的錯誤率大大降低。2014年，李照耀主要研究語言模型在藏文連續(xù)識別系統(tǒng)中的應(yīng)用，結(jié)合西藏拉薩的特點(diǎn)，提出了一種新的文本篩選方案。通過比較各種算法的混淆和語音識別系統(tǒng)的識別率，將改進(jìn)的Kneser-Ney平滑算法最終應(yīng)用于基于HTK的藏文連續(xù)語音識別系統(tǒng)[20]。實(shí)驗(yàn)結(jié)果表明，Kneser-Ney平滑算法的修改版本在各種平滑算法中具有最少的混淆。2015年青海民族大學(xué)仁青吉和安見才讓在對藏語語言模型的研究中，發(fā)現(xiàn)一個可靠的語言模型對比：在自然語言處理領(lǐng)域，例如語音識別，機(jī)器翻譯和文本校對，起著至關(guān)重要的作用。通過在藏語語音識別系統(tǒng)中構(gòu)建藏語模型來提高識別率，采用了一些算法來比較混淆[21]。

以上都是語言模型在語音識別上面的重大應(yīng)用。

2017年西北民族大學(xué)張?zhí)嶂饕芯柯晫W(xué)模型，就是以提高聲學(xué)模型參數(shù)的準(zhǔn)確性為目的，通過最小音素誤差準(zhǔn)則估計(jì)三音素模型的參數(shù)，獲得具有更好識別效果的聲學(xué)模型[22]。

2017年中央民族大學(xué)周楠主要探討深度神經(jīng)網(wǎng)絡(luò)在藏語拉薩話連續(xù)語音識別任務(wù)中的應(yīng)用，研究了深度神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)，預(yù)訓(xùn)練和參數(shù)設(shè)置，訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)的輸出層特征用于訓(xùn)練HMM的聲學(xué)模型[23]。

2018年，天津大學(xué)研究中心發(fā)現(xiàn)，循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型超過傳統(tǒng)的N- gram模型已成為主流的語言模型建模方法。申彤彤的研究主要從兩個方面解決了藏語RNNLM訓(xùn)練數(shù)據(jù)缺失的問題：模型訓(xùn)練技巧和藏文探究，分別提出了插值語言模型，領(lǐng)域自適應(yīng)循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型和結(jié)合藏文成分的循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型[24]。

2018年，黃曉輝、李京探索將循環(huán)神經(jīng)網(wǎng)絡(luò)和連接時(shí)序分類算法應(yīng)用于藏語語音識別聲學(xué)建模，實(shí)現(xiàn)端到端的模型訓(xùn)練。發(fā)現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)模型有更好的識別性能，擁有更高的訓(xùn)練和解碼效率[25]。

2019年，孫嬡、王麗客和郭莉莉等人提出了一種優(yōu)化詞向量的GRU神經(jīng)網(wǎng)絡(luò)模型進(jìn)行藏語實(shí)體關(guān)系抽取的方法，加入了優(yōu)化的詞向量，在傳統(tǒng)的詞向量模型中結(jié)合藏語音節(jié)向量、音節(jié)位置向量、詞性向量等特征對詞向量進(jìn)一步優(yōu)化，并且選取了藏語詞匯特征和藏語句子特征[26]。

以上這些是研究者不懈努力的成果，是藏語語言模型最新的研究。

4 藏語語言模型的展望

許多研究證明神經(jīng)網(wǎng)絡(luò)語言模型的性能已超過傳統(tǒng)的N-gram模型，但同時(shí)神經(jīng)網(wǎng)絡(luò)語言模型的構(gòu)建需要大量的訓(xùn)練語料庫。對于藏語語言模型的研究，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的數(shù)據(jù)資源嚴(yán)重匱乏的情況下，如何選擇相對于目標(biāo)任務(wù)的合適語言模型，如何找到適合藏語的訓(xùn)練語言模型方法？如何對藏語語言模型的預(yù)訓(xùn)練及后續(xù)的微調(diào)過程進(jìn)行優(yōu)化等這些問題將成為研究藏語語言模型的重要途徑。

目前在還存在一些問題需要探索研究：

（1）藏語數(shù)據(jù)集的不足與缺乏?；ヂ?lián)網(wǎng)上公開共享的數(shù)據(jù)集非常缺少。

（2）藏語語言模型的研究領(lǐng)域單一。語言模型數(shù)據(jù)集集中在新聞領(lǐng)域，在社交媒體、法律等急需建設(shè)。

（3）評價(jià)標(biāo)準(zhǔn)不一致。研究員各抒己見，沒有嚴(yán)格的標(biāo)準(zhǔn)，導(dǎo)致評價(jià)不一致，加大了研究中的難度。

隨之時(shí)代的進(jìn)步，數(shù)據(jù)的發(fā)展，文本生成、語音識別等越來越受到重視，希望在未來的研究探索中，有專門這個研究領(lǐng)域的奠基者，有公開數(shù)據(jù)集合和統(tǒng)一的評價(jià)標(biāo)準(zhǔn)，以及多領(lǐng)域、多語言等多方面、多層次的數(shù)據(jù)集供熱愛研究自然語言處理的研究員所使用。目前的神經(jīng)網(wǎng)絡(luò)模型相比于之前的監(jiān)督和半監(jiān)督學(xué)習(xí)方式有了相當(dāng)大的提高，但還是留有巨大進(jìn)步的空間供我們學(xué)習(xí)，需要研究員們大膽的嘗試與探索，比如從自然語言處理最基礎(chǔ)的方面，研究結(jié)構(gòu)化數(shù)據(jù)的特點(diǎn)等等，或者從自然語言處理任務(wù)中借鑒最新的研究成果等等。

近幾年數(shù)據(jù)到文本生成技術(shù)越來越受到重視，數(shù)據(jù)到語音識別技術(shù)也越來越受到重視，加上機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的同步發(fā)展，多領(lǐng)域、多角度、多層級的研究也越來越多，當(dāng)然，一個樹枝的發(fā)展需要樹干的發(fā)展，只有在神經(jīng)網(wǎng)絡(luò)的研究不斷深入，各方面硬件水平提升，存儲能力得到擴(kuò)展，各式各樣的研究和應(yīng)用才能有更好的發(fā)展，更大的可能性。

參考文獻(xiàn)：

[1]王毅，謝娟，成穎.結(jié)合LSTM和CNN混合架構(gòu)的深度神經(jīng)網(wǎng)絡(luò)語言模型[J].情報(bào)學(xué)報(bào)，2018（2）：194-205.

[2] Bengio Y，Schwenk H，Senecal J S，et aI.Neural probabilistic lan—guage models[M]Ulnnovations in Machine Learning. Berlin/Hei- delberg： Springer-Verlag，： 137-186.

[3]文娟 .統(tǒng) i+語模型的研究與應(yīng)用[D].北京 ：北京郵電大學(xué)。 2010.

[4] Mei H， UChicago T T l， Bansal M， et al. What to talk about and how？ Selective Generation using LSTMs withCoarse-to- Fine Alignment[CV/Proceedings of the 2016 Conference of theNorth American Chapter of the Association for Computational Linguistics. Stroudsburg， PA： ACL， 2016： 720-730.

[5] Lebret R， Grangier D. Auli M. Neural Text Generation fromStructured Data with Application to the BiographyDomain[Cy/Proceedings of the 2016 Conference on Empirical Methods inNatural Language Processing. Strouds - burg， PA： ACL， 2016：1203-1213.

[6] Sha L， Mou L. Liu T， et al. Order-Planning Neural Text Gen-eration From Structured Data[C]//Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence. MenloPark， CA：AAAl， 2018： 5414-5421.

[7] Chisholm A， Radford W， Hachey B. Learning to GenerateOne-sentence Biographies from Wikidata[CV/Proceedingsofthe 15th Conference of the European Chapter of the Associa-tion for Computational Linguistics. Stroudsburg， PA： ACL，2017： 633-642.

[8] Liu T， Wang K， Sha L， et al. Table-to-text generation byStructure-aware Seq2seq Learning[Cy/Proceedingsof the Thir-ty-Second AAAI Conference on Artificial Intelligence. MenloPark. CA：AAAI， 2018： 4881-4888.

[9] Bao J， Tang D， Duan N， et al. Table-to-text： Describing Ta-ble Region with Nlatural Language[C]//Proceedingsof the Thir-ty-Second AAAI Conference on Anificial Intelligence. MenloPark， CA：AAAl， 2018： 5020-5027.

[10] Nema P， Shetty S， Jain P， et al. Generating Descriptions fromStructured Data using a Bifocal Attention Mechanism and Gat-ed Orthogonalization[C]//Proceedings of the 2018 Conference of the North American Chapter of the Association for Computa - tional Linguistics. Stroudsburg，PA：ACL， 2018： 1539-1550.

[11] Wiseman S. Shieber S M. Rush A M. Learning Neural Tem-plates for Text Generation[CV/Proceedings of the 2018 Confer-ence on Empirical Methods in Natural Language Processing.Stroudsburg，PA：ACL， 2018： 3174-3187.

[12] Freitag M， Roy S. Unsupervised Natural Language Genera-tion with Denoising Autoencoders[C]//Proceedings of the 2018Conference on Empirical Methods in Natural Language Pro -cessing. Stroudsburg，PA：ACL， 2018：3922-3929.

[13] Novikova J， Dusek 0， Rieser V. The E2E Dataset： New Chal- lenges For End-to-End Generation[Cy/Proceedings of the18th Annual SIGdial Meeting on Discourse and Dialogue.Stroudsburg，PA：ACL， 2017： 201-206.

[14] Kaffee L A， Elsahar H， Vougiouklis P， et al. Learning to Gen- erate Wikipedia Summaries for Underserved Languages fromWikidata[C]//Proceedings of the 2018 Conference of the NorthAmerican Chapter of the Association for Computational Lin-guistics. Stroudsburg，PA：ACL， 2018： 640-645.

[15] Liang P，Jordan M I，Dan K.Learning Semantic Correspon- ences with Less Supervision[C]//Joint Conference of the Meet- ing of the ACL and the International Joint Conference on Na-tu- ral Language Processing of the Afnlp：Volume. Stroudsburg，PA： ACL， 2009：91-99.

[16] Chen D L，Mooney R J.Learning to Sportscast：A Test ofGrounded Language[Cy/Proceedings of the 25th internationalconference on Machine learning - lC- ML '08， July 5-9，2008. Helsinki， Finland. New York， USA： ACM Press， 2008：128-135.

[17]王英杰，謝彬，李寧波.ALICE：面向科技文本分析的預(yù)訓(xùn)練語表征模型[EB/O Ll.[2019-08-21]. http：//kns.cnki.net/kcms/de - tail/31.1289.TP.20190821.1541.009.html

[18]多拉，才讓三智.信息處理用藏語語法模型知識庫研究[J].西北民族大學(xué)學(xué)報(bào)（自然科學(xué)版），2011，32（3）：13-18.

[19]李冠宇，孟猛.藏語拉薩話大詞表連續(xù)語音識別聲學(xué)模型研 究[J].計(jì)算機(jī)工程，2012，38（5）：189-191.

[20]李照耀，藏語連續(xù)語音識別的語言模型研究[D].蘭州：西北民族大學(xué)，2014.

[21]仁青吉，安見才讓.藏語語言模型的研究[J].信息與電腦（理論版），2015（6）：94，96.

[22]張?zhí)?基于MPE藏語拉薩話區(qū)分度聲學(xué)模型研究[D].蘭州：西北民族大學(xué)，2017.

[23]周楠，基于深度學(xué)習(xí)的藏語非特定人連續(xù)語音識別研究[D].北京：中央民族大學(xué)，2017.

[24]申彤彤.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的藏語語言模型研究[D].天津大學(xué)，2018.

[25]黃曉輝，李京.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的藏語語音識別聲學(xué)模型[Jl.中文信息學(xué)報(bào)，2018，32（5）：49-55.

[26]孫媛，王麗客，郭莉莉，基于改進(jìn)詞向量GRU神經(jīng)網(wǎng)絡(luò)模型的藏語實(shí)體關(guān)系抽取[J].中文信息學(xué)報(bào)，2019，33（6）：35-41.

【通聯(lián)編輯：唐一東】

基金項(xiàng)目：本文受國家重點(diǎn)研發(fā)計(jì)劃重點(diǎn)專項(xiàng)《藏文文獻(xiàn)資源數(shù)字化技術(shù)集成與應(yīng)用示范（2017YFB1402200）》和西藏自治區(qū)教育廳“計(jì)算機(jī)及藏文信息技術(shù)國家級團(tuán)隊(duì)和重點(diǎn)實(shí)驗(yàn)室建設(shè)”（藏教財(cái)指[2018]81號）資助

作者簡介：郭楊（1992-），男，山西長治人，西藏大學(xué)在讀研究生，研究方向：藏語語言模型;通訊作者簡介：擁措（1974-），女（藏族），通信作者，副教授，主要研究領(lǐng)域：自然語言處理，模式識別。