鐘巧霞，曾 碧，林鎮(zhèn)濤，林 偉

(廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣東 廣州 510006)

0 引 言

語音合成(text to speech，TTS)也稱文語轉(zhuǎn)換，是一種將文字轉(zhuǎn)化為語音的技術(shù)。拼接式語音合成需要大量音頻語料，參數(shù)式語音合成過程非常復(fù)雜，這兩種方法生成的音頻存在諸多毛刺問題。隨著統(tǒng)計(jì)理論的完善和深度學(xué)習(xí)的發(fā)展，用自回歸或非自回歸方法去生成梅爾頻譜，再結(jié)合聲碼器構(gòu)建語音波形的兩階段拼接方法成為目前語音合成的主流方法。但自回歸生成模型也存在著一些缺點(diǎn)，如訓(xùn)練推理速度慢等。

本文采用一種高效融合音素和全局韻律的非自回歸方式生成梅爾頻譜，提升模型的訓(xùn)練和推理速度。主要貢獻(xiàn)點(diǎn)如下：

(1)引入輕量卷積[1]，獲取上下文音素的關(guān)聯(lián)性，解決生成錯(cuò)誤問題。采用一個(gè)上下文相等的固定窗口通過softmax函數(shù)來確定窗口內(nèi)元素的重要性。通過對每一時(shí)刻重要音素的關(guān)注，模型可以生成更加準(zhǔn)確的發(fā)音。

(2)增加音高和能量預(yù)測，引入音高、能量預(yù)測器用于增添全局韻律信息，緩解韻律缺失問題，提升生成音頻的韻律連貫性。

(3)采用主客觀結(jié)合評價(jià)方法進(jìn)行模型測驗(yàn)。主觀評測方法采用平均意見得分(mean opinion score，MOS)和A/B偏好評測，客觀評測方法采用梅爾倒譜失真測度(Mel cepstral distortion，MCD)的客觀指標(biāo)。

1 相關(guān)工作

1.1 自回歸模型

近些年來，基于神經(jīng)網(wǎng)絡(luò)的語音合成技術(shù)飛速發(fā)展，并且取得顯著的成效。2017年，谷歌開創(chuàng)性地提出Tacotron模型[2]將神經(jīng)網(wǎng)絡(luò)應(yīng)用于語音合成任務(wù)，該模型應(yīng)用編碼器-解碼器結(jié)構(gòu)以自回歸生成方式將文本轉(zhuǎn)化為梅爾頻譜，再借用GriffinLim聲碼器進(jìn)行聲音波形的合成。但存在推理速度較慢，生成音頻質(zhì)量不高的問題。2018年，Tacotron2模型[3]在seq2 seq模型的基礎(chǔ)上，利用位置敏感注意力機(jī)制(location sensitive attention，LSA)增強(qiáng)上下文的位置信息和語義信息，以生成梅爾頻譜。引入注意力機(jī)制進(jìn)行對齊，帶來音頻的魯棒性問題。2019年，TransformerTTS模型[4]將輸入轉(zhuǎn)化為更加細(xì)粒度的音素輸入來訓(xùn)練模型，以避免測試時(shí)輸入不存在的情況，結(jié)合WaveNet聲碼器[5]解碼生成聲音波形。但仍然存在推理緩慢和自回歸誤差累計(jì)問題。

1.2 非自回歸模型結(jié)合聲音韻律

由于自回歸式模型容易出現(xiàn)錯(cuò)誤導(dǎo)致文本中某些詞匯被遺漏或者重復(fù)發(fā)音問題。于是工業(yè)界和學(xué)術(shù)界開始將目光轉(zhuǎn)向非自回歸式語音合成。2019年，F(xiàn)astSpeech模型[6]引入時(shí)長預(yù)測器幫助文本與頻譜進(jìn)行對齊，采用教師學(xué)生模型輔助訓(xùn)練合成梅爾頻譜，以降低訓(xùn)練的時(shí)長和減少漏詞、重復(fù)發(fā)音問題。但仍需訓(xùn)練許多注意力層，訓(xùn)練難度較大且較為耗時(shí)。2020年，F(xiàn)astSpeech2模型[7]引入方差預(yù)測器為生成語音提供盡可能多的參數(shù)信息，幫助解決語音合成任務(wù)中一對多的問題。但對訓(xùn)練設(shè)備要求較高。同年，SpeedySpeech模型[8]采納教師指導(dǎo)學(xué)生方式，用全卷積結(jié)構(gòu)進(jìn)行高質(zhì)量梅爾頻譜的生成，提升模型訓(xùn)練速度。但生成語音韻律缺乏，聽起來較為生硬。2021年，F(xiàn)astPitch模型[9]為每個(gè)輸入音素預(yù)測時(shí)長和音高，調(diào)整音高以更好地合成高質(zhì)量音頻。

2 模型結(jié)構(gòu)

受SpeedySpeech模型的啟發(fā)，在此提出一種融合音高、能量預(yù)測器與輕量卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)非自回歸模型LCTTS，用以生成梅爾頻譜。所提出模型的主要網(wǎng)絡(luò)架構(gòu)如圖1所示。

圖1 LCTTS模型

LCTTS模型主要由音素編碼器Encoder、時(shí)長預(yù)測器Duration Predictor、音高/能量預(yù)測器(Pitch/Energy Predictor)、解碼器Decoder這4個(gè)模塊組成。

2.1 輕量卷積模塊

輕量卷積模塊用來解決非自回歸模型中缺失上下文音素的關(guān)聯(lián)造成的出錯(cuò)問題。輕量卷積模塊如圖2所示。輕量卷積模塊主要由線性層、門控線性單元GLU[10]和輕量級(jí)卷積構(gòu)成。該模塊能夠更好保留音素特征，從而更準(zhǔn)確地判斷出每一個(gè)窗口內(nèi)輸入音素的重要性。

圖2 輕量卷積模塊

模塊輸入首先經(jīng)過線性層，將維度為N×d的輸入投影映射為N×2d的維度。接著將線性層的輸出送入GLU層。門控線性單元GLU是在卷積結(jié)構(gòu)上加入門控機(jī)制，將GLU層的一半輸入作為門控單元，再將剩余的一半線性層輸出作為門控單元的輸入變量，然后計(jì)算逐個(gè)點(diǎn)積。GLU層運(yùn)算如式(1)所示

hl(X)=X+CNN(X)?CNN(X)

(1)

式中：X表示門控單元的輸入變量，CNN表示卷積網(wǎng)絡(luò)，?表示矩陣之間的元素乘積。通過門控線性單元后獲得維度為N×d的輸出。接下來將隱變量送入輕量級(jí)卷積。通過輕量級(jí)卷積和線性層，模塊最終輸出為N×d的向量。

輕量級(jí)卷積具有權(quán)重共享的特性，能夠加快模型的訓(xùn)練速度，提升訓(xùn)練效率。輕量級(jí)卷積如圖3中所示。它在深度卷積的基礎(chǔ)上，引入多頭注意力機(jī)制，通過權(quán)重共享，即在同一個(gè)頭內(nèi)使用相同的卷積核參數(shù)；且對每一頭內(nèi)的卷積核參數(shù)進(jìn)行歸一化處理。歸一化處理可以有效聚合局部信息，幫助模型更好地關(guān)注重點(diǎn)信息。輕量級(jí)卷積在同一時(shí)間內(nèi)對不同通道采用相同卷積核參數(shù)同時(shí)進(jìn)行卷積運(yùn)算，極大縮減計(jì)算時(shí)間。圖3中W表示卷積核，H表示引入注意力頭數(shù)，k表示卷積核的大小，X和O分別表示輸入與輸出，N表示輸入的向量維度，d表示輸入的通道數(shù)。輕量卷積序列中第i個(gè)音素計(jì)算的輸出如式(2)所示

圖3 輕量級(jí)卷積

(2)

(3)

式(3)表示同一頭內(nèi)卷積參數(shù)歸一化處理過程，其中h表示頭數(shù)，k表示卷積核的大小，W表示卷積核。

2.2 音素編碼器模塊

音素編碼器的作用是提取輸入音素的魯棒順序表示。通過Embedding層將輸入的音素表示為一串連續(xù)的one-hot向量。再結(jié)合輕量卷積模塊提取音素特征，提升模型的泛化能力。經(jīng)由Embedding層和輕量卷積模塊構(gòu)成的前置網(wǎng)絡(luò)生成的one-hot變量，接下來將進(jìn)入殘差卷積模塊中，借用卷積神經(jīng)網(wǎng)絡(luò)的強(qiáng)大特征提取能力提取出更具語義信息的音素隱藏特征。再通過由輕量卷積模塊和歸一化模塊組成的音素編碼器后置網(wǎng)絡(luò)進(jìn)行更為細(xì)致的特征提取得到魯棒性音素序列表示，獲得音素編碼器模塊的最終輸出。音素編碼過程可以簡述為

Z=Encoder(X)

(4)

式中：輸入序列為X={x1，x2，x3，…，xN}， 其中xi表示輸入文本中第i個(gè)音素，N表示輸入的音素總長度。音素編碼器的輸出序列為Z={z1，z2，z3，…，zN}， 其中zi表示第i個(gè)隱變量，Encoder表示音素編碼器。

2.3 時(shí)長預(yù)測器模塊

時(shí)長預(yù)測器用于預(yù)測每一個(gè)輸入音素的持續(xù)時(shí)間，即該音素對應(yīng)的梅爾頻譜幀的數(shù)量。時(shí)長預(yù)測器由輕量卷積模塊和殘差卷積模塊組成，如圖4所示。

圖4 時(shí)長預(yù)測器

時(shí)長預(yù)測器以音素編碼器輸出的音素序列作為輸入，最終輸出一連串的音素持續(xù)時(shí)長序列。音素時(shí)長預(yù)測過程可以簡述為

Lossduration={l1，l2，l3，…，lN}

(5)

(6)

式(5)和式(6)中，輸出的音素時(shí)長序列為D={d1，d2，d3，…，dN}， 其中di表示輸入序列中第i個(gè)音素對應(yīng)的預(yù)測持續(xù)時(shí)間。真實(shí)音素時(shí)長序列為T={t1，t2，t3，…，tN}， 其中ti表示每個(gè)音素的真實(shí)持續(xù)時(shí)長。Lossduration表示預(yù)測音素時(shí)長與真實(shí)音素時(shí)長的誤差集合，其中l(wèi)j表示每一個(gè)音素的預(yù)測與真實(shí)值之間的誤差。

2.4 音高/能量預(yù)測器模塊

音高/能量預(yù)測器的作用是為生成音頻增添更多的韻律信息，解決生成音頻不連貫的問題，提升生成語音的自然度。音高/能量預(yù)測器結(jié)構(gòu)如圖5所示。

圖5 音高/能量預(yù)測器

音高和能量預(yù)測器的計(jì)算過程如下：首先通過一維卷積層進(jìn)行隱藏序列特征的提取，接著將結(jié)果送入Relu激活。激活后的隱變量通過歸一化層幫助模型加快收斂速度。同時(shí)為加強(qiáng)模型的魯棒性引入隨機(jī)丟棄的方法，最后通過線性層對隨機(jī)丟棄后的結(jié)果進(jìn)行線性映射，轉(zhuǎn)化為與擴(kuò)展后的隱藏序列相同的維度。由于生成語音的音高與能量變化屬于幀級(jí)別的變化，因此本文結(jié)構(gòu)在時(shí)長預(yù)測器完成音素持續(xù)時(shí)長預(yù)測后對音素隱藏序列進(jìn)行擴(kuò)展，再將拓展后的序列向后傳播。音高/能量預(yù)測器分別以擴(kuò)展后的音素隱藏序列為輸入，去預(yù)測每一幀的音高或能量，再分別獲取輸出。然后再將這兩種預(yù)測器的輸出與輸入進(jìn)行連接后送入解碼器中，解碼得到梅爾頻譜，最后借助聲碼器對頻譜圖進(jìn)行編譯轉(zhuǎn)化為聲音波形。音高和能量預(yù)測的過程可以簡述為

P=PitchPredictor(K)

(7)

E=EnergyPredictor(K)

(8)

式(7)、式(8)中，擴(kuò)展后的音素隱藏序列為K={k1，k2，k3，…，kL}， 其中L為梅爾頻譜的最大梅爾刻度值。音高預(yù)測器輸出序列為P={p1，p2，p3，…，pL}， 能量預(yù)測器輸出序列為E={e1，e2，e3，…，eL}。 其中PitchPredictor表示音高預(yù)測器，EnergyPredictor表示能量預(yù)測器。

2.5 解碼器模塊

解碼器的主要功能是生成梅爾頻譜。解碼器以音高預(yù)測器和能量預(yù)測器的輸出與擴(kuò)展后得到的音素隱藏序列相結(jié)合作為輸入。解碼過程可以簡述為

M=Decoder(cat(K，P，E))

(9)

(10)

(11)

Lossmel=Lossssim+Lossl1+Lossduration

(12)

假設(shè)解碼器的輸出為M={m1，m2，m3，…，m80}， 擴(kuò)展后的音素隱藏序列為K。 將解碼器的輸出與真實(shí)頻譜圖G={g1，g2，g3，…，g80} 作結(jié)構(gòu)相似損失對比進(jìn)行模型訓(xùn)練。式(10)～式(12)為本模型的各項(xiàng)損失函數(shù)，其中Decoder表示解碼器，cat表示將變量相連接。μg、μm分別表示真實(shí)值與預(yù)測值擬合后的高斯函數(shù)的均值，σg、σm分別表示真實(shí)值與預(yù)測值擬合后的高斯函數(shù)的方差。Lossssim表示結(jié)構(gòu)相似損失函數(shù)，Lossl1表示平均絕對誤差函數(shù)，Lossmel表示整體模型的損失。

2.6 總體流程偽代碼

整體模型訓(xùn)練過程的偽代碼見表1。

表1 總體算法偽代碼

3 實(shí)驗(yàn)部分

3.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)備

本文使用LJSpeech數(shù)據(jù)集[11]對LCTTS模型進(jìn)行訓(xùn)練測試，并采用ESD數(shù)據(jù)集[12]中數(shù)據(jù)進(jìn)行驗(yàn)證。LJSpeech數(shù)據(jù)集包含大約24小時(shí)的13 100個(gè)英語音頻片段，同時(shí)提供音頻相對應(yīng)的文本。本實(shí)驗(yàn)中將此數(shù)據(jù)集分為兩部分：前13 000句用于訓(xùn)練，后100句用于測試，并從ESD數(shù)據(jù)集中抽取中性情感語句350句，均為編號(hào)0011的說話者音頻，用于驗(yàn)證。

3.2 實(shí)驗(yàn)設(shè)置

本文所提出模型的實(shí)驗(yàn)均在系統(tǒng)為Ubuntu 16.04，以及顯卡型號(hào)為RTX 2080Ti上進(jìn)行。具體網(wǎng)絡(luò)模型的訓(xùn)練細(xì)節(jié)如下：訓(xùn)練迭代100輪，采用Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為0.02。網(wǎng)絡(luò)模型中的超參數(shù)設(shè)置如下：音高/能量模塊使用卷積核為3的一維卷積和0.5的丟棄率，并進(jìn)行隨機(jī)丟棄訓(xùn)練；輕量卷積模塊使用卷積核為7的輕量卷積，并且使用8頭注意力，設(shè)定丟棄率為0.1。

目前主流的兩端拼接式語音合成模型主要由聲學(xué)模型和聲碼器構(gòu)成，本部分將介紹本實(shí)驗(yàn)中用到的聲學(xué)模型和聲碼器，將其任意兩兩組合進(jìn)行實(shí)驗(yàn)對比。

聲學(xué)模型部分主要應(yīng)用以下5個(gè)模型：

(1)TransformerTTS模型[4]，以seq2 seq序列模型為基礎(chǔ)結(jié)合自注意力機(jī)制實(shí)現(xiàn)梅爾頻譜生成的自回歸模型。

(2)FastSpeech2模型[7]，通過時(shí)長預(yù)測器結(jié)構(gòu)對齊輸入文本和輸出頻譜實(shí)現(xiàn)非自回歸生成模型。

(3)FastPitch模型[9]，通過對基因輪廓進(jìn)行預(yù)測并借助Transformer結(jié)構(gòu)生成梅爾頻譜的非自回歸模型。

(4)SpeedySpeech模型[8]，以全卷積結(jié)構(gòu)實(shí)現(xiàn)快速梅爾頻譜生成的非自回歸模型。

(5)LCTTS模型，是結(jié)合輕量卷積并添加音高/能量預(yù)測器的非自回歸模型。

聲碼器部分主要采用GriffinLim算法和MelGan聲碼器[13]：

(1)GriffinLim算法是一種通過已知的幅度譜去預(yù)測未知的相位譜，結(jié)合幅度譜和相位譜重建語音波形的經(jīng)典算法。

(2)MelGan是一種基于GAN[14]結(jié)構(gòu)，采用非自回歸卷積結(jié)構(gòu)生成語音的輕量級(jí)快速高效語音合成方法。

3.3 實(shí)驗(yàn)結(jié)果

模型訓(xùn)練損失如圖6所示。損失圖中橫坐標(biāo)Step表示訓(xùn)練的迭代次數(shù)，縱坐標(biāo)TotalLoss表示訓(xùn)練過程中的總損失量。從損失下降中可以明顯看到，本文算法更早地達(dá)到收斂效果，且震蕩幅度較小。這充分說明本文模型具有更好的魯棒性和強(qiáng)大的網(wǎng)絡(luò)表達(dá)能力。

圖6 模型訓(xùn)練損失

3.3.1 MOS評測

平均意見得分MOS(mean opinion score)，是衡量語音質(zhì)量的重要指標(biāo)，是一種主觀評測語音質(zhì)量的方法。本實(shí)驗(yàn)采用NISQA模型[15]進(jìn)行MOS值的預(yù)測。

各模型在測試集上的MOS得分實(shí)驗(yàn)結(jié)果見表2，在驗(yàn)證集上的MOS得分實(shí)驗(yàn)結(jié)果見表3。

表2 測試集上MOS得分

表3 驗(yàn)證集上MOS得分

表2中顯示，在采用GriffinLim算法時(shí)，LCTTS相比SpeedySpeech的MOS分值提升0.05。在使用MelGan聲碼器時(shí)，LCTTS相比SpeedySpeech的MOS分值提升0.02，比FastSpeech2的MOS分鐘高出0.09，比FastPitch的MOS分值高出0.28。

表3中顯示，在采用GriffinLim算法時(shí)，LCTTS相比SpeedySpeech的MOS分值提升0.08。在使用MelGan聲碼器時(shí)，LCTTS相比SpeedySpeech的MOS分值提升0.14，比FastSpeech2的MOS分鐘高出0.37，比FastPitch的MOS分值高出0.31。

3.3.2 A/B偏好測試

本實(shí)驗(yàn)隨機(jī)選取20句文本，每句文本分別提供LCTTS和SpeedySpeech的對應(yīng)合成音頻，由10位英語專業(yè)的志愿者選擇出合成效果更好的音頻完成A/B偏好測試。評價(jià)結(jié)果如圖7所示。評價(jià)結(jié)果圖中橫坐標(biāo)表示合成音頻質(zhì)量好對應(yīng)的模型名稱，縱坐標(biāo)表示志愿者對于合成音頻偏好的百分比。

圖7 A/B偏好結(jié)果

圖7中可以看出志愿者認(rèn)為52.5%的LCTTS模型合成音頻效果優(yōu)于SpeedySpeech模型。僅有22.5%的音頻被認(rèn)為SpeedySpeech模型合成音頻效果優(yōu)于LCTTS模型。

3.3.3 MCD測試

梅爾倒譜失真測度MCD(Mel cepstral distortion)，作用是衡量兩個(gè)梅爾倒譜序列的差異程度，是一種客觀評測方法。合成頻譜和真實(shí)頻譜之間的MCD越小，合成音頻越接近自然音頻。各模型MCD得分的比較匯總結(jié)果見表4。

表4 各種模型MCD得分比較

表4中顯示，LCTTS模型生成的梅爾頻譜相較于SpeedySpeech模型在測試集和驗(yàn)證集上的MCD得分分別降低0.15和0.04。在測試集上，LCTTS模型的MCD得分比FastSpeech2模型低0.04，在驗(yàn)證集上LCTTS模型的MCD得分比FastSpeech2模型低0.8，比FastPitch模型低0.09。

3.4 消融實(shí)驗(yàn)結(jié)果

3.4.1 輕量卷積

輕量卷積的消融實(shí)驗(yàn)結(jié)果見表5。

表5 輕量卷積的消融實(shí)驗(yàn)結(jié)果

表5中可以看出，MOS評分在基準(zhǔn)SpeedySpeech模型上引入輕量卷積結(jié)合MelGan聲碼器能夠取得0.05的分值提升。驗(yàn)證了輕量卷積確實(shí)可以增強(qiáng)上下文音素之間的關(guān)聯(lián)，幫助發(fā)音時(shí)刻聚焦重點(diǎn)音素，生成更加準(zhǔn)確的發(fā)音，從而提升生成語音質(zhì)量。

3.4.2 音高/能量預(yù)測器

音高/能量預(yù)測器的消融實(shí)驗(yàn)結(jié)果見表6。

表6 音高/能量預(yù)測器的消融實(shí)驗(yàn)結(jié)果

表6中可以看出，MOS評分在基準(zhǔn)SpeedySpeech模型上增加音高/能量預(yù)測器后能夠獲得0.02的分值提升。驗(yàn)證了音高和能量能夠提升生成語音的韻律表達(dá)，增強(qiáng)生成語音的自然度，從而提升音頻的聲學(xué)感受。

4 可視化分析

同一文本”As has been pointed out，the Commission has not resolved all the proposals which could be made. The Commission never-theless is confident that”生成對應(yīng)音頻的梅爾頻譜圖如圖8所示。

圖8 梅爾頻譜

圖8中Reference表示數(shù)據(jù)集中提供對應(yīng)音頻，LCTTS表示提出的模型，SpeedySpeech表示基準(zhǔn)模型。圖中1 s～2 s文本合成頻譜處可以明顯看出相比于原來的SpeedySpeech模型，LCTTS模型的梅爾頻譜更加接近于真實(shí)音頻的梅爾頻譜，因此輸出音頻會(huì)更加接近于真實(shí)音頻，生成效果更好。

5 結(jié)束語

針對如何有效捕獲上下文音素之間的關(guān)系和對合成音頻韻律進(jìn)行準(zhǔn)確預(yù)測的問題，本文提出一個(gè)以音素為輸入的非自回歸語音合成模型LCTTS，結(jié)合輕量卷積結(jié)構(gòu)有效捕捉上下文音素之間的關(guān)系，引入音高、能量預(yù)測器控制全局聲音的特性，提升生成語音的可懂度和自然度。實(shí)驗(yàn)結(jié)果表明提出的LCTTS模型生成的梅爾頻譜與真實(shí)音頻的梅爾頻譜更相似，且合成音頻的質(zhì)量更好。提出的LCTTS模型目前主要針對單說話人的音頻合成，接下來的主要工作將專注于將其拓展為多說話人音頻合成模型。