李敬陽 李 銳 王 莉 王曉笛

(1.公安部物證鑒定中心,北京,100038；2.中國科學技術(shù)大學電子科學與技術(shù)系,合肥,230027)

基于變分貝葉斯改進的說話人聚類算法*

李敬陽1李 銳2王 莉1王曉笛1

(1.公安部物證鑒定中心,北京,100038；2.中國科學技術(shù)大學電子科學與技術(shù)系,合肥,230027)

說話人聚類是說話人分離中的一個重要過程，然而傳統(tǒng)的以貝葉斯信息準則作為距離測度的層次聚類方式，會出現(xiàn)聚類誤差向上傳遞的情況。本文提出了一種逐級算法增強處理機制。當片段之間的最小貝葉斯信息準則距離超過設(shè)定的門限值時，或者類別個數(shù)到達一定程度時，將當前聚類結(jié)果作為初始類中心，通過變分貝葉斯迭代法重新對每個類別中的片段調(diào)優(yōu)，最后再依據(jù)概率線性判別分析得分門限確定說話人個數(shù)。實驗表明，本文方法在美國國家標準技術(shù)署08 summed測試集上，使得“類純度”和“說話人純度”比傳統(tǒng)算法都有了一定提升，且使得說話人分離整體性能相對提升了27.6%。

說話人聚類；貝葉斯信息準則；概率線性判別分析；變分貝葉斯

引 言

隨著信息處理技術(shù)的不斷提升、互聯(lián)網(wǎng)的普及，人們獲取各種音頻的途徑越來越廣泛，然而在音頻數(shù)據(jù)爆炸式增長的同時，如何合理有效地管理和存儲這些海量數(shù)據(jù)是迫切需要解決的問題[1]。傳統(tǒng)的基于文本形式的音頻檢索方式已經(jīng)滿足不了人們對海量數(shù)據(jù)的檢索需求，采用人工標注的方式不但成本昂貴、效率低，而且很容易加入個人的主觀色彩。于是，基于內(nèi)容形式的音頻檢索應運而生，并成為多媒體研究領(lǐng)域的熱點問題。然而實際上大多數(shù)的語音信號不僅僅包含文本信息，也同樣包含說話人信息，這種基于內(nèi)容的處理方法會使說話人的信息丟失，存在一定的缺陷。為此，文獻[2]使用說話人分離技術(shù)，構(gòu)造和建立說話人索引，為在更高語義層次上實現(xiàn)音頻檢索提供基礎(chǔ)。說話人聚類是說話人分離技術(shù)中的一個重要環(huán)節(jié)，其關(guān)注的是如何將雜亂無序的說話人片段通過一種無監(jiān)督的聚類方式，自動地組合在一起。理想情況下，聚類后每個類別的片段僅屬于同一個說話人，而不同類別中的片段屬于不同的說話人。說話人聚類在語音識別和電話會議轉(zhuǎn)寫中有著廣泛的應用價值，通過說話人聚類技術(shù)將相同的說話人語音段聚為一類，可以為說話人自適應提供更可靠的說話人模型，最終提升語音識別和電話會議轉(zhuǎn)寫的準確度。

現(xiàn)有的說話人聚類多采用基于距離準則的層次聚類方法[3]，可選的相似性度量準則包括貝葉斯信息準則、相對熵、廣義似然比、歸一化似然比以及信息瓶頸等。其中貝葉斯信息準則(Bayesian information criterion,BIC)距離準則最早是由Chen 在文獻[4]中將其用于說話人分割和聚類，但是隨著聚類時長的增加，BIC的單高斯模型不足以描述說話人數(shù)據(jù)的分布，而基于通用背景模型(Universal background model,UBM)和最大后驗估計(Maximum a posterior,MAP)的交叉似然比，在說話人片段時長足夠的情況下能夠得到較好的結(jié)果[5]。伯克利大學的Yella等[6]利用信息瓶頸(Information bottleneck,IB)作為一種準則，在多人會議的分離中也取得了一定效果。文獻[7]在已知說話人個數(shù)的情況下引入了總變化因子(I-vector)技術(shù)，通過K均值聚類的方式對每個說話人片段進行調(diào)優(yōu)，在電話信道下的雙人對話中獲得了很好的效果。然而真實情況下說話人的個數(shù)是未知的，K-means的局限性顯而易見。本文針對傳統(tǒng)的說話人聚類算法會出現(xiàn)聚類誤差向上傳遞的情況，提出了改進策略，利用VB-I-vector的軟聚類方式，對說話人片段重新調(diào)優(yōu)，并結(jié)合短時BIC和長時PLDA的優(yōu)異區(qū)分性實現(xiàn)說話人聚類。實驗表明，在Nist-08 summed數(shù)據(jù)集上，無論是聚類的類純度還是說話人純度都有了一定提升。

1 BIC+PLDA基線系統(tǒng)

基線采用的是基于短時BIC和長時概率線性制別分析(Probabilistic linear discriminant analysis,PLDA)融合的方法[8]，充分利用了BIC的單高斯對短時說話人片段的描述能力和PLDA[9]對長時片段的區(qū)分性優(yōu)勢，其流程如圖1所示。

圖1 基線系統(tǒng)實現(xiàn)框圖Fig．1 Implementation block diagram of baseline system

給定分割后的說話人片段，通過自底向上的BIC層次聚類方式，將可能屬于同一個人的片段不斷地合并在一起，同時檢查合并后段的平均時長是否大于設(shè)定值，若滿足條件則利用區(qū)分性更強的PLDA模型對每個說話人片段建模，并計算兩兩之間的PLDA得分，否則繼續(xù)BIC層次聚類。其中說話人聚類的最終停止門限可以由大量實驗數(shù)據(jù)統(tǒng)計出的相同人和不同人之間的PLDA得分分布獲得。

圖2 時長1 min PLDA得分分布 Fig．2 Diagram of PLDA score between 1 min

1.1 貝葉斯信息準則

貝葉斯信息準則作為一種常見的模型選擇準則，是對邊緣似然函數(shù)的一種拉普拉斯近似，其定義為

(1)

給定兩個說話人片段為X，Y，存在下面兩個假設(shè)：

(1)Hs：片段X，Y由同一個說話人發(fā)出；(2)Hd:片段X，Y由不同的說話人發(fā)出，則兩個說話人片段之間的BIC距離為

圖3 BIC距離準則圖解
Fig．3 Diagram of Bayesian information criterion

(2)

1.2 概率線性判別分析

I-vector-PLDA是建立在高斯混合模型(Gaussian mixture model,GMM)均值超矢量空間上的一套框架[10]。給定一段語音，與說話人及信道相關(guān)的GMM均值超向量M可表示為

(3)

式中：m為UBM均值超矢量;T表示總變化空間(不再區(qū)分說話人子空間和信道子空間)，ω為總變化因子，也就是最終得到的低維矢量I-vector，服從均值為0，方差為I的高斯分布?？傋兓臻g的建立使得均值超向量由維數(shù)非常小的隱變量ω決定，這樣對說話人建模只需要估計ω，極大地減少了需要估計參數(shù)的個數(shù)，在注冊數(shù)據(jù)不足時，能得到較為準確的說話人GMM模型。

在PLDA框架下，I-vector被看成是由一種生成式模型產(chǎn)生的聲學特征，其產(chǎn)生過程可以用一個隱藏變量來描述，而不同的隱藏變量數(shù)目和不同的先驗假設(shè)構(gòu)成了不同的PLDA模型。

最常用的簡化后的PLDA模型為

(4)

式中：對于說話人s的第r句語音，提取出的I-vector為Ds,r;μ表示所有說話人的I-vector均值，與其對應的說話人因子為ys，殘差項為ε。若隱含因子的先驗分布服從如下的高斯分布，則此時的PLDA模型稱為高斯PLDA[11],即有

ys～N(0,I)

同BIC距離準則類似，PLDA采用似然比得分形式，對于兩個說話人片段X，Y，分別提取出I-vector為D1，D2，存在以下兩個假設(shè)：

Hs:D1,D2來自同一人，它們具有相同的隱含因子ys；

Hd:D1,D2來自不同人，它們分別具有隱含因子ys1,ys2,則PLDA似然比得分公式為

(5)

2 變分貝葉斯調(diào)優(yōu)系統(tǒng)

基于說話人聚類基線搭建的完整的說話人分離系統(tǒng)雖然在場景較為簡單的雙人對話中能夠達到完全實用的水平，但是在復雜場景如背景音較強、對話中含笑聲、重疊音以及多人參與的對話中，表現(xiàn)得卻差強人意。其根本原因在于實際的聚類系統(tǒng)，初始時每個說話人片段的類純度就不能夠得到保證；每個片段大多在1～2s，包含的可用信息太少；基于BIC距離準則的層次聚類方式本質(zhì)上是一種貪心算法，它并不能保證全局最優(yōu)，一旦出現(xiàn)聚類誤差，會一直地向上傳遞，并保持到最終結(jié)果；且BIC的單高斯模型在短時上更偏向于文本信息，而非說話人信息。

圖3 改進系統(tǒng)實現(xiàn)框圖Fig．3 Implementation block diagram of the improved system

為了使系統(tǒng)的聚類效果有所提升，本文在原有系統(tǒng)的基礎(chǔ)上，提出了逐級算法處理機制。首先當BIC層次聚類的類別數(shù)到達一個預先設(shè)定的值時，或者BIC距離超過設(shè)定的門限值時，通過VB對所有的說話人片段全局調(diào)優(yōu)，再將屬于一個類別的所有片段作為注冊數(shù)據(jù)，提取一個I-vector，最后再PLDA層次聚類，依據(jù)得分門限確定說話人個數(shù)。其框圖如圖3所示。

2.1 變分貝葉斯調(diào)優(yōu)

近年來，Kenny[12]，Zheng等[13]結(jié)合變分貝葉斯、聯(lián)合因子分析以及I-vector，使得說話人分離效果獲得了很大的提升。不同于K-means的硬判決方式，VB是在保證最優(yōu)化目標函數(shù)的前提下，通過對某個片段屬于某個說話人的最大后驗概率估計的一種軟聚類方式。

VB[14]的思想是一種利用形式簡單的分布去近似形式比較復雜難以求解的分布D(如給定數(shù)據(jù)集Q，求模型θ的后驗概率p(θ|x)和邊緣似然值p(x))。而Q和P之間的相似度可以用KL距離表示，KL距離越小，表示Q和P越相似。在變分貝葉斯的框架下，為了得到后驗p(θ|x)的近似表達式和evidence的下界L(Q)，可以通過選擇合適的Q，使得L(Q)便于計算和求極值。

2.1.1 問題描述

假設(shè)給定一條語音，被分成M小段X=(x1,x2,…,xM)，每段只包含一個人的語音，且語音中至多有S個說話人。因此,需要確定語音中有多少個說話人以及每個說話人對應哪些語音段。

對于每一個段xm，給賦予一個S×1維的向量im，其中ims=1(s=1,…,S)表示第m段來自說話人s，否則ims；令P(ims=1)=πs(πs表示了說話人s在給定語音段中說話的先驗概率),故有

(6)

為了估計整條語音中的說話人數(shù)目，通過最大化邊緣似然值P(X|π)來估計出，π中非零項的數(shù)目即為說話人的數(shù)目；為了確定每個說話人對應哪些語音段，需要計算出后驗概率P(I|X|π),即有

其中θ=(Y,I)，而無論是P(X|π)還是P(I|X|π)都不能精確求解，故使用變分方法來分別求解。

2.1.2 變分法

假設(shè)π是已知的，通過使用分布Q(Y，I)來近似真實的后驗分布。這不僅可以在π已知的情況下算得每段話所對應的說話人，而且還能計算得到P(X|π)，從而用來估算π。在這里假設(shè)

(7)

定義輔助函數(shù)L(Q|π)為

對于任何Q，有

根據(jù)變分貝葉斯公式，Q(Y)和Q(I)的更新公式分別為

lnQ(Y)=EI[lnP(X,Y,I|π)]+const

lnQ(I)=EY[lnP(X,Y,I|π)]+const

由于兩個更新公式相關(guān)聯(lián)，需要交替更新Q(Y)和Q(I)，每次的更新保證了L(Q|π)的增長。即

(8)

其中

(9)

式中：Rt為TV的因子數(shù);S為說話人個數(shù);V為全差異空間變換矩陳;Nm和Fm分別為零階和一階統(tǒng)計量;qms表示第m句話屬于第s個人的后驗概率;不同于一般意義上的I-vector，此處的as稱為VB-I-vector;每個說話人片段的后驗概率為

(10)

2.2VB調(diào)優(yōu)算法流程

已知有M個說話人片段，記為X=(x1,x2,…,xM)，一步BIC層次聚類后獲得最大說話人個數(shù)Smax。

(1)Form=1 toM

Fors=1 toSmax

計算第m個片段和第S個人之間的距離dis(m,s)

End for

End for

(2)初始化qms=Norm(dis(m,s))0-1

(3)Fori= 1 to 最大迭代次數(shù)

更新as,Λs

更新qms

計算L(Q|π)

If (L(Q|π)-L(Q|π)<θthen stop

End for

(4)取最大的qms，并將m歸為第s個說話人；

End when

3 實驗結(jié)果及分析

3.1 性能評價指標

說話人聚類性能的好壞可以用“平均說話人純度(Average speaker purity,ASP)”和“平均類純度(Average cluster purity,ACP)”作為衡量指標，ACP反映的是同一類別的數(shù)據(jù)是否都是來自同一說話人，ASP反映的是同一說話人的語音被分為了多少類別。

設(shè)S為說話人的總數(shù)，C為聚類后得到的類數(shù)，N為語音的總幀數(shù)，ni為第i類的總幀數(shù)，nj為第j個說話人語音的總幀數(shù)，nij為第i類中包含說話人j的語音幀數(shù),則ACP和ASP的定義為

為了評價不同系統(tǒng)之間的說話人聚類算法整體效果，通常加入一個總體評價指標K值[15]，定義為

(11)

為了更明顯地看出不同的聚類方式對整體的說話人分離的效果影響，本文在NIST提供的VAD標注基礎(chǔ)上，使用變窗長的BIC距離準則進行說話人變換點檢測，并以說話人分離錯誤率(Diarization error rate,DER)作為輔助的標準，即有

DER = Miss + False + SpkErr

式中：Miss指語音段當做靜音段處理，丟失的有效時長占實際有效語音段的百分比；False指靜音段當作語音段處理，多余的錯誤時長占實際有效語音段的百分比，由于使用的是標簽VAD，所以此處的Miss和False都為0；SpkErr是指將一個說話人的語音段歸于另一個說話人的百分比，此值越小表示說話人分離的效果越好。

3.2 訓練集、測試集及參數(shù)配置

本實驗中，測試數(shù)據(jù)來自nist 08 summed電話信道數(shù)據(jù)集，總共有2 212條雙人對話語音，每條時長約5 min。訓練UBM,TV的數(shù)據(jù)來自nist04,05,06大約500個小時的音頻數(shù)據(jù)，訓練PLDA的數(shù)據(jù)來自nist04,05,06共577個說話人，平均每個人約有15句話。其中模型UBM采用512高斯數(shù)，而T空間的因子數(shù)取200，PLDA 的說話人因子數(shù)取150。

3.3 基線系統(tǒng)以及改進系統(tǒng)的聚類結(jié)果

表1列出了基線方法以及本文的VB調(diào)優(yōu)的聚類方法結(jié)果，表2列出了在VB框架下，對每個片段后驗概率以不同方式初始化的結(jié)果。

表1 不同系統(tǒng)下的性能對比

表2 VB不同初始化方式對性能影響

3.4 實驗結(jié)果分析

(1)從表1的對比結(jié)果中可以看出，在說話人聚類層面上改進后的系統(tǒng)相比于基線系統(tǒng)，平均類純度和平均說話人純度分別提升了1.68%和2.30%，而K-value值從0.886提升到了0.904，在其他情況完全相同的條件下，改進后的系統(tǒng)使得最終的說話人分類錯誤率DER也相對下降了27.6%。

(2)表2給出了不同的VB初始化方式對聚類和分離效果的影響，從中可以發(fā)現(xiàn)，無論是隨機初始化每個片段的后驗概率，還是一步BIC層次聚類后，將每個說話人片段與類中心求Cos距離作為后驗概率的初值(0-1規(guī)整后)，其效果相比與基線BIC+PLDA都要好。而后者相當于人為地加強或抑制了某個片段屬于某個說話人的可能性，所以效果上會有所增加。

(3)從表格中可以看出無論是基線還VB改進后的系統(tǒng)，ACP和ASP都不是太高，通過對類純度較低的音頻分析后發(fā)現(xiàn)，這些對話雙方音色都比較接近，即使在標簽VAD下，其轉(zhuǎn)折點檢測依舊存在誤差，很容易產(chǎn)生漏警，進而直接影響聚類結(jié)果。

4 結(jié)束語

本文針對基線中的BIC+PLDA說話人聚類方法，在層次聚類時會出現(xiàn)誤差向上傳遞的情況，提出了逐級算法增強處理機制，依據(jù)短時片段上提取出的VB-I-vector，保證在最優(yōu)化目標函數(shù)的情況下，通過最大后驗估計方法對每個短時片段調(diào)優(yōu)。實驗結(jié)果表明，這種VB調(diào)優(yōu)策略對于聚類效果有了一定的提升，且對于整個說話人分離系統(tǒng)也有了很大的效果提升。但是值得注意的是，VB調(diào)優(yōu)是一種迭代過程，涉及復雜的后驗均值和方差的計算，因此就計算的實時率來說，相對于基線系統(tǒng)還是會慢很多。本文提出的方法雖然在電話信道上有很大的改善，但是在實際應用中還面臨著各種各樣的復雜場景，如背景音較強、對話中含笑聲和重疊音等，這些都會影響聚類效果，進而影響說話人分離系統(tǒng)的性能。另外，如何精確地確定說話人實際數(shù)目將是未來工作的一個重點。

[1] Nguyen T H, Chng E S, Li H. Speaker diarization: An emerging research[M]//Speech and Audio Processing for Coding, Enhancement and Recognition. New York:Springer，2015: 229-277.

[2] Moattar M H，Homayounpour M M. A review on speaker diarization systems and approaches[J]. Speech Communication,2012, 54(10): 1065-1103.

[3] 馬勇, 鮑長春.說話人分割聚類研究進展[J]. 信號處理, 2013, 29(9): 1190-1199.

Ma Yong,Bao Changchun. Advances in speaker segmentation and clustering[J]. Signal Processing, 2013, 29(9): 1190-1199.

[4] Chen S. Speaker, environment and channel change detection and clustering via the Bayesian information criterion [C]// Proc DARPA Broadcast News Transcription and Understanding Workshop. Morgan Kaufman:[s.n.], 2000:127-132.

[5] 凌錦雯, 陸偉, 劉青松, 等. 利用 EHMM 和 CLR的說話人分割聚類算法[J]. 小型微型計算機系統(tǒng), 2012, 33(6): 1389-1392.

Ling Jinwen，Lu Wei，Liu Qingsong，et al. Speaker diarization using EHMM and CLR[J].Journal of Chinese Computer Systems, 2012, 33(6): 1389-1392.

[6] Yella S H, Valente F. Information bottleneck features for HMM/GMM speaker diarization of meetings recordings[C]//Interspeech. Florence,Italy:Conference of the International Speech Communication Assocition, 2011: 953-956.

[7] Shum S, Dehak N, Chuangsuwanich E, et al. Exploiting intra-conversation variability for speaker diarization[C]// Conference of the International Speech Communication Association. Florence,Italy:DBLP,2011:945-948.

[8] 李銳, 卓著, 李輝.基于BIC和G_PLDA的說話人分離技術(shù)研究[J].中國科學技術(shù)大學學報, 2015,45(4):286-293.

Li Rui,Zhuo Zhu,Li Hui.The research of speaker diarization based on BIC and G_PLDA[J].Journal of University of Science and Technology of China,2015,45(4):286-293.

[9] Prince S J D, Elder J H. Probabilistic linear discrimant analysis for inferences about identity[C]// ICCV 2007, IEEE 11th International Conference on Computer Vision. Glasgow, Scotland:IEEE, 2007: 1-8.

[10]Rajan P, Kinnunen T, Hautam?ki V. Effect of multi-condition training on I-vector PLDA configurations for speaker recognition[C]//Interspeech. Lyon,France:[s.n.],2013: 3694-3697.

[11]Kenny P, Stafylakis T, Ouellet P, et al.PLDA for speaker verification with utterances of arbitrary duration[C]// IEEE International Conference on Acoustics, Speech and Signal.[S.l.]:IEEE, 2013: 7649-7653.

[12]Kenny P. Bayesian analysis of speaker diarization with eigenvoice priors[R]. Technical Report, CRIM, Montreal, 2008.

[13]Zheng R, Zhang C, Zhang S, et al. Variational bayes based I-vector for speaker diarization of telephone conversations[C]// IEEE International Conference on Acoustics, Speech and Signal Processing. Florence, Italy:IEEE, 2014: 91-95.

[14]Tzikas D G, Likas A C, Galatsanos N P. The variational approximation for Bayesian inference[J]. IEEE Signal Processing Magazine,2008,25(6):131-146.

[15]Ajmera J, Bourlard H, Lapidot I, et al. Unknown-multiple speaker clustering using HMM[C]∥International Conference on Spoken Language Processing. Colorado,USA:DBLP,2002:573-576.

Improved Algorithm of Speaker Clustering Based on Variation Bayesian

Li JingYang1，Li Rui2，Wang Li1，Wang Xiaodi1

(1.Institute of Forensic Science, Ministry of Public Security, Beijing,100038, China;2.Department of Electronic Science and Technology, University of Science and Technology of China, Hefei, 230027, China)

The speaker clustering is an important process of speaker diarization, yet traditional method for hierarchical agglomerative clustering (HAC) with distance measurement based on Bayesian information criterion (BIC) can lead to the clustering error propagation. To solve this problem, step by step algorithm is proposed, when the minimum BIC distance between segments exceeds a predefined threshold, or the number of the categories on hierarchical clustering reaches a certain number. The current clustering result as the initial class center, and then variational Bayesian method will be exploited to tune the speaker segments among the categories iteratively. Finally, the number of speaker is determined according to the probabilistic linear discriminant analysis (PLDA) score threshold. Experiments on national institute of standards and technology (NIST) 08 summed test set show that this method improves the "class purity" and "speaker purity" compared with conventional algorithms. Moreover, performance of speaker diarization is relatively improved by 27.6%.

speaker clustering; Bayesian information criterion; probabilistic linear discriminant analysis; variational Bayesian

公安部應用創(chuàng)新計劃(2014YYCXGAES048)資助項目。

2015-05-15；

2015-07-14

TN912.34

A

李敬陽(1964-)，男，研究員，研究方向：司法語音音頻檢驗，E-mail：lijingyang@cifs.gov.cn。

王曉笛(1981-)，女，副研究員，研究方向：司法語音音頻檢驗，E-mail：wangxiaodi@cifs.gov.cn。

李銳(1991-)，男，碩士，研究方向：語音信號處理，E-mail：lirui005@mail.ustc.edu.cn。

王莉(1969-)，女，副研究員，研究方向：司法語音音頻檢驗，E-mail：wangli@cifs.gov.cn。