楊繼臣，李艷雄

（1.仲愷農(nóng)業(yè)工程學(xué)院 計(jì)算機(jī)科學(xué)與工程學(xué)院，廣東 廣州510225；2.華南理工大學(xué) 電子與信息學(xué)院，廣東 廣州510640）

0 引 言

在視頻檢索中，人們使用關(guān)鍵幀進(jìn)行檢索；在文本檢索中，人們使用關(guān)鍵詞進(jìn)行檢索［1］；另外，蘆烈等人提出在音頻中使用類似于詞頻－逆文檔頻率的方法在音頻中檢測音頻關(guān)鍵詞［2－3］。受關(guān)鍵幀和關(guān)鍵詞的啟發(fā)，本文提出在電視新聞中使用關(guān)鍵說話人進(jìn)行檢索。一般情況下，關(guān)鍵說話人是多媒體記錄中角色最重要的那個人，相對于其他人而言，他（她）可能出現(xiàn)的次數(shù)比較多和出現(xiàn)的時(shí)間比較長；但有些情況下，并不一定出現(xiàn)次數(shù)多和時(shí)間長的人就是角色最重要的。

在以前的說話人檢索研究中，很少有人考慮關(guān)鍵說話人的問題，都是把所有的人物一樣對待，只標(biāo)注誰在何時(shí)說（who spoke when）［4－6］。在新聞故事中，為了節(jié)省時(shí)間，有時(shí)人們只需要觀看或聽下主要角色的講解就可以了解故事的主要內(nèi)容，因此在這種情況下，需要把新聞故事的主要角色找出來，把他（她）作為該故事的關(guān)鍵人物。另外對于用戶而言，他（她）可能只對某一位人物有興趣，如果把他（她）感興趣的人物作為關(guān)鍵說話人。在檢索時(shí)，可以有效快速地檢索到說話人。受文獻(xiàn) ［1－3］算法思想的啟發(fā)，為了能在電視新聞中找到關(guān)鍵說話人，我們提出使用說話人關(guān)鍵度的方法發(fā)現(xiàn)關(guān)鍵說話人，我們首先介紹了我們使用的數(shù)據(jù)庫，然后詳細(xì)我們的算法，最后用實(shí)驗(yàn)進(jìn)行驗(yàn)證我們的算法。

1 數(shù)據(jù)庫簡介

由于多媒體處理的實(shí)驗(yàn)數(shù)據(jù)庫方面，沒有統(tǒng)一的數(shù)據(jù)庫，比如，文獻(xiàn) ［7］采用NIST數(shù)據(jù)，文獻(xiàn) ［8］采用日語電視新聞數(shù)據(jù)，文獻(xiàn) ［9］采用GALE普通話數(shù)據(jù)庫。在本文中，我們選用中央電視臺的新聞聯(lián)播。

我們選用新聞聯(lián)播的原因主要有以下3方面［10］：①從研究的角度，它有最簡單的場景（新聞提要部分完全靜音），也有最復(fù)雜的場景（戰(zhàn)事報(bào)道，暴風(fēng)雨報(bào)道）。②從影響的范圍來看，它是全國收視率最高的新聞節(jié)目，也是世界上觀眾最多的新聞節(jié)目，影響范圍甚廣。③從存檔的角度看，因它是國內(nèi)外大事的真實(shí)記錄者，內(nèi)容涵蓋政治、經(jīng)濟(jì)、科技、社會、軍事、外交、文化、體育等方面，因此它是最有可能存檔的新聞節(jié)目。

由于我們主要研究如何發(fā)現(xiàn)每個故事中的關(guān)鍵說話人，又因?yàn)殛P(guān)鍵說話人發(fā)現(xiàn)是在新聞故事分割和說話人索引完成之后才能進(jìn)行的，由于篇幅有限，本文中我們主要介紹如何在前面兩步都已完成的基礎(chǔ)上，研究如何發(fā)現(xiàn)關(guān)鍵說話人。

2 關(guān)鍵說話人發(fā)現(xiàn)

首先我們先介紹下新聞故事中出現(xiàn)的說話人涉及到的說話人參數(shù)。圖1是某段新聞故事中出現(xiàn)的說話人記錄。

圖1 某段新聞故事中出現(xiàn)的說話人記錄

由圖1可以看出，此段新聞故事中總共有5個說話人：SP1、SP2、SP3、SP4和SP5。其中SP1出現(xiàn)了2次，SP2、SP3、SP4和SP5各出現(xiàn)了1次，他們每個人持續(xù)時(shí)間和每次出現(xiàn)的時(shí)長多數(shù)情況下不相等，另外他們每個人的位置也不一樣。

在新聞故事中，說話人出現(xiàn)的次數(shù)作為一個重要指標(biāo)，但并不是出現(xiàn)的次數(shù)越多就越重要。像在文本中，有些詞是停詞（比如 ‘的’字），雖然出現(xiàn)的次數(shù)比較多，但未必重要。在本文中，要處理的對象是分割好的單個新聞故事，和文本中出現(xiàn)的詞不同的是，在新聞故事中，說話人每次出現(xiàn)，都會有一段持續(xù)過程，因此我們引入了說話人持續(xù)時(shí)間和平均每次說話人時(shí)長這兩個參數(shù)。在新聞故事里，因?yàn)椴煌娜顺霈F(xiàn)的位置不一樣，所以我們還引入說話人位置因子這個參數(shù)。

為了能發(fā)現(xiàn)關(guān)鍵說話人，我們認(rèn)為在故事中每個人的重要性是由說話人關(guān)鍵度（speaker key，SK）決定，SK的大小決定了說話人在故事中的重要程度。SK越大，相應(yīng)的說話人越重要，最大的SK對應(yīng)的說話人是關(guān)鍵說話人。在新聞故事中，我們認(rèn)為SK是由說話人頻率、說話人持續(xù)時(shí)間、平均每次說話人時(shí)長和說話人位置因子共同決定的，下面對它們一一進(jìn)行介紹。

說話人頻率（speaker frequency，SF）表示說話人在新聞故事（news story，NS）中出現(xiàn)的頻度，相當(dāng)于文本中的詞條頻率一樣，但和一般意義上的頻率不同的是，我們使用e指數(shù)函數(shù)的倒數(shù)計(jì)算它，這樣做的好處是使每個值都小于1；在某種程度上相當(dāng)于對它進(jìn)行了歸一化，其余的兩個參數(shù)（說話人持續(xù)時(shí)間和平均每次說話人時(shí)長）也采取同樣的處理方法。計(jì)算公式如下

式中：Si——新聞故事出現(xiàn)的第i個說話人，ni——Si出現(xiàn)的次數(shù)，navg，nstd——所有說話人出現(xiàn)次數(shù)的平均值和標(biāo)準(zhǔn)方差。

說話人持續(xù)時(shí)間（speaker duration，SD）是計(jì)算說話人在新聞故事中出現(xiàn)的全部時(shí)間，它的計(jì)算公式如下

式中：di——Si的全部持續(xù)時(shí)間，davg，dstd——所有說話人相應(yīng)的時(shí)長的平均值和標(biāo)準(zhǔn)方差。

平 均 每 次 說 話 人 時(shí) 長（average every time speaker length，AETSL）考慮到了說話人每次在新聞故事中出現(xiàn)的時(shí)間平均長度，計(jì)算公式如下

式中：li——Si在新聞故事中的平均每次出現(xiàn)時(shí)長，lavg，lstd——所有說話人相應(yīng)的平均每次出現(xiàn)時(shí)長的平均值和標(biāo)準(zhǔn)方差。說話人位置因子（speaker position factor，SPF）考慮到了在新聞故事中每個說話人起的作用不同，出現(xiàn)的順序不同。

在新聞聯(lián)播的故事中，最完整的人物結(jié)構(gòu)應(yīng)該是：

主持人＋講解員＋（記者，國家領(lǐng)導(dǎo)人或一般的被訪問者）＋講解員＋訪問者＋…。

其中，第一個出現(xiàn)的人物一般是主持人，主持人一般起介紹整個故事的作用；第二個出現(xiàn)的人物是講解員，講解員負(fù)責(zé)介紹整個故事；第三個出現(xiàn)的人物一般是記者或國家領(lǐng)導(dǎo)人或一般被訪問者，記者一般負(fù)責(zé)報(bào)道故事發(fā)生的地點(diǎn)，國家領(lǐng)導(dǎo)人一般就某件事發(fā)表談話，被訪問者一般是對某件事情發(fā)表看法。因?yàn)樾侣劰适乱话愣际歉爬ㄐ偷模ǔＧ闆r下前面出現(xiàn)的人物的SPF要大于后面出現(xiàn)的人物的SPF。因?yàn)槊總€說話人之間是相互獨(dú)立的，最終的SK的計(jì)算公式為

式中：SK（Si，NS）——最終計(jì)算得到的說話人Si在新聞故事中的說話人關(guān)鍵度，把SK最大的那個說話人作為關(guān)鍵說話人；α——說話人Si的說話人位置因子。但要說明的是如果不考慮說話人位置因子的作用，即把每個人的位置因子都設(shè)置為一樣，假設(shè)在某段新聞故事里總共有n個說話人，那么式（4）可以寫為

在一個故事中，如果所有說話人的說話人頻率都相等，那么在計(jì)算SK時(shí)，SF（Si，NS）可以不用考慮，這種情況下式（4）可以寫為

同理，若所有說話人的SD或AETSL都相等，則式（4）可以分別寫為式（7）和（8）

若所有說話人的SF、SD和AETSL都相等時(shí)，這種情況下，SK只是由說話人位置因子α決定。

在上面介紹說話人關(guān)鍵度的基礎(chǔ)上，我們提出基于說話人關(guān)鍵度的關(guān)鍵說話人發(fā)現(xiàn)方法如下：①在說話人索引的基礎(chǔ)上，為要處理的新聞故事里出現(xiàn)的每個人物計(jì)算說話人關(guān)鍵度。②按照說話人關(guān)鍵度的大小，把故事里出現(xiàn)的人物進(jìn)行排序，把說話人關(guān)鍵度最大的那個人作為關(guān)鍵說話人。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

我們收集了2009年將近200天的新聞聯(lián)播數(shù)據(jù)，我們首先對新聞聯(lián)播進(jìn)行內(nèi)容分析，總結(jié)出新聞聯(lián)播的規(guī)律，把新聞聯(lián)播的故事分成兩大類：有主持人的和無主持人的。然后取出20天的數(shù)據(jù)，使用音視頻特征聯(lián)合的方法，對這20天的新聞故事進(jìn)行分割，最后我們得到新聞故事分割的準(zhǔn)確率為93.12%。

在新聞故事分割的基礎(chǔ)上，我們使用說話人模型自舉法和說話人超級矢量相結(jié)合的方法對說話人進(jìn)行索引，我們從上面的20天已分割好的新聞中取出5天的數(shù)據(jù)進(jìn)行訓(xùn)練和10天的數(shù)據(jù)進(jìn)行索引。在這10天的數(shù)據(jù)中，平均每天的新聞故事數(shù)目為19個，最少的為16個，最多的為21個。在新聞故事中，出現(xiàn)人物最少的為1個，最多的為10個。最終我們得到的說話人索引準(zhǔn)確率為88.24%和說話人數(shù)量準(zhǔn)確率為90.17% 。

在說話人索引的基礎(chǔ)上，我們這10天的數(shù)據(jù)進(jìn)行關(guān)鍵說話人發(fā)現(xiàn)。

3.2 實(shí)驗(yàn)結(jié)果與討論

我們對10天的新聞故事分別進(jìn)行基于說話人關(guān)鍵度的關(guān)鍵說話人發(fā)現(xiàn)，因?yàn)閷?shí)驗(yàn)數(shù)據(jù)太多，在這里，只詳細(xì)寫出其中8個故事的計(jì)算過程。其他的故事的計(jì)算過程和它們都一樣。

（1）對每個新聞故事統(tǒng)計(jì)以下數(shù)據(jù)：人物數(shù)目、最大時(shí)長、最小時(shí)長、故事中人物出現(xiàn)的最多次數(shù)和最少次數(shù)、SF平均值和方差、SD平均值和方差、AETSL平均值和方差。

（2）對新聞故事里面出現(xiàn)的每個人物分別計(jì)算SF、SD和AETSL。

（3）在不考慮說話人位置因子的情況下得到的說話人關(guān)鍵度值。

（4）在考慮說話人位置因子的情況下得到的說話人關(guān)鍵度值。

表1是這8個新聞故事的統(tǒng)計(jì)結(jié)果。

表1 新聞故事的統(tǒng)計(jì)結(jié)果（時(shí)長的單位為S）

從表2可以看出：

在第一個新聞故事中，因?yàn)橹v解員和被訪問者的出現(xiàn)的次數(shù)一樣，都是一次，結(jié)果他們的SF都是無窮大，最終的SK無法計(jì)算出來，這也是式（5）～（12）在計(jì)算SK為什么不考慮SF的原因。

在第一個和第二個新聞故事中，因?yàn)檎f話人的數(shù)量為2，他們計(jì)算出的說話人參數(shù)值相等，這就說明在只有2個人的新聞故事中，無論他們出現(xiàn)的次數(shù)是多少，只使用SF、SD和AETSL無法發(fā)現(xiàn)關(guān)鍵說話人。

表3是不考慮說話人位置因子得到的說話人關(guān)鍵度值。

表2 新聞故事中出現(xiàn)人物的說話人3個參數(shù)值

表3 不考慮說話人位置因子得到的說話人關(guān)鍵度值

從表3可以得出，如果新聞故事中只有兩個人，他們最終的SK是一樣的。如果新聞故事中的人物多于兩個，計(jì)算得到的最大的SK多數(shù)情況下是故事中的被訪問者，但在新聞故事中，被訪問者一般只是對某件事發(fā)表看法，一般情況下，都不把他們作為關(guān)鍵說話人。為了找到關(guān)鍵說話人，在計(jì)算說話人關(guān)鍵度值需要考慮說話人位置因子。

因?yàn)樾侣劰适乱话愣际歉爬ㄐ偷?，即越在前面出現(xiàn)的人越重要，所以通常情況下前面出現(xiàn)的人物的SPF要大于后面出現(xiàn)的人物的SPF，在這里，我們把第一個說話人的SPF設(shè)置為0.5且后面的出現(xiàn)的SPF是前面一個SPF的一半（0.5，0.25，0.125，0.00625，…）。要說明的是這樣設(shè)置SPF可能不一定完全正確。

表4是考慮說話人位置因子得到的說話人關(guān)鍵度值。

從表4可以看出，考慮說話人位置因子后，說話人關(guān)鍵度最大的絕大部分都是前面出現(xiàn)的人物（講解員或主持人），這與新聞故事中的關(guān)鍵說話人相符合。我們對這10天的新聞故事使用基于說話人關(guān)鍵度的關(guān)鍵說話人發(fā)現(xiàn)實(shí)驗(yàn)結(jié)果如下：若不考慮說話人位置因子得到的結(jié)果75%，若考慮說話人位置因子得到的結(jié)果為95%；這也說明在新聞故事中我們提出使用說話人位置因子的正確性。

表4 考慮說話人位置因子得到的說話人關(guān)鍵度值

4 結(jié)束語

借簽關(guān)鍵幀和關(guān)鍵詞的發(fā)現(xiàn)方法，在說話人索引的基礎(chǔ)上，為了發(fā)現(xiàn)電視新聞中的關(guān)鍵說話人，基于說話人頻率、說話人持續(xù)時(shí)間、平均每次說話人時(shí)長和說話人位置因子4個因素綜合定義了說話人關(guān)鍵度 ，用以判斷說話人的重要性，把每個故事中說話人關(guān)鍵度最大的人作為關(guān)鍵說話人。實(shí)驗(yàn)結(jié)果表明這種算法可以找到新聞故事中絕大部分的關(guān)鍵說話人。但是這種算法也存在一定的不足：影響說話人關(guān)鍵度的4個因素設(shè)計(jì)的有點(diǎn)簡單，它們嚴(yán)重依賴均值的大小，另外有時(shí)候可能會難符合實(shí)際情況，最后關(guān)鍵說話人是一種很主觀的判斷，在不同的媒體類型中，關(guān)鍵說話人會有不同的特性，因此這應(yīng)該與多媒體類型有關(guān)，所以在后續(xù)的工作中，我們打算再引入其他的因素進(jìn)來，讓說話人關(guān)鍵度可以符合更多的實(shí)際情況，另外我們還要使用其他的數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)，以使這種算法應(yīng)用的范圍更廣。

［1］CHEN Yulin.Keyword search method application research on science and technology novelty check ［J］.Journal of Henan Normal University（Natural Science Edition），2010，39（3）：171－173（in Chinese）.［陳予琳，關(guān)鍵詞檢索方法在科技查新中的應(yīng)用研究 ［J］.河南師范大學(xué)學(xué)報(bào)（自然科學(xué)），2010，39（3）：171－173.］

［2］LU L，Hanjalic.Towards optimal audio keywords detection for audio content analysis and discovery ［C］.14th Annual ACM International Conference on Multimedia，2006：825－834.

［3］LU L，Hanjalic A.Audio keywords discovery for text－like audio content analysis andretrieval［J］.IEEE Transactions on Multimedia，2008，10（1）：74－85.

［4］Vijayasenan D，Valente F.An inforamtion theoretic approach to speaker diarization of meeting data ［J］.IEEE Transactions on Audio Speech and Language Processing，2009，17（7）：1382－1393.

［5］Barras C.ZHU Xuan.Multistage speaker diarization of broadcast news ［J］.IEEE Transactions on Audio Speech and Language Processing，2006，14（5）：1505－1512.

［6］HAN K J，KIM S.Strategies to improve the robustness of agglomerative hierchical clustering under data source variation for speaker diarization ［J］.IEEE Transactions on Audio Speech and Language Processing，2008，16（8）：1590－1601.

［7］Friedlan G，Vinyals O.Prosodic and other long－term features for speaker diarization ［J］.IEEE Transactions on Audio Speech and Language Processing，2009，17（5）：985－993.

［8］Nishida M，Kawahara T.Speaker model selection based on the Bayessian information criterion applied to unsupervised speaker indexing ［J］.IEEE Transactions on Speech and Audio processing，2005，13（4）：583－592.

［9］CHOU S M，TANG Hao，HUANG Thomas.Fishervoice and semi－supervised speaker clustering ［C］.IEEE International Conference on Acoustics Speech and Signal Processing，2009：4089－4092.

［10］YANG Jichen，HE Qianhua.A two－step criterion algorithm of speaker segmentation ［J］.Joernal of Electronic ＆Information Technology，2010，32（8）：2006－2009（in Chinese）.［楊繼臣，賀前華.一種兩步判決的說話人分割算法 ［J］.電子與信息學(xué)報(bào)，2010，32（8）：2006－2009.］