摘 要：為了減輕因信包丟失而造成的語(yǔ)音失真，提出了一種基于雙邊線性預(yù)測(cè)的信包丟失隱藏算法。這種方法利用丟失信包的前一信包或鄰接信包 (在后一信包可獲得的情況下) 預(yù)測(cè)丟失信包，通過(guò)線性加權(quán)雙邊線性預(yù)測(cè)的樣點(diǎn)獲得最終的重建信號(hào)，使用重疊相加和幅度調(diào)整操作平滑重建信號(hào)和真實(shí)信號(hào)之間的邊界。經(jīng)過(guò)非正式試聽(tīng)和ITU-T P.862協(xié)議所推薦的PESQ算法測(cè)試，該算法的重建語(yǔ)音信號(hào)質(zhì)量與其他四種流行重建算法相比，有了較為明顯的改善。



關(guān)鍵詞：IP語(yǔ)音；信包丟失隱藏；雙邊線性預(yù)測(cè)；語(yǔ)音質(zhì)量評(píng)估

中圖分類號(hào)：TN912.3 文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：1004-373X(2008)11-167-03

A Speech Signal Reconstruction Algorithm



TIAN Xu′an，XU Yibing，ZHU Min

(Xi′an Communication Institute，Xi′an，710106，China)



Abstract：In this paper，a two-sided linear prediction-based packet loss concealment algorithm is presented to alleviate the speech distortion caused by lost packets in VoIP.This algorithm predicts lost packets from speech segments via either preceding or both preceding and subsequent packets (If subsequent packet is available).Predicted samples are smoothed by linear weighting to obtain the final reconstructed signal.It also performs overlap-and-adding and amplitude-scaling operations to alleviate discontinuity at packet boundaries.The assessment of resultant speech quality via informal listening test and objective measurement with PESQ algorithm from ITU-T P.862 shows that the proposed algorithm has a significant improvement over other four popular reconstruction algorithms.



Keywords：VoIP speech;packet loss concealment;two-sided LP-based reconstruction;perceptual evaluation of speech quality

1 引 言

信包丟失問(wèn)題是VoIP系統(tǒng)的主要考慮之一。當(dāng)一個(gè)信包不能按時(shí)出現(xiàn)在接收端用于解碼時(shí)，聽(tīng)到的語(yǔ)音信號(hào)質(zhì)量就會(huì)降低。為此，很多算法被提了出來(lái)，控制從發(fā)送端、傳輸過(guò)程一直到接收端的各個(gè)環(huán)節(jié)，以檢測(cè)和處理因信包丟失而造成的傳輸語(yǔ)音質(zhì)量下降問(wèn)題^[1，2]。這些方法分為基于發(fā)端和基于收端兩類^[1]?；诎l(fā)端的PLC由收、發(fā)兩端共同參與完成；基于接收端的各類PLC算法根據(jù)接收端正常接收到的信包、丟失信包編號(hào)，以及預(yù)先知道的編碼方式盡可能地恢復(fù)出原來(lái)的語(yǔ)音?；谑斩说募夹g(shù)不需要發(fā)端數(shù)據(jù)的參與，不會(huì)增加系統(tǒng)的帶寬和時(shí)延。本文主要考慮基于接收端的信包丟失隱藏(Packet Loss Concealment)方法。

基于收端常用的PLC方法有靜音替代、前一信包重復(fù)、基音波形復(fù)制^[3]和線性預(yù)測(cè)^[4]。這些方法都沒(méi)有考慮丟失信包的后續(xù)信包。在“盡力而為”型服務(wù)的IP網(wǎng)絡(luò)中，由于接收緩沖器的存在，丟失信包后面的信包 (即未來(lái)信包，此后均用后一信包表示) 經(jīng)常可以獲得。適當(dāng)利用丟失信包的后續(xù)樣點(diǎn)重建丟失信包，在VoIP系統(tǒng)中是完全可以做到的。本文采用線性預(yù)測(cè)技術(shù)，用丟失信包的前一信包或前一信包及后一信包 (在后一信包可獲得的情況下)重建丟失信包。重建語(yǔ)音信號(hào)的質(zhì)量經(jīng)過(guò)主觀和客觀測(cè)試，與上述四種常見(jiàn)方法比較有了較為明顯的改善，得到了滿意的效果。

2 雙邊線性預(yù)測(cè)

本文建議的基于雙邊線性預(yù)測(cè)PLC算法只在接收端實(shí)施，算法的基本操作是從丟失信包的鄰接信包中估計(jì)出丟失語(yǔ)音分段的線性預(yù)測(cè) (LP) 系數(shù)a(k)和激勵(lì)信號(hào)e(n)，再通過(guò)線性預(yù)測(cè)綜合合成丟失信包的重建信號(hào)。

建議算法分為三部分：前向線性預(yù)測(cè)、后向線性預(yù)測(cè)和線性加權(quán)、幅度調(diào)整。當(dāng)丟失信包的后一信包接收到時(shí)，實(shí)施雙邊線性預(yù)測(cè)；反之，只實(shí)施前向線性預(yù)測(cè)。重建信號(hào)產(chǎn)生后，經(jīng)線性加權(quán)和幅度調(diào)整得到丟失信包的估計(jì)信號(hào)并輸出。

2.1 前向線性預(yù)測(cè)

前向線性預(yù)測(cè)是指以丟失信包前的信號(hào)為參考樣點(diǎn)通過(guò)線性預(yù)測(cè)分析綜合方法合成丟失信包的前向預(yù)測(cè)信號(hào)f(n)，0≤n[4]。

2.2 后向線性預(yù)測(cè)

后向線性預(yù)測(cè)與前向線性預(yù)測(cè)類似，不同之處在基音檢測(cè)和激勵(lì)信號(hào)產(chǎn)生這兩個(gè)模塊?；魴z測(cè)采用文獻(xiàn)［2］中的峰值檢測(cè)法。當(dāng)后續(xù)樣點(diǎn)基音檢測(cè)成功時(shí)，激勵(lì)信號(hào)的產(chǎn)生方法如下：



b(n)=eb(N－L－P1+n)， 0≤n

P1≤n

(1)



其中，P1為基音周期，L為線性預(yù)測(cè)的階數(shù)。

若基音檢測(cè)失敗，激勵(lì)信號(hào)按如下方式產(chǎn)生：



b(n)=eb(n)， 0≤n

b(n－N+L)，N－L≤n

(2)



線性加權(quán)、幅度調(diào)整的策略與信包丟失的類型有關(guān)，將在信包重建過(guò)程詳細(xì)敘述。

3 信包重建過(guò)程

3.1 信包丟失前的好幀

在接收到好語(yǔ)音幀時(shí)，為了隱藏將來(lái)丟失的信包需要做兩個(gè)準(zhǔn)備：拷貝輸出信號(hào)最后B個(gè)樣點(diǎn)到歷史緩沖器；輸出信號(hào)延時(shí)D個(gè)樣點(diǎn)。在第一個(gè)信包丟失期間，歷史緩沖器用于計(jì)算線性預(yù)測(cè)系數(shù)、產(chǎn)生殘差信號(hào)、估計(jì)基音周期、生成激勵(lì)信號(hào)和合成重建信號(hào)；算法延時(shí)用于重疊相加（Overlap-and-Add ) 操作，平滑真實(shí)信號(hào)到重建信號(hào)的過(guò)渡。

為了進(jìn)行實(shí)時(shí)處理，歷史緩沖器更新如下：



hj(n)=hj－1(n+N)，0≤n

hj(B－N+n)=xj(n)，

0≤n

(3)



信號(hào)經(jīng)D個(gè)樣點(diǎn)延時(shí)后輸出：



yj(n)=hj－1(B－D+n)，0≤n

xj(n－D)，D≤n

(4)



3.2 第一個(gè)丟失的信包

該信包的隱藏方法與后一信包是否正確接收到有關(guān)，具體隱藏方法如下。

3.2.1 后一信包丟失

在這種情況下，采用前向預(yù)測(cè)信號(hào)作為丟失信包的重建信號(hào)。



(n)=f(n+D)， 0≤n

(5)



3.2.2 后一信包收到

當(dāng)單個(gè)信包丟失，其鄰接信包都收到時(shí)，實(shí)施前、后向線性預(yù)測(cè)，得到丟失信包的前、后向預(yù)測(cè)信號(hào)f(n)和b(n)。這兩個(gè)信號(hào)在各自的起始段，大約一至兩個(gè)基音周期內(nèi)都非常好地逼近了原始語(yǔ)音樣點(diǎn)。重建信號(hào)可通過(guò)線性加權(quán)這兩個(gè)預(yù)測(cè)信號(hào)獲得。



(n)=N－nN+1f(n+D)+n+1N+1b(n)，0≤n

(6)



為了減輕丟失信包邊界處的聽(tīng)覺(jué)失真，用歷史緩沖器最后D個(gè)樣點(diǎn)重疊相加前向預(yù)測(cè)信號(hào)前D個(gè)樣點(diǎn)，平滑真實(shí)信號(hào)到重建信號(hào)的過(guò)渡。該結(jié)果替換歷史緩沖器最后D個(gè)樣點(diǎn)。



h′(n)=D－nD+1h(B－D+n)+n+1D+1f(n)，0≤n

(7)



產(chǎn)生第一個(gè)丟失信包的重建信號(hào)后，用該信號(hào)更新歷史緩沖器。



hj+1(n)=hj(n+N)， 0≤n

hj+1(B－D－N+n)=h′(n)， 0≤n

hj+1(B－D－N+n)=j(n)， D≤n

(8)



3.3 后續(xù)丟失的信包

3.3.1 當(dāng)前信包的后一信包丟失

在這種情況下，只使用前向線性預(yù)測(cè)，LP系數(shù)和基音周期與前一信包的值相同。

3.3.2 當(dāng)前信包的后一信包可獲得

在這種情況下，線性加權(quán)前、后向線性預(yù)測(cè)綜合合成的信號(hào)作為丟失信包的重建信號(hào)，重建方法同3.2.2。

3.4 信包丟失后的第一個(gè)好幀

為了平滑重建信號(hào)到真實(shí)信號(hào)的過(guò)渡，用目前信包前D個(gè)樣點(diǎn)重疊相加前一信包重構(gòu)信號(hào)最后D個(gè)樣點(diǎn)，結(jié)果替代該信包的前D個(gè)樣點(diǎn)。



xj(n)=D－nD+1j－1(N+D+n)+n+1D+1xj(n)，

0≤n

(9)



3.5 幅度調(diào)整

第一個(gè)丟失信包對(duì)應(yīng)輸出信號(hào)的幅度保持不變，其余輸出信號(hào)的幅度調(diào)整方法參考文獻(xiàn)［5］。

4 測(cè)試結(jié)果

衡量不同PLC算法性能最根本的原則就是比較重建語(yǔ)音信號(hào)的質(zhì)量。原則上講，語(yǔ)音信號(hào)的質(zhì)量是一個(gè)主觀評(píng)判量，應(yīng)該組織大量人員按照規(guī)范條件進(jìn)行大量試聽(tīng)實(shí)驗(yàn)以給出一個(gè)語(yǔ)音質(zhì)量的平均打分 (MOS)。但是，這種費(fèi)時(shí)費(fèi)力的方式對(duì)VoIP研究環(huán)境而言是不現(xiàn)實(shí)的。因此，我們?cè)诔醪椒钦皆囼?yàn)粗略感覺(jué)到建議算法重建語(yǔ)音信號(hào)質(zhì)量有所提高之后，就轉(zhuǎn)為主要借助于客觀質(zhì)量評(píng)判方法比較重建語(yǔ)音信號(hào)質(zhì)量上的變化。這就是文獻(xiàn)［5］中的PESQ算法，該算法是ITU-T建議P.862描述的一種對(duì)語(yǔ)音質(zhì)量的客觀評(píng)價(jià)方法。他能夠比較待測(cè)試語(yǔ)音信號(hào)與指定參考信號(hào)之間的聽(tīng)覺(jué)距離，提供一個(gè)類似于MOS的語(yǔ)音質(zhì)量打分PESQ MOS。其取值在-0.5～4.5之間，與主觀語(yǔ)音質(zhì)量MOS取值域接近，且關(guān)聯(lián)程度非常高。通過(guò)該方法，語(yǔ)音質(zhì)量的主觀感受MOS可以被客觀評(píng)估量PESQ MOS很好地反映出來(lái)。 

測(cè)試語(yǔ)音取自ITU-T P.23^[6]數(shù)據(jù)庫(kù)中四位英語(yǔ)說(shuō)話人樣點(diǎn)，兩男兩女，在該數(shù)據(jù)庫(kù)中編號(hào)分別為OF01，OF02 (女)及OM01，OM02(男)。每個(gè)人有46個(gè)長(zhǎng)8 s的句子，采樣頻率16 000 Hz，16 b編碼保存。句子測(cè)試時(shí)，先讀出原始記錄，低采樣到8 000 Hz，然后進(jìn)行語(yǔ)音活動(dòng)檢測(cè) (VAD)。在語(yǔ)音活動(dòng)區(qū)域按照指定的信包丟失率隨機(jī)選擇一些信包設(shè)置為丟失，將其中樣點(diǎn)用零替換。

測(cè)試參數(shù)設(shè)置如下：歷史緩沖器長(zhǎng)度B=240，信包長(zhǎng)度N=160，線性預(yù)測(cè)階數(shù)L=20，輸出延時(shí)D=8，信包丟失率在2%~30%之間。在所有設(shè)置下共重建了212 805個(gè)丟失語(yǔ)音段。



表1 重建語(yǔ)音信號(hào)質(zhì)量 (PESQ MOS)

表1按照9種信包丟失率，對(duì)5種算法重建語(yǔ)音信號(hào)的質(zhì)量進(jìn)行了比較。從數(shù)據(jù)表格中可以看出本文建議算法在所有信包丟失率下均優(yōu)于其他算法。

5 結(jié) 語(yǔ)

通過(guò)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)中大量語(yǔ)音信號(hào)的測(cè)試可以看出，基

于雙邊線性預(yù)測(cè)的信包丟失隱藏算法重建語(yǔ)音信號(hào)的質(zhì)量得到了有效的提高。目前，通過(guò)考慮動(dòng)態(tài)表示重建語(yǔ)音段類型和相位調(diào)整等因素以進(jìn)一步提升重建語(yǔ)音信號(hào)質(zhì)量的研究正在進(jìn)行中。

參 考 文 獻(xiàn)

［1］Colin P，Orion H，Vicky H.A Survey of Packet Loss Recovery Techniques for Streaming Audio［J］.IEEE Networks，1998，12(5):40-48.



［3］ITU-T Recommendation G.711 Appendix I.A High Quality Low-Complexity Algorithm for Packet Loss Concealment with G.711，1999.



［4］Emre G，Momtahan K.A Linear Prediction-based Packet Loss Concealment Algorithm for PCM Coded Speech［J］.IEEE Trans.on Speech and Audio Processing，2001，9(8):778-785.



［2］David J G，Gordon B L，Ondria J W，et al.Waveform Substitute Techniques for Recovering Missing Speech Segments in Packet Voice Communications［J］.IEEE Transactions on Acoustics，Speech and Signal Processing，1986，34(6):1 440-1 448.



［5］ITU-T Recommendation P.862.Perceptual Evaluation of Speech Quality (PESQ)，an Objective Method for End-to-End Speech Quality Assessment of Narrow-band Telephone Networks and Speech Codecs，2001.



［6］Supplement 23 to ITU-T P Series Recommendations.ITU-T Coded-speech Database，1998.



作者簡(jiǎn)介 田緒安 男，1955年出生，陜西長(zhǎng)安人，副教授。從事計(jì)算機(jī)科學(xué)與應(yīng)用研究。

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文。