郭天藝，孟子厚

（中國(guó)傳媒大學(xué)傳播聲學(xué)研究所，北京 100024）

0 引言

對(duì)于民族樂(lè)器音色的聽感諧和性問(wèn)題，傳統(tǒng)改善方法一般是針對(duì)民樂(lè)器的音色特點(diǎn)，對(duì)樂(lè)器本身的物理結(jié)構(gòu)或配器規(guī)則進(jìn)行一定的改良。隨著信息技術(shù)的發(fā)展，運(yùn)用數(shù)字信號(hào)處理方式對(duì)輸入信號(hào)進(jìn)行諧波成分分析和修改重建，能夠有目的性地對(duì)樂(lè)音信號(hào)進(jìn)行諧和性調(diào)制和優(yōu)化[1]。目前，“諧 波+剩余成分”分析/合成模型的諧波調(diào)制方法應(yīng)用于樂(lè)器單音的調(diào)制聽感探究[2]，基于動(dòng)態(tài)基頻檢測(cè)和倍頻調(diào)制的樂(lè)音諧和性處理方法能夠?qū)崿F(xiàn)樂(lè)段的諧波調(diào)制[3]。

單聲部樂(lè)音信號(hào)指單個(gè)樂(lè)器獨(dú)奏的一條旋律線的音樂(lè)信號(hào)，相對(duì)于復(fù)調(diào)樂(lè)音信號(hào)的基頻和諧波結(jié)構(gòu)更加簡(jiǎn)潔、規(guī)律。諧波調(diào)制需要針對(duì)樂(lè)音信號(hào)時(shí)變的諧波信息進(jìn)行動(dòng)態(tài)參數(shù)提取，并進(jìn)一步重構(gòu)合成。本文結(jié)合樂(lè)音的頻譜合成模型，提出適用于單聲部樂(lè)音信號(hào)動(dòng)態(tài)諧波調(diào)制的方法，并針對(duì)幾種合成模型進(jìn)行合成效果的對(duì)比和評(píng)估。

1 現(xiàn)有諧和性調(diào)制方法

1.1 加法合成調(diào)制

由樂(lè)器產(chǎn)生的聲音通?？梢酝ㄟ^(guò)弦波組以及剩余噪聲疊加來(lái)進(jìn)行建模表征。正弦波作為諧波部分，是由系統(tǒng)的主要振動(dòng)模式引起，而剩余部分則為噪聲成分，屬于樂(lè)器在發(fā)聲過(guò)程中非正弦波成分的噪聲能量以及未轉(zhuǎn)化為正弦波成分的剩余部分能量。在拉弦或吹管樂(lè)器中，琴弦有規(guī)律的振動(dòng)發(fā)聲或樂(lè)器吹孔內(nèi)自激蕩產(chǎn)生的部分即為正弦成分，而琴弓的摩擦聲以及吹孔處的氣流聲這一非線性系統(tǒng)產(chǎn)生的部分則為噪聲成分。此外，對(duì)噪聲成分進(jìn)行進(jìn)一步分析，則可將噪聲部分分為穩(wěn)態(tài)噪聲和非穩(wěn)態(tài)噪聲。不同類型噪聲的產(chǎn)生機(jī)制存在差異，如打擊樂(lè)器、撥弦、音孔開合、踏板的短時(shí)觸擊聲等噪聲在時(shí)域上較不穩(wěn)定，可以看作是一系列的瞬態(tài)信號(hào)，而類似吹奏樂(lè)器產(chǎn)生的穩(wěn)定的氣流噪聲，弦樂(lè)器中弓弦間的摩擦聲在時(shí)域上更傾向于能量平穩(wěn)的噪聲，根據(jù)此物理意義，可以對(duì)樂(lè)器聲進(jìn)行幾種不同模型的分離和合成。

加法合成方法是對(duì)輸入信號(hào)進(jìn)行參數(shù)模型化分析，重建得到多個(gè)成分后進(jìn)行相加，最終得到輸出合成信號(hào)。對(duì)于輸入的樂(lè)音信號(hào)，將一組諧波信號(hào)作為信號(hào)中的確定性分量，在確定了聲音的諧波分量后，可以從原始信號(hào)中減去得到剩余分量[4]，即為“諧波+剩余殘差”模型（Harmonic plus residual model）。由于在正弦減法過(guò)程中會(huì)存在正弦成分的殘余，聽感上對(duì)于剩余成分仍舊存在音高感，對(duì)后續(xù)的剩余成分建模過(guò)程有一定影響。在HPR 模型的基礎(chǔ)上，剩余信號(hào)可以進(jìn)一步地建模分析，通過(guò)時(shí)變參數(shù)濾波器對(duì)隨機(jī)噪聲濾波來(lái)表征剩余成分，并將諧波和隨機(jī)噪聲進(jìn)行合成[5]，即為“諧波+隨機(jī)殘差”模型（Harmonic plus stocastic residual model）。剩余部分在建模為隨機(jī)相位的噪聲時(shí)會(huì)丟失瞬態(tài)信號(hào)，因此需要將起始時(shí)間較短、聽感較尖銳的瞬態(tài)信號(hào)從剩余部分中分離[6]，將原始信號(hào)建模為“正弦+瞬態(tài)+噪聲”模型（Sines+transients+noise model）。

1.2 減法合成調(diào)制

基于動(dòng)態(tài)基頻檢測(cè)的倍頻調(diào)制算法屬于減法合成方法。算法通過(guò)對(duì)輸入信號(hào)進(jìn)行基頻檢測(cè)，設(shè)計(jì)一組以基頻整數(shù)倍為中心頻率的一定帶寬的窄帶濾波器組，并根據(jù)基頻的時(shí)變軌跡進(jìn)行動(dòng)態(tài)濾波，以達(dá)到對(duì)諧波成分進(jìn)行調(diào)制的效果。該方法與均衡器的工作原理相似，區(qū)別在于其以輸入信號(hào)的諧波列頻率作為濾波器的中心頻率，濾波的頻率及幅值參數(shù)動(dòng)態(tài)可變。

1.3 現(xiàn)有算法問(wèn)題分析

目前所使用的加法合成方法是獨(dú)立于正弦參數(shù)估計(jì)的假設(shè)基礎(chǔ)上的，但是大多數(shù)真實(shí)樂(lè)器所產(chǎn)生的噪聲與周期性調(diào)制相關(guān)，并非是完全獨(dú)立的附加噪聲，因此重建噪聲在疊加時(shí)會(huì)存在聽感上融合不充分的問(wèn)題。瞬態(tài)模型一般通過(guò)對(duì)能量及變化率設(shè)定閾值從而進(jìn)行多次的瞬態(tài)判定，檢測(cè)合成效率相對(duì)較低，不利于實(shí)時(shí)的合成處理，參數(shù)化重建的瞬態(tài)成分在合成信號(hào)時(shí)的聽感融合度也較差。而減法合成只能對(duì)原諧波列進(jìn)行幅值的提升或衰減，對(duì)于分諧波以及非正弦成分難以實(shí)現(xiàn)修改，在非線性成分的調(diào)制功能方面存在一定的局限性。

2 改進(jìn)的“諧波+瞬態(tài)+噪聲”模型

2.1 改進(jìn)算法整體框架

改進(jìn)算法的實(shí)現(xiàn)流程如圖1 所示。算法的基本結(jié)構(gòu)框架采用加法合成的思路，以“諧波+瞬態(tài)+噪聲”模型為基本架構(gòu)。將信號(hào)解構(gòu)成非穩(wěn)態(tài)噪聲、諧波組以及穩(wěn)態(tài)噪聲三個(gè)部分，并分別進(jìn)行建模合成。

圖1 單聲部樂(lè)音調(diào)制的改進(jìn)合成算法

對(duì)于原始輸入信號(hào)x(t)，按照步驟可以將其順次分離為如下三部分之和：

式中：p(t)為類似瞬態(tài)的非穩(wěn)態(tài)噪聲成分，h(t)為諧波組成分，r(t)為剩余的穩(wěn)態(tài)噪聲成分。

對(duì)h(t)和r(t)分別進(jìn)行建模合成，將諧波組成分h(t)用一組正弦分量進(jìn)行表示，將剩余穩(wěn)態(tài)噪聲成分r(t)用經(jīng)過(guò)時(shí)變?yōu)V波的白噪聲表示，加法合成發(fā)生器的輸出信號(hào)y(t)可以表示為：

式中：R為信號(hào)分量個(gè)數(shù)，Ar(t)為第r個(gè)正弦分量的瞬時(shí)幅值，θr(t)為第r個(gè)正弦分量的瞬時(shí)相位，μ(τ)為白噪聲，h(t,τ)是時(shí)變?yōu)V波器在時(shí)間t處的脈沖響應(yīng)。由于瞬態(tài)的分析合成過(guò)程更注重時(shí)域分辨率，而在穩(wěn)定正弦和穩(wěn)定噪聲成分的分析過(guò)程中對(duì)頻域分辨率要求更高，因此整個(gè)算法過(guò)程中的兩次短時(shí)傅里葉變換和反變換的時(shí)頻分辨參數(shù)存在差異，并分步實(shí)施操作。

2.2 瞬態(tài)信息的提取

諧波結(jié)構(gòu)和瞬態(tài)結(jié)構(gòu)在時(shí)頻譜圖中會(huì)表現(xiàn)出顯著的特征差異，沖擊信號(hào)沿頻率軸向有明顯的垂直能量集中區(qū)域，而諧波信號(hào)在時(shí)間軸上會(huì)有明顯穩(wěn)定且連續(xù)的水平能量集中區(qū)域[7]。優(yōu)化模型中的瞬態(tài)提取使用了中值濾波的方法，利用譜圖中的軸向差異實(shí)現(xiàn)諧波信號(hào)和沖擊信號(hào)的分離。通過(guò)該方法所提取出的沖擊分量不僅包含樂(lè)器起振部分，也包括了樂(lè)器摩擦以及氣流聲中時(shí)間上不穩(wěn)定的成分。過(guò)濾掉這些成分后，得到的信號(hào)更近似于正弦和穩(wěn)定隨機(jī)噪聲的疊加，有利于進(jìn)一步的噪聲合成。

設(shè)A(A1,A2,…,AL) 為 長(zhǎng) 度L∈N的實(shí)數(shù)列表，對(duì)A中的元素進(jìn)行升序排序，產(chǎn)生有序列表a(a1,a2,…,aL)，中位數(shù)μ1/2(A)定義為：

對(duì)長(zhǎng)度為n的實(shí)數(shù)序列進(jìn)行長(zhǎng)度為L(zhǎng)∈n的中值濾波器的中值濾波，即對(duì)給定位置元素進(jìn)行領(lǐng)域范圍內(nèi)的中值替換[8]得到序列[A]如下：

對(duì)于聲音信號(hào)的幅度譜，沿著時(shí)間軸進(jìn)行中值濾波可以抑制沖擊分量、加強(qiáng)諧波分量，而沿著頻率軸進(jìn)行中值濾波，可以抑制諧波分量、加強(qiáng)沖擊分量，諧波頻譜圖和瞬態(tài)頻譜圖定義為：

計(jì)算得到加強(qiáng)的瞬態(tài)頻譜圖和諧波頻譜圖后，需要通過(guò)掩膜計(jì)算的方式得到瞬態(tài)成分。瞬態(tài)頻譜圖的二進(jìn)制掩膜定義為：

掩膜計(jì)算本質(zhì)上是對(duì)頻譜分量對(duì)是否為瞬態(tài)成分進(jìn)行二元分類，通過(guò)瞬態(tài)頻譜圖所計(jì)算得到的掩碼M p對(duì)應(yīng)原始頻譜圖Y做逐點(diǎn)相乘：

得到最終的瞬態(tài)成分頻譜Y p。在時(shí)頻域?qū)⒃盘?hào)減去瞬態(tài)信號(hào)得到剩余部分信號(hào)，并將瞬態(tài)成分頻譜通過(guò)反變換得到瞬態(tài)成分重建的時(shí)域信號(hào)。

2.3 諧波解析與合成

剩余部分信號(hào)可以看作諧波組與穩(wěn)態(tài)噪聲的疊加，對(duì)除去瞬態(tài)的信號(hào)進(jìn)行逐幀的基頻檢測(cè)，并根據(jù)基頻檢測(cè)結(jié)果輔助諧波跟蹤，通過(guò)得到的峰值頻率和幅度信息合成諧波信號(hào)。諧波信號(hào)的基頻提取使用陰陽(yáng)相生法[9]，該方法在平均幅度差函數(shù)的基礎(chǔ)上，進(jìn)一步定義了累積均值歸一化差函數(shù)：

式中dt(τ)為平均幅度差函數(shù)的平方，定義為：

通過(guò)取歸一化差函數(shù)的谷值點(diǎn)得到每幀數(shù)據(jù)的基頻周期值，并通過(guò)拋物線差值和最佳局部估計(jì)提高了估計(jì)精度和基頻軌跡平滑度。諧波跟蹤首先對(duì)原始信號(hào)的幀數(shù)據(jù)進(jìn)行頻譜峰值檢測(cè)，由音高檢測(cè)得到優(yōu)選的基頻值，通過(guò)延續(xù)規(guī)則將各幀的峰值點(diǎn)組織到一系列時(shí)變的軌跡中，并返回參數(shù)估計(jì)值。延續(xù)規(guī)則使用向?qū)к壽E約束方法[10]，通過(guò)基頻諧波列建立初始向?qū)蛄校⑼ㄟ^(guò)檢測(cè)的峰值實(shí)時(shí)更新向?qū)蛄?，并將峰值和向?qū)нM(jìn)行允許偏差范圍內(nèi)的匹配。通過(guò)插值填補(bǔ)缺口，并刪除較短的跟蹤軌跡。

通過(guò)提取的頻率和幅值參數(shù)生成正弦分量，每個(gè)合成幀中正弦分量的瞬時(shí)幅度通過(guò)對(duì)周圍幅度估計(jì)的線性插值得到，其中瞬時(shí)相位取瞬時(shí)頻率的積分，確定性諧波成分h(t)表示為

式中：R為信號(hào)分量個(gè)數(shù)，Ar(t)為第r個(gè)正弦分量的瞬時(shí)幅值。在幅頻特性平穩(wěn)的正弦約束規(guī)則下，瞬時(shí)相位θr(t)可以看作瞬時(shí)頻率的積分：

式中：w(t)其中是角頻率，r是諧波的次數(shù)。

2.4 噪聲分析和合成

合成諧波后，將諧波組成分從瞬態(tài)提取后的信號(hào)中從頻域中減去，得到剩余的近似穩(wěn)態(tài)的噪聲信號(hào)。對(duì)剩余噪聲采用源濾波器模型，將其建模為時(shí)變幅值濾波的隨機(jī)相位噪聲信號(hào)，得到合成噪聲信號(hào)。將穩(wěn)態(tài)噪聲成分t(t)通過(guò)白噪聲信號(hào)μ(t)經(jīng)過(guò)濾波器h(t,τ)的輸出進(jìn)行表征：

采用線性預(yù)測(cè)編碼（Linear Predictive Coding，LPC）對(duì)時(shí)變幅值濾波器的頻率包絡(luò)進(jìn)行擬合[11]。噪聲合成后，還需對(duì)原始剩余信號(hào)和合成噪聲信號(hào)進(jìn)行交叉合成，對(duì)合成噪聲信號(hào)進(jìn)行低通濾波，并與經(jīng)過(guò)高通濾波的原始剩余信號(hào)進(jìn)行疊加。該步驟目的是為針對(duì)低次諧波進(jìn)行處理時(shí)保證剩余成分的原始音質(zhì)，在一定頻率范圍以上的高頻部分可以作為剩余部分忽略合成噪聲建模處理。最后將經(jīng)過(guò)調(diào)制合成以及反變換的非穩(wěn)態(tài)噪聲、諧波組及穩(wěn)態(tài)噪聲三個(gè)成分在時(shí)域進(jìn)行相加，得到最終的合成信號(hào)。

3 改進(jìn)算法的實(shí)現(xiàn)和評(píng)估

3.1 單聲部樂(lè)音信號(hào)合成

通過(guò)使用Kong Audio 音源采樣在數(shù)字音頻工作站中制作原始素材音頻。音色選擇二胡和笙兩種“線形”音色樂(lè)器，以及箏和琵琶兩種“點(diǎn)狀”音色的彈撥樂(lè)器。旋律采用小字一組內(nèi)的C 宮調(diào)式五聲音階，每個(gè)音均使用單音連奏的演奏方法和音源采樣的3/4 力度大小。此外選用時(shí)長(zhǎng)約10 s 的二胡實(shí)際演奏錄音素材進(jìn)行對(duì)比。對(duì)原始素材音頻分別進(jìn)行如表1 所示的3 種模型的重建合成。

表1 實(shí)驗(yàn)所用的3 種合成模型

首先對(duì)信號(hào)進(jìn)行模型A 的合成。正弦成分分析的窗長(zhǎng)為2 048 個(gè)采樣點(diǎn)，幀移為512 個(gè)采樣點(diǎn)，輸入需要檢測(cè)的頻譜峰值個(gè)數(shù)最大值為80，輸入合成時(shí)的正弦波數(shù)目為24，提取得到的諧波成分。將諧波成分從原始信號(hào)的時(shí)頻譜中減去得到剩余信號(hào)，在時(shí)域上進(jìn)行兩部分的相加得到合成信號(hào)。對(duì)剩余信號(hào)幅值進(jìn)行逐幀的LPC 預(yù)測(cè)，LPC 階數(shù)為25，剩余信號(hào)分析的窗長(zhǎng)為1 024 個(gè)采樣點(diǎn)，幀移為128 個(gè)采樣點(diǎn)，分析得到的預(yù)測(cè)系數(shù)，控制隨機(jī)噪聲的逐幀幅值，得到剩余噪聲成分，最后進(jìn)行兩部分的相加得到模型B 的合成信號(hào)。對(duì)原始信號(hào)進(jìn)行窗長(zhǎng)為1 024 個(gè)采樣點(diǎn)、幀移為128 個(gè)采樣點(diǎn)的短時(shí)傅里葉變換后中值濾波取得瞬態(tài)部分，中值濾波核長(zhǎng)寬相等，均為30 個(gè)樣本點(diǎn)。進(jìn)行同上的諧波和噪聲分析合成，并將生成的噪聲和原始穩(wěn)態(tài)剩余部分進(jìn)行交叉合成，高通和低通濾波的截止頻率均為5 kHz。最后進(jìn)行三個(gè)部分時(shí)域相加，得到模型C 的合成信號(hào)。

3.2 客觀參數(shù)評(píng)估

采用信噪比（Signal-Noise Ratio，SNR）評(píng)估標(biāo)準(zhǔn)對(duì)合成信號(hào)進(jìn)行合成效果評(píng)估，對(duì)合成信號(hào)ssynth與原始信號(hào)進(jìn)行掩膜計(jì)算，作為在合成中引入的噪聲enoise，合成信噪比SNR定義為：

通過(guò)計(jì)算合成信號(hào)和噪聲信號(hào)的能量比，得到各樂(lè)器和各合成模型的信噪比結(jié)果，如圖2 所示。由于掩模計(jì)算得到的噪聲成分均經(jīng)過(guò)了等量衰減，因此計(jì)算得到的信噪比只作為相對(duì)參考量。

圖2 三種合成模型的信噪比結(jié)果對(duì)比

由圖中數(shù)據(jù)可以看到，與模型B 相比，模型C的合成信噪比顯著提高，接近于模型B。由此可見，瞬態(tài)成分的引入大大降低了合成噪聲，提高了合成建模的還原度。

3.3 主觀聽感評(píng)估

主觀聽感實(shí)驗(yàn)的方法采用系列范疇法[12]對(duì)3種調(diào)制算法進(jìn)行合成音色主觀聽感的對(duì)比。實(shí)驗(yàn)共有16 名被試，男女人數(shù)各半，年齡在23～26 歲，均為聲學(xué)專業(yè)的在校研究生，有豐富的聽覺(jué)主觀評(píng)價(jià)實(shí)驗(yàn)經(jīng)驗(yàn)。實(shí)驗(yàn)評(píng)價(jià)指標(biāo)為原始信號(hào)和合成信號(hào)對(duì)比的音色差異度，評(píng)價(jià)結(jié)果劃分為5 級(jí)尺度，對(duì)應(yīng)1～5 分，詳細(xì)劃分范疇對(duì)應(yīng)為：差異感很小、差異感較小、差異感一般、差異感較大以及差異感很大共5 個(gè)主觀范疇。被試需在封閉式監(jiān)聽耳機(jī)重放的環(huán)境下進(jìn)行指標(biāo)聽感的對(duì)比，并相應(yīng)打分。根據(jù)計(jì)算得到每種合成方法下各種樂(lè)器的音色差異度結(jié)果，如圖3 所示。

圖3 三種模型下各樂(lè)器的合成音色差異度范疇得分

根據(jù)實(shí)驗(yàn)結(jié)果，模型A 和模型C 的合成結(jié)果聽感基本落在差異較小的范圍內(nèi)，合成效果都比較好，前者模型的聽感差異整體最小；模型B 對(duì)于線形樂(lè)器合成效果一般，對(duì)彈撥樂(lè)器合成效果比較差。通過(guò)顯著性檢驗(yàn)分析得到，模型B 合成結(jié)果與另外兩種模型存在顯著性差異，即優(yōu)化方法中瞬態(tài)成分的分析重建顯著提升了非諧波成分的合成音質(zhì)。

4 結(jié)語(yǔ)

通過(guò)對(duì)單聲部樂(lè)音信號(hào)的動(dòng)態(tài)諧波調(diào)制相關(guān)方法進(jìn)行問(wèn)題的總結(jié)分析，提出一種基于“正弦+瞬態(tài)+噪聲”模型的改進(jìn)算法。該模型將單聲部樂(lè)音樂(lè)音信號(hào)分為非穩(wěn)態(tài)噪聲成分、諧波成分以及穩(wěn)態(tài)隨機(jī)噪聲成分，通過(guò)中值濾波實(shí)現(xiàn)瞬態(tài)信號(hào)的分離，并通過(guò)基頻檢測(cè)和諧波軌跡跟蹤技術(shù)實(shí)現(xiàn)諧波成分的時(shí)變參數(shù)提取，最后通過(guò)源-濾波器模型和交叉合成實(shí)現(xiàn)隨機(jī)噪聲成分的合成。合成的評(píng)估結(jié)果表明，通過(guò)引入瞬態(tài)分離及交叉合成技術(shù)，提高了非諧波部分的合成信噪比以及合成音質(zhì)聽感，在彈撥樂(lè)器音色中效果更為顯著。