黃婉秋, 曾向陽(yáng) , 王蕾

(西北工業(yè)大學(xué) 航海學(xué)院, 陜西 西安 710072)

頭相關(guān)傳遞函數(shù)(head-related transfer function,HRTF)是實(shí)現(xiàn)聽(tīng)覺(jué)空間虛擬的關(guān)鍵函數(shù)，在室內(nèi)聲場(chǎng)建模、聽(tīng)覺(jué)虛擬現(xiàn)實(shí)、3D立體聲等領(lǐng)域都具有重要的應(yīng)用價(jià)值，也是聲學(xué)、多媒體等學(xué)科的熱門(mén)話題。頭相關(guān)傳遞函數(shù)描述了聲波從聲源到雙耳的傳遞過(guò)程，時(shí)域?yàn)轭^相關(guān)脈沖響應(yīng)(head-related impulse response,HRIR)。它體現(xiàn)了人的生理結(jié)構(gòu)(如頭、耳廓以及軀干等)對(duì)聲波的綜合濾波效應(yīng)，包含了有關(guān)聲源的位置信息[1]，是具有明顯個(gè)人特征的物理量。在虛擬聽(tīng)覺(jué)重放的應(yīng)用中，采用傾聽(tīng)者本人的HRTF將會(huì)得到較好效果，而采用其他HRTF的效果就取決于該數(shù)據(jù)與傾聽(tīng)者HRTF的相似性。HRTF的測(cè)量是一項(xiàng)非常耗時(shí)并且復(fù)雜的工作，因此，如何快速有效地獲得與任意聽(tīng)者生理參數(shù)相對(duì)應(yīng)的HRTF數(shù)據(jù)(HRTF個(gè)人化)已成為制約空間虛擬聽(tīng)覺(jué)技術(shù)的關(guān)鍵問(wèn)題[2]。

國(guó)外已公布了一些人工頭和真人測(cè)試數(shù)據(jù)，但一方面是公布的數(shù)據(jù)信息不夠完整，另一方面考慮人種之間的差異，這些研究數(shù)據(jù)多數(shù)不適合中國(guó)人的生理特征，故而需要通過(guò)實(shí)驗(yàn)測(cè)量或理論計(jì)算來(lái)獲取真實(shí)有效的HRTF數(shù)據(jù)。理論計(jì)算著重于求解，目前常用的理論計(jì)算方法有頭部剛球模型[3]、雪人模型計(jì)算方法[4]以及HRTF數(shù)值計(jì)算方法如邊界元法[5]。實(shí)驗(yàn)測(cè)量是獲得HRTF最重要且最準(zhǔn)確的手段，常采用封閉耳道測(cè)量方法。由于理論計(jì)算方法的計(jì)算量大，實(shí)驗(yàn)測(cè)量需要一系列專用的設(shè)備，且測(cè)量結(jié)果不穩(wěn)定易受影響，因此單一的理論計(jì)算方法或?qū)嶒?yàn)測(cè)量方法目前還不足以同時(shí)滿足高計(jì)算速度、寬頻帶和個(gè)人化的要求。

近年來(lái)，研究者試圖采用近似方法建立個(gè)人化HRTF的快速獲取方法，提出了生理參數(shù)匹配法[6]、頻率標(biāo)度變換法[7]、生理參數(shù)線性回歸法[8]和結(jié)構(gòu)模型法[9]、結(jié)合感知特性改善HRTF建模精度[10]和基于主成分分析法的個(gè)人化HRTF的獲取[11]等方法。由于參數(shù)匹配法考慮的生理參數(shù)有限，還沒(méi)有完全確定與HRTF密切相關(guān)的生理參數(shù)。

本文以53名成年中國(guó)人的多維實(shí)測(cè)生理參數(shù)和HRTF數(shù)據(jù)庫(kù)(53個(gè)真人對(duì)象的723個(gè)方位)作為數(shù)據(jù)基礎(chǔ)，首先利用主成分分析法和相關(guān)性分析法優(yōu)選出用于匹配的生理參數(shù)，再利用數(shù)據(jù)庫(kù)匹配實(shí)現(xiàn)頭相關(guān)傳遞函數(shù)的個(gè)人化，最后利用譜失真和主觀聽(tīng)覺(jué)實(shí)驗(yàn)檢驗(yàn)該方法的有效性。

1 頭相關(guān)傳遞函數(shù)概念及其個(gè)人化

HRTF是頭部、軀干、耳廓等生理結(jié)構(gòu)對(duì)聲波綜合作用的結(jié)果，即HRTF與生理參數(shù)存在相關(guān)性，因此，如果能設(shè)法獲得那些相關(guān)性最強(qiáng)的獨(dú)立參數(shù)，便可能通過(guò)建立模型近似估計(jì)或預(yù)測(cè)出受試者的HRTF?；诖耍疚膶?shí)現(xiàn)HRTF個(gè)人化的研究方案如圖1所示。首先對(duì)實(shí)測(cè)53個(gè)真人數(shù)據(jù)庫(kù)的HRTF時(shí)域測(cè)量值(即頭相關(guān)脈沖響應(yīng)，HRIR)進(jìn)行預(yù)處理，然后提取HRTF的主成分，同時(shí)將50維未經(jīng)處理的生理參數(shù)進(jìn)行自相關(guān)分析，初選若干參數(shù)，將其與HRTF的主成分進(jìn)行互相關(guān)分析，從而得到用于匹配的關(guān)鍵生理參數(shù)，最后用這些生理參數(shù)進(jìn)行數(shù)據(jù)庫(kù)匹配得到受試者的近似HRTF。再利用干信號(hào)與其構(gòu)造虛擬聲信號(hào)，組織相應(yīng)的受試者進(jìn)行主觀聽(tīng)覺(jué)實(shí)驗(yàn)，對(duì)算法的有效性加以驗(yàn)證。

圖1 HRTF個(gè)人化流程圖

2 多維生理參數(shù)的優(yōu)選

2.1 相關(guān)性分析

在選取生理參數(shù)的組合時(shí)，本文首先對(duì)實(shí)測(cè)的53人數(shù)據(jù)庫(kù)中各個(gè)俯仰角、方位角的HRIR進(jìn)行了預(yù)處理。由于虛擬聽(tīng)覺(jué)重放時(shí)主觀音色會(huì)有改變，故需對(duì)HRTF進(jìn)行均衡處理。利用信號(hào)源解卷積反變換后的結(jié)果與測(cè)試信號(hào)解卷積后的結(jié)果進(jìn)行卷積得到了最終的HRIR，為后續(xù)HRTF的主成分分析和相關(guān)性分析提供了數(shù)據(jù)基礎(chǔ)。針對(duì)每個(gè)受試者測(cè)量的50維生理參數(shù)，首先利用自相關(guān)分析選取獨(dú)立的參數(shù)，相關(guān)系數(shù)小于0.5認(rèn)為不相關(guān)，對(duì)于相關(guān)系數(shù)取模后將小于0.5的相關(guān)系數(shù)歸零得到自相關(guān)的灰度圖(見(jiàn)圖2)。首先選取獨(dú)立的生理參數(shù)，如圖2中參數(shù)2容貌面長(zhǎng)、參數(shù)21額最小寬等。再選取線性相關(guān)的一組中對(duì)HRTF影響更大且更易測(cè)量的參數(shù)[12]。例如參數(shù)27兩耳屏間寬和參數(shù)9鼻尖枕突距相關(guān)，考慮到耳部參數(shù)對(duì)HRTF的影響更明顯，故剔除參數(shù)9鼻尖枕突距，留下參數(shù)27兩耳屏間寬。按此方法初步優(yōu)選了29維生理參數(shù)，如圖4所示。

圖2 50個(gè)生理參數(shù)的自相關(guān)分析

2.2 主成分分析

采用主成分分析對(duì)HRTF數(shù)據(jù)庫(kù)各俯仰角的數(shù)據(jù)進(jìn)行分析。步驟如下：

1) 根據(jù)已知的M個(gè)空間方向的DTF(每個(gè)方向N個(gè)頻率點(diǎn)),構(gòu)造N×M矩陣HΔN×M

HΔN×M=[HΔ,0(f)HΔ,1(f) …HΔ,M-1(f)]=

HΔ(θ0,f0)HΔ(θ1,f0)…HΔ(θM-1,f0)HΔ(θ0,f1)HΔ(θ1,f1)…HΔ(θ0,fN-1)??…?

HΔ(θ1,fN-1)HΔ(θM-1,f1)…HΔ(θM-1,fN-1)

(1)

2) 求出該矩陣自協(xié)方差矩陣R,并按對(duì)應(yīng)的本征值由大到小排序u1,u2,…,uN,取前Q個(gè)本征矢量u1,u2,…,uQ作為Q個(gè)譜形狀矢量,則Q個(gè)譜形狀矢量組成的矩陣為:

DN×Q=[u1u2…uQ]

(2)

3) 利用譜形狀基矢量對(duì)HΔ進(jìn)行分解,利用u1,u2,…,uQ的正交性,可以求出與空間方向有關(guān),但與頻率無(wú)關(guān)的Q×M權(quán)重系數(shù)矩陣:

WQ×M=DQ×NHΔN×M

(3)

4) 最后,將M個(gè)空間方向的HRTF近似用Q個(gè)譜形狀基矢量表示:

ΔN×M=DN×QHΔQ×M

(4)

進(jìn)而有:

i(f)=(θi,f)=∑Qq=1wqidq(f)+Hav(f)=∑Qq=0wqidq(f)

(5)

因而H(θi,f)可分解為與方向無(wú)關(guān)的Hav(f)以及Q個(gè)譜形狀基矢量的權(quán)重和,與譜形狀基矢量對(duì)應(yīng)的權(quán)重系數(shù)wqi的集合也稱為主成分或空間特性函數(shù),它決定了譜形狀基矢量對(duì)不同方向HRTF的貢獻(xiàn)。

前Q個(gè)本征矢量u1,u2,…,uQ是正交的,但并不是完備的,Q取得越大(譜形狀基矢量數(shù)目越多),近似程度越高,但數(shù)據(jù)越復(fù)雜。由于各譜形狀基矢量對(duì)HΔ的貢獻(xiàn)以u(píng)1最大,u2次之,依次遞減,因此,當(dāng)Q一定時(shí),取N×N矩陣R的前Q個(gè)本征矢量作為譜形狀基矢量,就相當(dāng)于取相對(duì)貢獻(xiàn)最大的Q個(gè)譜形狀基矢量進(jìn)行分解,所帶來(lái)的平方誤差最小[1]。

由各俯仰角的主成分分析的結(jié)果,統(tǒng)計(jì)分析得各個(gè)方位角的前29個(gè)主成分的貢獻(xiàn)率都高于80%,故根據(jù)上述方法分別取各俯仰角的前29個(gè)主成分,將其與29維生理參數(shù)分別進(jìn)行互相關(guān)分析,對(duì)相關(guān)系數(shù)取模并將小于0.5的相關(guān)系數(shù)歸零后得圖3,最后對(duì)各俯仰角互相關(guān)分析的結(jié)果進(jìn)行統(tǒng)計(jì)和優(yōu)選。

綜合考慮各俯仰角、各參數(shù)間的相關(guān)關(guān)系,最終優(yōu)選了12維對(duì)HRTF影響顯著的生理參數(shù)(見(jiàn)圖4)。

圖3 基于主成分分析的相關(guān)性分析圖(俯仰角φ=00)

圖4 多維生理參數(shù)的優(yōu)選

3 基于數(shù)據(jù)庫(kù)匹配的HRTF個(gè)人化

本文的數(shù)據(jù)庫(kù)匹配采用基于最小距離準(zhǔn)則的數(shù)據(jù)庫(kù)匹配算法,利用優(yōu)選的12維生理參數(shù)進(jìn)行數(shù)據(jù)庫(kù)匹配。進(jìn)行初步驗(yàn)證時(shí),從數(shù)據(jù)庫(kù)選取5名受試者,當(dāng)選取其中一名受試者時(shí),數(shù)據(jù)庫(kù)中其他52名作為待匹配對(duì)象,根據(jù)匹配結(jié)果,確定與待預(yù)測(cè)聽(tīng)者最接近的已測(cè)HRTF的聽(tīng)者,認(rèn)為二者的HRTF是近似相同。

對(duì)于某個(gè)空間方向,受試者個(gè)性化HRTF和用生理參數(shù)匹配法獲取的近似HRTF之間的差異可采用譜失真SD表示。SD在離散頻率域的定義為

SD=1N∑fk20lg|H(fk)||H′(fk)|2

(6)

式中，H′(fk)為新受試者個(gè)性化HRTF在N個(gè)離散頻率點(diǎn)fk的采樣值,H(fk)為通過(guò)匹配獲得的近似HRTF在N個(gè)頻率點(diǎn)fk的采樣值。SD值越小,說(shuō)明匹配獲得的HRTF與個(gè)性化HRTF偏離越小。

對(duì)比受試者和其匹配對(duì)象在各方位的結(jié)果,從曲線對(duì)比和譜失真兩方面對(duì)匹配結(jié)果進(jìn)行誤差分析。圖5為俯仰角為0°,方位角為45°匹配對(duì)象的HRTF與受試者的HRTF?？梢钥闯?2條曲線整體趨勢(shì)吻合,波峰波谷也大部分吻合,有些頻率雖然幅值有差異,但趨勢(shì)相同,顯示匹配結(jié)果具有較好的準(zhǔn)確性。

圖5 受試者與匹配對(duì)象HRTF對(duì)比圖

圖6 各俯仰角譜失真

4 基于主觀聽(tīng)覺(jué)實(shí)驗(yàn)的匹配算法驗(yàn)證

為進(jìn)一步驗(yàn)證匹配法的有效性,用含有方位信息的HRIR與干信號(hào)卷積得到具有方位信息的虛擬聲信號(hào),再進(jìn)行主觀方位感知實(shí)驗(yàn)。當(dāng)匹配所得的HRTF與受試者的HRTF越相似時(shí),虛擬聲的方位信息與受試者本身的方位信息越相似,則受試者的主觀聽(tīng)覺(jué)定位效果應(yīng)越好。

分別利用53人數(shù)據(jù)庫(kù)以及人工頭HRTF合成虛擬聲信號(hào)。實(shí)驗(yàn)時(shí),先測(cè)量另選的20名受試者的12維對(duì)HRTF影響顯著的參數(shù),并利用基于最小距離準(zhǔn)則的數(shù)據(jù)庫(kù)匹配算法進(jìn)行匹配,找到數(shù)據(jù)庫(kù)中與受試者生理參數(shù)最匹配的HRTF作為受試者的HRTF。主觀聽(tīng)音測(cè)試時(shí)受試者分別傾聽(tīng)匹配對(duì)象和人工頭合成的聲信號(hào)。

對(duì)個(gè)人化主觀聽(tīng)音結(jié)果進(jìn)行總結(jié)整理,個(gè)人化和人工頭的各方位定位結(jié)果如圖7所示,圖7a),c),e)表示俯仰角φ分別為-40°,0°,40°的個(gè)人化HRTF定位結(jié)果。b),d),f)表示俯仰角φ分別為-40°,0°,40°的人工頭HRTF定位結(jié)果。方塊大小表示受試者判斷的結(jié)果落在該方位的人數(shù)占總?cè)藬?shù)的百分比。斜率為1的線表示預(yù)測(cè)方位與實(shí)際方位一致。斜率為-1的線上則表示前后混淆的結(jié)果。

圖7 各俯仰角定位結(jié)果

對(duì)比個(gè)人化和人工頭的定位效果，根據(jù)各俯仰角定位錯(cuò)誤率和前后混淆率作圖8和圖9。

圖8 各俯仰角定位錯(cuò)誤率

圖9 各俯仰角前后混淆率

對(duì)比人工頭和個(gè)人化HRTF對(duì)應(yīng)的主觀實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)：

1)基于實(shí)測(cè)生理參數(shù)獲得的個(gè)人化HRTF數(shù)據(jù)的平均定位錯(cuò)誤率和前后混淆率均低于人工頭的HRTF數(shù)據(jù)定位結(jié)果，說(shuō)明基于多維生理參數(shù)的頭相關(guān)傳遞函數(shù)個(gè)人化方法能夠有效地降低前后混淆率，提高定位的精度。

2)測(cè)試者對(duì)位于左右的聲音要比前后的聲音感知正確率高，測(cè)試者對(duì)位于上方的聲音要比下方的聲音感知正確率高，各俯仰角的定位精度由高到低，依次為0°,±20°,±40°,60°,80°。

5 結(jié) 論

本文將主成分分析法和相關(guān)分析法相結(jié)合，應(yīng)用于多維生理參數(shù)的優(yōu)選，實(shí)現(xiàn)了生理參數(shù)的降維，又利用數(shù)據(jù)庫(kù)匹配法實(shí)現(xiàn)了頭相關(guān)傳遞函數(shù)的個(gè)人化預(yù)測(cè)，分別通過(guò)譜失真和主觀聽(tīng)覺(jué)實(shí)驗(yàn)對(duì)預(yù)測(cè)HRTF的有效性進(jìn)行了驗(yàn)證。結(jié)果顯示，通過(guò)個(gè)人化處理，能提高定位準(zhǔn)確率4.6%，降低前后混淆率2.2% 。

⑨Ahmed Elgammal;Bingchen Liu;Mohamed Elhoseiny;Marian Mazzone，CAN:Creative Adversarial Networks Generating“Art”by Learning About Styles and Deviating from Style Norms，eprint arXiv:1706．07068．06/2017．

參考文獻(xiàn)：

[1] 謝菠蓀. 頭相關(guān)傳輸函數(shù)與虛擬聽(tīng)覺(jué)[M]．北京：國(guó)防工業(yè)出版社，2008: 100-101

Xie Bosun. Head Related Transfer Function and Virtual Auditory[M]. Beijing, National Defense Industry Press, 2008: 100-101 (in Chinese)

[2] 曾向陽(yáng). 頭相關(guān)傳遞函數(shù)的個(gè)人化方法[J]. 電聲技術(shù), 2007, 31(8): 41-46

Zeng Xiangyang. Head-Related Transfer Function Personalization[J]. Electroacoustic Technology, 2007, 31(8): 41-46 (in Chinese)

[3] Cooper D H. Calculator Program for Head-Related Transfer Functions[J]. Audio Eng Soc, 1982, 30:34-38

[4] Algazi V R, Duda R O, Duraiswami R, et al. Approximating the Head-Related Transfer Function using Simple Geometric Models of the Head and Torso[J]. Acoust Soc Am, 2002, 112(5): 2053-2064

[5] Kahana Y, Nelson P A, Petyt M. Boundary Element Simulation of HRTFs and Sound Fields Produced by Virtual Sound Imaging System[C]∥AES 105 Convention, San Francisco, CA, USA, 1998, Preprint:4817

[6] Jin C, Leong P, Leung J, et al. Enabling Individualized Virtual Auditory Space Using Morphological Measurements[C]∥Proceedings of the First IEEE Pacific-Rim Conference on Multimedia, 2000, 235-238

[7] Guillon P, Guignard T, Nicol R. Head-Related Transfer Function Customization by Frequency Scaling and Rotation Shift Based on a New Morphological Matching Method[C]∥AES 125th Convention, 2008

[8] Zotkin D N, Duraiswami R, Grassi E, et al. Fast Head-Related Transfer Function Measurement via Reciprocity[J]. Acoust Soc Am, 2006, 120(4): 2202-2215

[9] Brown C P, Duda R O. A Structural Model for Binaural Sound Synthesis[J]. IEEE Trans on Speech and Audio Processing, 1998, 6(5): 476-488

[10] Breebaart J. Effect of Perceptually Irrelevant Variance in Head-Related Transfer Functions on Principal Component Analysis[J]. Journal of the Acoustical Society of America, 2013,133(1):EL1-EL6

[11] Xie B S. Recoverry of Individual Head-Related Transfer Functions from a Small Set of Measurements[J]. Journal of the Acoustical Society of America, 2012, 132(1): 282-294

[12] 王曙光. 基于數(shù)據(jù)庫(kù)匹配的HRTF個(gè)人化方法[D]. 西安: 西北工業(yè)大學(xué), 2010

Wang Shuguang. HRTF Personalization Method Based on Database Matching[D]. Xi′an, Northwestern Polytechnical University, 2010 (in Chinese)