邢益搏，張雄偉，鄭昌艷，曹鐵勇

?

骨導語音庫的建立與骨氣導語音的互信息分析

邢益搏，張雄偉，鄭昌艷，曹鐵勇

(陸軍工程大學指揮控制工程學院，江蘇南京 210007)

首先設計了適用于骨導語音增強的語料采集方案，采集了1 320句涵蓋音節(jié)全面的語料，并制定了相應的錄音規(guī)范；其次介紹了骨導語音庫建立的意義，說明了語音庫建立的實施方案，建成了由40個說話人錄制的包括氣導語音和骨導語音各8 000句的語音庫；然后在對比骨導語音與氣導語音聲學特性的基礎上，分析了骨氣導語音在高頻和低頻的互信息量，為骨導語音的增強提供了理論依據(jù)；最后基于現(xiàn)階段的研究及文中構建的語音庫對今后的研究做出展望。

骨導語音；語音庫；互信息分析；語音增強

0 引言

語音是人與人之間最方便自然的交流方式，如何確保在強噪聲等復雜環(huán)境下進行有效的通信是一個十分重要的研究課題。骨導語音是通過在人的發(fā)聲部位采集發(fā)聲器官的振動而得到，對噪聲具有很強的魯棒性[1-5]。在背景噪聲格外強烈等極端復雜的環(huán)境下可以采集到信噪比較高的語音。

骨導語音的這一特性使得其在公安、消防以及軍事等方面有著重要的應用。但是，與氣導語音相比，骨導語音存在著低頻成分厚重、高頻成分衰減嚴重、聲音沉悶等缺陷，導致語音的可懂度較低。針對這一問題，國內外很多專家學者開展了廣泛的研究。

語音庫的建立在語音處理技術的研究和發(fā)展過程中起著基礎性的作用，是進行研究的數(shù)據(jù)支撐。目前，已經有大量數(shù)據(jù)庫廣泛應用于語音識別、語噪分離和語音增強等方面的研究，如Timit語音數(shù)據(jù)庫[6]、Noise92噪聲數(shù)據(jù)庫[7]以及南京大學、東南大學構建的耳語音數(shù)據(jù)庫[8-9]等。但是目前仍未發(fā)現(xiàn)公開的骨導語音數(shù)據(jù)庫。

本文建立了一個由漢語常用語構成的包含氣導語音和骨導語音的語音庫，為研究骨導語音的聲學特性及其增強技術提供了數(shù)據(jù)支撐。

1 研究背景及現(xiàn)狀

目前，國內外對骨導語音的研究已取得一定的成果，并基于各自的研究內容建成了小規(guī)模骨導語音庫。文獻[2]中建立了一個包含100個日語單詞和45個日語常用短語的語音庫，由2名女性和8名男性在無噪聲環(huán)境下錄制完成；文獻[10]錄制了2個長句、3個短句和5個元音構成的實驗數(shù)據(jù)，由2名男性和2名女性錄制完成；文獻[11]使用的語音庫包括日語、英語以及越南語等3個數(shù)據(jù)集，每個數(shù)據(jù)集都有5～10名說話人參與錄制，采集到的數(shù)據(jù)具有多樣性，但是數(shù)據(jù)集涉及的語料內容較少；文獻[12]采集6名說話人的骨導語音和氣導語音進行研究，每名說話人進行50個日語詞組的錄制，語料考慮了音節(jié)的多樣性與發(fā)音的均衡性。上述數(shù)據(jù)庫較好地滿足了研究需要，但尚存在規(guī)模較小、涵蓋的音節(jié)不夠全面等不足，且到目前為止，國內外未發(fā)現(xiàn)公開的漢語骨導語音庫。

為了漢語骨導語音研究的需要，本文建立了一個由20名男性和20名女性，共40名說話人同步錄制的骨導語音和氣導語音構成的漢語語音庫，每名說話人對分配到的200句語料進行錄制。最終得到的語音庫語料涵蓋音節(jié)全面，說話人樣本廣泛，可滿足骨導語音相關研究的基本需求。

2 骨導語音庫的建立

基于現(xiàn)有的語音庫建庫規(guī)范，參考文獻[8]中耳語音情感數(shù)據(jù)庫的制作過程，本文設計了語音庫的制作流程，如圖1所示。

圖1 語音庫建立過程的流程圖

2.1 語音庫制作規(guī)范

語音庫的制作規(guī)范包括發(fā)音人規(guī)范、語料規(guī)范、錄音規(guī)范、數(shù)據(jù)存儲規(guī)范、標注規(guī)范以及法律聲明等。具體規(guī)范要求如表1所示。

2.2 語音庫的整體規(guī)劃

考慮到骨導麥克風主要應用于公安、消防、軍事以及極限運動等場合，在語音庫建立時，選擇年齡分布在20～40歲的說話人進行錄音。

考慮到語音庫中語料對于音節(jié)覆蓋的全面性、多樣性、語料的重復以及訓練和測試數(shù)據(jù)的劃分等有較高的要求，以確保最終的語音庫能夠包含每個音素以及不同韻律的語句并能合適地劃分，因此，我們主要從日常生活用語、新聞以及報刊雜志中精選了1 320句語料并對其進行編號，針對“特定說話人”和“特定說話內容”兩個方面進行語料的分配和數(shù)據(jù)集的設計。最終建成的語音庫分為兩個數(shù)據(jù)集，語料的具體分配原則如表2及表3所示。

表1 骨導語音庫建立規(guī)范

表2 數(shù)據(jù)集1分配方式

表3 數(shù)據(jù)集2分配方式

表2和表3中的測試集1和測試集2的語料內容及分配方式完全相同。利用數(shù)據(jù)集1中的語音數(shù)據(jù)，可以對特定說話人的骨導語音進行研究；利用數(shù)據(jù)集2中的數(shù)據(jù)，可以對語料涉及到的特定說話內容骨導語音進行研究。

2.3 語音錄制

為保證骨導語音與氣導語音錄制標準相同并且能夠同步采集，避免引入不必要的干擾因素，采用同一臺電腦進行錄制。采用以下錄制設備：筆記本電腦1臺、骨導麥克風1個、高保真麥克風1個以及一分二音頻轉換頭等。錄音軟件采用Cool Edit pro 2.0軟件，錄音時采用雙聲道(左聲道為骨導語音、右聲道為氣導語音)錄制、16位存儲格式、32 kHz采樣頻率，左右聲道同步采集，錄制的語音保存為wav格式。

參考氣導語音庫建立的錄制環(huán)境和注意事項，考慮到骨導語音設備的特殊聲學特性，骨導語音錄制時需注意以下幾點：

(1) 每次錄音前，為避免錄制的語音出現(xiàn)聲音過大或聲音過小的問題，需要根據(jù)不同說話人的發(fā)音習慣對麥克風采集的聲音大小進行調整;

(2) 需要消聲室進行錄制以保持較高的信噪比；

(3) 骨導語音與氣導語音同步采集；

(4) 在錄音過程中，說話人盡量避免移動，以免混入由麥克風摩擦產生的噪聲；

(5) 說話人朗讀語句時，盡量保持聲音高低一致，聲音大小不能有明顯起伏；

(6) 錄制時，骨導傳感器需按要求佩戴，與皮膚緊密接觸，保證傳感器佩戴在震動最大部位，確保聲音被正確采集。

錄制的具體方式如圖2所示。

圖2 語音采集示意圖

Fig.2 Schematic diagram of speech acquisition

2.4 語音切分及標注

在對語音進行標注之前需要對采集的語音進行切分，使得語音庫中的最小單位是一個完整的句子。由于骨導語音的輔音、氣音以及摩擦音等成分的丟失，不能夠將需要的語音準確切分出來，因此，切分語音時，以氣導語音為參照，將骨導語音按照氣導語音切分的時間點進行切分，以得到較為精確的切分結果。

語音切分完畢后進行錄制語句的標注，即對每句語音給出采集方式、說話人編號和句子編號。如編號為1的男性對編號為10的語料錄制得到的語音分別標注為AC-M1-10和BC-M1-10，其中AC和BC分別代表氣導語音和骨導語音。。

2.5 語音庫建成

最終建成的語音庫包含骨導語音和氣導語音各8 000句，由20名男性和20名女性按照表2和表3的語料分配方式進行錄制。語音庫中語句的具體分布如表4所示。

3 骨導語音與氣導語音的比較

3.1 聲學特性比較

本節(jié)利用建立的語音庫，對同一句語料的骨導語音與氣導語音進行分析對比。

表4 最終語音數(shù)據(jù)庫

圖3是同一語料的骨導語音與氣導語音的語譜圖，語料內容為“人人擁護安全措施”，其中，圖3(a)為氣導語音，圖3(b)為骨導語音。從頻率軸觀察可知，在中頻以及低頻部分，骨導語音頻率成分厚重，在高頻部分骨導語音的衰減較為嚴重；從時間軸觀測可以看出，在摩擦音以及輔音等聲帶震動較小的部分，骨導語音存在明顯的缺失。

圖3 氣導語音與骨導語音的語譜圖對比

圖4所示的是兩者的時域波形、短時能量和短時過零率。從圖4中可以看出，骨導語音的短時能量在喉部振動強烈的音節(jié)(“擁護”)能量較高，在震動較弱的音節(jié)(“人”“施”)能量較低；骨導語音的短時過零率整體較低，氣導語音中清音部分(“措施”)過零率較高。

3.2 互信息分析

骨導語音的低頻成分厚重且高頻成分衰減嚴重，這導致骨導語音的可懂度較低且聲音沉悶，但仍可以聽懂語音包含的字詞信息。本文分別分析純凈氣導語音與骨導語音以及純凈氣導語音與帶噪氣導語音的低頻成份之間和低頻與高頻成份之間的互信息量，其中帶噪聲的氣導(簡稱：帶噪氣導)語音由錄制的純凈氣導語音與噪聲混合得到，通過對比可對骨導語音的質量相較于帶噪氣導語音的質量有更為直觀的理解，為低信噪比下利用骨導語音實現(xiàn)語音增強提供理論依。

圖4 氣導語音與骨導語音的特征比較

結合信息論等相關知識，下面我們選取6名說話人(3名男性和3名女性)的語音數(shù)據(jù)，對其骨導語音與氣導語音各個頻率分量所包含的互信息量進行分析。

3.2.1 互信息量計算

文獻[13-14]給出了一種估計語音互信息量的方法。梅爾頻率倒譜系數(shù)(Mel-Frequency Ceptral Coefficients, MFCC)[15]經常用來進行語音識別相關的研究，通常用其表示與語音內容相關的信息，因此，計算互信息量時以MFCC的概率分布為基礎。

實驗將語音信號的高頻部分和低頻部分看作獨立的兩段語音，并提取出骨導與氣導的低頻語音(0～2 kHz)和高頻語音(2～4 kHz)的MFCC，利用高斯混合模型對其建模，分別得到高頻、低頻的概率密度函數(shù)以及兩者的聯(lián)合概率密度函數(shù)，表示為

通過式(1)、(2)可以分別計算骨導語音與氣導語音的各個頻率成分之間包含的信息量。

3.2.2 仿真及結果

對骨導語音與氣導語音的互信息量進行計算可以對錄制的骨導語音質量有較為直觀的了解，同時也可以為骨導語音的增強提供理論上的支撐。

實驗選取了4名男聲和4名女聲共8名說話人的數(shù)據(jù)，對骨導語音與純凈的氣導語音以及帶噪的氣導語音與純凈氣導語音包含的互信息量進行對比分析。隨機抽取每名說話人訓練集和測試集的各一半數(shù)據(jù)共100句話，并將噪聲按照不同的信噪比與氣導語音混合得到帶噪的氣導語音進行實驗，信噪比從-5 dB增加到30 dB，以5 dB遞增。由于白噪聲覆蓋整個頻帶，對于信息量的估計不具有偏好，實驗選用白噪聲進行混合。

圖5給出了0、5、10 dB和15 dB四種信噪比下骨導語音與純凈的氣導語音、帶噪氣導語音與純凈的氣導語音在低頻部分之間的互信息量。從圖5中可以看出，在高信噪比條件下(15 dB)，帶噪的氣導語音與純凈語音有較高的互信息；在信噪比較低的情況下(信噪比低于10 dB)，骨導語音由于未被噪聲所干擾，與純凈的氣導語音互信息較高。從圖 5在不同信噪比下的互信息量趨勢可以預測到，信噪比更低時，帶噪的氣導語音與純凈氣導語音包含的互信息量會更低。

圖5 低頻骨導和氣導語音之間的互信息量

圖6所示的是帶噪氣導語音的低頻成分和純凈的氣導語音的高頻成分以及骨導語音的低頻成分和純凈氣導語音的高頻成分之間的互信息，信噪比分別為10、15、20 dB和25 dB。從圖6中可以看出，在20 dB時，骨導語音的低頻與純凈氣導語音高頻的互信息量就超過了帶噪的氣導語音；在信噪比更低時，氣導語音混入了更多的噪聲，導致互信息量更低，而骨導語音不受影響。

圖6 高低頻骨導和氣導語音之間的互信息量

Fig.6 Mutual information contents between high frequency pure air-conducted speech and low frequency noisy air-conducted speech(blue) and between low frequency bone-conducted speech and high frequency noisy air-conducted speech (brown)

4 結束語

基于骨導語音處理研究的需要，本文精選了1 320句音節(jié)均衡的漢語語料，并以此為基礎構建了包含骨導語音與氣導語音各8 000句的語音數(shù)據(jù)庫。在對骨導語音與氣導語音的聲學特性和互信息量進行分析后，得出骨導語音與氣導語音包含較高的互信息量這一結論，為骨導語音增強提供了理論依據(jù)。

[1] SHIN H S, KANG H G, FINGSCHEIDT T. Survey of speech enhancement supported by a bone conduction microphone[C]// Speech Communication; 10. ITG Symposium; Proceedings of. VDE, 2012: 1-4.

[2] YU J N, ZHANG L Y, ZHOU Z. A novel voice collection scheme based on bone-conduction[C]//IEEE International Symposium on Communications and Information Technology. 2005: 1164-1168.

[3] OKAMOTO Y, NAKAGAWA S, FUJIMOTO K, et al. Intelligibility of bone-conducted ultrasonic speech[J]. Hearing Research, 2005, 208(1-2): 107-113.

[4] SHIN H S, FINGSCHEIDT T, KANG H G. A priori snr estimation using air-and bone-conduction microphones[J]. IEEE/ACM Transactions on Audio Speech & Language Processing, 2015, 23(11): 2015-2025.

[5] RAHMAN M S, SHIMAMURA T. Pitch characteristics of bone-conducted speech[C]// IEEE, Signal Processing Conference, 2010, European. 2010: 795-799.

[6] ZUE V, SENEFF S, GLASS J. Speech database development at MIT: TIMIT and beyond[J]. Speech communication, 1990, 9(4): 351-356.

[7] VARGA, STEENEKEN H J. Assessment for automatic speech recognition II: NOISEX-92: a database and an experiment to study the effect of additive noise on speech recognition sys-tems[J]. Speech Communication, 1993, 12(3): 247–251.

[8] 金赟, 趙艷, 黃程韋, 等. 耳語音情感數(shù)據(jù)庫的設計與建立[J]. 聲學技術, 2010, 29(1): 63-68.

JIN Yun, ZHAO Yan, HUANG Chengwei, et al. The design and establishment of a Chinese whispered speech emotion database[J]. Technical Acoustics, 2010, 29(1): 63-68.

[9] 楊偉. 漢語與漢語耳語的平均頻譜的測量與計算[D]. 南京: 南京大學, 2012.

[10] SHIMAMURA T, TAMIYA T. A reconstruction filter for bone-conducted speech[C]//48th Midwest Symposium on Circuits and Systems, 2005. IEEE, 2005: 1847-1850.

[11] VU T T, UNOKI M, AKAGI M. An LP-based blind model for restoring bone-conducted speech[C]//IEEE, Second Interna-tional Conference on Communications and Electronics, 2008: 212-217.

[12] KONDO K, FUJITA T, NAKAGAWA K. On equalization of bone-conducted speech for improved speech quality[C]//IEEE International Symposium on Signal Processing and Information Technology. NJ: IEEE, 2007: 426-431.

[13] BOUSERHAL R E, FALK T H, VOIX J. On the potential for artificial bandwidth extension of bone and tissue conducted speech: a mutual information study[C]//IEEE International Conference on Acoustics, Speech and Signal Processing. NJ: IEEE, 2015: 5108-5112.

[14] BOUSERHAL R E, FALK T H, VOIX J. In-ear microphone speech quality enhancement via adaptive filtering and artificial bandwidth extension[J]. J. Acoust. Soc. Am., 2017, 141(3): 1321- 1331.

[15] 林瑋, 楊莉莉, 徐柏齡. 基于修正MFCC 參數(shù)漢語耳語音的話者識別[J]. 南京大學學報(自然科學版), 2006, 42(1): 54-62.

LIN Wei, YANG Lili, XU Boling. Speaker identification in Chinese whispered speech based on modified-MFCC[J]. Journal of Nanjing University (Natural Science), 2006, 42(1): 54-62.

Establishment of bone-conducted speech database and mutual information analysis between bone and airconducted speeches

XING Yi-bo, ZHANG Xiong-wei, ZHENG Chang-yan, CAO Tie-yong

(The Army Engineering University of PLA, Institute of Command and Control Engineering, Nanjing 210007, Jiangsu, China)

In this paper, a corpus acquisition scheme suitable for bone-conducted speech enhancement is designed, total 1 320 syllabic balanced sentences of covering comprehensive syllables are collected and a corresponding recording specification is developed. The significance of establishing bone-conducted speech database and the implementation scheme of the database are introduced, and a database containing 8 000 air-conducted and bone-conduced speeches spoken by 40 speakers is constructed. Based on the comparison of acoustic characteristics between air-conducted and bone-conducted speeches, the mutual information contents between bone and air conducted speeches at high and low frequencies are analyzed, which provides a theoretical basis for the enhancement of bone-conducted speech. Finally, based on the current stage of research and combining the database constructed in this paper, the future research direction is prospected.

bone-conducted speech; speech database; mutual information analysis; speech enhancement

TN912

A

1000-3630(2019)-03-0312-05

10.16300/j.cnki.1000-3630.2019.03.013

2018-01-08;

2018-02-20

國家自然科學基金資助項目(61471394、61402519)

邢益搏(1994－), 男, 山西臨汾人, 碩士研究生, 研究方向為語音信號處理。

邢益搏,E-mail: 18252059100@163.com