謝文俊，祝茂良，楊鴻海，楊 乃，呂建軍

(1. 青海省地理空間信息技術(shù)與應(yīng)用重點(diǎn)實(shí)驗(yàn)室，青海 西寧 810001； 2. 中國(guó)地質(zhì)大學(xué)信息工程學(xué)院，湖北 武漢 430074)

可聽(tīng)化技術(shù)將數(shù)據(jù)域內(nèi)信息的特征映射成聲音特征量(音高、響度、音色等)間的關(guān)系，即用非語(yǔ)音信號(hào)的各種特征量來(lái)表示各種信息[1]，用以描述、表達(dá)數(shù)據(jù)內(nèi)在關(guān)系，從而對(duì)數(shù)據(jù)進(jìn)行監(jiān)控或提供數(shù)據(jù)分析支持，同時(shí)可以解決視覺(jué)不能獨(dú)立完成的任務(wù)，降低視覺(jué)的負(fù)荷。聽(tīng)覺(jué)通道在信息突發(fā)狀態(tài)及視覺(jué)通道負(fù)荷過(guò)重等場(chǎng)合的信息傳遞中優(yōu)于其他通道[2]，在必須同時(shí)監(jiān)測(cè)大量變化量或時(shí)間復(fù)雜性的信息情況下非常適合聽(tīng)覺(jué)傳遞[3]。結(jié)合視覺(jué)通道和聽(tīng)覺(jué)通道承載信息會(huì)使人獲得強(qiáng)烈的存在感和真實(shí)感，在虛擬現(xiàn)實(shí)中已有大量應(yīng)用[4]。此外，可聽(tīng)化技術(shù)在維基百科數(shù)據(jù)更新[5]、氣候變化[6-7]等領(lǐng)域也取得了很好的應(yīng)用效果。目前已有學(xué)者嘗試將可聽(tīng)化技術(shù)引入到地圖可視化領(lǐng)域，已實(shí)現(xiàn)降雨預(yù)報(bào)專題地圖的可聽(tīng)化[2]，大量結(jié)合地圖的PM2.5數(shù)據(jù)可視化方法，對(duì)于視覺(jué)存在障礙的群體并不是一個(gè)很好的信息傳遞手段，可聽(tīng)化技術(shù)的融入將是一個(gè)很好的選擇，當(dāng)前尚未有相關(guān)文獻(xiàn)專門對(duì)此進(jìn)行研究。本文以PM2.5地圖可視化為例，在深度解剖聲音特征的基礎(chǔ)上構(gòu)建數(shù)據(jù)與聲音的映射模型，探討聽(tīng)覺(jué)感知在地圖可視化中的應(yīng)用問(wèn)題。

1 聲音相關(guān)理論

為了將PM2.5數(shù)值用聲音的形式表達(dá)出來(lái)，需首先弄清聲音涉及的相關(guān)參數(shù)，如頻率與振幅、十二平均律、基音與泛音等，然后建立PM2.5數(shù)值與相關(guān)參數(shù)之間的映射模型。

1.1 頻率與振幅

聲音以波的形式存在，包含兩個(gè)主要屬性：頻率和振幅。聲音的音高、強(qiáng)弱和音色是人能感受聲音差異的3個(gè)直觀物理屬性。其中聲音的音高是由物體振動(dòng)的頻率決定，頻率越高，音高就越高；頻率越低，音高就越低[8]。人的耳朵對(duì)聲音強(qiáng)弱的直觀感受稱為聲音的響度，通常用聲音的音量來(lái)描述聲音的響度，響度和聲音振動(dòng)的振幅有直接的關(guān)系。物體振動(dòng)的振幅越大，聲音響度就越強(qiáng)，相對(duì)的音量值也就越大；反之振動(dòng)的振幅越小，聲音的響度就越弱，聲音的音量值就越小。

1.2 十二平均律

表1 十二平均律中律音的頻率(節(jié)選)

1.3 基音與泛音

當(dāng)振動(dòng)發(fā)音時(shí)，全弦振動(dòng)的頻率最低且最具有辨識(shí)度，這個(gè)音被稱為基音，基音的頻率簡(jiǎn)稱基頻，基音確定聲音的音高。除去全弦振動(dòng)的基音，其他頻率較高的振動(dòng)發(fā)出的聲音按頻率大小排列構(gòu)成泛音列。泛音頻率大于基頻并且是基頻的整數(shù)倍，假設(shè)基頻為F，則第一泛音的頻率為2F，第二泛音的頻率為3F，依次類推[10]。每個(gè)樂(lè)音音色的異同主要由泛音列中泛音的數(shù)量和每個(gè)泛音的強(qiáng)度決定，音色突出聲音的獨(dú)特性。泛音充分的聲音會(huì)顯得飽滿，且當(dāng)聲音中低頻泛音充分時(shí)會(huì)給人以厚實(shí)有力度的聽(tīng)覺(jué)感受，當(dāng)泛音列中的高頻泛音充分時(shí)聲音具有強(qiáng)穿透力，給人以尖銳、洪亮的聽(tīng)覺(jué)感受。調(diào)節(jié)聲音中高低頻泛音的音量大小可以改變聲音中相應(yīng)的泛音成分[11]。

2 可聽(tīng)化模型構(gòu)建

2.1 數(shù)據(jù)處理

通過(guò)“PM2.5.IN：天氣指數(shù)實(shí)時(shí)監(jiān)測(cè)平臺(tái)”網(wǎng)站、中國(guó)環(huán)保部網(wǎng)站、百度地圖API獲取全國(guó)所有監(jiān)測(cè)站點(diǎn)經(jīng)緯度信息及2016年1月1日到1月29日以小時(shí)為節(jié)點(diǎn)的PM2.5數(shù)據(jù)，刪除經(jīng)緯度坐標(biāo)缺失的個(gè)別站點(diǎn)和站點(diǎn)PM2.5值缺失的數(shù)據(jù)后導(dǎo)入SQL Server中?！董h(huán)境空氣質(zhì)量標(biāo)準(zhǔn)》(GB 3095—2012)在考慮PM2.5為首要污染物的情況下，將PM2.5按標(biāo)準(zhǔn)中確定的空氣質(zhì)量指標(biāo)分級(jí)標(biāo)準(zhǔn)分為6級(jí)[12]，其分級(jí)標(biāo)準(zhǔn)見(jiàn)表2。將處理后的數(shù)據(jù)按時(shí)間遞增排序，根據(jù)PM2.5分級(jí)標(biāo)準(zhǔn)計(jì)算各等級(jí)站點(diǎn)數(shù)目，并計(jì)算全國(guó)所有站點(diǎn)每個(gè)時(shí)間節(jié)點(diǎn)PM2.5的平均值，表3以2016年1月1日前3個(gè)小時(shí)數(shù)據(jù)為例進(jìn)行展示。

表2 PM2.5分級(jí)標(biāo)準(zhǔn)

表3 PM2.5分級(jí)數(shù)據(jù)統(tǒng)計(jì)示例

2.2 映射模型構(gòu)建

由十二平均律中各律音的頻率情況和音樂(lè)中頻率取值范圍可知，當(dāng)基頻控制在一定范圍內(nèi)，根據(jù)基頻獲得的泛音頻率才能有對(duì)應(yīng)的音高且能在音樂(lè)軟件中彈奏出來(lái)。在考慮PM2.5值和基頻關(guān)系時(shí)，首先確定音樂(lè)中樂(lè)器的頻率在十六到七千之間[9]，為了提高聲音的跨度，確定基頻與PM2.5值成倍數(shù)關(guān)系。研究證明在響度固定條件下，人耳對(duì)頻率為144 Hz的聲音判斷反應(yīng)最靈敏[13]，而全國(guó)PM2.5平均值絕大多數(shù)時(shí)間處于90～150的范圍，可取基頻為最接近PM2.5平均值的2倍的律音頻率，經(jīng)測(cè)試，這種方法對(duì)極少數(shù)不在這一范圍的數(shù)據(jù)模型也能很好地覆蓋，且能很好地體現(xiàn)出數(shù)據(jù)值間的差異性。設(shè)PM2.5的平均值為A，C表示十二平均律中各律音的頻率(見(jiàn)表1)，f(C)表示與兩倍PM2.5平均值差值最小的基頻頻率，其模型關(guān)系為

f(C)=min|C-2A|

(1)

根據(jù)式(1)計(jì)算各律音的頻率與PM2.5平均值的兩倍的差值，取差值最小的律音作為該時(shí)刻基音的音名。表4以2016年1月1日0時(shí)到3時(shí)舉例平均PM2.5值、基頻和音名的對(duì)應(yīng)關(guān)系。

表4 基音音名

根據(jù)基頻與泛音的頻率關(guān)系，泛音頻率在基頻的基礎(chǔ)上以整數(shù)倍增加，得到泛音的頻率計(jì)算式為

D=NC

(2)

式中，D表示泛音的頻率；C表示通過(guò)式(1)計(jì)算獲得的基音的頻率；N表示泛音頻率是倍數(shù)乘數(shù)。第一泛音的頻率是基音頻率的2倍，因此N從2開(kāi)始取值。同時(shí)在前面提到的PM2.5分級(jí)標(biāo)準(zhǔn)6個(gè)等級(jí)，每一個(gè)等級(jí)對(duì)應(yīng)聲音泛音列里的一個(gè)泛音，一個(gè)音包含一個(gè)基音和六個(gè)泛音，因此取N為2～7的整數(shù)。首先根據(jù)基音計(jì)算出各級(jí)泛音的頻率，然后查閱十二平均律各律音的頻率關(guān)系(見(jiàn)表1)，根據(jù)頻率得出泛音的音名。表5取2016年1月1日的泛音列示例。

從音名組成和平均值對(duì)比可以看出，當(dāng)PM2.5平均值差值在±1之內(nèi)時(shí)，在音名組成上是沒(méi)有差異的。如2016年1月1日0:00:00和1:00:00的PM2.5平均值分別為103.9和102.9，2個(gè)時(shí)間點(diǎn)對(duì)應(yīng)的基音音名均為#g，而且從第一泛音到第六泛音的組成音名均相同。但是從PM2.5各級(jí)站點(diǎn)數(shù)目看，2個(gè)時(shí)間點(diǎn)在輕度污染和嚴(yán)重污染這兩個(gè)級(jí)別內(nèi)的計(jì)數(shù)值存在較大的差異，在聲音的組成中應(yīng)該表現(xiàn)出這2個(gè)級(jí)別存在的計(jì)數(shù)差異，這樣獲得的聲音才能更好地體現(xiàn)PM2.5整體的情況，同時(shí)反映數(shù)據(jù)量的差異性，也能使生成的聲音具有獨(dú)特性和提高聲音的辨識(shí)度。由此需要通過(guò)改變泛音的強(qiáng)度改變聲音的音色，體現(xiàn)聲音的獨(dú)特性。聲音的強(qiáng)度由聲音的音量值表示。根據(jù)可聽(tīng)化技術(shù)的原則，聲音特征值必須與數(shù)據(jù)有直接的映射關(guān)系，獲得的聲音才能與PM2.5值達(dá)到最佳匹配效果，才能更好地承載PM2.5數(shù)據(jù)包含的信息。由此，使用和頻率相對(duì)應(yīng)的PM2.5各級(jí)站點(diǎn)數(shù)目為每一級(jí)泛音賦予音量值。聲音音量值越大該泛音在聲音中越突出，因此音量值與PM2.5各級(jí)站點(diǎn)數(shù)目的關(guān)系體現(xiàn)為PM2.5各級(jí)站點(diǎn)數(shù)目越多，賦予泛音相應(yīng)的音量值越高，經(jīng)測(cè)試可通過(guò)式(3)計(jì)算出每個(gè)PM2.5等級(jí)內(nèi)對(duì)應(yīng)的泛音音量值

F=[E/10]

(3)

式中，F(xiàn)表示音量值；E表示PM2.5各級(jí)的站點(diǎn)數(shù)目。F的值為PM2.5各級(jí)站點(diǎn)數(shù)目除以10后四舍五入取整的結(jié)果。如在2016年1月1日凌晨0:00:00，屬于0～35的范圍內(nèi)的PM2.5監(jiān)測(cè)站點(diǎn)共有125個(gè)，計(jì)算125的1/10為12.5，取整后為13，則該時(shí)刻聲音的第一泛音音量為13。PM2.5值在良(36～75)范圍之間的統(tǒng)計(jì)值為401，則相應(yīng)的第二泛音的音量值為40。依次可得出第三泛音的音量為37，第四泛音的音量為23，第五泛音的音量為27，第六泛音的音量為1。為了滿足編曲規(guī)則，不需要將基音的音量通過(guò)平均值對(duì)應(yīng)表示，而是把該音名的音量值固定。

表5 泛音的確定

通過(guò)使用式(1)、式(2)、式(3)計(jì)算獲得每個(gè)時(shí)刻對(duì)應(yīng)的聲音基音和泛音，以及泛音的音量值，示例見(jiàn)表6。

表6 泛音音量確定

3 可聽(tīng)化模型的實(shí)現(xiàn)

本文利用GarageBand創(chuàng)建樂(lè)曲，選擇“Grand Piano”作為演奏樂(lè)器。選擇音樂(lè)速度為60，音樂(lè)的速度表示每一分鐘的拍數(shù)。音樂(lè)速度和時(shí)間節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系為

S=60G

(4)

式中，G表示視頻中每一秒代表的單位時(shí)間間隔，本文場(chǎng)景中G的取值為1；S代表音樂(lè)速度。在確定場(chǎng)景時(shí)選擇每1 h的數(shù)據(jù)代表場(chǎng)景中的1 s，這樣會(huì)使得頻譜圖圖形每1 s鐘變換一次，為了使音樂(lè)和頻譜圖形更好地對(duì)應(yīng)，音樂(lè)節(jié)奏為每分鐘60拍，每一拍一個(gè)音符，這樣的設(shè)置使得每1 h代表一拍，有相應(yīng)的音符與之對(duì)應(yīng)。在編輯界面中選擇7個(gè)音軌依次代表基音、第一泛音至第六泛音(如圖1所示)。依次在相應(yīng)的音軌上彈奏出音名列表中的音名，最后為每一個(gè)音名設(shè)置對(duì)應(yīng)的音量值。

圖1 音軌設(shè)置

將處理好的數(shù)據(jù)加載到PowerMap中，選擇將數(shù)據(jù)列中的經(jīng)緯度分別匹配到“地理和地圖級(jí)別”中的經(jīng)度和緯度中，該操作完成后PowerMap會(huì)將數(shù)據(jù)點(diǎn)顯示到地球上。進(jìn)入圖層設(shè)置選項(xiàng)，移動(dòng)“PM2.5”字段到“高度”數(shù)據(jù)框中；移動(dòng)“時(shí)間”字段到“時(shí)間”數(shù)據(jù)框中；選擇將數(shù)據(jù)以“堆狀柱形圖”展示。最后選擇整個(gè)場(chǎng)景的時(shí)間長(zhǎng)度，以每1 h為1 s計(jì)算整個(gè)場(chǎng)景的時(shí)長(zhǎng)。為了使整個(gè)頻譜圖展示的效果更具體和直觀，選擇平面地圖呈現(xiàn)。在最后將獲得的PM2.5動(dòng)態(tài)頻譜地圖導(dǎo)出為視頻，在導(dǎo)出時(shí)選擇配樂(lè)為上一節(jié)中制作完成的PM2.5音樂(lè)。在Foobar軟件中播放音樂(lè)，同時(shí)使用Camtasia Studio8軟件錄制音樂(lè)頻譜。最后將導(dǎo)出的頻譜地圖和錄制后的音樂(lè)頻譜圖導(dǎo)入Camtasia Studio8中進(jìn)行剪輯，具體效果見(jiàn)網(wǎng)址：https:∥v.qq.com/x/page/w0543ny56k9.html。

4 結(jié) 語(yǔ)

基于PM2.5數(shù)據(jù)實(shí)現(xiàn)了數(shù)據(jù)可聽(tīng)化，提出了有別于數(shù)據(jù)進(jìn)行可視化的另一種對(duì)數(shù)據(jù)進(jìn)行深度探索的方法。使用PM2.5動(dòng)態(tài)地圖中全國(guó)各監(jiān)測(cè)站點(diǎn)每小時(shí)的PM2.5數(shù)據(jù)，通過(guò)挖掘數(shù)據(jù)內(nèi)部信息，將提取的信息特征與聲音本身的結(jié)構(gòu)特征相匹配，獲得能夠承載數(shù)據(jù)特征的聲音參數(shù)。在分析聲音頻率規(guī)律和頻譜特征的基礎(chǔ)上，提出了一種既考慮全國(guó)平均PM2.5，又考慮PM2.5各級(jí)站點(diǎn)數(shù)目的數(shù)據(jù)與聲音信號(hào)的映射模型，有助于彌補(bǔ)PM2.5地圖可視化在視覺(jué)障礙群體中存在信息傳遞不暢的不足。盡管如此，目前實(shí)現(xiàn)的音色相對(duì)單一，只是一個(gè)初步的探索，如何讓地圖可聽(tīng)化變的真正的美妙化還需要音樂(lè)專業(yè)人士的參與。此外，本文最終的實(shí)現(xiàn)依賴多個(gè)軟件手工合成完成，如何實(shí)現(xiàn)地圖可聽(tīng)化的自動(dòng)智能化還有待進(jìn)一步研究。