[摘" 要]為豐富學(xué)生的聲樂學(xué)習(xí)資源、節(jié)省教師人力資源，本研究提出將虛擬現(xiàn)實(shí)技術(shù)（Virtual Reality，VR）與聲樂演唱相結(jié)合，構(gòu)建一個(gè)新的虛擬教學(xué)系統(tǒng)。首先構(gòu)建一個(gè)虛擬學(xué)習(xí)系統(tǒng)；接著提出一種基于Log-Gabor-改進(jìn)局部二值模式（Improved Local Binary Pattern，ILBP）的語譜圖特征算法，對不同尺寸與方向的語譜細(xì)節(jié)特征進(jìn)行放大，增強(qiáng)圖像紋理細(xì)節(jié)特征；最后引入多級殘差結(jié)構(gòu)-ICNN以彌補(bǔ)丟失的特征，提高對演唱者語音的識別率。結(jié)果顯示，在Saarbruecken數(shù)據(jù)集與CASIA數(shù)據(jù)集中，研究算法的收斂指標(biāo)值均最小，具有較高的收斂性；窗長為600、譜窗尺寸大小為16×16時(shí)，模型有最高語音識別效率。該算法對于演唱者的情感識別效果較好，準(zhǔn)確率均高于80%。以上結(jié)果均表明，本次研究的算法識別準(zhǔn)確率高，穩(wěn)定性好，能夠較好地運(yùn)用于聲樂演唱教育教學(xué)中。

[關(guān)鍵詞]VR" 聲樂演唱" 教學(xué)模式" 創(chuàng)新教育

課題：本文系延安大學(xué)2022年疫情防控應(yīng)急科研項(xiàng)目《抗議歌曲原創(chuàng)〈疫情無情人有情〉》（課題編號：ydfk052）。

中圖分類號：TP393"" 文獻(xiàn)標(biāo)志碼：A

引" 言

改革開放以來，隨著電子信息技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)已全面融入人類社會(huì)文明、文化、政治與經(jīng)濟(jì)建設(shè)的全過程。當(dāng)前，網(wǎng)絡(luò)教學(xué)已得到了全社會(huì)的認(rèn)可、提倡和推廣。在音樂教育方面，隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)的發(fā)展，傳統(tǒng)的線下聲樂演唱教學(xué)方式受到了前所未有的挑戰(zhàn)，從根本上改變了音樂教育的教學(xué)模式。傳統(tǒng)聲樂演唱教學(xué)由于教師的時(shí)間有限、資源有限，學(xué)生的學(xué)習(xí)過程通常會(huì)受影響。鑒于此，本研究提出以互聯(lián)網(wǎng)為背景，將VR技術(shù)與聲樂演唱教育相互結(jié)合，創(chuàng)新一種新型線上教育模式。該模式既能夠增強(qiáng)學(xué)生間的交流與學(xué)習(xí)，又可以加強(qiáng)教師與學(xué)生之間的溝通。

基于VR技術(shù)的聲樂演唱教育教學(xué)平臺(tái)模型構(gòu)建

1.基于VR技術(shù)的聲樂演唱教學(xué)系統(tǒng)及語譜圖特征提取

研究以虛擬現(xiàn)實(shí)技術(shù)為基礎(chǔ)，構(gòu)建聲樂演唱教育教學(xué)新模型，首先對VR技術(shù)的特點(diǎn)與原理展開分析。VR實(shí)際上是一種能夠創(chuàng)造和體驗(yàn)虛擬世界的計(jì)算機(jī)模擬系統(tǒng)，通過計(jì)算機(jī)技術(shù)產(chǎn)生一個(gè)能夠讓使用者完全沉浸其中的模擬環(huán)境。所謂“VR”，就是將真實(shí)的信息，通過計(jì)算機(jī)技術(shù)將其轉(zhuǎn)換為一種可以為人類所感知的現(xiàn)象。這種現(xiàn)象可以是現(xiàn)實(shí)中真真切切存在的物體，也可以是肉眼無法觀察到的物質(zhì)。有的現(xiàn)象人類無法直觀觀察到，但能通過計(jì)算機(jī)技術(shù)將其模擬為現(xiàn)實(shí)，所以也被稱為虛擬現(xiàn)實(shí)。基于三維VR技術(shù)的沉浸式情景，能夠改變傳統(tǒng)的扁平式教學(xué)方式，賦予教學(xué)更生動(dòng)的教學(xué)場景，進(jìn)而重塑在線教育。虛擬現(xiàn)實(shí)聲樂演唱學(xué)習(xí)（VR-Learning）模式，能夠?qū)崿F(xiàn)教學(xué)內(nèi)容的在線可視化、教學(xué)環(huán)境的互動(dòng)虛擬化、教學(xué)過程的交互性。當(dāng)VR技術(shù)與聲樂演唱教育相結(jié)合，可將與音樂“握手”變?yōu)椤皳肀А?，學(xué)生能在虛擬環(huán)境中體驗(yàn)對虛擬人物與音樂的再創(chuàng)造?？傊癡R+聲樂演唱”是創(chuàng)新教育教學(xué)領(lǐng)域的重要使命，也是推動(dòng)我國音樂教育發(fā)展的巨大助力。

在基于VR技術(shù)的聲樂演唱?jiǎng)?chuàng)新教育教學(xué)系統(tǒng)設(shè)計(jì)中，語音情感識別占據(jù)著十分重要的位置。課題組對語音情感識別系統(tǒng)中的特征提取部分展開了較為深入的研究。語譜圖是對語音能量時(shí)頻分布的一種視覺表現(xiàn)形式，其紋理特征、能量分布信息與語音情感信號中的能量、音調(diào)以及基頻等情緒特征有著十分密切的關(guān)系。課題組擬利用語譜圖中的紋理特征等信息，從語譜圖中提取出與情感相關(guān)的特征，以減少時(shí)間域與頻率域信號之間的互斥性，進(jìn)而提高語音情感的識別效果。為了解決語譜圖中存在的情感特征提取不足的問題，提出了一種基于Log-Gabor-改進(jìn)局部二值模式的語譜圖特征算法。首先利用Log-Gabor從不同的尺度與方向?qū)叶群蟮恼Z譜圖細(xì)節(jié)地方特征進(jìn)行放大，然后利用ILBP從不同方向?qū)y理特征進(jìn)行提取與重構(gòu)。二維Log-Gabor具有較好的圖像紋理細(xì)節(jié)增強(qiáng)功能，同時(shí)還能夠抑制低頻信號的振幅，增強(qiáng)對高頻信號的放大作用。二維Log-Gabor表達(dá)見式（1）。

式（4）中，[E]表示周圍像素點(diǎn)與中心像素點(diǎn)之間的平均絕對百分比誤差，通過對每個(gè)像素點(diǎn)的絕對百分比誤差與平均誤差大小來設(shè)定閾值，能夠較為全面地體現(xiàn)周圍像素點(diǎn)與中心點(diǎn)的絕對誤差關(guān)系，進(jìn)而通過計(jì)算得到的LBP值會(huì)更為準(zhǔn)確。

2.基于改進(jìn)CNN的聲樂演唱語音情感識別模型

研究對聲樂演唱特征提取過程中容易丟失的現(xiàn)象進(jìn)行了改進(jìn)，提出了一種基于多級殘差改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN），以彌補(bǔ)丟失的特征，提高識別率。

圖2中，改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)包含多個(gè)卷積池化層與多級殘差結(jié)構(gòu)，其中多級殘差結(jié)構(gòu)能夠跨越多個(gè)池化層傳遞原始信息特征，可彌補(bǔ)丟失特征。正方形框中表示研究所涉及的多級殘差結(jié)構(gòu)，n和m分別代表殘差結(jié)構(gòu)傳播跨越的卷積層個(gè)數(shù)。本研究改進(jìn)的多級殘差卷積神經(jīng)網(wǎng)絡(luò)在解決傳統(tǒng)CNN結(jié)構(gòu)弊端的基礎(chǔ)上，能夠進(jìn)一步降低計(jì)算量，進(jìn)而提高模型識別效率。研究提出的多級殘差結(jié)構(gòu)以殘差結(jié)構(gòu)為基礎(chǔ)，對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了改進(jìn)。多級殘差結(jié)構(gòu)通過將前n個(gè)卷積層的原始信息與所在的卷積層相互聯(lián)系，最大程度地保留了原始信息，并通過加入控制系數(shù)對所輸入原始特征的維度進(jìn)行調(diào)控，最終有效提高了模型的識別效率與系統(tǒng)的收斂速度。若將引出殘差結(jié)構(gòu)時(shí)的輸入設(shè)為[xi]，引入殘差結(jié)構(gòu)后的輸出為[xi+n]，那么相應(yīng)得到的多級殘差結(jié)構(gòu)的輸出見式（5）。

式（6）中，""""""""" 表示多級殘差結(jié)構(gòu)對應(yīng)補(bǔ)充的丟失特征項(xiàng)；[T（w，b）]表示權(quán)值與偏置的常數(shù)項(xiàng)。在對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行逐層求解時(shí)，權(quán)重[w]將逐步減小，直至接近0，從而導(dǎo)致反向傳遞的梯度更新接近于0，最終造成特征損失的現(xiàn)象。加入多層次殘差結(jié)構(gòu)后，能夠引入最初[n]個(gè)卷積層的原始特征信息，使特征得到最大限度的互補(bǔ)，同時(shí)設(shè)定控制參數(shù)[α]和[β]，則能夠減小特征維度，最終加快訓(xùn)練速度，提高訓(xùn)練效果。聲樂演唱過程中對語音情感識別的訓(xùn)練可以被認(rèn)為是使用一套被估計(jì)的參數(shù)來刻畫實(shí)際數(shù)據(jù)與預(yù)測數(shù)據(jù)的差異，并通過不斷調(diào)節(jié)這些差異，使得兩者的差異實(shí)現(xiàn)最小。在此基礎(chǔ)上，提出了一種全新的、能夠用來指導(dǎo)整個(gè)系統(tǒng)的函數(shù)——損失函數(shù)。由于語音情感識別過程中存在著多類別的特征，再將交叉熵引入到語音情感識別中，其對應(yīng)表達(dá)見式（7）。

式（7）中，[yj]表示第[j]個(gè)樣本的真實(shí)標(biāo)簽；[yj]表示第[j]個(gè)樣本在所構(gòu)建模型中的預(yù)測輸出。交叉熵所描述的問題是輸出結(jié)果與真實(shí)數(shù)值之間的差異程度，若輸出結(jié)果中被正確分類的樣本較多，則對應(yīng)得到的交叉熵?cái)?shù)值較小，即表示輸出結(jié)果的混亂程度越小，最終得到的模型性能較好。

另外，還需要選取適當(dāng)?shù)膬?yōu)化算法，使得神經(jīng)網(wǎng)絡(luò)的損失函數(shù)值最小化。最常見的方法便是利用梯度下降的方法來最小化損失函數(shù)，對此，課題組提出使用RMSProp算法（具有全參數(shù)自適應(yīng)的特點(diǎn)），具體表達(dá)見式（8）。

式（8）中，[r]表示梯度平方值的滑動(dòng)率；[w]表示衰減率；[a]表示學(xué)習(xí)率；[ε]表示防止分母為零的常數(shù)項(xiàng)；[η]表示超參數(shù)（是一個(gè)常量）。除此之外，為了避免過擬合現(xiàn)象的出現(xiàn)，采用了正則化方法。該方法是一種能夠?qū)ι窠?jīng)網(wǎng)絡(luò)結(jié)果中的神經(jīng)元進(jìn)行隨機(jī)忽略的一種有效訓(xùn)練策略。

“VR+聲樂演唱”創(chuàng)新教育教學(xué)模式的實(shí)現(xiàn)與測試

本研究選取某大學(xué)聲樂教育專業(yè)的學(xué)生作為研究對象，通過VR技術(shù)建立聲樂演唱遠(yuǎn)程在線教育平臺(tái)，對所構(gòu)建平臺(tái)的實(shí)際性能與應(yīng)用效果進(jìn)行分析。首先分析所構(gòu)建模型的收斂速度，選擇德國薩爾布呂肯語音數(shù)據(jù)集（Saarbruecken）和中國聲樂語音情感數(shù)據(jù)庫（CASIA）兩個(gè)不存在交叉的數(shù)據(jù)集作為測試數(shù)據(jù)集。對比不同算法的收斂速度，見圖3所示。

從圖3可知，選取傳統(tǒng)CNN、RCNN與ETCNN作為對比算法，比較三種算法與本次研究所提出的改進(jìn)CNN算法之間的收斂性。圖3（a）是在Saarbruecken數(shù)據(jù)集中的測試結(jié)果，顯示研究算法最快能在迭代進(jìn)行到第200次時(shí)獲得較小的指標(biāo)值，而其余三種散發(fā)均在迭代進(jìn)行到第800次后獲得較小指標(biāo)值。圖3（b）是在CASIA數(shù)據(jù)集中的測試結(jié)果，當(dāng)?shù)螖?shù)在第200次時(shí)，研究算法有最小指標(biāo)值；其余算法則在第800次左右才能有最小值。這表示研究算法具有較高的收斂性，即研究所提出算法計(jì)算過程的效率更高，從不同數(shù)據(jù)集的結(jié)果可以得知，該算法具有較高的普適性。接著對不同算法模型達(dá)到穩(wěn)定狀態(tài)的用時(shí)與擬合精度進(jìn)行對比，見圖4。

從圖4（a）可以看出，隨著迭代次數(shù)的增加，4種算法的穩(wěn)定狀態(tài)運(yùn)行時(shí)間均在上升，并在運(yùn)行時(shí)間為45次時(shí)趨向于穩(wěn)定。當(dāng)?shù)螖?shù)達(dá)到50次時(shí)，所有算法運(yùn)行均達(dá)到穩(wěn)定狀態(tài)，此時(shí)傳統(tǒng)CNN、RCNN與ETCNN三種算法達(dá)到穩(wěn)定狀態(tài)的用時(shí)分別為0.912s、0.934s、0.876s，而研究算法的穩(wěn)定用時(shí)為0.849s。研究算法的用時(shí)最少，這可能是因?yàn)檠芯克惴ㄈ谌肓硕嗉墯埐罱Y(jié)構(gòu)，一定程度上簡化了系統(tǒng)操作步驟，提升了運(yùn)行效率。從圖4（b）可以看出，隨著運(yùn)行時(shí)間的增加，系統(tǒng)中的擬合精度也開始逐漸增加。以時(shí)間為0.9s為例，此時(shí)研究算法的擬合精度為99.89%，此刻傳統(tǒng)CNN的擬合精度與研究算法不相上下，但當(dāng)運(yùn)行時(shí)間增加至1.0s時(shí)，系統(tǒng)的擬合精度明顯下降。而RCNNN與ETCNN算法的擬合精度明顯小于研究算法。以上結(jié)果表明，研究算法的擬合精度最優(yōu)秀，能夠顯著減少系統(tǒng)達(dá)到穩(wěn)定的耗時(shí)。對不同Log-Gabor的譜窗長度對系統(tǒng)語音的識別結(jié)果進(jìn)行總結(jié)，結(jié)果見表1。

表1中可以發(fā)現(xiàn)，窗長對識別率有較大影響的波峰分別在窗長接近于400與600時(shí)。主要原因在于當(dāng)窗長接近于400時(shí)，語譜圖更接近于網(wǎng)絡(luò)帶寬語譜圖，聲樂演唱虛擬系統(tǒng)中的圖像顯示時(shí)域紋理更清晰；而當(dāng)窗長接近于600時(shí)，則更接近于窄帶語譜圖，頻域的紋理特征更清晰。對比可知，當(dāng)窗長為600時(shí)，在Saarbruecken數(shù)據(jù)集與CASIA數(shù)據(jù)集中，均有最高識別率，分別為66.84%、59.24%，因此語譜圖窗長設(shè)定為600。不同譜窗大小對系統(tǒng)語音的識別效果見表2。

從表2可以看出，隨著譜窗尺寸的增加，識別率呈現(xiàn)先升后降的變化，譜窗大小為16×16時(shí)，在Saarbruecken數(shù)據(jù)集與CASIA兩數(shù)據(jù)集上有最大識別率，分別為72.34%與61.29%。這是由于譜窗尺寸較小時(shí)，研究算法著重強(qiáng)調(diào)圖像細(xì)節(jié)，忽略了對整體虛擬系統(tǒng)的抗噪聲能力，導(dǎo)致識別率變?。欢叽巛^大時(shí)，研究算法提取的圖像與語音細(xì)節(jié)變得較小，識別率也較低。因此將譜窗尺寸大小設(shè)置為16×16，可取最優(yōu)識別率對應(yīng)尺寸。

另外，統(tǒng)計(jì)不同模型在兩種數(shù)據(jù)集上對每種聲樂演唱語音情感的識別率?？梢园l(fā)現(xiàn)，研究算法對于演唱者的生氣、驚喜、厭惡以及悲傷的識別效果較好，準(zhǔn)確率均高于80%；與RCNN和ETCNN對比可知，研究算法模型對于生氣、厭惡、難過以及驚喜的識別率均高于其他兩種算法，其中對害怕情感的識別率較低，這是由于中文語言與外國語言的情緒表達(dá)方式不同。以上結(jié)果均表明，研究算法對生氣、難過、厭惡以及驚喜的識別率均顯著優(yōu)于文獻(xiàn)算法，對害怕與高興的識別率較低，對中性情感的波動(dòng)較大，整體識別效果較好。

結(jié)" 論

為了豐富學(xué)生的學(xué)習(xí)資源，增強(qiáng)其學(xué)習(xí)互動(dòng)性，課題組將VR技術(shù)與聲樂演唱相互結(jié)合，創(chuàng)新了教學(xué)模式。研究過程中利用Log-Gabor和改進(jìn)LBP對語譜圖特征進(jìn)行提取，并引入多級殘差結(jié)構(gòu)改進(jìn)CNN彌補(bǔ)丟失的語音特征，提高識別率。結(jié)果顯示，研究算法的損失函數(shù)最小，收斂精度較高，識別準(zhǔn)確率較優(yōu)，穩(wěn)定性能較優(yōu)。隨著聲樂演唱形式與科學(xué)技術(shù)的不斷發(fā)展，為了更好地構(gòu)建教學(xué)系統(tǒng)，相關(guān)研究者還必須進(jìn)行更多的實(shí)驗(yàn)，以豐富教學(xué)資源。

參考文獻(xiàn)：

[1]田一淇.基于“互聯(lián)網(wǎng)+”的學(xué)前教育聲樂教學(xué)模式創(chuàng)新研究[J].電腦知識與技術(shù)（學(xué)術(shù)版）[J].2022，18（3）：128-129+132.

[2]張帥，曲校辰，崔文超，等.VR技術(shù)在創(chuàng)新教育背景下的探索與實(shí)踐[J].山西青年，2020（5）：94.

[3]Kowalski S，P Samól，J Szczepański，et al.Teaching architectural history through virtual reality[J].World Transactions on Engineering and Technology Education，2020，18（2）：297-302.

[4]馮玲玲.“互聯(lián)網(wǎng)+”聲樂教學(xué)模式分析[J].普洱學(xué)院學(xué)報(bào)，2021，37（1）：131-132.

[5]Byrns A，Abdessalem H B，Cuesta M，et alEEG Analysis of the Contribution of Music Therapy and Virtual Reality to the Improvement of Cognition in Alzheimer's Disease[J].Journal of Biomedical Science and Engineering，2020，13（8）：187-201.

[6]盤東霞，付夢晗，等.我國虛擬現(xiàn)實(shí)技術(shù)教育應(yīng)用研究綜述——基于知識圖譜的可視化分析[J].廣州廣播電視大學(xué)學(xué)報(bào)，2022，22（1）：18-22+107-108.

[7]劉班.利用虛擬現(xiàn)實(shí)推進(jìn)高校創(chuàng)新創(chuàng)業(yè)人才培養(yǎng)[J].現(xiàn)代教育論壇，2020，3（8）：85-87.

（李延?。貉影泊髮W(xué)魯迅藝術(shù)學(xué)院）