崔 佳

(棗莊學(xué)院音樂與舞蹈學(xué)院，山東 棗莊 277160)

一、人工智能作曲

人工智能是研究開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新興科學(xué)。隨著“云計算”大數(shù)據(jù)的應(yīng)用，人工智能技術(shù)近幾年有了極大的進展，在智能機器、圖像處理、模式識別等領(lǐng)域產(chǎn)生了突破性的應(yīng)用。

人工智能在音樂領(lǐng)域也有廣泛的用途，如利用人工智能技術(shù)識別樂譜、分析曲目或輔助作曲等，在一定程度上解決了以往計算機自動生成旋律過度隨機和趨于單調(diào)的問題。特別是人工智能作曲，已經(jīng)成為音樂研究的一個重要方向，引起了國內(nèi)外不少作曲專業(yè)和計算機專業(yè)專家、學(xué)者的關(guān)注。中央音樂學(xué)院也在2019年的博士招生目錄中，初次增加了“音樂人工智能與音樂信息科技”專業(yè)的招生計劃，并采取音樂導(dǎo)師與科技導(dǎo)師的雙導(dǎo)師培養(yǎng)模式。

下面我將以賦格曲為創(chuàng)作目標，基于賦格曲音頻的音樂知識規(guī)則，利用長、短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練，嘗試設(shè)計研究一種新的自動合成樂曲算法，進行人工智能作曲，并將其準確應(yīng)用到賦格曲的創(chuàng)作實踐中去。

二、人工智能技術(shù)在“賦格”創(chuàng)作中的應(yīng)用設(shè)想

(一)傳統(tǒng)賦格曲的基本形態(tài)

賦格，來自拉丁文“Fuga”，意為“逃離”和“追逐”。它是一種開放性的復(fù)調(diào)音樂體裁，在結(jié)構(gòu)上，它可以是單主題或多主題的，包括主題呈示、發(fā)展和再現(xiàn)三個階段，體現(xiàn)出三部性結(jié)構(gòu)原則。[1](P133-155)

一般情況下，一首賦格曲可能包含的主要結(jié)構(gòu)及其寫作手法如下圖：

呈示部補充呈示或副呈示部間插段緊接段主題、答題(屬調(diào)主題)答題先進入材料來自呈示部主題、對題或小結(jié)尾主題的卡農(nóng)對題(與主題、對題八度二重)主題與答題聲部互換多用“無縫連接”;采用模仿、模進、復(fù)對位等手法模仿時間、音程距離、聲部數(shù)量不限小結(jié)尾;自由聲部無或者較為自由每一間插段后要緊跟近關(guān)系調(diào)的主題/答題(關(guān)系大、小調(diào));屬持續(xù)音結(jié)束以“逐漸緊縮”為特點;主持續(xù)音結(jié)束(加變格補充)

圖1賦格曲的基本結(jié)構(gòu)

從賦格的上述基本結(jié)構(gòu)我們可以看出，賦格創(chuàng)作有一定的“程式化規(guī)則”，要求作曲家按照一定的音樂布局原則和對位法則進行創(chuàng)作，這一類型作品的創(chuàng)作特點與創(chuàng)作技法，與人工智能作曲的運算過程存在不少相似之處，這就具備了運用人工智能技術(shù)進行創(chuàng)作的基本條件。

(二)人工智能技術(shù)在“賦格”創(chuàng)作中的應(yīng)用設(shè)想

1.使用已有人工智能作曲技術(shù)進行賦格創(chuàng)作的利弊分析

人工智能作曲需要計算機專業(yè)人員與音樂家的密切合作，在我國這項技術(shù)仍然處于起步階段。根據(jù)算法的結(jié)構(gòu)和處理數(shù)據(jù)方法的不同，計算機作曲創(chuàng)作方式有以下7個類別：數(shù)學(xué)模型、基于知識的系統(tǒng)、語法模型、演化方法、演化發(fā)育方法、混合系統(tǒng)法和系統(tǒng)學(xué)習(xí)法，以下將分別分析利用它們作曲的利弊。

(1)數(shù)學(xué)模型

數(shù)學(xué)模型是基于數(shù)學(xué)公式和隨機事件的生成方法來進行音樂創(chuàng)作。在隨機過程數(shù)學(xué)模型中，創(chuàng)建的音樂片段是由一系列非確定性方法來生成的。最常用的算法是馬爾可夫鏈和各種各樣的高斯分布的變形算法、分形幾何方法和“整數(shù)數(shù)列線上大全”等?！罢麛?shù)數(shù)列線上大全”提供了一種使用整數(shù)序列來表示十二平均律音樂的手段。

這類方法的特點是整個過程不需要人的干預(yù)，僅需要依靠數(shù)學(xué)模型來建構(gòu)。在作曲過程中，作曲家僅能通過調(diào)整加權(quán)隨機事件的權(quán)值來進行部分調(diào)控。這是一個數(shù)學(xué)家和音樂家協(xié)作完成的過程，假如以賦格曲為創(chuàng)作對象，不易對建構(gòu)過程中的音樂作品進行隨時調(diào)整，且生成的音樂作品的音響和音樂風(fēng)格不好界定，有可能寫出完全不像賦格的音樂。

(2)基于知識的系統(tǒng)

這類方法是從特定的音樂流派中提取出音樂特征，并使用這個特征去創(chuàng)建新的相似的音樂作品。即基于一個預(yù)先設(shè)定好的參數(shù)集合來進行新樂曲的創(chuàng)作，而這個集合中的參數(shù)就是從希望創(chuàng)造的相似音樂類型和流派中提取出來的。通常，這一工作需要一個完備的測試集和約束集來使得整個音樂的構(gòu)建過程變得完整。[2]

根據(jù)這種方法，創(chuàng)作巴赫風(fēng)格的賦格曲還是極有可能的。但此種方法的缺陷在于：“測試集和約束集”的建立過程漫長而繁復(fù)，且只能對相似的音樂作品進行創(chuàng)作，假如是不在“集”或“系統(tǒng)”中的其他風(fēng)格，就無法作為創(chuàng)作素材所運用。

(3)語法模型

音樂也可以被理解為一種具有特殊語法集合的語言。曲譜的構(gòu)成都是由構(gòu)建這種音樂語法開始的，而之后再由這些特定的音樂語法構(gòu)造易于理解的音樂片段。音樂語法模型通常包含除單一音符外的宏觀作曲規(guī)則，例如，和聲與節(jié)奏等。應(yīng)用該方法的一個典型的例子是McCormack[3]提出的基于語法的音樂作曲，在其中使用了一些語法模型和語言處理工具。

此種方法涉及到“作曲規(guī)則”，以及音樂的基本要素等問題，且不說對語法的理解有無偏差，作曲規(guī)則是否有一定之規(guī)，僅語法和作曲規(guī)則之間的相關(guān)性都有待考證。假如用此種方法進行賦格創(chuàng)作，可能會出現(xiàn)作曲規(guī)則的混亂，音樂要素的不確定，最終導(dǎo)致音樂體裁和風(fēng)格的偏離。

(4)演化方法

用于作曲的演化方法是一種基于遺傳算法的自動譜曲方法。整個作曲過程是由類似生物的演化過程手段構(gòu)成的。通過突變和自然選擇這兩種演化過程，各種解決方案朝著最恰當(dāng)?shù)囊魳菲伪憩F(xiàn)形式不斷演化。

(5)演化發(fā)育方法

演化發(fā)育方法是將上面提到的演化方法與發(fā)育過程進行結(jié)合構(gòu)成的一種新方法，該方法能夠很好地針對復(fù)雜的結(jié)構(gòu)進行生成和優(yōu)化工作。演化發(fā)育方法，通過不斷的迭代過程將非常簡單的曲譜(僅僅包含幾個音符)轉(zhuǎn)化為一個復(fù)雜且成熟完整的樂段，最終獲得整個音樂結(jié)構(gòu)。

(4)(5)兩種作曲方法同方法(1)有類似之處，但它更加“智能化”，如同生物進化中的“優(yōu)勝劣汰”法則，但最大的缺陷是作品的質(zhì)量完全依賴于一個叫做“篩選過程”的算法，通過篩選不斷淘汰不好的解決方案?！昂Y選過程”的標準令人質(zhì)疑，且不適合創(chuàng)作大型作品，因此也不推薦進行賦格創(chuàng)作的嘗試。

(6)混合系統(tǒng)法

基于前面幾種方法，往往很少能夠構(gòu)建出在美學(xué)上令人滿意的音樂作品。因此，不同類型的算法通常會結(jié)合起來，構(gòu)建一個混合系統(tǒng)，來綜合各個算法的長處和規(guī)避單一算法各自的缺陷。Fox和Crawford[4](P213-223)提出的一種基于多種隨機方法的混合系統(tǒng)在自動音樂譜曲方面取得了出色的表現(xiàn)。

混合系統(tǒng)唯一的問題是其系統(tǒng)變得日益復(fù)雜，并且需要更多的資源來組合和測試這些算法。它可以完成各種類型的樂曲創(chuàng)作，在前面幾種已有人工智能作曲方法里，是最適合進行大型作品建構(gòu)的方法，不同類型的算法可以完成不同的作曲規(guī)則，當(dāng)然也完全可以涉及賦格創(chuàng)作這一領(lǐng)域。

(7)系統(tǒng)學(xué)習(xí)法

系統(tǒng)學(xué)習(xí)法，是一種不需要采集正在處理音樂的數(shù)據(jù)，如流派等先驗知識的方法，相反地，系統(tǒng)通過算法自身從用戶或操作者提供的樣例素材中自動收集和學(xué)習(xí)出有用的信息。此種方法通過音頻特征提取的系統(tǒng)，與方法(2)有諸多相似之處，只是不太適合用一個特征創(chuàng)作一首大型作品。假如用來創(chuàng)作賦格曲，那么還是劃分成不同部分來進行，主題、答題、對題等都分類收集，最后進行拼接，也許成品會與你所期待的真正的賦格音樂特征和音響效果更為相符。

2.基于“IndRNN循環(huán)神經(jīng)網(wǎng)絡(luò)”創(chuàng)作賦格的設(shè)想及實踐

利用人工智能、深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的學(xué)習(xí)法，是目前自動作曲發(fā)展的趨勢。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)已經(jīng)被廣泛用于序列數(shù)據(jù)的處理。然而，由于常見的梯度消失和爆炸問題以及很難學(xué)習(xí)長期模式，RNN通常難以訓(xùn)練。為了解決這些問題，提出了長短期記憶(LSTM)和門控循環(huán)單元(GRU)。另外，RNN圖層中的所有神經(jīng)元都糾纏在一起，它們的行為很難解釋。為了解決這些問題，采用了一種新型RNN模式，稱為獨立循環(huán)神經(jīng)網(wǎng)絡(luò)(IndRNN)，其中每層中的神經(jīng)元都相互獨立，并且它們跨層連接。最終實驗結(jié)果表明，IndRNN管理起來很容易，能防止梯度消失和爆炸，同時還能讓網(wǎng)絡(luò)長期學(xué)習(xí)。

下面我就對應(yīng)用“IndRNN”系統(tǒng)創(chuàng)作一首典型賦格曲的過程作一描述：

(1)音樂生成模型相關(guān)的形式化描述

基于AI的賦格創(chuàng)作可以分為兩個步驟：首先，選取一定量的賦格樂曲作為訓(xùn)練集進行支持向量集的模擬，以得到合適的曲式模型，我選擇巴赫的《十二平均律曲集》中的48首賦格作為基本訓(xùn)練模型，模型構(gòu)建完成后，自然就包括了圖一所示的賦格曲的基本結(jié)構(gòu)。其次，設(shè)計分類器系統(tǒng)，從上述步驟的數(shù)據(jù)庫中提取不同的結(jié)構(gòu)片段組成樂曲。分類器的工作按以下幾個步驟進行：一是從賦格音樂庫中得到輸入信息的解碼器；二是從賦格音樂庫中得到反饋信息的解碼器；三是把應(yīng)用規(guī)則結(jié)果轉(zhuǎn)變到環(huán)境中去的受到器；四是賦格產(chǎn)生式規(guī)則集合構(gòu)成分類器群體，每一個分類器都有關(guān)聯(lián)的適應(yīng)度；最后是建立對產(chǎn)生成功的規(guī)則進行正向反饋的系統(tǒng)。如果實現(xiàn)這個步驟，就可以自動選擇設(shè)定好符合規(guī)則的賦格樂曲的基本結(jié)構(gòu)了。

(2)音頻預(yù)測訓(xùn)練數(shù)據(jù)集組織

選擇一批音頻樂曲用于構(gòu)建訓(xùn)練集，仍然選擇巴赫的《十二平均律曲集》中的48首賦格音頻來構(gòu)建訓(xùn)練集。將每個樂曲分割為單位音樂序列，具體步驟如下：

a.音頻數(shù)據(jù)的采集。

音頻采集首先要劃分采集音頻單位，劃分過程需保存音頻韻律的節(jié)拍連貫性和韻律的窄幅音頻特征性，因此，若采樣頻率過高，采樣周期過短，會丟失小節(jié)的完整性，則喪失了作品的旋律與節(jié)奏，若采樣頻率過低會導(dǎo)致每次采樣數(shù)據(jù)相關(guān)性下降。經(jīng)過對比，我們設(shè)定采樣周期T=2秒，當(dāng)采樣音頻節(jié)奏為每分鐘80拍時，單位容量的節(jié)拍約為2-3小節(jié)。音頻編碼中，編碼流xm與音頻周期和持續(xù)時間之間存在關(guān)聯(lián)，根據(jù)持續(xù)時間，將樣本流裁剪成等單位時間的連續(xù)序列。

b.音頻數(shù)據(jù)特征集的處理。

要從初始特征集合中選取一個包含了全部重要信息的特征子集，需要遍歷所有特征子集，為了避免產(chǎn)生組合爆炸，我們采取了“遴選子集”的辦法評價出它的好壞。

第一個步驟是“子集搜集(subset search)”，給定特征集合{a1, a2, .... an},我們可以將每個音頻片段的節(jié)奏特征看作是一個候選子集，對這d個候選單特征子集進行評價。假定{a2}作為第一輪的選定集，然后在第一輪選定集中加入一個特征，構(gòu)成新的最優(yōu)解。這樣逐漸增加相關(guān)特征的策略稱之為前向(forward)搜索策略。

第二步驟是“子集評價”問題，給定的數(shù)據(jù)集D，假設(shè)D中第i個樣本所占的比例為pi(I, 2...., |y|)，同時保證上述采樣音頻樣本是離散的，對于特征子集A來說，實際上A確定了對音頻數(shù)據(jù)集D的一個劃分，每個劃分區(qū)域?qū)?yīng)A上的一個取值，而樣本標記信息Y則對應(yīng)D的賦格樣式劃分，通過比較兩個劃分的差異，就能對A進行評價。則Y對應(yīng)的劃分差異越小，說明A越接近賦格結(jié)構(gòu)。信息熵是判斷這一差異的途徑。

特征選擇采用過濾式特征選擇方法，設(shè)計一個“相關(guān)統(tǒng)計量”來度量特征的重要性，通過對頻率和音調(diào)的統(tǒng)計來還原人耳對音樂的反映。該統(tǒng)計量是一個向量，其每個分量分別對應(yīng)一個初始特征，初始特征的重要性由子集中每一個特征所對應(yīng)的相關(guān)統(tǒng)計分量的和來決定。最終只需要一個閾值Π，然后選擇比Π大的相關(guān)統(tǒng)計量分量所對應(yīng)的特征即可。通過設(shè)置“相關(guān)統(tǒng)計量”在音樂信號上能夠有效地識別音頻節(jié)奏和音調(diào)，可以作為音頻分類的特征。

此步驟結(jié)束，賦格創(chuàng)作中的旋律、節(jié)奏、調(diào)式、調(diào)性等一系列要素也就基本確定下來了。

(3)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練與預(yù)測

從音頻數(shù)據(jù)庫中隨機挑選一組音頻序列，則音頻波形序列聯(lián)合概率x = {x1; : : : ; xT}可以分解成如下條件概率分布的序列積：

①

由此每任意一個音頻樣本xt都依賴其前序所有步驟產(chǎn)生的樣本。條件概率分布由若干卷積層進行建模。該網(wǎng)絡(luò)中沒有底采樣層，模型的output與input具有相同的時間維度。模型使用有限項離散概率分布的梯度對數(shù)歸一化softmax層輸出一個xt上的類別分布，使用最大對數(shù)似然方法對參數(shù)進行優(yōu)化。然后在驗證數(shù)據(jù)集上對超參數(shù)進行優(yōu)化，可以測定模型過擬合或者欠擬合，從而調(diào)整參數(shù)。

在訓(xùn)練階段，由于標定音頻序列數(shù)據(jù)x的所有時間步驟都是已知的，因此將全部時間步驟的條件概率預(yù)測并行處理。在推斷階段，預(yù)測結(jié)果是串行的：每一個預(yù)測出的樣本都被傳回網(wǎng)絡(luò)用于預(yù)測下一個樣本。因為原始音頻通常保存為16位整數(shù)序列對應(yīng)每個時間步驟的個值，針對每個時間步驟的所有可能值，softmax層將需要輸出65536個概率，為了更容易處理，我們先對數(shù)據(jù)實施一個μ律壓擴變換，然后量化成256個可能值：

②

這里-1< xt< 1 并且μ = 255。與簡單的線性量化相比，這個非線性量化處理可以對數(shù)據(jù)進行更好的重構(gòu)，特別是對于音頻數(shù)據(jù)重構(gòu)后的信號，聽起來非常接近原始信號。

給定一個額外輸入h，可以對這個給定輸入進行條件分布建模，這時公式①就變成了：

③

基于額外的特征變量進行條件建模，我們可以引導(dǎo)模型產(chǎn)生有期望特點的音頻?；谫x格結(jié)構(gòu)特征建立一個變量序列{h1,h2,...ht}，通過把賦格特征作為額外的條件輸入給模型，我們可以在模型中選擇符合特定條件的信號進行輸出(符合賦格結(jié)構(gòu)風(fēng)格的音頻)。

循環(huán)以上流程，直到模型曲式結(jié)構(gòu)符合賦格特征相似度的閾值滿足設(shè)定為止，訓(xùn)練完畢。

此步驟完成，可以使賦格曲的結(jié)構(gòu)與旋律、節(jié)奏、調(diào)式、調(diào)性等要素有機結(jié)合，在神經(jīng)網(wǎng)絡(luò)的模型訓(xùn)練與預(yù)測下，實現(xiàn)較為優(yōu)化的組合與配置。

(4)內(nèi)核平滑

通過前述LSTM模型分類訓(xùn)練得到一組音頻序列(L1，L2，…，Ln)。該音頻序列具備了賦格曲式結(jié)構(gòu)的特征，但是序列是離散的。需要進行平滑拼接的音頻處理工作，采用內(nèi)核平滑拼接法。內(nèi)核平滑即計算局部平均：對于每一個新的數(shù)據(jù)來說，用與其特征值接近的訓(xùn)練數(shù)據(jù)點求平均值來對其目標變量建模。設(shè)置寬參數(shù)，是用來控制局部平均的濾波窗口大小。內(nèi)核平滑設(shè)置的窗寬參數(shù)取值不同所產(chǎn)生的效果也不同。窗寬值較大時，幾乎是用所有訓(xùn)練數(shù)據(jù)的平均值來預(yù)測測試集里每個數(shù)據(jù)點的目標值。這導(dǎo)致模型很平坦，對訓(xùn)練數(shù)據(jù)分布的明顯趨勢欠擬合(under-fit)。窗寬值過小時，每次預(yù)測只用到了待測數(shù)據(jù)點周圍一兩個訓(xùn)練數(shù)據(jù)。因此，LSTM音頻模型把訓(xùn)練數(shù)據(jù)點的起伏波動反映出來。這種疑似擬合噪音數(shù)據(jù)而非真實信號的現(xiàn)象被稱為過擬合(over-fitting)。我們的理想情況是選取合適的窗寬參數(shù)，處于一個平衡狀態(tài)：既不欠擬合，也不過擬合。使得內(nèi)核平滑后的曲式呈現(xiàn)自然而不突兀，所以平滑處理的結(jié)果直接影響到生成模型及最終得到的音樂質(zhì)量。

在賦格曲中，主題陳述結(jié)束后或答題結(jié)束回返主題時的小結(jié)尾，主調(diào)與屬調(diào)的切換是否過渡自然；在每個間插段結(jié)束時，與后面新調(diào)性主題的連接，轉(zhuǎn)調(diào)是否自然；還有每一個緊接段等是否能夠按照訓(xùn)練模型的設(shè)計做到“逐漸緊縮”，這都是我們在此訓(xùn)練中需要進行無數(shù)次嘗試和聆聽去解決的問題。假如再復(fù)雜一點，主題本身就包含轉(zhuǎn)調(diào)，是否又該建構(gòu)更多的訓(xùn)練模型和規(guī)則呢？這也許不是廖廖幾千字就可以論述清楚的大課題了。

上面的算法，使用的是Google發(fā)布的Tensor Flow工具包，在Python語言和GPU環(huán)境下實現(xiàn)提出的RNN網(wǎng)絡(luò)算法，實現(xiàn)自動作曲，并驗證了其在樂譜生成領(lǐng)域具有出色的表現(xiàn)，但因模型構(gòu)建、訓(xùn)練與預(yù)測，涉及到的樂曲數(shù)量之多，作曲規(guī)則之多，難度之大，還未能生成一首完全滿意的賦格成品，僅呈現(xiàn)給大家一個實現(xiàn)賦格作曲的設(shè)想而已。

三、結(jié)語

筆者以賦格創(chuàng)作為目標，以音樂音頻為操作對象，在AI作曲方面進行了設(shè)想和嘗試。最終期待實現(xiàn)的結(jié)果是，借鑒數(shù)字信號采樣處理手段，對音頻信號進行采樣，以“相關(guān)統(tǒng)計量”作為特征評價度量值，將音頻文件拆分為相關(guān)序列特性的采樣片段序列，并以長短期記憶神經(jīng)網(wǎng)絡(luò)作為訓(xùn)練模型進行生成訓(xùn)練，通過機器學(xué)習(xí)生成的音樂序列，將離散序列平滑拼接為完整的賦格結(jié)構(gòu)音頻，實現(xiàn)AI賦格創(chuàng)作。

作為音樂學(xué)與計算機科學(xué)相結(jié)合的交叉學(xué)科研究，利用人工智能技術(shù)進行作曲，需要研究者兼?zhèn)鋬蓚€學(xué)科的知識與技能，具有一定的難度和創(chuàng)新性，但受本人知識、水平的限制，該設(shè)想的操作難度較大，目前只停留在初級研究階段，因AI技術(shù)與賦格創(chuàng)作對接的復(fù)雜性，筆者還未能制作完成本文設(shè)想的“賦格”作品。文中關(guān)于人工智能作曲的描述和設(shè)想，可能存在諸多不合理之處，此文只想起到“拋磚引玉”之功效，特別是“IndRNN循環(huán)神經(jīng)網(wǎng)絡(luò)”的具體運用，是目前業(yè)界較新的提法，有待于作者以及廣大業(yè)內(nèi)專家同行們繼續(xù)探索、討論與實踐！