李 靜，莫思敏

(太原科技大學經(jīng)濟與管理學院,山西 太原 030024)

1 引言

人工神經(jīng)網(wǎng)絡ANN(Artificial Neural Network)在人工智能和機器學習領域有著很重要的地位，自1943年提出以來便成為活躍的研究領域[1]。隨著大數(shù)據(jù)時代的到來，深度學習技術不斷發(fā)展，各種深度神經(jīng)網(wǎng)絡被提出以解決各種問題。然而，神經(jīng)網(wǎng)絡的性能受其結構、超參數(shù)影響很大，設計出合理的神經(jīng)網(wǎng)絡結構較為困難，也正因如此，神經(jīng)網(wǎng)絡在很多問題上的應用受到了限制。

近年來，很多專家學者針對神經(jīng)結構搜索NAS(Neural Architecture Search)進行了一系列研究，旨在設計出一種可以自動搜索出性能最佳的網(wǎng)絡結構的技術，這種技術可以根據(jù)特定的樣本集自動搜索出最優(yōu)的網(wǎng)絡結構。神經(jīng)結構搜索技術甚至能夠搜索出之前人類專家從未發(fā)現(xiàn)的網(wǎng)絡結構，在某些任務上甚至可能比人類專家水平還要高。

Elsken等人[2]概述了該領域現(xiàn)有研究成果，并從3個維度對它們進行了分類：搜索空間、搜索策略和性能評估策略。搜索策略是指在搜索空間中找到最優(yōu)網(wǎng)絡結構的方法。演化優(yōu)化作為一種通用的優(yōu)化方法，已經(jīng)成功地應用在很多領域中。一些研究表明，針對給定任務，使用演化算法演化神經(jīng)網(wǎng)絡結構參數(shù)和超參數(shù)往往能夠發(fā)現(xiàn)有效的神經(jīng)網(wǎng)絡結構。近年來，對神經(jīng)網(wǎng)絡結構優(yōu)化的研究中出現(xiàn)了很多針對演化算法的研究。Luo等人[3]提出基于連續(xù)優(yōu)化的簡單有效的自動神經(jīng)結構設計方法，解決了在離散空間中搜索神經(jīng)網(wǎng)絡結構效率低下的問題。Liu等人[4]設計了一種基于分層表示方案識別高性能神經(jīng)結構的演化方法，并將其應用于圖像分類領域，顯示出了強大的性能。Real等人[5]通過改進演化算法的選擇策略自動搜索神經(jīng)網(wǎng)絡結構，開發(fā)出了一種圖像分類器(AmoebaNet-A)，實驗結果顯示該圖像分類器性能超越了人類專家手工設計的圖像分類器。Xie等人[6]使用遺傳算法自動搜索深度卷積神經(jīng)網(wǎng)絡結構，取得了不錯的實驗結果。Han等人[7]針對隨機單隱藏層前饋神經(jīng)網(wǎng)絡RSLFN(Random Single-hidden Layer Feedforward neural Network)性能對隱藏神經(jīng)元的數(shù)量和隨機初始化的參數(shù)高度敏感的問題，使用元啟發(fā)式優(yōu)化算法改進RSLFN。Tang等人[8]將動態(tài)群優(yōu)化DGO(Dynamic Group Optimization)算法集成到前饋神經(jīng)網(wǎng)絡中以優(yōu)化前饋神經(jīng)網(wǎng)絡結構，在收斂速度和避免局部最優(yōu)方面表現(xiàn)出了良好的性能。文常保等人[9]通過改進遺傳算法優(yōu)化徑向基函數(shù)神經(jīng)網(wǎng)絡的結構，并根據(jù)個體適應度值和迭代次數(shù)自適應調整交叉變異概率，增強了算法的局部搜索能力。

劉浩然等人[10]通過改進遺傳算法選擇策略優(yōu)化神經(jīng)網(wǎng)絡的權值，并將其應用于水泥回轉窯的故障診斷中,驗證了算法的可行性。Karaboga等人[11]為避免傳統(tǒng)訓練算法容易陷入局部最小值和計算復雜的問題，將人工蜂群算法應用于搜尋神經(jīng)網(wǎng)絡的最佳權重集中。Xu等人[12]提出一種改進蜂群優(yōu)化算法優(yōu)化前饋人工神經(jīng)網(wǎng)絡的參數(shù)，引入了新的選擇策略和最佳指導策略。另外，Jaddi等人[13]提出了一種改進的蝙蝠算法和編碼方案，結合了基于種群和局部搜索算法的優(yōu)勢以搜索最優(yōu)網(wǎng)絡結構以及ANN權重和偏差,并將其應用于降雨預測問題，得到了令人滿意的結果。Heidari等人[14]使用最近提出的蚱蜢優(yōu)化算法GOA(Grasshopper Optimization Algorithm)提出了一種新的混合隨機訓練算法，并運用該算法演化ANN的權重及偏差。Xue等人[15]提出了一種基于參數(shù)和策略的自適應粒子群優(yōu)化SPS-PSO(Self-adaptive Parameter and Strategy based Particle Swarm Optimization)算法，通過特征選擇來優(yōu)化前饋神經(jīng)網(wǎng)絡FNN (Feedforward Neural Network)，解決了針對大規(guī)模數(shù)據(jù)集優(yōu)化權重計算復雜度大的問題。Aljarah等人[16]基于鯨魚優(yōu)化算法WOA(Whale Optimization Algorithm)針對神經(jīng)網(wǎng)絡的連接權重進行研究，并且應用改進鯨魚優(yōu)化算法訓練網(wǎng)絡的連接權重，取得了不錯的實驗結果。

在以上演化算法優(yōu)化前饋神經(jīng)網(wǎng)絡結構的研究中，一些文獻[3 - 9]僅對神經(jīng)網(wǎng)絡的結構進行了優(yōu)化研究,而另一些文獻[10 - 16]則僅對網(wǎng)絡連接權重進行優(yōu)化研究。目前鮮有文獻在研究演化算法的同時優(yōu)化深度前饋神經(jīng)網(wǎng)絡的結構和權重。深度前饋神經(jīng)網(wǎng)絡的結構變量(層和每層節(jié)點數(shù)量)屬于整型變量，而權重屬于實數(shù)變量，因此，對深度前饋神經(jīng)網(wǎng)絡的結構和權重的優(yōu)化屬于多變量類型優(yōu)化問題。深度神經(jīng)網(wǎng)絡的權重變量規(guī)模之大，亦屬于大規(guī)模優(yōu)化問題。為了獲得高性能神經(jīng)網(wǎng)絡，本文提出改進遺傳算法MGADNN(Modyfied Genetic Algorithm Deep Neural Network)優(yōu)化深度神經(jīng)網(wǎng)絡,針對變量多類型和大規(guī)模優(yōu)化問題，采用二進制編碼與實數(shù)編碼的混合編碼策略對深度前饋神經(jīng)網(wǎng)絡層數(shù)、每層節(jié)點量以及學習率和權重變量進行編碼。并改進遺傳算法的選擇策略，從父代和子代合并的2n個個體中，選擇適應值最高的n/2個個體進入新父代，再根據(jù)適應值，以一定的概率選擇部分適應值較差的n/2個體進入新父代，以增加種群多樣性，避免算法陷入局部最優(yōu)。同時，引入dropout方法，以減少神經(jīng)網(wǎng)絡過擬合訓練數(shù)據(jù)。利用改進的遺傳算法優(yōu)化神經(jīng)網(wǎng)絡的結構和參數(shù)，獲得性能較高的神經(jīng)網(wǎng)絡。

2 MGADNN算法

2.1 編碼策略

前饋神經(jīng)網(wǎng)絡(FNN)是人工神經(jīng)網(wǎng)絡的一種，采用一種單向多層結構，其中每一層包含若干個神經(jīng)元。在此種神經(jīng)網(wǎng)絡中，各神經(jīng)元可以接收前一層神經(jīng)元的信號，并將計算結果輸出到下一層。圖1是一個2層前饋神經(jīng)網(wǎng)絡結構。

Figure 1 Structure of neural network 圖1 神經(jīng)網(wǎng)絡結構圖

網(wǎng)絡中每個節(jié)點的輸出分2步計算。 首先，使用式(1)計算隱藏層中第j個節(jié)點的輸出：

(1)

其中，第1項為輸入的加權總和，n表示輸入數(shù)量，Ii表示第i個輸入變量，wkij表示第k層Ii與隱藏層神經(jīng)元Hj之間的連接權重。例如，w111表示輸入層第1個節(jié)點到隱藏層第1個節(jié)點的連接權重。第2項βj為偏置項。其次，使用激活函數(shù)來觸發(fā)神經(jīng)元的輸出。FNN中可以使用不同類型的激活功能。本文使用文獻中應用最廣泛的S形函數(shù)[12]，如式(2)所示：

(2)

因此，可以通過式(3)獲得神經(jīng)元的輸出:

(3)

神經(jīng)網(wǎng)絡中常用的損失函數(shù)有回歸損失函數(shù)、平方誤差損失函數(shù)和絕對誤差損失函數(shù)等，本文使用平方誤差損失函數(shù)作為訓練過程中的損失函數(shù)。

通過設計的人工神經(jīng)網(wǎng)絡結構來訓練數(shù)據(jù)以更新網(wǎng)絡的權重。通過不斷訓練網(wǎng)絡模型更新權重以達到使誤差最小化的目標。神經(jīng)網(wǎng)絡的訓練過程是一項具有挑戰(zhàn)性的任務，可以提高人工神經(jīng)網(wǎng)絡解決各種問題的能力。

本文需要優(yōu)化的參數(shù)有網(wǎng)絡結構(即網(wǎng)絡層數(shù)和每層的節(jié)點量)、權重、學習率和采用二進制編碼和實數(shù)編碼方式。其中，針對網(wǎng)絡結構優(yōu)化采用二進制編碼，對權重和學習率采用實數(shù)編碼。

例如圖1所示的2層神經(jīng)網(wǎng)絡結構，該神經(jīng)網(wǎng)絡模型用來訓練具有2個特征的二分類數(shù)據(jù)，其中輸入層到隱藏層之間的連接權重為第1層的連接權重。圖1所示的神經(jīng)網(wǎng)絡結構(層數(shù)、節(jié)點量)的二進制編碼方式如圖2所示：前3位表示層數(shù)，010表示這是一個2層神經(jīng)網(wǎng)絡結構，后5位表示層節(jié)點量，第1層節(jié)點量二進制編碼00011表示第1層有3個節(jié)點，第2層節(jié)點量00010表示第2層有2個節(jié)點。層與層之間連接權重的編碼如圖3所示，按照順序存放在矩陣中。針對學習率的編碼如圖4所示，其中Lr1表示第1個模型的學習率。

Figure 2 Encoding of number of network layers and number of nodes in each layer 圖2 網(wǎng)絡層數(shù)及每層節(jié)點量編碼

Figure 3 Weight encoding圖3 權重編碼

Figure 4 Learning rate encoding圖4 學習率編碼

2.2 MGADNN算法的選擇策略

遺傳算法是受達爾文進化論的啟發(fā)，借鑒生物進化過程而提出的一種啟發(fā)式搜索算法。算法通過選擇、交叉和變異等機制搜索解空間的優(yōu)秀個體。選擇操作對遺傳算法性能影響很大，常見的選擇策略有輪盤賭選擇法、精英選擇法等，其中輪盤賭選擇法是首先根據(jù)個體適應值計算概率，然后根據(jù)這個概率隨機選擇個體，它的本質是適應值好的個體被選中的幾率更大，沒有考慮所選擇個體構成種群的多樣性。精英選擇法是將子代和父代中的個體按照適應值排名，然后選擇適應值最好的個體構成種群。這種選擇策略僅選擇適應值好的個體，顯然會造成種群多樣性差，易陷入局部最優(yōu)的問題。劉浩然等人[10]改進了遺傳算法的選擇策略，將種群中的個體按照適應值從差到優(yōu)排序后平均分為3部分，并設置這3部分被選擇個體的概率為0.6,0.8,1，以達到多選適應值好的個體，少選適應值差的個體的目的，這種方法在一定程度上引進了適應值差的個體，有利于避免算法陷入局部最優(yōu)。選擇概率是針對水泥回轉窯數(shù)據(jù)人工設定的經(jīng)驗值。對于基于其他訓練數(shù)據(jù)的神經(jīng)網(wǎng)絡優(yōu)化，這種選擇策略可能未必有效。對于優(yōu)化神經(jīng)網(wǎng)絡這樣復雜問題，需要遺傳算法具有較好的多樣性，而固定概率值的選擇策略可能會使算法的多樣性受到影響，不利于尋找到性能較高的神經(jīng)網(wǎng)絡。

因此，本文改進了遺傳算法的選擇策略，該算法的思路是根據(jù)個體的適應值，構建一個以個體適應值為變量的概率函數(shù)，以一定的概率選擇適應值較差的個體并與適應值較好的個體混合構成新父代。算法步驟如下所示：

(1)將子代個體與父代個體合并，假設種群規(guī)模為n，合并子代與父代后個體數(shù)量為2n；

(2)將合并后群體中的2n個個體依據(jù)其目標函數(shù)值(本文以神經(jīng)網(wǎng)絡在訓練數(shù)據(jù)上的平方誤差值MSE為目標函數(shù)值，MSE值越小，網(wǎng)絡性能越好，個體目標函數(shù)值越小，個體適應值越好)從小到大排列，目標函數(shù)值小的個體其排名值也??；

(3)將排序后的個體分為2段，前n/2個個體為第1段，后3n/2個體為第2段；

(4)前n/2個個體被直接保留為新父代的一部分個體，根據(jù)式(4)從第2段3n/2個個體中，概率選擇n/2個個體，形成新父代的剩余部分。

(4)

其中，p(j)表示第j個個體被選中的概率，r(j)表示第j個個體按照目標函數(shù)值從小到大排序在整體中的排名值。目標函數(shù)值小的個體其排名值也小，目標函數(shù)值大的個體其排名值也大。

下面用種群數(shù)為6并標有個體標號以及目標函數(shù)值的種群為例，使用圖形描述上述思想。

(1)設種群規(guī)模為6，即n=6，則父代和子代種群個體混合組成一個個體數(shù)為12的種群：

其中，fi表示第i個個體的適應值，例如f1=5表示第1個個體的適應值為5，f2=8表示第2個個體的適應值為8。

(2)將12個個體按照目標函數(shù)值從小到大排序：

(3)將排序后的個體分為2段，前n/2個個體為第1段，后3n/2個體為第2段：

2.3 MGADNN算法的收斂性和多樣性分析

按照改進的選擇策略,算法在每一演化代t，混合父代與子代個體，形成包含2n個個體的群體，按照適應值對此群個體排序，并從中選擇適應值最好的n/2個個體作為新父代的一部分(記為A1(t))，再從其余3n/2個個體中依據(jù)個體適應值，概率地選擇適應值較差的n/2個體(記為A2(t))。新父代P(t+1)=A1(t)∪A2(t)。假設到第t代時，I*(t) 為P(t) 種群中的最優(yōu)個體。根據(jù)本文的選擇策略，構成新父代群體P(t+1)的A1(t)中包含適應值等于或優(yōu)于I*(t)的個體。因此，在整個演化過程中，歷史發(fā)現(xiàn)的精英個體始終被保留在種群中。理論已經(jīng)證明精英保留的標準遺傳算法是全局收斂的[17]。在本文的改進算法中，精英個體被保留在種群中，對算法的全局收斂能力產生了較大作用。

在構成父代群體P(t+1)的A2(t)中包含部分適應值較差的個體，增加了群體多樣性，有利于算法跳出局部最優(yōu)，進而能夠發(fā)現(xiàn)性能更好的神經(jīng)網(wǎng)絡。因為，在A1(t)和A2(t)中個體數(shù)量相等，所以能夠兼顧算法的收斂性和多樣性。

2.4 MGADNN算法對神經(jīng)網(wǎng)絡性能的影響

在本文中，神經(jīng)網(wǎng)絡在訓練過程中采用后向傳播BP(Back Propagation)算法優(yōu)化權重。BP算法是從解空間一點上按照梯度下降的方法開始搜索的確定性算法。因此，初始值和學習率對BP算法性能影響較大，不合適的初始值將導致搜索陷入局部最優(yōu)。初始值的設置對搜索到較高性能的神經(jīng)網(wǎng)絡有重要影響。遺傳算法的全局搜索能力較強，本文設計的選擇策略相較于精英選擇策略，增加了種群的多樣性，提高了算法在全局范圍內搜索最優(yōu)解的能力。因此，本文在每一個演化代，首先使用改進遺傳算法優(yōu)化神經(jīng)網(wǎng)絡權重，以尋找合適的初始值。之后，在神經(jīng)網(wǎng)絡訓練階段，BP算法基于此初始值開始網(wǎng)絡訓練。

2.5 MGADNN算法流程

MGADNN算法的基本思想是：將FNN結構(網(wǎng)絡層數(shù)、每層的節(jié)點量)進行二進制編碼，學習率及網(wǎng)絡權重使用實數(shù)編碼，隨機初始化后輸入改進遺傳算法中演化，將前饋神經(jīng)網(wǎng)絡的預測誤差作為該個體的目標函數(shù)值，通過選擇、交叉和變異等遺傳操作尋找最優(yōu)個體，即最優(yōu)的前饋神經(jīng)網(wǎng)絡結構、學習率和權重，直到滿足實驗設置的最大迭代次數(shù)結束。

(1)種群初始化，根據(jù)各個體構建神經(jīng)網(wǎng)絡模型，t=0;

(2)在第t代，父代P(t) 執(zhí)行隨機單點交叉變異操作，產生新的子代個體Q′(t);

(3)BP算法訓練每個子代個體Q′(t)(神經(jīng)網(wǎng)絡)獲得學習后的子代Q(t)，將子代的權重值作為神經(jīng)網(wǎng)絡訓練階段BP算法優(yōu)化的權重初始值;

(4)依據(jù)式(5)計算子代Q(t)個體的目標函數(shù)值;

(5)將父代P(t)與子代Q(t)個體合并，依據(jù)2.2節(jié)改進的選擇策略選擇個體組成新父代P(t+1);

(6)當達到種群最大迭代次數(shù)，則停止優(yōu)化，進入步驟(7)，否則t=t+1，返回步驟(2);

(7)種群個體(神經(jīng)網(wǎng)絡)對測試數(shù)據(jù)進行預測，獲得測試誤差值最小的神經(jīng)網(wǎng)絡。

3 dropout方法

深度神經(jīng)網(wǎng)絡具有強大的學習能力，但是過擬合問題是此類網(wǎng)絡的一個嚴重問題，并且過于復雜的深度神經(jīng)網(wǎng)絡消耗大量存儲空間和計算資源。dropout方法[18]是針對這個問題被提出的。dropout是一種正則化方法，它主要通過隨機刪除網(wǎng)絡中的神經(jīng)元和神經(jīng)元連接的邊以得到一個更加精簡的網(wǎng)絡。dropout方法工作原理如圖5所示，圖5a表示沒有使用dropout方法的全連接網(wǎng)絡，使用dropout方法后，首先遍歷網(wǎng)絡中的每一層，并根據(jù)設置的節(jié)點保留概率和刪除概率，隨機刪除一些節(jié)點，然后刪除掉與該節(jié)點相關的邊，最終得到一個節(jié)點更少、結構更簡單的網(wǎng)絡，如圖5b所示。

Figure 5 Diagrams of the full connection network and using of dropout network 圖5 全連接網(wǎng)絡與使用dropout網(wǎng)絡結構圖

假設設置dropout方法隨機刪除節(jié)點的概率為0.5，即每個節(jié)點被保留和刪除的概率均為0.5，dropout方法隨機遍歷網(wǎng)絡后按照0.5的概率隨機刪除部分節(jié)點以及與該節(jié)點相關的邊，圖5b為精簡后的網(wǎng)絡結構。從圖5可以很直觀地看出，使用dropout方法后網(wǎng)絡隨機去掉了一些節(jié)點和邊，使得網(wǎng)絡更加簡單。

4 目標函數(shù)

為了與其他相關文獻的實驗結果進行比較，本文以均方誤差MSE(Mean-Square Error)作為目標函數(shù)，如式(5)表示：

(5)

5 實驗與結果分析

5.1 實驗數(shù)據(jù)

表1為實驗所用數(shù)據(jù)集的基本信息。如表1所示，本文所選數(shù)據(jù)集具有不同數(shù)量的特征和樣本，以在不同條件下測試算法，使得實驗結果更具說服力。實驗設置如表2所示。

Table 1 Experimental datasets表1 實驗數(shù)據(jù)集

Figure 6 Influence of dropout method on experiment results圖6 dropout方法對實驗結果的影響

Table 2 MGADNN algorithm parameter setting

通過研究文獻發(fā)現(xiàn)，深層神經(jīng)網(wǎng)絡結構訓練數(shù)據(jù)在一定的范圍內網(wǎng)絡結構越復雜其結果越好，但超過這個范圍，太深層的網(wǎng)絡結構反而會出現(xiàn)過擬合現(xiàn)象，導致網(wǎng)絡性能下降。所以，本文將待優(yōu)化的網(wǎng)絡層數(shù)最大值設置為7層，每層的節(jié)點數(shù)量最大值設置為31。利用二進制編碼，則前3位表示網(wǎng)絡層數(shù)，后5位表示每層節(jié)點數(shù)量。

5.2 dropout方法對實驗結果影響

本節(jié)研究dropout方法在不同的隨機刪點的概率下對實驗結果的影響。分別設置dropout率為0.2,0.3,0.4,0.5作為實驗條件，并使用具有不同特征數(shù)量、不同數(shù)據(jù)量的Heart、Breast cancer、Twonorm、Ring、Blood、Ionosphere、Monk數(shù)據(jù)集進行數(shù)值實驗,使用本文改進算法獨立運行并且采用分類準確度Accuracy作為評價指標。

圖6是每代種群中最優(yōu)值(每一代最小MSE值)的演化曲線圖，表3則是演化結束后種群個體在測試數(shù)據(jù)集上的最好值(Accuracy最大值)。由表3可以看出，Heart數(shù)據(jù)集和Breast cancer數(shù)據(jù)集在實驗設置dropout率為0.4和0.5實驗條件下的分類準確度最好，Twonorm數(shù)據(jù)集和Ring數(shù)據(jù)集在實驗設置dropout率為0.4條件下實驗結果最好。由圖6a在訓練數(shù)據(jù)上的收斂曲線并結合表3測試數(shù)據(jù)分類準確度可以看出，在Heart數(shù)據(jù)集上訓練不使用dropout方法時，收斂效果更好，但是從表3分類結果可以看出，雖然訓練過程中MSE最終降到了最低，但是其測試數(shù)據(jù)的分類準確度卻是最差的，由此可以看出存在過擬合現(xiàn)象。如圖6e所示，在Blood數(shù)據(jù)集上dropout率為0.4時，訓練過程中的MSE降到了最低，并且在測試數(shù)據(jù)上的分類準確度最高。圖6f所示，Ionosphere數(shù)據(jù)集在訓練過程中，當dropout率為0.3和0.5時，MSE降到了最低，如表3所示，當設置dropout率為0.3時，其演化結束后種群個體在測試數(shù)據(jù)上的分類準確度最高。如圖6g所示，針對Monk數(shù)據(jù)集，當設置dropout率為0.3時，在訓練過程中其MSE降到了最低，但是最好的測試數(shù)據(jù)實驗結果出現(xiàn)在dropout率為0.4和dropout率為0.5的條件下。針對每一個數(shù)據(jù)集，在測試數(shù)據(jù)上最好的實驗結果總是在使用dropout方法時出現(xiàn)，由此可以看出dropout方法在避免數(shù)據(jù)過擬合方面起了很大作用。

Table 3 Influence of dropout on Accuracy表3 dropout對分類準確度Accuracy的影響

Figure 7 Experimental results of MGADNN algorithm and GADNN algorithm圖7 MGADNN算法與GADNN算法實驗結果

5.3 MGADNN實驗結果

為了盡可能保留樣本分布，將所有數(shù)據(jù)集中數(shù)據(jù)的66%用于訓練，34%用于測試。 此外，為消除具有不同數(shù)值范圍特征的影響，所有數(shù)據(jù)均使用最小-最大歸一化進行歸一化，如式(6)所示：

(6)

其中，v′∈(minA,maxA)表示數(shù)據(jù)v的歸一化結果。為了將實驗結果與其他算法進行比較，本文采用與文獻[16]相同的實驗設置，使用Heart、Breast cancer、Twonorm、Ring、Blood、Ionosphere、Monk數(shù)據(jù)集作為實驗數(shù)據(jù)，以分類準確度Accuracy作為評價指標。

表4所示為演化結束后種群個體在測試數(shù)據(jù)上的最好值(Accuracy最大值)，結果表明針對Heart、Breast cancer、Twonorm、Ring、Blood、Ionosphere和Monk數(shù)據(jù)集，MGADNN算法較遺傳算法優(yōu)化深度神經(jīng)網(wǎng)絡算法(GADNN)測試分類準確度更高。結合圖7a每代種群中最優(yōu)值(每一代最小MSE值)的演化曲線圖可以看出，使用2種算法訓練Heart數(shù)據(jù)集，訓練過程中2種算法的MSE最終都降到了相同水平，但是測試數(shù)據(jù)的分類準確度表明MGADNN算法性能更好，說明MGADNN搜索到的網(wǎng)絡在訓練數(shù)據(jù)和測試數(shù)據(jù)上都能獲得好的性能。針對Breast cancer、Twonorm、Ring、Blood、Ionosphere、Monk數(shù)據(jù)集，從實驗結果即測試數(shù)據(jù)的分類準確度Accuracy可以看出，MGADNN算法在測試數(shù)據(jù)上的分類準確度總是最高；從訓練過程中的收斂曲線可以看出，MGADNN算法訓練數(shù)據(jù)收斂速度較快。綜上所述，與GADNN算法相比較，MGADNN算法能夠搜索到性能更佳的網(wǎng)絡。

結合圖7每代種群中最優(yōu)值(每一代最小MSE值)的演化曲線圖可以看出，MGADNN算法的演化曲線收斂速度最快，并且MSE值總是降到最低，結合表4中MGADNN算法在測試數(shù)據(jù)集上的分類準確度總是最高，表明該算法訓練出的網(wǎng)絡性能各方面都優(yōu)于GADNN算法的。

Table 4 Experimental results of MGADNN and GADNN (Accuracy as an evaluation index)表4 MGADNN與GADNN實驗結果(Accuracy作為評價指標)

5.4 與相關文獻結果比較

本文使用的實驗設置同文獻[16]，使用Breast cancer、Ring和Twonorm、Blood、Ionosphere和Monk數(shù)據(jù)集進行實驗，將實驗最好結果與參考文獻[16]中的其他算法進行對比，對比結果如表5所示。

Table 5 Experimental results comparison of various algorithms (Accuracy as an evaluation index)表5 各算法實驗結果比較(Accuracy作為評價指標)

文獻[16]中提到鯨魚優(yōu)化算法WOA(Whale Optimization Algorithm)及其對比的BP、GA、PSO、ACO算法都僅僅是優(yōu)化了前饋神經(jīng)網(wǎng)絡的連接權重，并沒有對神經(jīng)網(wǎng)絡的結構(比如網(wǎng)絡層數(shù)、每層神經(jīng)元個數(shù))進行優(yōu)化。實驗結果顯示，本文提出的MGADNN算法在Breast cancer、Ring和Ionosphere數(shù)據(jù)集上性能優(yōu)于BP、GA、WOA、PSO和ACO算法的；在Twonorm數(shù)據(jù)集上的性能優(yōu)于BP、PSO和ACO算法的；在Blood數(shù)據(jù)集上，本文提出的MGADNN算法的分類準確度優(yōu)于BP算法和ACO算法的，但是比GA、WOA和PSO算法的差；在Monk數(shù)據(jù)集上，分類準確度最高的算法為GA算法，本文提出的算法優(yōu)于BP、PSO和ACO算法。

6 結束語

本文通過改進的遺傳算法優(yōu)化深度前饋神經(jīng)網(wǎng)絡的結構和超參數(shù)，自動設計出適合不同數(shù)據(jù)的最優(yōu)網(wǎng)絡結構。本文使用Ring、Breast cancer、 Twonorm、Heart、Blood、Ionosphere和Monk數(shù)據(jù)集進行數(shù)值實驗，驗證了dropout方法可以有效避免過擬合，故將dropout方法應用到本文所提算法中。同時，在相同dropout率條件下對比MGADNN算法與GADNN算法，實驗結果表明，MGADNN算法由于改進了遺傳算法選擇策略，以一定概率引入一些適應值較差的個體，增加了群體多樣性。在相同的實驗條件下，與其他文獻作比較，仿真結果表明，本文設計的算法夠搜索到性能更佳的神經(jīng)網(wǎng)絡。

本文通過dropout方法隨機從神經(jīng)網(wǎng)絡中刪除一些節(jié)點來避免神經(jīng)網(wǎng)絡過擬合訓練數(shù)據(jù)，效果明顯，但針對不同的數(shù)據(jù)需要尋找合適的dropout率，因此設計適應不同數(shù)據(jù)的新剪枝方法并將其與演化算法結合去尋找性能更佳的神經(jīng)網(wǎng)絡需要進一步研究。