亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        面向深度卷積網(wǎng)絡(luò)的多目標(biāo)神經(jīng)演化算法

        2021-02-05 03:26:10陳禹行胡海根劉一波郝鵬翼李小薪周乾偉
        小型微型計算機系統(tǒng) 2021年1期
        關(guān)鍵詞:深度模型

        陳禹行,胡海根,劉一波,郝鵬翼,李小薪,周乾偉

        (浙江工業(yè)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,杭州 310000)

        1 引 言

        最近幾年人工智能技術(shù)在眾多領(lǐng)域內(nèi)都取得了令人矚目的成就,尤其是在圖像領(lǐng)域,卷積神經(jīng)網(wǎng)絡(luò)通過其強大的特征提取能力和權(quán)值共享機制不斷刷新在圖像分類,圖像檢測任務(wù)中的識別率.這使得越來越多的學(xué)者和工程師們都開始對基于卷積神經(jīng)網(wǎng)絡(luò)的工業(yè)應(yīng)用產(chǎn)生了強烈的興趣.以無線傳感器網(wǎng)絡(luò)為例,傳統(tǒng)的無線傳感器通常利用聲音或震動傳感器來檢測并識別野外場景下的多個相鄰目標(biāo),聲音或震動傳感器雖然具有如低成本,低能耗以及算法復(fù)雜度相對較低等有優(yōu)點,然而在面對混合目標(biāo)時則表現(xiàn)出分辨率不夠這一嚴(yán)重不足,因此難以實現(xiàn)目標(biāo)的精細(xì)分類.為了克服這一不足,可以在無線傳感器網(wǎng)絡(luò)中引入相機來加以輔助,這在當(dāng)前已經(jīng)證明對密集目標(biāo)識別是一種有效的方式,因此如果能將卷積神經(jīng)網(wǎng)絡(luò)部署于無線傳感器網(wǎng)絡(luò)中并利用其來對低分辨率的圖像信息加以處理,則可以有效的幫助解決密集目標(biāo)的精細(xì)分類問題,從而推動無線傳感器網(wǎng)絡(luò)下野外多目標(biāo)識別的進(jìn)一步發(fā)展.然而為了確保卷積神經(jīng)網(wǎng)絡(luò)符合無線傳感器網(wǎng)絡(luò)的實際使用條件,模型本身必須服從許多限制條件,如模型的乘法次數(shù)必須能夠滿足無線傳感器節(jié)點的運行要求,并且要保證模型在運行時有著良好的性能表現(xiàn).但是現(xiàn)有的模型并不滿足上述要求,所以如何有效構(gòu)造出適用于無線傳感器網(wǎng)絡(luò)等特殊應(yīng)用場景下的卷積網(wǎng)絡(luò)模型已經(jīng)成為領(lǐng)域內(nèi)一個迫切需要解決的問題.

        目前在面向無線傳感器網(wǎng)絡(luò)等特殊應(yīng)用場景下開展的深度卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建工作相對較少,本文通過收集,調(diào)研了大量相關(guān)的研究資料得到如下結(jié)論.當(dāng)前針對該問題主要存在以下兩種解決方案:基于手工設(shè)計和基于隨機優(yōu)化.基于手工設(shè)計的思想是借鑒,吸收當(dāng)前領(lǐng)先小型網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計方案,通過額外增加或改進(jìn)現(xiàn)有的設(shè)計方案來獲得符合要求的神經(jīng)網(wǎng)絡(luò).大多數(shù)該方向的工作都會參考主流的殘差網(wǎng)絡(luò)(Residual Network[1]),稠密網(wǎng)絡(luò)(Dense Network[2]),移動網(wǎng)絡(luò)(Mobile Network[3])等包含跨層連接的殘差結(jié)構(gòu),然后根據(jù)具體的工業(yè)限制條件再進(jìn)一步統(tǒng)籌規(guī)劃模型的各個組件成分.基于手工設(shè)計的方法能夠直接,快速地設(shè)計出神經(jīng)網(wǎng)絡(luò)模型,然而其得到的模型往往需要消耗大量的時間,人力成本,此外這種方式還需要涉及大量模型的調(diào)參技巧且設(shè)計的模型結(jié)構(gòu)過于單一.基于隨機優(yōu)化的核心是通過充分利用目前越來越廉價的計算資源,將模型結(jié)構(gòu)的設(shè)計過程類比成自然界中物種的演化過程.拓?fù)浜蜋?quán)重演化人工神經(jīng)網(wǎng)絡(luò)(Topology and Weight Evolving Artificial Neural Network[4])是其中最為廣泛應(yīng)用的方法,這種方式可以實現(xiàn)模型從無到有,從簡到繁的演化.由于其首次構(gòu)造的模型往往都是非常精簡的,后續(xù)的演化過程中都將基于精簡模型繼續(xù)迭代優(yōu)化,所以其構(gòu)造的最優(yōu)結(jié)構(gòu)往往具有較小的網(wǎng)絡(luò)規(guī)模.基于隨機優(yōu)化的方法能夠自動地構(gòu)造出模型,相比于基于手工設(shè)計的方法有著更大的潛力和發(fā)展空間.特別需要說明的是:目前相關(guān)文獻(xiàn)[5-8]的工作都僅僅只考慮演化出單一條件下的卷積網(wǎng)絡(luò)模型并沒有考慮多約束條件下的情況,如何找到一種方法能夠克服,規(guī)避現(xiàn)有遺傳演化算法的弊端同時構(gòu)造出特定應(yīng)用場景下的深度卷積神經(jīng)網(wǎng)絡(luò)是未來所需要重點考慮的.

        本文提出了一種面向深度卷積網(wǎng)絡(luò)的多目標(biāo)神經(jīng)演化算法,該方法能夠建立多約束條件下的神經(jīng)演化與深度卷積模型結(jié)構(gòu)自動探索過程的聯(lián)系,可以快速,有效的找到符合給定約束條件下的卷積網(wǎng)絡(luò)模型.本文的具體貢獻(xiàn)如下:

        1)將傳統(tǒng)神經(jīng)演化中基因編碼翻譯為卷積層的參數(shù)配置并引入線性規(guī)劃方法進(jìn)行求解,使得演化算法可以通過基因自動調(diào)整各個網(wǎng)絡(luò)層的具體配置,從而保證演化生成卷積模型的可靠性和多樣性.

        2)提出了一種面向深度卷積網(wǎng)絡(luò)的多目標(biāo)神經(jīng)演化算法,通過將深度卷積神經(jīng)網(wǎng)絡(luò)表達(dá)成有向圖,使用基于增強拓?fù)涞纳窠?jīng)演化(Neuro-Evolution of Augmenting Topologies[9]),帶精英策略的非支配排序遺傳算法(Non-Dominated Sorting Genetic Algorithm-II[10])算法以及面向卷積神經(jīng)網(wǎng)絡(luò)的適應(yīng)度評估函數(shù)實現(xiàn)了深度、計算量和識別率的同時優(yōu)化.

        本文第2節(jié)論述了相關(guān)工作;第3節(jié)論述了面向深度卷積神經(jīng)網(wǎng)絡(luò)的多目標(biāo)神經(jīng)演化算法;第4節(jié)進(jìn)行了相關(guān)實驗;最后總結(jié)全文.

        2 相關(guān)工作

        目前領(lǐng)域內(nèi)對模型構(gòu)造問題的解決方案更多選擇的是基于隨機優(yōu)化的方法,該方法的核心內(nèi)容是基于自然選擇的神經(jīng)演化算法.此外為了解決構(gòu)造出適用于無線傳感器網(wǎng)絡(luò)的卷積神經(jīng)網(wǎng)絡(luò)問題還會涉及到多目標(biāo)優(yōu)化算法.本節(jié)接下來的內(nèi)容將圍繞上述兩方面的已有工作進(jìn)行詳細(xì)闡述.

        2.1 基于增強拓?fù)涞纳窠?jīng)演化算法

        NEAT算法利用有向圖表示神經(jīng)網(wǎng)絡(luò),一個節(jié)點代表一個神經(jīng)元,連接兩個節(jié)點的有向邊代表神經(jīng)突觸.它利用基因編碼、基于歷史標(biāo)記的基因跟蹤、新穎物種保持以及最小結(jié)構(gòu)增長技術(shù)改善了TWEANN中存在的信息編碼、物種競爭,多樣性維持以及初始化種群等問題.該方法不僅可以提升傳統(tǒng)神經(jīng)演化算法的效率,而且找到的解具有更強的魯棒性.文獻(xiàn)[11,12]的研究工作則對上述工作進(jìn)行了擴展,提出了基于Hyper-NEAT的方法(Hypercube-based Neuro-Evolution of Augmenting Topologies),這類方法通過引入額外的幾何形狀信息來改善傳統(tǒng)拓?fù)溥^程節(jié)點連接中的權(quán)重分配模式,可以把大型人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造問題轉(zhuǎn)換為高維空間的幾何圖形構(gòu)造問題,然而如果轉(zhuǎn)換后的節(jié)點在高維空間內(nèi)過于分散則其效果會不盡如人意.

        2.2 多目標(biāo)優(yōu)化算法

        多目標(biāo)優(yōu)化算法在解決多優(yōu)化問題中一直扮演著重要的角色.目前對多目標(biāo)優(yōu)化算法的研究方向可以分為以下3大類:基于支配的方法,基于指標(biāo)的方法和基于分解的方法.基于支配的方法(Domination-Based method[13,14]的核心是通過數(shù)學(xué)上定義的支配原則(大部分采用的是 Pareto Domination)去評估不同解的適應(yīng)度.此外為了保證解的多樣性通常還需要設(shè)計多樣性的保持方案.然而由于現(xiàn)實條件的限制,使用該方法解決具體問題時會面臨一個問題:在多約束的條件下,種群中所有的解存在相互競爭關(guān)系,如果存在一種占據(jù)絕對優(yōu)勢的解,則其一定無法保證同時滿足多約束條件.因此此類方法雖然使用了基于支配的原則求解問題但在實際情況中其最后找到的最優(yōu)解是非支配的,這在一定程度上會降低種群在進(jìn)化過程中的選擇壓力同時也會影響種群整體的進(jìn)化進(jìn)程.基于指標(biāo)的方法(Indicator -Based method[15,16])是通過使用一些指定的性能指標(biāo)(如超體積Hyper-volume)來評估解決方案在多目標(biāo)演化算法中收斂和多樣性上所做出的貢獻(xiàn),從而獲得一個衡量解決方案表現(xiàn)的適應(yīng)度值.然而這類方法的計算成本與選定的評估指標(biāo)存在較大關(guān)聯(lián),根據(jù)不同選定的指標(biāo),其計算成本會隨著目標(biāo)數(shù)量的增加而呈指數(shù)增長.基于分解的方法(Decomposition-Based method[17-20])會將一般的多目標(biāo)優(yōu)化問題先分解為多個單目標(biāo)優(yōu)化子問題,然后使用演化算法在單個運行中同時求解所有子問題.這種方案能夠充分利用多個子方案的適應(yīng)度來綜合評估整體解決方案的性能,具有更好的魯棒性和更快的演化速度,然而如果相鄰的解決方案在決策空間中相距遙遠(yuǎn),則無法取得理想的效果.

        綜上,為了演化出適用于無線傳感器等特定應(yīng)用場景下的卷積神經(jīng)網(wǎng)絡(luò),需要在傳統(tǒng)的神經(jīng)演化過程中添加額外的約束條件,如乘法次數(shù),模型精度,模型深度等,然后使用多目標(biāo)優(yōu)化算法同時優(yōu)化多目標(biāo)下的神經(jīng)演化,進(jìn)而保證改進(jìn)算法能夠自動演化出符合相關(guān)約束條件下的網(wǎng)絡(luò)模型.第3節(jié)將具體介紹本文提出的改進(jìn)算法.

        3 面向卷積神經(jīng)網(wǎng)絡(luò)的多目標(biāo)演化算法

        本節(jié)將從卷積神經(jīng)網(wǎng)絡(luò)的有向圖表示,基于線性規(guī)劃的基因翻譯,多目標(biāo)個體競爭方法以及算法流程來詳細(xì)介紹提出的算法.

        3.1 卷積神經(jīng)網(wǎng)絡(luò)的有向圖表示

        基于NEAT算法,本文采用有向圖中的節(jié)點表示卷積神經(jīng)網(wǎng)絡(luò)中某一層神經(jīng)網(wǎng)絡(luò)輸出的特征圖,網(wǎng)絡(luò)的起始節(jié)點代表輸入圖像,終止節(jié)點代表網(wǎng)絡(luò)的輸出,其他節(jié)點攜帶有表達(dá)特征圖長寬及通道數(shù)量的尺寸信息.

        對于入度大于1的節(jié)點,將有多個卷積層輸出相同尺寸的特征圖并匯總到該節(jié)點,該節(jié)點將根據(jù)它的第4個參數(shù)來確定采用按通道拼接或者按特征點加和這些特征圖.

        所以,在卷積神經(jīng)網(wǎng)絡(luò)的有向圖表示中,一個有向圖可以理解為種群中個體的染色體,其中的節(jié)點可以理解過為染色體中的基因片段,每個基因片段包含4個可調(diào)參數(shù)分別表示特征圖的通道、長、寬以及特征圖之間的融合方法.此外,有向邊包含一個可優(yōu)化參數(shù),將用于下文的線性規(guī)劃.本文中所涉及的圖像均為正方形,故特征圖也限定為正方形,以長、寬中較大者為邊長.

        3.2 基于線性規(guī)劃的基因翻譯

        由于節(jié)點中只規(guī)定了特征圖的尺寸,為求解出卷積層的必要參數(shù),本文提出了一種基于線性規(guī)劃的卷積層配置方法.

        1)標(biāo)準(zhǔn)卷積(Standard Convolution).當(dāng)輸入特征圖的長寬大于或等于輸出特征圖長寬時,采用標(biāo)準(zhǔn)卷積.式(1)給出了標(biāo)準(zhǔn)卷積函數(shù)在給定卷積參數(shù)條件下,如何根據(jù)輸入邊長計算對應(yīng)的輸出邊長.

        (1)

        其中輸入的特征圖邊長為Xin,輸出的特征圖邊長為Y,卷積核參數(shù)k,卷積步伐d,卷積填充參數(shù)p.

        為了求解式(1),與之對應(yīng)的目標(biāo)函數(shù)如式(2)所示.

        F(k,d,p)=ra×k+(1-ra)×d+p

        (2)

        其中k,d,p的定義同式(1),ra是一個屬于[0,1]的值,隨有向線段進(jìn)行遺傳優(yōu)化,在不等式(3)下通過線性規(guī)劃算法最小化式(2)中即可求得對應(yīng)的卷積層配置參數(shù).

        (3)

        2)全卷積(Full Convolution).當(dāng)輸入特征圖邊長小于輸出特征圖邊長時,采用全卷積.式(4)給出了全卷積函數(shù)在給定卷積參數(shù)條件下,如何根據(jù)輸入邊長計算對應(yīng)的輸出邊長.

        Y=(Xin-1)×d-2×p+k+a

        (4)

        其中輸入的特征邊長為Xin,輸出的特征邊長為Y,卷積核參數(shù)k,卷積步伐d,卷積填充p,卷積自適應(yīng)填充a.

        同上,為了求解式(4),與之對應(yīng)的目標(biāo)函數(shù)如式(5)所示.

        F(k,d,p,a)=ra×k+(1-ra)×d+p+a

        (5)

        其中k,d,p,a的定義同式(4),ra是一個屬于[0,1]的參數(shù),隨有向線段進(jìn)行遺傳優(yōu)化,在不等式(6)下通過線性規(guī)劃算法最小化式(5)中即可求得對應(yīng)的卷積層配置參數(shù).

        (6)

        3.3 多目標(biāo)個體競爭方法

        目前基于NEAT的神經(jīng)演化算法僅采用個體的某一項指標(biāo)作為適應(yīng)度,難以滿足工業(yè)應(yīng)用中的應(yīng)用需求.如要求設(shè)計一種計算量低,網(wǎng)絡(luò)層次較深,且識別率較高的網(wǎng)絡(luò),直接應(yīng)用已有的NEAT算法則難以實現(xiàn).

        本文提出了一種多目標(biāo)個體競爭方法.演化過程中,適應(yīng)度計算函數(shù)返回個體的多個指標(biāo),如對個體所表示的神經(jīng)網(wǎng)絡(luò)在計算量、深度、識別率等指標(biāo)的評估,并使用NSGA-II算法求解基于帕瑞托支配和擁擠距離下的多目標(biāo)優(yōu)化問題,將求解出來的Pareto Front可行解用于種群中新個體的生成.圖1展示了加入多目標(biāo)優(yōu)化規(guī)則的神經(jīng)演化算法流程圖,此外具體的算法流程如算法1所示.

        圖1 算法流程圖Fig.1 Algorithm diagram

        算法 1.面向深度卷積網(wǎng)絡(luò)的多目標(biāo)神經(jīng)演化算法

        輸入:初始種群規(guī)模N,種群演化代數(shù)T,面向卷積神經(jīng)網(wǎng)絡(luò)的適應(yīng)度函數(shù)Fitness(.),有向圖演化算法A(.),多目標(biāo)篩選函數(shù)M(.).

        輸出:最終的解集合{Solution}.

        1.初始化規(guī)模為N的種群.

        2.Fitness(.)評估初始種群.

        3.While t

        a.基于當(dāng)前種群執(zhí)行A(.)算法中物種多樣性保護算法保留優(yōu)秀個體.

        b.當(dāng)前種群與上一代保留的2N/3個優(yōu)秀個體合并成一個擁有5N/3個個體的臨時群體,使用M(.)篩選并保留2N/3個優(yōu)秀個體.(該步驟不作用于初始種群)

        c.在優(yōu)秀個體中隨機取出若干父代并使用M(.)確定優(yōu)勝者用于生成一個子代.

        d.基于算法A(.)的遺傳原則產(chǎn)生一個新個體.

        e.重復(fù)c和d直到產(chǎn)生N個新個體.

        4.Fitness(.)評估新個體.

        5.Return 最終的解集合{Solution}.

        4 實 驗

        本節(jié)將詳細(xì)描述本文提出算法的實施過程以及相應(yīng)實驗結(jié)果.通過實驗框架,面向卷積神經(jīng)網(wǎng)絡(luò)的適應(yīng)度函數(shù),卷積模型演化以及相關(guān)實驗結(jié)果模塊化地介紹本文所做實驗的各項準(zhǔn)備工作,其中實驗框架介紹本文使用到的各種仿真環(huán)境及相關(guān)配置參數(shù),面向卷積神經(jīng)網(wǎng)絡(luò)的適應(yīng)度函數(shù)介紹針對資源受限平臺下的卷積神經(jīng)網(wǎng)絡(luò)演化而設(shè)計的適應(yīng)度目標(biāo)函數(shù),卷積模型演化介紹本文算法的具體實施過程,相關(guān)實驗結(jié)果介紹提出算法的成果和相關(guān)的性能分析,最后通過總結(jié)小節(jié)整體地概括本文所做出的貢獻(xiàn)以及未來期望展開的工作.

        4.1 實驗框架

        本文實驗選取的運行環(huán)境是Ubuntu16.04,使用了2張NVIDA GTX 1080Ti顯卡來加快模型在演化階段的探索速度.有向圖算法A(.)采用的是基于JAVA語言實現(xiàn)的NEAT,在后續(xù)實驗中該框架的大部分超參數(shù)配置與原始代碼維持一致,不同的地方僅在于:本實驗所設(shè)置的種群大小為50,物種更替的年齡閥值為50,存活下來種群的種群比例0.2,節(jié)點雜交概率0.25,節(jié)點突變概率0.5,優(yōu)勢基因個數(shù)10.此外本文中關(guān)于使用到的卷積模型中各個模塊與基因節(jié)點的對應(yīng)關(guān)系可以見表1,其中Sensor表示網(wǎng)絡(luò)輸入節(jié)點規(guī)定了輸入圖像的維度,Output表示網(wǎng)絡(luò)輸出節(jié)點規(guī)定了輸出圖像的維度,Hidden表示網(wǎng)絡(luò)隱藏節(jié)點規(guī)定了特征圖的維度,Link規(guī)定了節(jié)點間的連接關(guān)系,根據(jù)這些數(shù)據(jù)以及本文提供的線性規(guī)劃方法可計算出卷積層的配置參數(shù).

        表1 卷積模型結(jié)構(gòu)與基因節(jié)點的關(guān)系Table 1 Relationship between convolution model structure and gene nodes

        本文在選擇父代時采用的多目標(biāo)篩選函數(shù)M(.)是基于Java實現(xiàn)的NSGA-II,其中與之相關(guān)的面向卷積神經(jīng)網(wǎng)絡(luò)演化的適應(yīng)度函數(shù)將在4.2中進(jìn)行詳細(xì)闡述.采用Torch7框架(基于Lua言語實現(xiàn))對演化構(gòu)造出的卷積模型進(jìn)行訓(xùn)練和測試評估.本文中有向邊的基本單位如圖2所示,圖中左側(cè)為有向邊在圖模型中的基本表示,右側(cè)為有向邊對應(yīng)卷積結(jié)構(gòu)下的基本單位其中涉及到的卷積參數(shù)k,d,p需要利用3.2中所提到的相關(guān)內(nèi)容.其中n1和n2為輸入輸出特征圖的通道數(shù),h和 w 為特征圖的長寬,本文中限定h=w.表2中的SGD-1給出了在演化過程中評估模型階段SGD所采用的具體超參數(shù)配置.

        圖2 有向邊的基本單位Fig.2 Basic unit of a directed edge

        表2 SGD超參數(shù)Table 2 Hyper parameter of SGD

        4.2 面向卷積神經(jīng)網(wǎng)絡(luò)的適應(yīng)度函數(shù)

        為了建立深度卷積神經(jīng)網(wǎng)絡(luò),NEAT算法和NSGA-II算法三者之間的關(guān)系,需要使用特定的適應(yīng)度函數(shù)來評估生成卷積模型的適應(yīng)度并反饋給神經(jīng)演化算法.傳統(tǒng)演化算法選擇的適應(yīng)度函數(shù):V=Max(Accuracy),通常僅僅只關(guān)注識別率指標(biāo),識別率高的種群個體其對應(yīng)的適應(yīng)度也相對較高.而為了演化出適用于無線傳感器網(wǎng)絡(luò)下的卷積模型上,僅僅使用識別率作為衡量指標(biāo)是不足的,需要考慮諸如模型乘法次數(shù),模型深度等額外評估指標(biāo).

        本文使用的適應(yīng)度函數(shù)建立在傳統(tǒng)神經(jīng)演化適應(yīng)度函數(shù)的基礎(chǔ)上,額外引入乘法次數(shù),模型深度約束條件,讓模型在進(jìn)行適應(yīng)度評估時更加綜合考慮所有的約束條件.具體的適應(yīng)度函數(shù)如式(7)下所示.

        (7)

        其中Multiplication,Depth,Accuracy為演化模型中乘法次數(shù),深度,識別率對應(yīng)的適應(yīng)度值,可以通過相關(guān)功能函數(shù)進(jìn)行獲取.具體來說,適應(yīng)度函數(shù)將接收一個NEAT算法生成的有向圖對象,解讀有向圖中的每個節(jié)點和有向邊,使用節(jié)點和邊上記錄的4加1個參數(shù)構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)并將其翻譯為Lua代碼,調(diào)用Torch7框架在CIFAR-100的訓(xùn)練集訓(xùn)練該神經(jīng)網(wǎng)絡(luò)K次Epoch,最后把在CIFAR-100的測試集上的Top5精度則記錄為模型的精度指標(biāo).神經(jīng)網(wǎng)絡(luò)的深度及一次預(yù)測所需的乘法次數(shù)則成為其余的兩個指標(biāo).

        提出的適應(yīng)度函數(shù)將對演化過程生成的每個卷積模型從精度,乘法次數(shù),深度3方面進(jìn)行綜合評估,并及時更新適應(yīng)度值,進(jìn)而保證種群在每一代演化過程中能夠及時,準(zhǔn)確地評估當(dāng)前所有種群個體并結(jié)合多目標(biāo)篩選函數(shù)M(.)從中不斷發(fā)現(xiàn)表現(xiàn)最好的個體.

        本節(jié)提出的適應(yīng)度函數(shù)可以有效的衡量多約束條件下生成卷積模型的綜合能力,引導(dǎo)神經(jīng)演化算法產(chǎn)生各種各樣不同的神經(jīng)網(wǎng)絡(luò),這些神經(jīng)網(wǎng)絡(luò)可能在某一項評價指標(biāo)下相對優(yōu)異,同時又能保證網(wǎng)絡(luò)的多樣性.基于本節(jié)內(nèi)容的具體實驗過程將在4.3節(jié)中進(jìn)行詳細(xì)描述.

        4.3 卷積模型演化

        根據(jù)本文算法1所描述的流程,本節(jié)將分別從初始化種群和多目標(biāo)卷積模型演化2方面進(jìn)一步擴充相關(guān)實驗的具體實施過程.本文后續(xù)所有模型評估實驗選取的數(shù)據(jù)集是標(biāo)準(zhǔn)的CIFAR-100,演化代數(shù)T設(shè)置為50,初始種群規(guī)模為50,為了減少計算代價和加快模型演化的整體進(jìn)程,此外為了對生成模型的性能進(jìn)行快速初步評估本文在演化模型評估階段的K統(tǒng)一設(shè)置為8.算法A(.)采用NEAT,算法M(.)為NSGA-II,F(xiàn)itness(.)請參考4.2節(jié).

        4.4 相關(guān)實驗結(jié)果

        通過執(zhí)行4.3所述的實驗流程,能夠得到符合Pareto約束的解,然而由3.2中的內(nèi)容可知其對應(yīng)的解并不是單個,而是帕瑞托前沿(Pareto Front),它是由所有Pareto解所組成的超平面.本節(jié)將從Pareto約束展開,綜合分析其在多目標(biāo)函數(shù)下對模型演化產(chǎn)生可行解方案的影響以及不同約束條件下對應(yīng)可行解的性能,接下來將從Pareto約束下的可行解和擴展驗證實驗2方面來進(jìn)一步地介紹.

        1)Pareto約束下的可行解.讀取種群演化歷史中所有的Pareto解決方案,使用Pareto支配對所有解決方案進(jìn)行重排序,選擇排序前100的解決方案作為參考指標(biāo)并畫出相對應(yīng)的競爭關(guān)系圖,同時保存對應(yīng)排名下解決方案的基因和模型配置文件.本文選取了精度,乘法次數(shù)和深度3個目標(biāo)函數(shù)來約束Pareto Front,理論上其對應(yīng)的解是一個三維超平面,為了更好的理解兩兩不同約束之間的相互關(guān)系,選擇將單個三維超平面轉(zhuǎn)換成3張二維的Pareto關(guān)系圖.特別值得注意的是,因為式(7)對原始的適應(yīng)度值施加了一個重映射的操作,使得適應(yīng)度值的輸出范圍屬于[0,1],與之相對應(yīng)的原始評估指標(biāo)可以通過相關(guān)逆運算進(jìn)行求解.圖3表明了Pareto約束下精度和深度之間的關(guān)系,由于深度是離散的因此可以發(fā)現(xiàn)深度與精度之間呈現(xiàn)一種離散的關(guān)系,且隨著深度的增加其相應(yīng)的精度能夠得到明顯的提升,但是無法得到一個明確的數(shù)學(xué)關(guān)系式.圖3中精度和有向圖深度綜合評估的最好適應(yīng)度值分別為0.028,0.024,與之對應(yīng)重映射前的原始指標(biāo)分別為33.92%,40.圖4給出Pareto約束下精度和乘法次數(shù)之間的關(guān)系,從中能夠發(fā)現(xiàn)精度和乘法次數(shù)之間呈正相關(guān),乘法次數(shù)越大其對應(yīng)的精度也越高,由于本實驗中對于乘法次數(shù)實施倒數(shù)操作,所以在圖4的縱軸上其乘法次數(shù)越大則越接近于0.圖4中乘法次數(shù)和精度綜合評估的最好適應(yīng)度值分別是0.410,0.075與之對應(yīng)重映射前的乘法次數(shù)和模型精度分別為584M,11.84%.圖5反映了Pareto約束下乘法次數(shù)和深度的關(guān)系,因為深度是離散的所以深度和乘法次數(shù)的關(guān)系依舊趨近離散,深度的增加會明顯帶動乘法次數(shù)的上升且深度越深提升倍數(shù)越大,但同樣不能從中找到兩者明確的對應(yīng)關(guān)系式.圖5乘法次數(shù)和有向圖深度綜合評估的最好適應(yīng)度值為0.410,0.030,與之對應(yīng)重映射前的指標(biāo)是584M,32.綜上,通過上述多張Pareto關(guān)系圖可以發(fā)現(xiàn)在多約束條件下神經(jīng)演化的新特性,從演化整體上來看由于綜合考慮了多約束條件使得演化模型的性能變得更加均衡化,從不同約束條件的相互競爭角度來看其模型的性能與給定組合約束條件下有著特定的聯(lián)系.如何進(jìn)一步協(xié)調(diào)好多目標(biāo)函數(shù)下整體約束和相互約束對模型演化的共同作用力,是未來基于多目標(biāo)神經(jīng)演化算法所重點需關(guān)注的內(nèi)容.

        圖3 Pareto約束下精度與深度的關(guān)系Fig.3 Relationship of accuracy and depth under Pareto constraints圖4 Pareto約束下精度和乘法次數(shù)的關(guān)系Fig.4 Relationship of accuracy andmultiplication times under Paretoconstraints圖5 Pareto約束下深度和乘法次數(shù)的關(guān)系Fig.5 Relationship of depth andmultiplication times under Paretoconstraints

        2)擴展驗證實驗.雖然在演化模型階段對生成的模型存在相應(yīng)的評估環(huán)節(jié),但是由于訓(xùn)練代數(shù)相對較低,其測試結(jié)果依然無法準(zhǔn)確判斷生成模型的綜合性能,為此本小節(jié)將對選取的Pareto Front解決方案進(jìn)行3種不同的擴展驗證實驗.在所有后續(xù)擴展實驗中,均選取標(biāo)準(zhǔn)的CIFIA-100數(shù)據(jù)集作為訓(xùn)練集和測試集,除了使用標(biāo)準(zhǔn)的顏色正則化方法外不添加額外的數(shù)據(jù)預(yù)處理,在該實驗階段訓(xùn)練的代數(shù)統(tǒng)一設(shè)置為120代,batch size設(shè)置為16,該階段的所有模型將使用一套SGD超參數(shù),具體的配置見表2中的SGD-2.

        擴展實驗1.從Pareto Front中選取前100個解決方案,對經(jīng)過篩選的解決方案分別按照精度,模型深度,乘法次數(shù)3個指標(biāo)進(jìn)行排序,根據(jù)再排序獲得精度最好和最差,深度最深最淺,乘法次數(shù)最少和乘法次數(shù)最多6種解決方案(包含卷積模型和基因配置文件).從篩選的結(jié)果發(fā)現(xiàn)最淺深度為2層,乘法次數(shù)最少為1.8M的模型并不符合無線傳感器網(wǎng)絡(luò)下的使用需求故不參與后續(xù)擴展實驗.最終的實驗結(jié)果如下,圖6,圖7,圖8,圖9分別展現(xiàn)了乘法次數(shù)最大,精度最低,精度最高,深度最大模型的誤差曲線.由上述曲線可以得出不同約束條件下生成的模型是符合其限制條件,其中深度和乘法次數(shù)為指導(dǎo)的Pareto約束下生成的模型在精度指標(biāo)上效果不佳,但可以發(fā)現(xiàn)深度對精度的影響要大于乘法次數(shù)帶來的效果,這也側(cè)面反映了深度在深度卷積模型中是獲取高識別率性能的重要保障.此外,從精度指標(biāo)上來看演化出的最優(yōu)精度模型在CIFAR-100數(shù)據(jù)集上有著相當(dāng)不錯的性能表現(xiàn)其乘法次數(shù)和深度也比較符合適用條件.

        圖6 最大乘法次數(shù)模型的誤差曲線Fig.6 Loss curve for the maximum multiplication model圖7 最低精度模型的誤差曲線Fig.7 Loss curve for the lowest accuracy model

        圖8 最高精度模型的誤差曲線Fig.8 Loss curve for the highest accuracy model圖9 最大深度模型的誤差曲線Fig.9 Loss curve for the maximum depth model

        擴展實驗2.使用Pareto約束從Pareto Front中選取200個解決方案,進(jìn)一步從200個解決方案中選取滿足乘法次數(shù)少于100M和精度大于25%的模型,將找到的所有解決方案在CIFAR-100數(shù)據(jù)集上進(jìn)行120次再訓(xùn)練,記錄最終的穩(wěn)定精度.表3展示了找到的9個不同解決方案的綜合性能,其中Depth代表卷積模型在有向圖中對應(yīng)的深度,Mul代表模型的乘法次數(shù),Oacc表示模型在演化階段的識別率,F(xiàn)acc表示模型在經(jīng)過精校后的識別率,Model代表在Pareto約束下經(jīng)過排名以及篩選后所選取的模型.從模型識別率來看選取的模型都有著相當(dāng)不錯的表現(xiàn),從深度或乘法次數(shù)上來看即使模型在某一項指標(biāo)上相同卻有著完全不同的性能表現(xiàn),隨著深度或乘法次數(shù)的增加模型的性能也有著明顯的提升趨勢,這側(cè)面反映了本文提出的有向圖演化算法的有效性和多樣性.

        擴展實驗3.為了進(jìn)一步衡量演化出模型結(jié)構(gòu)與現(xiàn)有領(lǐng)先模型結(jié)構(gòu)在性能上的差異,選取目前主流的Densenet,Resnet等業(yè)內(nèi)領(lǐng)先模型與擴展實驗2中的相關(guān)模型進(jìn)行對比.Densenet實現(xiàn)的代碼是論文作者在GitHub提供的官方版本(1)https://github.com/liuzhuang13/DenseNet,在控制成長率均為12的前提下分別選取了深度為40,60,100的3個模型版本.Resnet實現(xiàn)的代碼是Facebook提供的官方版本(2)https://github.com/facebookarchive/fb.resnet.torch,選取了深度為20的模型版本.表4為現(xiàn)有模型與演化模型的對比分析,可以發(fā)現(xiàn)生成的模型其各項性能已經(jīng)超越或接近現(xiàn)有的領(lǐng)先模型.特別值得說明的是,演化出的模型在沒有利用基于殘差的結(jié)構(gòu)下卻依舊能以極小的學(xué)習(xí)率實現(xiàn)有效,快速地收斂,證明了提出的算法在搜尋新穎,高效網(wǎng)絡(luò)結(jié)構(gòu)上的可行性.

        表3 選取模型的綜合性能Table 3 Comprehensive performance of selected models

        表4 演化模型與現(xiàn)有模型在CIFAR-100上的性能對比Table 4 Performance comparison between evolutionary models and existing models on CIFAR-100

        綜上,盡管目前生成的精度最優(yōu)模型的最小誤差與殘差網(wǎng)絡(luò),稠密網(wǎng)絡(luò)等領(lǐng)先小型網(wǎng)絡(luò)仍存在一定差距,但是本文方法最主要的目的是演化出可應(yīng)用于無線傳感器網(wǎng)絡(luò)等特定應(yīng)用場景下的卷積模型,從模型精度,深度和乘法次數(shù)3方面考慮本文演化出來的模型其綜合指標(biāo)已經(jīng)符合特定工業(yè)場景下的使用條件,并且該方法能夠自動化地構(gòu)建出一系列各具特色的模型,極大減少了在設(shè)計特定模型時所面臨的人力,物力上的成本.

        5 結(jié)束語

        本文提出了一種基于面向卷積神經(jīng)網(wǎng)絡(luò)的多目標(biāo)神經(jīng)演化算法,通過將深度神經(jīng)網(wǎng)絡(luò)表達(dá)成有向圖,使用NEAT和NSGA-II算法實現(xiàn)了深度、計算量和識別率下的多目標(biāo)同時優(yōu)化,同時還創(chuàng)新性地引入了線性規(guī)劃用于將基因編碼翻譯為卷積層可讀的配置參數(shù)文件,使得演化算法可以自動調(diào)整各個網(wǎng)絡(luò)層的具體配置.雖然目前演化出的精度最好模型與領(lǐng)域內(nèi)領(lǐng)先的模型仍存在一定差距,考慮算法演化代數(shù)較少故存在巨大的提升空間,此外本文提出的方法不需要太多人為上的干預(yù)就能夠自動構(gòu)建出一系列各具特色的卷積模型結(jié)構(gòu)且極大地降低了在設(shè)計特定模型時所面臨人力,物力上的成本.我們相信本文提出的方法對于推動面向無線傳感器網(wǎng)絡(luò)的深度卷積網(wǎng)絡(luò)的發(fā)展能夠提供一種有效的解決方案.未來本文計劃在此基礎(chǔ)上繼續(xù)深入研究多目標(biāo)函數(shù)下和深度卷積網(wǎng)絡(luò)模型構(gòu)造的組合優(yōu)化關(guān)系,進(jìn)一步改善和提升模型結(jié)構(gòu)的演化效果.

        猜你喜歡
        深度模型
        一半模型
        深度理解一元一次方程
        重要模型『一線三等角』
        重尾非線性自回歸模型自加權(quán)M-估計的漸近分布
        深度觀察
        深度觀察
        深度觀察
        深度觀察
        3D打印中的模型分割與打包
        FLUKA幾何模型到CAD幾何模型轉(zhuǎn)換方法初步研究
        亚洲an日韩专区在线| 精品精品久久宅男的天堂| 精品久久久久久无码中文野结衣 | 真人二十三式性视频(动)| 亚洲V无码一区二区三区四区观看| 亚洲精品在线一区二区三区| 一二三四五区av蜜桃| 亚洲毛片αv无线播放一区| 亚洲综合色一区二区三区另类| 美女扒开内裤露黑毛无遮挡| 91九色最新国产在线观看 | 国产av一区二区亚洲精品| 蜜桃av抽搐高潮一区二区| a毛片全部免费播放| 中文字幕亚洲乱亚洲乱妇| 白白色发布免费手机在线视频观看| 色哟哟精品视频在线观看| 精品无码久久久久久久动漫| 久久久久无码中文字幕| 日本午夜精品一区二区三区| 女女女女女裸体处开bbb| 欧美日韩国产成人高清视| 极品少妇被后入内射视| 91九色成人蝌蚪首页| 人妻少妇边接电话边娇喘| 91精品啪在线观看国产18| 国产av一区二区三区狼人香蕉| 公和我做好爽添厨房| 无套内射蜜桃小视频| AⅤ无码精品视频| 午夜少妇高潮在线观看视频| 亚洲av综合av成人小说| 无码AV高潮喷水无码专区线| 日韩有码中文字幕av| 日本在线观看一区二区三| 午夜三级a三级三点| 人妻精品久久中文字幕| 91精品国产九色综合久久香蕉| av永久天堂一区二区三区| www.狠狠艹| 97激情在线视频五月天视频|