趙亮，方偉

（江南大學(xué)人工智能與計算機(jī)學(xué)院，江蘇無錫 214122）

0 概述

深度學(xué)習(xí)具有可直接從數(shù)據(jù)中提取和學(xué)習(xí)特征的優(yōu)勢，是計算機(jī)視覺領(lǐng)域中的重要方法，其中卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［1］在深度學(xué)習(xí)中扮演了重要角色。自LECUN等［2］于1998 年提出Le-Net 后，CNN 不斷發(fā)展并取得了巨大成功。一系列優(yōu)越CNN 結(jié)構(gòu)的提出是CNN 取得成功的重要原因，如AlexNet［3］、VGG［4］、GoogLeNet［5］、ResNet［6］、DenseNet［7］、MobileNet［8］、SENet［9］等。近年來，CNN 的發(fā)展逐漸由特征參數(shù)的調(diào)整轉(zhuǎn)向結(jié)構(gòu)的創(chuàng)新，每個結(jié)構(gòu)的性能都因結(jié)構(gòu)的創(chuàng)新而不斷提高。

上述手動設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)，有許多巧妙的結(jié)構(gòu)仍舊影響著網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計，例如3×3 卷積核、跳躍連接等。然而，創(chuàng)新設(shè)計CNN 結(jié)構(gòu)并非易事，需要大量的專業(yè)知識，這對需要使用CNN 結(jié)構(gòu)的其他職業(yè)人員并不友好，限制了CNN 更好地應(yīng)用于實際任務(wù)。近年來，為了獲得更好的CNN 結(jié)構(gòu)，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索（Neural Architecture Search，NAS）算法。NAS 算法由于具有高度的自動化和智能化特性，引起了廣泛研究和討論。

NAS算法最初可分為基于強(qiáng)化學(xué)習(xí)（Reinforcement Learning，RL）和基于進(jìn)化算法（Evolutionary Algorithm，EA）兩類，基于RL 的NAS 算法又分為Q-learning 和策略梯度兩種類型。Q-learning 方法從有限的搜索空間中通過學(xué)習(xí)代理模型來選擇CNN 架構(gòu)［10］。相比之下，基于策略梯度的方法以遞歸神經(jīng)控制器為特征來生成模型，其參數(shù)由一系列策略梯度算法更新［11］。近端策略優(yōu)化NASNet［12］在RL 算法的基礎(chǔ)上，使用了一種新的基于單元的搜索空間和正則化技術(shù)，并重復(fù)堆疊相同單元［13］?；赗L 可以搜索出準(zhǔn)確性較好的網(wǎng)絡(luò)結(jié)構(gòu)，但是在搜索中會耗費大量的計算資源，如NASNet［12］需要2 000 個GPU Days，MetaQNN［14］需要100 個GPU Days，Block-QNN-S［15］需要32 個GPU Days。

EA 將NAS 看作一個優(yōu)化問題，通過進(jìn)化過程來不斷演化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，近期的研究成果有AmeobaNet-A［16］、AE-CNN［17］、FAE-CNN［18］、NASG-Net［19］等?；贓A 的NAS 算法也需消耗大量計算資源，如Genetic CNN［20］需要17 個GPU Days，AmoebaNet需要3 150 個GPU Days，AE-CNN 和CNN-GA［21］分別需要27 個和35 個GPU Days。FAE-CNN 通過劃分?jǐn)?shù)據(jù)集方法將搜索時間縮短為3.5 個GPU Days，但也因此增大了不穩(wěn)定性。

最近，可微結(jié)構(gòu)搜索（Differentiable Architecture Search，DARTS）［22］作為一種新的NAS 算法被提出，取得了比基于RL 和EA 的NAS 算法更好的分類效果，并且僅需要4 個GPU Days。但是DARTS 為了減少時間和資源開銷，在搜索階段和評估階段體系結(jié)構(gòu)大小不同，存在深度鴻溝［23］，這導(dǎo)致了搜索評估的不相關(guān)性。針對DARTS 存在的深度鴻溝等問題，研究人員提出了相應(yīng)的改進(jìn)。P-DARTS［23］使用了漸進(jìn)式搜索方法，將搜索階段分為結(jié)構(gòu)逐步增大的三個階段，一定程度上減少了深度鴻溝的影響。同樣針對搜索評估不相關(guān)性，SGAS［24］使用了一種貪心結(jié)構(gòu)搜索算法，通過選邊指標(biāo)來提升搜索階段評估的相關(guān)性，使得搜索過程中的驗證準(zhǔn)確度與評價過程中的測試準(zhǔn)確度相關(guān)程度更高。雖然SGAS將CIFAR-10上的錯誤率降低到2.39%，但在10 組實驗中穩(wěn)定性不高，錯誤率最高達(dá)到3.18%，存在平方差較大、不穩(wěn)定的情況。

本文針對DARTS 及其改進(jìn)算法深度鴻溝和搜索穩(wěn)定性不高的問題，提出一種快速漸進(jìn)式NAS（Fast and Progressive NAS，F(xiàn)PNAS）算法，通過結(jié)合漸進(jìn)性搜索和貪心搜索中的選邊指標(biāo)，增強(qiáng)搜索階段和評估階段的相關(guān)性，提高搜索穩(wěn)定性。同時，在漸進(jìn)式搜索中使用劃分?jǐn)?shù)據(jù)集方法，減少搜索的資源和時間開銷。

1 快速漸進(jìn)式卷積神經(jīng)網(wǎng)絡(luò)搜索

1.1 可微結(jié)構(gòu)搜索算法

在連續(xù)域搜索方法［25-26］的基礎(chǔ)上，DARTS［22］引入了一種連續(xù)松弛的體系結(jié)構(gòu)表示方法，使體系結(jié)構(gòu)搜索可微化。DARTS 采用了NASNet［12］中Cell 和Block 的設(shè)計方法，將搜索問題簡化為尋找最優(yōu)單元（Cell），并將該單元作為基礎(chǔ)單元堆疊多次構(gòu)成最終的卷積神經(jīng)網(wǎng)絡(luò)?；趩卧腘AS 方法可得到可伸縮和移植性強(qiáng)的結(jié)構(gòu)。DARTS 避免了挑選子網(wǎng)絡(luò)的過程，其將單元中所有的可能性以參數(shù)化的形式表示，最核心的步驟是利用Softmax 函數(shù)來選擇連接，優(yōu)化后再選取Softmax 輸出概率最大的連接方式［27］。在訓(xùn)練時，單元中所有的可能性連接和操作都會進(jìn)行前向計算和反向推理，所有操作的模型參數(shù)都會進(jìn)行更新，可能性更大的參數(shù)有更多的梯度更新。在搜索過程中，一個單元被定義為一個由N個節(jié)點組成的有向無環(huán)圖，其中每個節(jié)點是一個網(wǎng)絡(luò)層。搜索空間被表示為O，其中每個元素表示一個候選函數(shù)o（·）。一個邊（i，j）表示連接節(jié)點i和節(jié)點j的信息，由一組由體系結(jié)構(gòu)參數(shù)α(i，j)加權(quán)的操作組成。兩個節(jié)點間的操作可以表示為：

式（1）表示兩個節(jié)點之間的操作是它們之間所有操作的Softmax 之和，其中i＜j，中間任意一個節(jié)點可以表示為：

式（3）表示通過對所有中間節(jié)點進(jìn)行歸約運算得到一個單元的輸出，其中concat（·）函數(shù)連接通道維度中的所有輸入信號。

DARTS 結(jié)構(gòu)訓(xùn)練是一個雙重優(yōu)化的過程，需要交替對網(wǎng)絡(luò)的模型參數(shù)W 和結(jié)構(gòu)參數(shù)A進(jìn)行優(yōu)化，優(yōu)化的兩個目標(biāo)函數(shù)如式（4）和式（5）所示，其中Ltrain和Lval分別表示訓(xùn)練損失和驗證損失。

1.2 快速漸進(jìn)式卷積神經(jīng)網(wǎng)絡(luò)搜索算法

如圖1 所示，出于對搜索時間的考慮，DARTS［22］在搜索階段中的網(wǎng)絡(luò)結(jié)構(gòu)包含8 層單元，而在評估驗證階段，將搜索階段搜索到的最佳單元擴(kuò)充為20 層，組成最終的網(wǎng)絡(luò)結(jié)構(gòu)。

圖1 DARTS 的搜索階段和評估驗證階段Fig.1 Search stage and evaluation and verification stage of DARTS

這種搜索方式可以大幅減少搜索的時間以及計算資源消耗，但搜索和評估階段層數(shù)不對等，導(dǎo)致搜索評估相關(guān)性低，會造成結(jié)構(gòu)性能的波動。在搜索階段準(zhǔn)確度表現(xiàn)很好的單元，經(jīng)過擴(kuò)充之后，性能反而會下降，出現(xiàn)深度鴻溝現(xiàn)象［23］。對此，本文提出結(jié)合漸進(jìn)式搜索以及貪心指標(biāo)的搜索算法FPNAS，其中包含兩部分，一是通過結(jié)合貪心選邊指標(biāo)和漸進(jìn)式搜索來提高搜索的穩(wěn)定性，二是使用劃分?jǐn)?shù)據(jù)集方法來加速搜索并在一定程度上減輕過擬合。

1.2.1 漸進(jìn)式搜索方法

SGAS［24］針對DARTS搜索過程的不相關(guān)性，考慮了影響邊選擇的重要因素：邊的重要性（Edge Importance，EI）和選擇確定性（Selection Certainty，SC），并通過這兩個因素提高搜索評估的相關(guān)性。

根據(jù)這兩個影響邊選擇的因素，SGAS 提出了選邊指標(biāo)，指標(biāo)用于衡量選邊的重要性和確定性［24］，可用式（6）表示：

為邊的重要性，如果某條邊非零運算選擇的可能性越高，則表明這條邊越重要?？赏ㄟ^式（7）計算：

另一個選邊因素代表選擇確定性，由于熵是概率分布中用來度量不確定性的量，因此SGAS 將選擇確定性定義為操作分布?xì)w一化熵的總和［24］?？赏ㄟ^式（8）計算：

式（8）中的是一種分布，代表著非零運算的歸一化權(quán)重，可以用式（9）表示：

雖然SGAS 通過選擇準(zhǔn)則提高了搜索評估的相關(guān)性，但是搜索過程中仍然使用單元數(shù)為8 的結(jié)構(gòu)。由于深度鴻溝的影響，導(dǎo)致最終結(jié)果的上下限差別較大，準(zhǔn)確率最高達(dá)到97.62%，而最低準(zhǔn)確率卻只有96.82%，并且10 組數(shù)據(jù)的平方差達(dá)到了0.24，最終的結(jié)果波動較大。為了解決這一問題，本文使用漸進(jìn)式搜索方法在搜索階段逐步增加結(jié)構(gòu)單元層數(shù)，三個漸進(jìn)式階段包含的單元數(shù)分別為5、11 和17，與P-DARTS 設(shè)置相同。為了減少因?qū)訑?shù)增加而增加的計算量，在每個階段對搜索空間進(jìn)行校正，減少候選操作數(shù)量［23］。在漸進(jìn)式搜索過程中加入貪心搜索SGAS 中的選邊指標(biāo)，每次漸進(jìn)式搜索迭代將作為評估標(biāo)準(zhǔn)進(jìn)行選邊，在高穩(wěn)定性的基礎(chǔ)上通過貪心指標(biāo)來增強(qiáng)搜索評估之間的相關(guān)性。

1.2.2 漸進(jìn)式劃分?jǐn)?shù)據(jù)集方法

為降低搜索成本，本文使用漸進(jìn)式劃分?jǐn)?shù)據(jù)集方法，在漸進(jìn)式搜索的三個階段中按不同比例對數(shù)據(jù)集進(jìn)行劃分。劃分?jǐn)?shù)據(jù)集方法具有兩個優(yōu)點：一是劃分?jǐn)?shù)據(jù)集可以大幅減少搜索時間，在劃分的數(shù)據(jù)集上，由于圖片數(shù)量較少，種類和完備數(shù)據(jù)集一樣，因此在搜索階段所消耗的時間是遠(yuǎn)少于完備數(shù)據(jù)集的；二是在劃分?jǐn)?shù)據(jù)集上訓(xùn)練的指定代數(shù)，遠(yuǎn)小于模型達(dá)到穩(wěn)定時所需要的訓(xùn)練代數(shù)，這在一定程度上可以減輕過擬合。

使用劃分?jǐn)?shù)據(jù)集方法可以減少計算資源和時間的消耗。但是，劃分?jǐn)?shù)據(jù)集方法只在一定比例的數(shù)據(jù)集上進(jìn)行模型訓(xùn)練，這樣得到的訓(xùn)練準(zhǔn)確度往往不可靠。針對這一問題，本文對劃分?jǐn)?shù)據(jù)集過程進(jìn)行了漸進(jìn)式校正，具體參數(shù)如表1 所示。在漸進(jìn)式方法中，將搜索階段分為層數(shù)為5、11 和17 三個階段，每個階段分別以1/4、1/3 和1/2 的比例進(jìn)行劃分，比例逐漸增加。三個階段訓(xùn)練集圖片數(shù)量依次為6 250、8 333 和12 500，因為搜索階段對于數(shù)據(jù)集訓(xùn)練測試的比例為1∶1，所以測試集與訓(xùn)練集相同。漸進(jìn)式的劃分方法可以在一定程度上減少劃分?jǐn)?shù)據(jù)集帶來的不可靠性，同時大幅縮短搜索時間。

表1 漸進(jìn)式劃分?jǐn)?shù)據(jù)集方法參數(shù)設(shè)置Table 1 Parameters setting of progressive dataset dividing method

1.2.3 FPNAS 算法總體流程

FPNAS 的算法流程如算法1 所示，具體步驟如下：

1）初始化算法參數(shù)，輸入搜索結(jié)構(gòu)的通道數(shù)16，漸進(jìn)式搜索階段數(shù)3，每個階段迭代次數(shù)25。

2）創(chuàng)建網(wǎng)絡(luò)參數(shù)W 和結(jié)構(gòu)參數(shù)A，并對每個邊創(chuàng)建混合操作集合。為了使搜索過程更穩(wěn)定，搜索過程分3 個搜索階段依次進(jìn)行，每個階段的結(jié)構(gòu)層數(shù)逐漸增加，每個階段迭代25 次，每次迭代更新網(wǎng)絡(luò)參數(shù)和結(jié)構(gòu)參數(shù)，并通過選擇確定性的貪心指標(biāo)進(jìn)行最優(yōu)選邊。為了使搜索過程更快速，在三次搜索階段分別以不同的比例對數(shù)據(jù)集進(jìn)行劃分，減少搜索成本。

3）通過迭代選邊最終選擇的操作集合搭建CNN 結(jié)構(gòu)。

算法1FPNAS 算法

輸入通道數(shù)c，階段數(shù)s，迭代次數(shù)T，劃分?jǐn)?shù)據(jù)集

輸出通過選擇的操作構(gòu)造的最終CNN 結(jié)構(gòu)

2 實驗結(jié)果與分析

本節(jié)將介紹所用的基準(zhǔn)數(shù)據(jù)集以及具體的實驗參數(shù)設(shè)置，并對所得實驗結(jié)果進(jìn)行分析，與一些經(jīng)典的以及近期的NAS 算法進(jìn)行比較。

2.1 實驗設(shè)置

為驗證搜索到的CNN 的結(jié)構(gòu)性能，本文選用圖像分類中比較常用的CIFAR-10 數(shù)據(jù)集。CIFAR-10包含分辨率為32×32 像素的50 000 張訓(xùn)練圖片和10 000 張測試圖片。與其他的DARTS 系列算法類似，在搜索階段，對于CIFAR-10 的訓(xùn)練評估拆分比例為0.5，即一半的訓(xùn)練集和一半的測試集。

在搜索階段，與P-DARTS［23］設(shè)置的相同，將漸進(jìn)式過程分為三個階段，每個階段分別包含5、11 和17 個單元，初始化通道數(shù)為16，訓(xùn)練的batch size 為64。對于實驗具體參數(shù)，與一系列對比算法相同，都以交叉熵函數(shù)作為損失函數(shù)，然后采用標(biāo)準(zhǔn)的隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）反向傳播算法進(jìn)行訓(xùn)練，SGD 優(yōu)化在CIFAR-10 的重量衰減為0.000 3。此外，auxiliary towers 的權(quán)重是0.4，學(xué)習(xí)率初始值為0.025，根據(jù)余弦定律衰減為0。

算法迭代結(jié)束后，將得到的最優(yōu)CNN 個體在50 000 張圖片的訓(xùn)練集上進(jìn)行訓(xùn)練，在10 000 張圖片的驗證集上進(jìn)行評估，評估所得的精度即為模型最后的精度，評估時網(wǎng)絡(luò)結(jié)構(gòu)的初始化通道數(shù)為36，單元數(shù)為20。在搜索階段，搜索的epoch 為25 次，分為三個階段，共75 次。在評估最優(yōu)個體模型最終精度時，迭代結(jié)果需要達(dá)到穩(wěn)定需要的epoch 為600 次。評估時隨機(jī)梯度下降算法的參數(shù)同對比算法保持一致，一次訓(xùn)練batch size 為64 或96，根據(jù)模型大小和GPU 的顯存大小決定。在評估時，本文使用了數(shù)據(jù)預(yù)處理技術(shù)cutout［28］，cutout 的正則化長度為16。

2.2 消融實驗

消融實驗包含兩個實驗：一是FPNAS 在完整數(shù)據(jù)集上進(jìn)行穩(wěn)定的漸進(jìn)式搜索，表示為FPNAS-all；二是在FPNAS-all 的基礎(chǔ)上加入劃分?jǐn)?shù)據(jù)集快速漸進(jìn)式搜索算法，表示為FPNAS-fast。本文首先驗證結(jié)合貪心指標(biāo)和漸進(jìn)式搜索對于搜索穩(wěn)定性的提升效果，然后對漸進(jìn)式劃分?jǐn)?shù)據(jù)集方法的有效性進(jìn)行驗證，最后對消融實驗結(jié)果進(jìn)行分析總結(jié)。

2.2.1 FPNAS-all 消融實驗

為驗證FPNAS-all 的有效性以及在提升搜索結(jié)構(gòu)性能上的作用，本文針對該方法和貪心算法SGAS［24］，在CIFAR-10 數(shù)據(jù)集上進(jìn)行了10 次連續(xù)獨立實驗，實驗結(jié)果如表2 所示，表中數(shù)據(jù)分別是SGAS 和FPNAS-all 的實驗結(jié)果，包含10 次連續(xù)實驗所得的準(zhǔn)確率和結(jié)構(gòu)參數(shù)量，最優(yōu)結(jié)果加粗標(biāo)出?？梢?，在CIFAR-10 上，F(xiàn)PNAS 搜索到的CNN 結(jié)構(gòu)不僅在準(zhǔn)確率上表現(xiàn)較好，平均達(dá)到97.49%，高于SGAS 的97.34%，同時在穩(wěn)定性上也優(yōu)于SGAS，方差（數(shù)值）僅為0.11，相較于SGAS 的0.24 有所降低。

表2 SGAS 和FPNAS-all 在CIFAR-10 上的實驗結(jié)果Table 2 Experimental results of SGAS and FPNAS-all on CIFAR-10

2.2.2 FPNAS-fast 消融實驗

為驗證FPNAS-fast的可靠性，在CIFAR-10 數(shù)據(jù)集上，對漸進(jìn)式劃分?jǐn)?shù)據(jù)集方法進(jìn)行10 次連續(xù)獨立的實驗，實驗結(jié)果如圖2所示，圖中FPNAS-avg和SGAS-avg代表10 次連續(xù)獨立實驗所得準(zhǔn)確率的平均值。

圖2 SGAS 和FPNAS-fast 在CIFAR-10 上的實驗結(jié)果Fig.2 Experimental results of SGAS and FPNAS-fast on CIFAR-10

由于劃分?jǐn)?shù)據(jù)集的不穩(wěn)定性，雖然實驗結(jié)果波動范圍較大，最高可達(dá)到97.7%，最低為97.18%，但是搜索時間大幅減少，在1080Ti 上的搜索時間是0.11 個GPU Days，少于SGAS 在1080Ti 的0.25 個GPU Days。同時，在平均值和方差（數(shù)值）的表現(xiàn)上，F(xiàn)PNAS-fast 的平均值分別是97.39%和0.15，優(yōu)于SGAS 的97.34%和0.24，說明FPNAS 不僅在最高準(zhǔn)確率上優(yōu)于SGAS，穩(wěn)定性也優(yōu)于SGAS。

2.3 算法性能對比

為驗證FPNAS 的優(yōu)越性，本文使用人工設(shè)計的CNN 結(jié)構(gòu)、基于RL 的NAS算法、基于EA 的NAS 算法和基于梯度可微的NAS 算法進(jìn)行對比。人工設(shè)計的CNN 結(jié)構(gòu)包含DenseNet［7］、ResNet［6］、VGG［4］和DenseNet-BC（k=40）［7］?；?于RL 的NAS 算法包括EAS［29］、Block-QNN-S［15］和MetaQNN［13］?；?于EA的NAS 算法包括Genetic CNN［20］、Hierarchical Evolution［30］、Large-scale Evolution［31］、AE-CNN［17］、FAE-CNN［18］、NSGA-Net［19］和CNN-GA［21］。基于梯度的NAS 算法包括P-DARTS［23］和SGAS［24］。

本文使用CNN 結(jié)構(gòu)在不同數(shù)據(jù)集分類的錯誤率、模型參數(shù)量以及算法執(zhí)行所用GPU 時間這三個指標(biāo)，將FPNAS 與上述算法進(jìn)行比較。表3 給出了FPNAS 與其他算法在CIFAR-10 上的對比結(jié)果，avg代表10 次連續(xù)實驗得到結(jié)果平均值，±后的數(shù)字代表方差，best 代表10 次連續(xù)實驗中的最優(yōu)結(jié)果。

表3 CIFAR-10 上的算法性能對比Table 3 Performance comparison of algorithms on CIFAR-10

對于人工設(shè)計的CNN 結(jié)構(gòu)，如DenseNet（k=12）、ResNet 和VGG 等，由于 提出較早，在CIFAR-10 上表現(xiàn)都比較一般，DenseNet-BC（k=40）在錯誤率上有較大提升，但在參數(shù)量上不占優(yōu)勢，占用資源較多。在基于RL 的NAS 算法中，EAS 結(jié)構(gòu)參數(shù)量較大，Block-QNN-S 和MetaQNN 耗時較長。

在基于EA 的NAS 算法中，Genetic CNN作為經(jīng)典的算法，在兩個數(shù)據(jù)集上錯誤率都較高。Hierarchical Evolution在CIFAR-10數(shù)據(jù)集上表現(xiàn)良好，錯誤率只有3.63%，但是該算法需要300個GPU Days，耗時較多。Large Scale Evolution 雖然在錯誤率方面表現(xiàn)良好，但是耗時巨大，需要2 750 個GPU Days，需要大量計算資源。AE-CNN 和CNN-GA 在CIFAR-10上的錯誤率和參數(shù)量都表現(xiàn)優(yōu)異，但在CIFAR-10 分別需要耗時27 個GPU Days 和35 個GPU Days。在AE-CNN 基礎(chǔ)上改進(jìn)的FAE-CNN 算法，搜索時間縮短為3.5 個GPU Days，相對于AE-CNN 取得了較大提升，但在錯誤率上沒有優(yōu)勢。多目標(biāo)NAS 算法NSGA-Net 在錯誤率和參數(shù)量上都表現(xiàn)優(yōu)秀?；谔荻瓤晌⒌腘AS 算法，如P-DARTS 和SGAS 等，均表現(xiàn)了優(yōu)異的分類準(zhǔn)確率，同時耗時很少。本文提出的算法FPNAS 在CIFAR-10 運行一次只需要0.11 個GPU Days，進(jìn)一步減少了搜索耗時，所需要的計算資源大幅減少，且錯誤率最低僅為2.30%。同時FPNAS 大幅提高了搜索的穩(wěn)定性，在完整數(shù)據(jù)集上得到10 次連續(xù)獨立結(jié)果，方差（數(shù)值）僅為0.11。

4 結(jié)束語

本文針對現(xiàn)有基于梯度可微的結(jié)構(gòu)搜索算法存在的深度鴻溝、搜索穩(wěn)定性不高等問題，提出FPNAS 算法來自動搜索CNN 結(jié)構(gòu)。通過結(jié)合漸進(jìn)式搜索和貪心選擇指標(biāo)使得搜索階段的結(jié)構(gòu)接近評估階段，提高CNN 結(jié)構(gòu)的穩(wěn)定性，彌補搜索評估深度鴻溝帶來的不利影響，同時使用漸進(jìn)式劃分?jǐn)?shù)據(jù)集方法縮短結(jié)構(gòu)搜索時間。在CIFAR-10 上的實驗結(jié)果表明，F(xiàn)PNAS 能夠在短時間內(nèi)搜索出分類錯誤率僅為2.30%的CNN 結(jié)構(gòu)。下一步將研究EA 種群的特點和優(yōu)勢，結(jié)合可微結(jié)構(gòu)搜索和種群并運用多目標(biāo)方法優(yōu)化CNN 結(jié)構(gòu)的參數(shù)量和浮點計算數(shù)，進(jìn)一步減少算法的資源消耗。