張 衛(wèi) 古林燕 劉 嘉

1(中國科學(xué)院深圳先進(jìn)技術(shù)研究院 深圳 518055)

2(中國科學(xué)院大學(xué)深圳先進(jìn)技術(shù)學(xué)院 深圳 518055)

3(深圳市 E 級(jí)工程與科學(xué)計(jì)算重點(diǎn)實(shí)驗(yàn)室 深圳 518055)

1 引 言

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)[1]憑借其豐富的表示功能極大地提高視覺任務(wù)的性能，具有廣泛的應(yīng)用，如圖像識(shí)別[1]、語義分割[2-3]和目標(biāo)檢測(cè)，并在這些領(lǐng)域取得了重大突破。為提高 CNN 的性能，現(xiàn)有研究主要集中在網(wǎng)絡(luò)的深度和寬度[4-6]。雖然增加網(wǎng)絡(luò)的深度和寬度可以使網(wǎng)絡(luò)具有強(qiáng)大的表達(dá)能力，但對(duì)于大規(guī)模數(shù)據(jù)集[7-9]來說，該操作將導(dǎo)致更長的訓(xùn)練時(shí)間并占用更多的計(jì)算資源。例如，一個(gè)醫(yī)學(xué)圖像數(shù)據(jù)通常包含幾百甚至幾千張切片，每張切片的大小為 512×512，這種 3D 圖像數(shù)據(jù)訓(xùn)練往往面臨內(nèi)存不足，訓(xùn)練時(shí)間較長的問題[10]。如何解決此類似問題在醫(yī)學(xué)圖像應(yīng)用中具有重要的意義。

對(duì)于深度學(xué)習(xí)的應(yīng)用，較大的數(shù)據(jù)集和更深層的網(wǎng)絡(luò)結(jié)構(gòu)可以提高準(zhǔn)確性，但同時(shí)需付出更長的訓(xùn)練時(shí)間。此外，諸如財(cái)務(wù)風(fēng)險(xiǎn)、自動(dòng)駕駛和醫(yī)學(xué)圖像[11]等應(yīng)用需要大量的數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)。目前，增加圖形處理器(Graphics Processing Unit，GPU)數(shù)量以實(shí)現(xiàn)數(shù)據(jù)并行性是網(wǎng)絡(luò)訓(xùn)練中最常用的方法。例如，在單個(gè) GPU 上用 ResNet 完成 ImageNet-1k 訓(xùn)練需要 14 天[11]，而將 GPU 增加到 1 024 個(gè)時(shí)，訓(xùn)練時(shí)間只需20 min。GPU 是一種昂貴的計(jì)算資源，故在實(shí)際應(yīng)用中很難獲得上百甚至上千個(gè) GPU 來訓(xùn)練 CNN。

目前網(wǎng)絡(luò)加速的方法主要是通過數(shù)據(jù)并行，即增加 GPU 的個(gè)數(shù)使得每次訓(xùn)練選取的樣本數(shù)更大。隨著網(wǎng)絡(luò)模型的加深，參數(shù)之間的相互依賴增大，需要傳輸?shù)膮?shù)量也增大，使得 GPU 之間的傳入時(shí)間和通信時(shí)間增加。當(dāng)模型參數(shù)以及計(jì)算產(chǎn)生的中間變量無法放入 GPU 設(shè)備時(shí)，數(shù)據(jù)并行會(huì)遇到訓(xùn)練困難的問題。本文從網(wǎng)絡(luò)結(jié)構(gòu)方面對(duì)加速網(wǎng)絡(luò)的訓(xùn)練進(jìn)行研究，提出了一種基于區(qū)域分解[12]的快速卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)策略。本文的主要?jiǎng)?chuàng)新點(diǎn)為：(1) 受到區(qū)域分解的啟發(fā)，將卷積神經(jīng)網(wǎng)絡(luò)拆分成多個(gè)子網(wǎng)絡(luò)，其中子網(wǎng)絡(luò)的參數(shù)比大網(wǎng)絡(luò)參數(shù)少很多，從而達(dá)到加速訓(xùn)練的目的；(2) 每個(gè)子網(wǎng)絡(luò)能夠獨(dú)立并行地訓(xùn)練相應(yīng)的子樣本數(shù)據(jù)，CNN 通過子網(wǎng)絡(luò)初始化更加注重對(duì)局部特征的學(xué)習(xí)，提高了 CNN 的分類結(jié)果。

2 卷積神經(jīng)網(wǎng)絡(luò)的分解和組合

基于區(qū)域分解的快速卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)策略研究受區(qū)域分解方法啟發(fā)。區(qū)域分解是通過迭代求解較小子域上的子問題來求解全局問題的計(jì)算方法。分解和組合網(wǎng)絡(luò)的訓(xùn)練過程為：(1)將卷積神經(jīng)網(wǎng)絡(luò)拆分成 k 個(gè)子網(wǎng)絡(luò) ；(2)將每個(gè)圖片分成 K 份子區(qū)域，其中子區(qū)域的個(gè)數(shù)和子網(wǎng)絡(luò)相同，分別用子網(wǎng)絡(luò)并行獨(dú)立地訓(xùn)練子樣本；(3)將訓(xùn)練好的子網(wǎng)絡(luò)權(quán)重參數(shù)重新組合作為大網(wǎng)絡(luò)的初始權(quán)重，然后使用原樣本數(shù)據(jù)對(duì)大網(wǎng)絡(luò)進(jìn)行微調(diào)。

2.1 損失函數(shù)

2.2 分解網(wǎng)絡(luò)

圖 1 卷積網(wǎng)絡(luò)結(jié)構(gòu)和劃分的子網(wǎng)絡(luò)圖Fig. 1 The schema of convolutional neural networks and the CNN into 4 sub-CNNs

本文通過具有 2 個(gè)卷積層、2 個(gè)池化層和 2 個(gè)全連接層的簡單 CNN 來說明區(qū)域分解的快速卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)策略，具體如圖 1 所示。其中，圖 1(a)為分解的 CNN 結(jié)構(gòu)，其輸入圖片大小為 32×32。第一個(gè)卷積層的卷積核大小為 5×5，深度為 16，步長為 1。輸入圖片經(jīng)過卷積運(yùn)算后，輸入圖片輸出的特征圖定義為 conv1，大小為 32×32×16(特征圖個(gè)數(shù)為 16)。第一個(gè)池化層的卷積核大小為 2×2，步長為 2。通過池化操作后，第一層卷積輸出的特征圖定義為 pool1，大小為 16×16×16。同樣地，第二層 conv2 的卷積特征圖為 16×16×32，pool2 的大小為 8×8×32。最后兩個(gè)全連接的節(jié)點(diǎn)數(shù)為 128 和 10(其中 10 代表 10 個(gè)分類)。

將 CNN 分解為具有相同結(jié)構(gòu)的 2n(n≥2)個(gè)子網(wǎng)絡(luò)。此例中共 4 個(gè)子網(wǎng)絡(luò)，每個(gè)子網(wǎng)絡(luò)具有與圖 1(b)相同的結(jié)構(gòu)。在子網(wǎng)絡(luò)中輸入圖片的大小為 16×16×3。第一個(gè)卷積層的卷積核大小為 5×5，深度為 4，步長為 1。通過卷積運(yùn)算后，輸入圖片輸出的特征圖定義為 conv1_sub，大小為 16×16×4(特征圖個(gè)數(shù)為 4)。第一個(gè)池化層的卷積核大小為 2×2，步長為 2。通過池化操作后，第一個(gè)池化層輸出的特征圖定義為 pool1_sub，大小為 8×8×4。同理，第二層卷積特征圖 conv2 為 8×8×8，pool2 的大小為 4×4×8。最后兩個(gè)全連接的節(jié)點(diǎn)數(shù)為 32 和 10。

2.3 組合網(wǎng)絡(luò)

3 實(shí)驗(yàn)結(jié)果

圖像分類是計(jì)算機(jī)視覺領(lǐng)域研究的重要部分，其目的是使用計(jì)算機(jī)代替人類去識(shí)別處理各種圖像信息。圖像分類的過程分為圖像的預(yù)處理、特征提取及網(wǎng)絡(luò)模型的選擇。其中，特征提取及網(wǎng)絡(luò)模型選擇對(duì)圖像分類的結(jié)果具有很大的影響。對(duì)于基于區(qū)域分解的快速卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)策略的實(shí)驗(yàn)，采用 CIFAR-10/CIFAR-100 和 Food-101 等公開數(shù)據(jù)集進(jìn)行分類實(shí)驗(yàn)驗(yàn)證。

圖 2 卷積神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)的初始化權(quán)重Fig. 2 Initial weights for CNN transfer learning

3.1 不同深度 ResNet 分解

為了評(píng)估分解和組合學(xué)習(xí)策略的有效性，本文使用公開數(shù)據(jù)集 CIFAR-10 進(jìn)行實(shí)驗(yàn)。其中，CIFAR-10 數(shù)據(jù)集中所有圖片大小均為 32×32，共 10 類，每類中包含 50 000 張訓(xùn)練集和 10 000 張測(cè)試集[4]。具體數(shù)據(jù)集如圖 3 所示。

圖 3 10 分類數(shù)據(jù)集Fig. 3 CIFAR-10 dataset

本文網(wǎng)絡(luò)結(jié)構(gòu)選擇的是 ResNet[4]，其中 ResNet 結(jié)構(gòu)是圖像分類任務(wù)中最常用的網(wǎng)絡(luò)。訓(xùn)練圖像的大小為 32×32，第一個(gè)層是 3×3 的卷積。然后，網(wǎng)絡(luò)分別在大小為{32,16,8}的特征圖上使用具有 3×3 卷積的 6n 層堆棧，每個(gè)特征圖尺寸為 2n 層。卷積核的數(shù)量分別為{64,128,256}。二次下采樣通過步長為 2 的卷積核執(zhí)行操作。網(wǎng)絡(luò)采用全局平均池化操作，共 6n＋2 個(gè)堆疊的加權(quán)層[1]。本文對(duì)比了 n=5, 9, 8 的實(shí)驗(yàn)結(jié)果，即 ResNet32、ResNet56 和 ResNet110。在實(shí)驗(yàn)過程中，將圖像分解為 4 個(gè)具有重疊的子圖像[13-14]，其中子圖像的大小為 20×20。因此，對(duì)于子網(wǎng)絡(luò)，特征圖的大小分別為{20,10,5}，卷積核的數(shù)量分別為{16,32,64}。需要說明的是，所有子網(wǎng)絡(luò)都是從頭開始進(jìn)行訓(xùn)練的。網(wǎng)絡(luò)使用訓(xùn)練集訓(xùn)練后，在測(cè)試集上測(cè)試 top-1 和 top-5 準(zhǔn)確率。此外，本文還使用 CIFAR-100 數(shù)據(jù)集對(duì)分解和組合的遷移學(xué)習(xí)策略進(jìn)行實(shí)驗(yàn)驗(yàn)證。該數(shù)據(jù)集包含 100 個(gè)類別的50 000 張訓(xùn)練圖像和 10 000 張測(cè)試圖像。數(shù)據(jù)集圖像是大小為 32×32 的 RGB 圖像。實(shí)驗(yàn)結(jié)果顯示，與 CNN 的隨機(jī)初始化相比，分解和組合遷移學(xué)習(xí)策略的準(zhǔn)確性有一定程度的提升。

本文中，每個(gè)子網(wǎng)絡(luò)和大網(wǎng)絡(luò)都使用相同的優(yōu)化方案進(jìn)行訓(xùn)練。本文采用圖像增強(qiáng)的標(biāo)準(zhǔn)做法，通過執(zhí)行隨機(jī)水平翻轉(zhuǎn)來執(zhí)行數(shù)據(jù)增強(qiáng)。所有網(wǎng)絡(luò)模型都在深度學(xué)習(xí)服務(wù)器上進(jìn)行訓(xùn)練，該服務(wù)器可以同時(shí)訓(xùn)練多個(gè)網(wǎng)絡(luò)模型。網(wǎng)絡(luò)優(yōu)化器使用 Adam[15]進(jìn)行優(yōu)化，批量訓(xùn)練圖像的大小為 128。對(duì)于隨機(jī)初始化，初始學(xué)習(xí)率設(shè)置為 0.001，網(wǎng)絡(luò)訓(xùn)練到 80、120 和 160 個(gè) Epoch 時(shí)，學(xué)習(xí)率減少 10 倍。對(duì)于分解和組合遷移學(xué)習(xí)方法，子網(wǎng)絡(luò)訓(xùn)練 120 個(gè) Epoch， 初始學(xué)習(xí)率為 0.001；網(wǎng)絡(luò)訓(xùn)練 80、90 個(gè) Epoch 時(shí)，學(xué)習(xí)率減少 10 倍。大網(wǎng)絡(luò)訓(xùn)練 80 個(gè) Epoch，網(wǎng)絡(luò)初始學(xué)習(xí)率為 0.000 1，網(wǎng)絡(luò)訓(xùn)練到 20、40 和 60 個(gè) Epoch，學(xué)習(xí)率減少 10 倍。

首先將分解和組合的學(xué)習(xí)策略使用 ResNet32、ResNet56、ResNet110 等網(wǎng)絡(luò)，并采用 CIFAR-10 和 CIFAR-100 數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試。對(duì)于訓(xùn)練時(shí)間方面，從表 1 可以看出分解和組合的學(xué)習(xí)策略在 3 個(gè) ResNet 網(wǎng)絡(luò)的訓(xùn)練時(shí)間分別是 5.65 h、9.61 h 和 18.78 h，相對(duì)于隨機(jī)初始化學(xué)習(xí)時(shí)間加速比是 1.51、1.45 和 1.42。這表明分解和組合的學(xué)習(xí)策略能夠加快網(wǎng)絡(luò)的訓(xùn)練時(shí)間，同時(shí)還在一定程度上提高網(wǎng)絡(luò)的分類結(jié)果。由于 CIFAR-100 數(shù)據(jù)集的大小和 CIFAR-10 是一樣的，故未在表中記錄 CIFAR-100 的時(shí)間。在 2017 年 ILSVRC 比賽中，SENet 以 top-5 錯(cuò)誤率 2.25% 奪得冠軍[16]，相比于 2015 年的冠軍 ResNet(3.57%)提高了 1.32%[4]。這表明在一些公開數(shù)據(jù)集的分類中，分類的錯(cuò)誤率(或準(zhǔn)確率)達(dá)到一定程度時(shí)，繼續(xù)提高具有一定的挑戰(zhàn)。從表 2 可知，遷移學(xué)習(xí)在 ResNet56 的性能提升效果最佳，其中在 CIFAR-10 數(shù)據(jù)集上相較于隨機(jī)初始化提升了 1.25%，在 CIFAR-100 數(shù)據(jù)集上，ResNet32 提升了 4.23%。另外，遷移學(xué)習(xí)的方法在 ResNet32 相較于 2015 年 ResNet32 文章中的結(jié)果[4]提升了 1.6%。

表 1 10 分類數(shù)據(jù)集訓(xùn)練時(shí)間Table 1 Training time of 10 classification data sets

表 2 10 分類和 100 分類數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Table 2 CIFAR-10 and CIFAR-100 datasets classification experimental results

為了進(jìn)一步分析分解和組合的學(xué)習(xí)策略對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型優(yōu)化的影響，將 CIFAR-10 數(shù)據(jù)集在 ResNet32 網(wǎng)絡(luò)的測(cè)試結(jié)果曲線進(jìn)行整理展示(圖 4)。從圖 4 可以看出，遷移學(xué)習(xí)方法一開始的準(zhǔn)確率比隨機(jī)初始化的結(jié)果要大很多，遷移學(xué)習(xí)方法訓(xùn)練 10 多個(gè) Epoch 時(shí)，網(wǎng)絡(luò)已收斂，而隨機(jī)初始化網(wǎng)絡(luò)需要訓(xùn)練 80 多個(gè) Epoch 才達(dá)到收斂。

圖 4 10 分類數(shù)據(jù)集結(jié)果Fig. 4 Results of the dataset CIFAR-10

分解和組合的學(xué)習(xí)策略相較于隨機(jī)初始化訓(xùn)練方法在準(zhǔn)確率方面有一定的提升。為了研究準(zhǔn)確率提升的原因，本文將第一層卷積的特征圖進(jìn)行可視化處理(圖 5)。從圖 5 可以看出，子網(wǎng)絡(luò)提取的特征能很好地被 CNN 學(xué)習(xí)到。通過實(shí)驗(yàn)驗(yàn)證分析，子網(wǎng)絡(luò)訓(xùn)練的子樣本的感受野較小，卷積操作過程中能夠注意一些細(xì)節(jié)的特征，而這些細(xì)節(jié)特征是 CNN 所忽略的。通過子網(wǎng)絡(luò)訓(xùn)練提取的特征，該細(xì)節(jié)特征通過遷移學(xué)習(xí)方法被 CNN 所學(xué)習(xí)，從而提高了網(wǎng)絡(luò)的分類準(zhǔn)確率。

3.2 相同深度 ResNet 分解

基于區(qū)域分解的快速卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)策略的一個(gè)關(guān)鍵步驟是如何劃分子網(wǎng)絡(luò)個(gè)數(shù)。若網(wǎng)絡(luò)劃分的個(gè)數(shù)較多，則導(dǎo)致子網(wǎng)絡(luò)結(jié)構(gòu)比較簡單，無法處理復(fù)雜數(shù)據(jù)分類任務(wù)。若網(wǎng)絡(luò)劃分個(gè)數(shù)太少，則網(wǎng)絡(luò)結(jié)構(gòu)太大，不僅需要占用內(nèi)存資源，而且需要耗費(fèi)大量的時(shí)間去訓(xùn)練。因此，子網(wǎng)絡(luò)的劃分對(duì)于區(qū)域分解的快速卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)策略十分重要。

本小節(jié)實(shí)驗(yàn)數(shù)據(jù)采用 Food-101 數(shù)據(jù)集進(jìn)行。該數(shù)據(jù)集包含 101 個(gè)類別中的 90 900 張訓(xùn)練圖像和 10 100 張測(cè)試圖像[17-19]。與其他分類任務(wù)相比，該分類任務(wù)具有一定挑戰(zhàn)性。這是由于每個(gè)圖片都包含多個(gè)目標(biāo)，并且不同類別之間存在相似之處，這會(huì)對(duì)目標(biāo)的分類造成一定的干擾。對(duì)于數(shù)據(jù)預(yù)處理，采用標(biāo)準(zhǔn)做法——將圖像尺寸大小重置為 224×224，并對(duì)數(shù)據(jù)集進(jìn)行增強(qiáng)，如對(duì)圖像進(jìn)行隨機(jī)水平翻轉(zhuǎn)。

圖 5 四個(gè)子網(wǎng)絡(luò)第一層的特征圖和遷移學(xué)習(xí)策略網(wǎng)絡(luò)第一層的特征圖Fig. 5 The feature map of the first layer of the 4 sub-networks and the feature map of the first layer of the transfer learning strategy network

基于區(qū)域分解的快速卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)策略，在子網(wǎng)絡(luò)的表達(dá)能力與子網(wǎng)絡(luò)的并行訓(xùn)練效率之間需要衡量。具體地，隨著網(wǎng)絡(luò)分解次數(shù)的增加，子網(wǎng)絡(luò)訓(xùn)練的并行效率提高，但由于網(wǎng)絡(luò)規(guī)模減少，子網(wǎng)絡(luò)表達(dá)能力可能不足，這就導(dǎo)致子網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)得不好，無法很好地提取子樣本的樣本特征，從而影響 CNN 結(jié)果。在本節(jié)中，使用分解和組合的學(xué)習(xí)策略將 CNN 分解為不同數(shù)量的子網(wǎng)絡(luò)，并進(jìn)行實(shí)驗(yàn)對(duì)比。其中，CNN 使用的是 ResNet50[4]，且每個(gè)子網(wǎng)絡(luò)都是從頭開始訓(xùn)練的，而不是由預(yù)先訓(xùn)練好的 ResNet 進(jìn)行訓(xùn)練。實(shí)驗(yàn)中，將 CNN 劃分為 4 個(gè)子網(wǎng)絡(luò)和 8 個(gè)子網(wǎng)絡(luò)，并分別訓(xùn)練相應(yīng)的子樣本，其網(wǎng)絡(luò)架構(gòu)如圖 6 所示。

圖 6 卷積神經(jīng)網(wǎng)絡(luò)和子網(wǎng)絡(luò)的結(jié)構(gòu)Fig. 6 Structure of CNN and sub-network

表 3 101 類食物實(shí)驗(yàn)結(jié)果Table 3 Experimental results of Food-101

在不同分塊的實(shí)驗(yàn)中，網(wǎng)絡(luò)劃分為 4 個(gè)子網(wǎng)絡(luò)和 8 個(gè)子網(wǎng)絡(luò)，分別使用 ResNet50 和ResNet101[4]對(duì) Food-101 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。從表 3 可以看出，8 個(gè)子網(wǎng)絡(luò)的結(jié)果優(yōu)于 4 個(gè)子網(wǎng)絡(luò)的結(jié)果。從表 4 可知，在訓(xùn)練時(shí)間方面，4 個(gè)子網(wǎng)絡(luò)和 8 個(gè)子網(wǎng)絡(luò)花費(fèi)的訓(xùn)練時(shí)間都比隨機(jī)初始化的少，相較于隨機(jī)初始化時(shí)間加速比在 ResNet50 中是 1.61、1.64。同樣地，在 ResNet101 中，時(shí)間加速比為 1.57、1.58。 在準(zhǔn)確率方面，分解和組合學(xué)習(xí)策略相較于隨機(jī)初始化方法在 ResNet50 準(zhǔn)確率提升了 2.51%，而在 ResNet101 提升了 2.16%。從圖 7 可以看出，4 個(gè)子網(wǎng)絡(luò)遷移學(xué)習(xí)初始的準(zhǔn)確率比 8 個(gè)子網(wǎng)絡(luò)的好，但隨著網(wǎng)絡(luò)的訓(xùn)練，8 個(gè)子網(wǎng)絡(luò)的最終結(jié)果比 4 個(gè)子網(wǎng)絡(luò)的結(jié)果要好。兩個(gè)遷移學(xué)習(xí)的初始化結(jié)果都比隨機(jī)初始化要好，這說明遷移學(xué)習(xí)給網(wǎng)絡(luò)提供了一個(gè)較好的初始訓(xùn)練點(diǎn)，對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)后的結(jié)果相較于隨機(jī)初始化有一定的提升。這表明基于區(qū)域分解的快速卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)策略能夠加快網(wǎng)絡(luò)的訓(xùn)練，同時(shí)還能提高網(wǎng)絡(luò)的性能。

表 4 101 分類數(shù)據(jù)集訓(xùn)練時(shí)間Table 4 Training time of Food-101 data sets

圖 7 101 類食物分類測(cè)試結(jié)果Fig. 7 Results of the dataset Food-101

4 討論與分析

圖像分類是計(jì)算機(jī)視覺領(lǐng)域中重要的研究方向，而卷積神經(jīng)網(wǎng)絡(luò)是處理圖像分類任務(wù)最常用的方法。隨著圖像數(shù)據(jù)規(guī)模的增大，訓(xùn)練 CNN 需要耗費(fèi)的時(shí)間過長和占用大量的計(jì)算資源。網(wǎng)絡(luò)加速訓(xùn)練最常見的方法是數(shù)據(jù)并行，即增加 GPU 個(gè)數(shù)。Goyal 等[20]等使用 8 塊 Tesla P100 GPUs 訓(xùn)練 ResNet50 需要 29 h，即使 GPU 增加到 256 塊時(shí)，也需要 1 h。與前述方法相比，本文從網(wǎng)絡(luò)模型方面來加速網(wǎng)絡(luò)的訓(xùn)練，提出一種基于區(qū)域分解的快速卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)策略，也是一種遷移學(xué)習(xí)的方法。該方法先將一個(gè)大網(wǎng)絡(luò)拆分成多個(gè)子網(wǎng)絡(luò)并行訓(xùn)練，然后將子網(wǎng)絡(luò)訓(xùn)練好的參數(shù)組合作為大網(wǎng)絡(luò)的初始權(quán)重，并對(duì)大網(wǎng)絡(luò)進(jìn)行微調(diào)。在網(wǎng)絡(luò)訓(xùn)練時(shí)間方面，ResNet32、ResNet56、ResNet110 在 CIFAR-10 數(shù)據(jù)集中使用分解和組合遷移學(xué)習(xí)方法的時(shí)間分別 5.65 h、9.61 h、18.78 h，相較于隨機(jī)初始化的 8.53 h、13.98 h、26.74 h 訓(xùn)練時(shí)間有了一定的減少。其中在 ResNet110 訓(xùn)練時(shí)間減少得最多，達(dá)到了 7.96 h。在分類準(zhǔn)確率方面，He 等[4]等使用 ResNet32、ResNet56、ResNet110 對(duì) CIFAR-10 數(shù)據(jù)分類的準(zhǔn)確率分別為 92.49%、93.03%、93.57%，而本文使用分解和組合卷積神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)方法的結(jié)果是 92.86%、94.34%、94.14%，相較于 He 等[4]方法的準(zhǔn)確率有一定的提高。其中，訓(xùn)練時(shí)間減少的原因是，分解和組合的學(xué)習(xí)策略中子網(wǎng)絡(luò)的參數(shù)較少，子網(wǎng)絡(luò)的參數(shù)組合作為大網(wǎng)絡(luò)的初始權(quán)重，這樣使用大網(wǎng)絡(luò)訓(xùn)練很少的輪數(shù)就可以達(dá)到理想的結(jié)果。分類結(jié)果提升的原因是，通過將 CNN 劃分成子網(wǎng)絡(luò)，其中子網(wǎng)絡(luò)更加關(guān)注圖片的局部特征，隨后通過子網(wǎng)絡(luò)訓(xùn)練參數(shù)的組合作為 CNN 的初始權(quán)重，這使得 CNN 進(jìn)行微調(diào)時(shí)更加注重局部特征的學(xué)習(xí)，從而提高 CNN 的分類結(jié)果。本文分解和組合學(xué)習(xí)策略也還存在一些不足之處：(1)子網(wǎng)絡(luò)需劃分多少合適。若子網(wǎng)絡(luò)劃分過多，則子網(wǎng)絡(luò)的學(xué)習(xí)較差，這會(huì)影響最終 CNN 的訓(xùn)練。(2)圖片數(shù)據(jù)的劃分策略，每個(gè)子網(wǎng)絡(luò)要訓(xùn)練相應(yīng)的子圖片，若子圖片包含的信息較少，則會(huì)影響子網(wǎng)絡(luò)的訓(xùn)練結(jié)果。(3)對(duì) 2 個(gè)網(wǎng)絡(luò)時(shí)間還需要進(jìn)一步的研究。對(duì)于以上問題，未來將對(duì)子網(wǎng)絡(luò)的劃分和圖片的劃分做進(jìn)一步的研究，并完善基于區(qū)域分解的快速卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)策略不足之處。

5 結(jié) 論

本文提出一種基于區(qū)域分解的快速卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)策略，旨在有限計(jì)算資源條件下使用 CNN 完成大規(guī)模數(shù)據(jù)的訓(xùn)練并加快 CNN 的訓(xùn)練。在 CIFAR-10、CIFAR-100、Food-101 上的實(shí)驗(yàn)結(jié)果顯示，基于區(qū)域分解的快速卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)策略比隨機(jī)初始化的方法收斂得更快、分類結(jié)果更好。由此可知，卷積神經(jīng)網(wǎng)絡(luò)分解和組合的學(xué)習(xí)策略在圖像分類任務(wù)中是有效的。在未來工作中，將對(duì)基于區(qū)域分解的快速卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)策略進(jìn)行完善和改進(jìn)，并嘗試應(yīng)用于圖像分割和目標(biāo)檢測(cè)等任務(wù)。