摘" 要：該項目在卷積神經(jīng)網(wǎng)絡(luò)（CNN）中引入神經(jīng)反饋機(jī)制和工作記憶機(jī)制，提出層內(nèi)深度反饋卷積神經(jīng)網(wǎng)絡(luò)模型（IDFNet）。該網(wǎng)絡(luò)以神經(jīng)反饋機(jī)制構(gòu)建深度反饋計算模塊（DFS），并在模塊中引入了工作記憶（WM），通過深度變化控制WM空間內(nèi)容的更新，從而增強(qiáng)了信息獲取能力。最后，利用DFS替代CNN的卷積層構(gòu)建IDFNet網(wǎng)絡(luò)。通過在Flower102和CIFAR-10、CIFAR-100數(shù)據(jù)集上的實驗表明，相較于同類網(wǎng)絡(luò)，在更少參數(shù)量和計算量的情況下，IDFNet仍取得顯著的性能提升，其識別率分別達(dá)到了96.61%和95.87%、79.99%。

關(guān)鍵詞：反饋機(jī)制；工作記憶；循環(huán)計算；圖像分類

中圖分類號TP391.4" 文獻(xiàn)標(biāo)識碼：A" " " " 文章編號：2096-4706（2024）10-0001-06

Image Classification Network Model of Simulated Neural Feedback Mechanism

and Working Memory

TONG Shunyan， LIU Haihua

（School of Biomedical Engineering， South-Central Minzu University， Wuhan" 430074， China）

Abstract： This project introduces neural feedback and working memory mechanisms into Convolutional Neural Networks （CNN） and proposes an Intra-Layer Deep Feedback Convolutional Neural Network Model （IDFNet）. The network constructs a Deep Feedback Structure （DFS） using neural feedback mechanisms， and introduces a Working Memory （WM） within this module. It controls the update of WM spatial content by depth variations， so as to enhance information retrieval capabilities. Finally， the IDFNet network is built by replacing CNN's convolutional layers with DFS. Experimental results on the Flower102， CIFAR-10， and CIFAR-100 datasets demonstrate that IDFNet achieves significant performance improvements compared to similar networks， with higher recognition rates of 96.61%， 95.87%， and 79.99%， respectively， while requiring fewer parameters and computations.

Keywords： feedback mechanism; working memory; loop computation; image classification

0" 引" 言

神經(jīng)網(wǎng)絡(luò)模型經(jīng)過幾十年不懈研究，取得了顯著的突破和進(jìn)步。從最初的感知器模型到今天的深度神經(jīng)網(wǎng)絡(luò)模型，且在語音識別、圖像識別、自然語言處理等多應(yīng)用領(lǐng)域持續(xù)演進(jìn)。在神經(jīng)網(wǎng)絡(luò)的發(fā)展中，模型的規(guī)模和復(fù)雜性在不斷增加，出現(xiàn)了AlexNet 11 [1]、VGGNet [2]、Googlenet [3]、ResNet [4]、DenseNet [5]、SENet [6]等模型及其變體。然而，在面對多樣性和復(fù)雜性的圖像數(shù)據(jù)時，更深和更寬的網(wǎng)絡(luò)模型發(fā)展面臨瓶頸。為此，人工神經(jīng)網(wǎng)絡(luò)模型需要引入生物神經(jīng)網(wǎng)絡(luò)的一些屬性，以提升模型的能力。

在人腦神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元間除存在前饋連接，還有反饋側(cè)連接。神經(jīng)生物學(xué)研究表明，反饋連接的數(shù)量是前饋連接的幾倍[7]。而反饋機(jī)制使神經(jīng)系統(tǒng)能處理時間序列數(shù)據(jù)?；诖?，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）[8]被開發(fā)，并廣泛應(yīng)用于文本、音頻和視頻等數(shù)據(jù)的模式識別。此外，工作記憶（Working Memory， WM）是神經(jīng)系統(tǒng)的重要功能[9]。WM不僅能實現(xiàn)信息的存儲，還能對信息進(jìn)行處理、轉(zhuǎn)換和整合。研究發(fā)現(xiàn)WM的空間是有限的[10]，其引入神經(jīng)網(wǎng)絡(luò)模型可以有效地控制模型的規(guī)模和復(fù)雜性。

綜合上述分析，本文將神經(jīng)反饋機(jī)制和工作記憶機(jī)制與卷積神經(jīng)網(wǎng)絡(luò)（CNN）相融合，提出了層內(nèi)深度反饋卷積神經(jīng)網(wǎng)絡(luò)模型（Intra-Layer Deep Feedback Convolutional Neural Network Model， IDFNet），以有效完成圖像模式識別任務(wù)。與傳統(tǒng)的CNN不同，深度反饋結(jié)構(gòu)的每層進(jìn)行循環(huán)計算，同時更新工作記憶區(qū)域的信息，并將工作記憶中的信息融合作進(jìn)行復(fù)用，以獲取更有效的特征信息，提高模型的識別性能。

1" 相關(guān)工作

近年來，應(yīng)用于圖像識別的前向深度神經(jīng)網(wǎng)絡(luò)模型主要是通過增加模型的深度或?qū)挾龋栽鰪?qiáng)網(wǎng)絡(luò)擬合能力，提升模型的性能。在這些模型的基礎(chǔ)上，Dropout [11]、殘差連接[7]、最小批量歸一化[12]、密集連接[8]、注意力機(jī)制[6，13]等技術(shù)被采用，進(jìn)一步加強(qiáng)了網(wǎng)絡(luò)模型內(nèi)部信息的融合，從而顯著提升模型的性能。

反饋神經(jīng)網(wǎng)絡(luò)模型也應(yīng)用于模式識別，但主要應(yīng)用于序列數(shù)據(jù)，其典型的模型為循環(huán)神經(jīng)網(wǎng)絡(luò)模型（RNN）。然而，該模型在處理長時依賴性數(shù)據(jù)時會導(dǎo)致梯度消失或梯度爆炸問題。為此，學(xué)者提出了多種改進(jìn)的RNN模型，如長短期記憶網(wǎng)絡(luò)（LSTM）[14]和門控循環(huán)單元（GRU）[15]。這些模型主要是通過門控的方式對信息進(jìn)行判斷和篩選，在避免梯度消失和爆炸問題的基礎(chǔ)上，有效捕獲長序列的關(guān)鍵信息。但是，這些模型只是處理序列數(shù)據(jù)，而不能處理圖像數(shù)據(jù)。

處理圖像數(shù)據(jù)，運用反饋機(jī)制的神經(jīng)中心環(huán)繞相互作用，可以不斷篩選和加工視覺信息[16]。最典型的是Cao等人提出的Feedback模型[17]，該模型由脈沖神經(jīng)元激活變量z ∈ {0，1}與每個ReLU層組合構(gòu)成反饋層，以自下而上和自上而下的方式主動調(diào)節(jié)神經(jīng)元的響應(yīng)。而Wen等人使得相鄰層在前饋過程中能夠進(jìn)行局部且循環(huán)的交互，提出了PCN模型[18]。另外，Yu等人在遞歸卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入了自注意力機(jī)制，提出了自注意力循環(huán)卷積神經(jīng)網(wǎng)絡(luò)（A-RCNN）[19]，以完成圖像分類任務(wù)。

工作記憶機(jī)制在殘差連接和密集連接的神經(jīng)網(wǎng)絡(luò)中有所體現(xiàn)，基于網(wǎng)絡(luò)的深度[20]和寬度[21]的考量，衍生出了不同的殘差（ResNet）和密集網(wǎng)絡(luò)（DenseNet）模型的變體。例如，Sergey等人通過增加ResNet每層網(wǎng)絡(luò)的寬度，而減少網(wǎng)絡(luò)深度提出WRN [22]網(wǎng)絡(luò)；而Han等人根據(jù)深度的增加逐漸調(diào)整寬度，提出金字塔殘差網(wǎng)絡(luò)（PyramidNet）[23]；Gao等人提出多尺度的殘差網(wǎng)絡(luò)Res2Net [24]。同樣地，Huang等人提出了多尺度密集網(wǎng)絡(luò)（MSDnet）[25]，該網(wǎng)絡(luò)自適應(yīng)地處理多尺度輸入數(shù)據(jù)；隨后，CondenseNet [26]和CondenseNetv2 [27]網(wǎng)絡(luò)對密集結(jié)構(gòu)進(jìn)一步改進(jìn)，從而提升其性能。盡管這些改進(jìn)是有益的，但仍未解決殘差和密集網(wǎng)絡(luò)存在的一些固有問題[5，28]。

2" 層內(nèi)深度反饋卷積神經(jīng)網(wǎng)絡(luò)

2.1" 深度反饋結(jié)構(gòu)

RNN的循環(huán)結(jié)構(gòu)賦予其記憶和時間依賴性的特質(zhì)。然而，RNN也受梯度消失和爆炸問題困擾，難以捕捉長期依賴性。在處理圖像數(shù)據(jù)時，RNN也遇到困境，因為圖像特征在空間上呈局部性。因此，本文的構(gòu)想是將RNN的循環(huán)思想嵌入卷積神經(jīng)網(wǎng)絡(luò)中，運用循環(huán)計算創(chuàng)造感知信息ht，模擬視覺認(rèn)知對物體的感知。另外，記憶是神經(jīng)系統(tǒng)寶貴的能力，但不可能無限制長久保留。本文引入一個長度有限的工作記憶空間用來存儲感知序（ht-1，ht-2，…，ht-l）列，以FIFO（先進(jìn)先出）方式更新其中信息。通過重新利用感知信息ht，網(wǎng)絡(luò)能夠捕獲長距離依賴，從而有效地提取信息。由此，本文提出深度反饋結(jié)構(gòu)（Deep Feedback Structure， DFS）融合了反饋機(jī)制和工作記憶。該結(jié)構(gòu)狀態(tài)和輸出變量定義如下：

其中l(wèi)為反饋深度，L≥l是總的時間步長，稱為模型深度。本文將工作記憶中的感知信息用求和的方式加以復(fù)用，并在下一次循環(huán)計算時參與信息的傳遞，用以提取特征中變化緩慢的量，同時也可以緩解梯度消失和梯度爆炸的問題。此外，為了突出每次的感知信息，對感知信息乘以加權(quán)系數(shù)ai，ai源于神經(jīng)元的響應(yīng)信息ht-i，因此將其定義如下：

ai = σ （ht-i）" " " " " " " " " " " " " " "（3）

其中σ使用Sigmoid激活函數(shù)，使得0＜ai＜1，以凸顯感知信息ht-i中的感興趣區(qū)域。

循環(huán)計算和工作記憶空間如圖1所示。在循環(huán)計算時將WMt與Xt融合后經(jīng)過卷積得到輸出ht。ht按照FIFO的方式更新WM Space中的內(nèi)容，WM Space中的信息融合產(chǎn)生WMt+1作為下一次循環(huán)計算的輸入。

2.2" 網(wǎng)絡(luò)結(jié)構(gòu)

在IDFNet網(wǎng)絡(luò)中，網(wǎng)絡(luò)主要由連續(xù)的DFS模塊構(gòu)成。DFS模塊在實現(xiàn)上由3個層構(gòu)成：輸入層、循環(huán)計算層和輸出層。其中，輸入和輸出層分別由1個卷積模塊（Conv-BN-ReLU）組成，而循環(huán)計算層則由一個殘差塊組成，如圖2所示。循環(huán)計算主要通過反饋深度l和模型深度L兩個重要參數(shù)來控制，將x經(jīng)過輸入層的輸出記為h-1，對WM Space初始化為（h-1，h-1，…，h-1），長度為l。在模型深度L次內(nèi)，每次循環(huán)計算會產(chǎn)生1個感知信息ht，用ht更新WM Space產(chǎn)生新的感知序列（ht，ht-1，…，ht-l）。當(dāng)L = 1時，感知序列為（h0，h-1，…，h-1），L = l時，感知序列為（ht-1，ht-2，…，ht-l）。將新的感知序列信息融合作為下一次循環(huán)計算的輸入，循環(huán)往復(fù)，直到完成L次計算，得到hL，將其經(jīng)過輸出層，得到深度反饋結(jié)構(gòu)的輸出y。

每2個DFS模塊之間，使用最大池化對特征圖進(jìn)行下采樣。在網(wǎng)絡(luò)最后，使用全局平均池化層和Softmax組成分類層，用于最終的分類。

對于CIFAR-10和CIFAR-100數(shù)據(jù)集，考慮到圖像輸入只有32×32的大小，本文搭建由3個DFS模塊組成的網(wǎng)絡(luò)（IDFNet for CIFAR）用于該數(shù)據(jù)集分類。在進(jìn)入第1個DFS模塊之前，經(jīng)過1個卷積核為3×3、通道數(shù)為32的卷積層，網(wǎng)絡(luò)使用最大池化進(jìn)行下采樣。這3個DFS模塊的輸出通道分別是32，64，128；輸出特征圖的大小分別為32，16，8。

對于輸入圖像大小為224×224的數(shù)據(jù)集，本文使用4個DFS模塊搭建網(wǎng)絡(luò)。在進(jìn)入第1個DFS模塊之前，經(jīng)過1個卷積核為7×7，步距為1的卷積層，使用最大池化進(jìn)行下采樣，在最后1個DFS模塊之后，使用全局平均池化層和Softmax進(jìn)行分類。本文基于不同的網(wǎng)絡(luò)寬度搭建了3個網(wǎng)絡(luò)結(jié)構(gòu)：IDFNet-l、IDFNet-m和IDFNet-s，每個結(jié)構(gòu)中最后DFS模塊的輸出通道數(shù)分別為1 024，512和256，詳細(xì)的網(wǎng)絡(luò)細(xì)節(jié)和參數(shù)如表1所示。表中[l，L]表示該DFS模塊中反饋深度和模型深度的取值。

3" 實驗結(jié)果與分析

本文建議的網(wǎng)絡(luò)模型在不同的數(shù)據(jù)集上進(jìn)行驗證評估，并與其他同類型的網(wǎng)絡(luò)進(jìn)行比較。驗證的實驗條件為：Intel（R）Xeon（R）Gold 5118 CPU @

2.30 GHz，Tesla V100-SXM2 GPU服務(wù)器；軟件為Python 3.8.0，PyTorch 1.10.1框架。

3.1" 數(shù)據(jù)集

CIFAR數(shù)據(jù)集涵蓋了CIFAR-10和CIFAR-100兩個子集[29]，圖像尺寸為32×32像素的彩色圖像。CIFAR-10包含10個不同類別的圖像，而CIFAR-100則擁有100個類別。訓(xùn)練集和測試集分別含有50 000張和10 000張圖像。從訓(xùn)練集中提取5 000張作為驗證集，以測試集的結(jié)果為最終報告。類似于其他文獻(xiàn)對數(shù)據(jù)進(jìn)行預(yù)處理[4-6，26，30]，并運用各通道均值和標(biāo)準(zhǔn)差進(jìn)行數(shù)據(jù)歸一化處理。

Flower102數(shù)據(jù)集包含102類花卉圖像[31]，每類圖像約有40至258張，共計8 189張。由于花卉之間的相似性，數(shù)據(jù)集在分類任務(wù)中存在一定難度。將數(shù)據(jù)集按8：1：1的比例劃分為訓(xùn)練集、驗證集和測試集。

對CIFAR數(shù)據(jù)集進(jìn)行訓(xùn)練時，采用SGD優(yōu)化器，將初始學(xué)習(xí)率設(shè)定為0.1，總共進(jìn)行300次迭代。同時，在迭代次數(shù)達(dá)到50%和75%時，對學(xué)習(xí)率進(jìn)行10倍的衰減。而在訓(xùn)練Flower102數(shù)據(jù)集時，采用Adam優(yōu)化器，將初始學(xué)習(xí)率設(shè)置為0.000 1，總共進(jìn)行500次迭代。同樣，在迭代次數(shù)達(dá)到50%和75%時，對學(xué)習(xí)率進(jìn)行10倍的衰減。此外，還對權(quán)重進(jìn)行了初始化[31]，設(shè)定權(quán)重衰減率為10-4。在全連接層之前，添加Dropout層，設(shè)置丟棄率為0.2，以增強(qiáng)模型的魯棒性。

3.2" 實驗結(jié)果

在神經(jīng)網(wǎng)絡(luò)中，淺層（shallow layers）主要關(guān)注圖像的低級特征，深層（deep layers）主要聚焦于圖像的抽象和語義特征。為了探究反饋深度l和模型深度L的關(guān)系，以及選取的范圍，實驗時分別對淺層和深層的DFS模塊的反饋深度l和模型深度L進(jìn)行調(diào)整，以分類錯誤率作為評價指標(biāo)。為確保驗證的準(zhǔn)確性，實驗時逐層調(diào)整反饋深度和模型深度。由于l和L具有多種組合方式，且每層的模型深度可以不同，導(dǎo)致組合數(shù)增加?；谏窠?jīng)網(wǎng)絡(luò)特性和計算量的考慮，列出部分不同反饋深度和模型深度組合下的分類結(jié)果，如表2和表3所示。模型深度的選擇遵循l≤L，并且深層模型深度Ld≤淺層模型深度Ls。在表2和表3的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置中，利用lL表示每個DFS的設(shè)置，所有DFS的設(shè)置構(gòu)成了數(shù)字串。如表2中的結(jié)構(gòu)數(shù)字串362412，開始的36表示第一個DFS模塊反饋深度l和模型深度L；而最后的12表示最后DFS模塊的反饋深度反饋深度l和模型深度L。

表2給出了不同反饋深度和模型深度的實驗結(jié)果，其中前6行的實驗結(jié)果主要是探索淺層（第1個DFS）反饋深度和模型深度的關(guān)系。從實驗結(jié)果中可以看出，模型深度等于反饋深度的2倍時性能與計算量達(dá)到平衡，繼續(xù)增加模型深度時，網(wǎng)絡(luò)的計算量會增加，而性能則趨于飽和。表2中第4、7和8行探索逐層使用DFS結(jié)構(gòu)對模型性能的影響，由實驗數(shù)據(jù)可知每層使用DFS結(jié)構(gòu)都對模型性能有所改善。

同樣地，表3給出了IDFNet-m網(wǎng)絡(luò)結(jié)構(gòu)在Flower-102數(shù)據(jù)集上驗證淺層與深層不同反饋深度和模型深度的實驗結(jié)果。從實驗數(shù)據(jù)可以發(fā)現(xiàn)與表2相同的結(jié)論。因此，隨著網(wǎng)絡(luò)層次的加深，DFS模型深度隨之減少，可使網(wǎng)絡(luò)模型性能最佳。

為了更好地理解上述結(jié)論，圖3給出了DFS在循環(huán)計算所輸出的特征圖。DFS模塊通過循環(huán)計算對特征進(jìn)行重復(fù)，在網(wǎng)絡(luò)淺層采用較深的反饋深度和模型深度，有助于突出圖像的紋理和邊緣等特征，如圖3所示，這對后續(xù)分類任務(wù)很有幫助（第1張為原圖，從左至右依次為模型深度L = 1，L = 2，…，L = 8時的結(jié)果的特征圖，固定反饋深度l = 4。）。在網(wǎng)絡(luò)的深層，主要包含高級語義特征，每個像素攜帶大量信息，較淺的反饋深度和模型深度可以對特征圖略做調(diào)整，以增強(qiáng)模型性能。

將本文的建議方法與其他方法在模型深度、參數(shù)量、計算量和分類準(zhǔn)確率等方面進(jìn)行了對比，結(jié)果如表4和表5所示。在表4中，盡管本文建議的模型深度與其他一些模型相比較淺，但在CIFAR-10和CIFAR-100數(shù)據(jù)集上的性能表現(xiàn)卻非常接近甚至超過了其他更深的模型。這表明建議的模型能夠更有效地利用網(wǎng)絡(luò)深度，從而在參數(shù)數(shù)量和計算復(fù)雜性方面取得了更好的平衡。在表5中，從IDFNet-s、IDFNet-m到IDFNet-l模型，分類錯誤率逐步下降，但計算量和參數(shù)量也在逐步上升，IDFNet-m網(wǎng)絡(luò)在參數(shù)量和計算量之間取得平衡，性能與最優(yōu)結(jié)果相比略有下降，而IDFNet-l則取得最優(yōu)性能。在這3種模型中選擇最適合的模型，可以滿足不同的使用場景和性能要求。

與其他方法的對比顯示，本文提出的方法在減少了網(wǎng)絡(luò)層數(shù)、參數(shù)量和計算復(fù)雜度的情況下仍能取得出色的性能。相對于其他網(wǎng)絡(luò)結(jié)構(gòu)，本文的方法更加簡單，層數(shù)更少，這使得每層網(wǎng)絡(luò)都能夠更充分地發(fā)揮性能，而不會受到過多冗余分支和參數(shù)的干擾。

為了更全面地說明建議網(wǎng)絡(luò)，本文在CIFAR-100數(shù)據(jù)集上進(jìn)行消融實驗，展示在DFS中每個附加模塊對網(wǎng)絡(luò)性能的增益，其結(jié)果如表6所示。以只有卷積模塊，且保持反饋深度和模型深度固定，為基礎(chǔ)的DFS結(jié)構(gòu)，在此基礎(chǔ)上分別添加殘差塊，密集連接和工作記憶3個模塊。從表6中得知，依次在DFS結(jié)構(gòu)中添加建議的模塊，對性能都有逐步的提升，說明反饋機(jī)制和工作記憶在神經(jīng)網(wǎng)絡(luò)應(yīng)用中的有效性。

4" 結(jié)" 論

本文探索了將反饋機(jī)制和工作記憶機(jī)制與卷積神經(jīng)網(wǎng)絡(luò)相融合的層內(nèi)深度反饋神經(jīng)網(wǎng)絡(luò)模型，以提升圖像分類任務(wù)的性能。通過在網(wǎng)絡(luò)的淺層和深層應(yīng)用不同的深度反饋策略，揭示了循環(huán)計算在淺層時的潛力，以及在深層時的應(yīng)用。實驗結(jié)果表明，在淺層中，循環(huán)計算有助于捕捉圖像的低級特征，從而提升分類精度；而在深層中，適當(dāng)?shù)纳疃确答伈呗阅軌蚋玫夭蹲匠橄蠛透呒壍恼Z義特征。此外，實驗結(jié)果驗證了反饋深度和模型深度的關(guān)系對網(wǎng)絡(luò)性能的影響，并以此為基礎(chǔ)提出了一種適用于淺層和深層的模型選擇策略。在后續(xù)工作中，我們希望模型能夠在推理過程中自動選擇合適的模型深度。這種自適應(yīng)方法允許模型在處理簡單圖像時使用較淺的深度，在處理復(fù)雜圖像時使用較深的深度。這種動態(tài)深度選擇有助于在保持模型性能的同時減少計算負(fù)擔(dān)并加快推理速度。

參考文獻(xiàn)：

[1] KRIZHEVSKY A，SUTSKEVER L，HINTON G E. Imagenet classification with deep convolutional neural networks [J].Commun ACM，2017，60（6）：84-90.

[2] SIMONYAN K，ZISSERMAN A. Very Deep Convolutional Networks for Large-Scale Image Recognition [J/OL].arXiv：1409.1556 [cs.CV].（2014-08-04）.https：//arxiv.org/abs/1409.1556.

[3] SZEGEDY C，LIU W ，JIA Y ，et al. Going Deeper with Convolutions [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston：IEEE，2015：1-9.

[4] HE K ，ZHANG X ，REN S ，et al. Deep Residual Learning for Image Recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：770-778.

[5] HUANG G ，LIU Z ，LAURENS V D M ，et al. Densely Connected Convolutional Networks [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu：IEEE，2017：2261-2269.

[6] HU J ，SHEN L ，SUN G .Squeeze-and-Excitation Networks [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2019，42（8）：2011-2023.

[7] ANGELUCCI A，BRESSLOFF P C. Contribution of Feedforward， Lateral and Feedback Connections to the Classical" Receptive Field and Extra-Classical Receptive Field Surround of Primate V1 Neurons [J].Progress in brain research，2006，154：93-120.

[8] ZAREMBA W，SUTSKEVER I，VINYALS O. Recurrent neural network regularization [J].arXiv：1409.2329 [cs.NE].（2014-08-08）.https：//arxiv.org/abs/1409.2329v1.

[9] COWAN N. What are the Differences Between Long-Term Memory， Short-Term Memory， and Working Memory？ [J].Progress in Brain Research，2008，169：323-338.

[10] PRATTE M S，PARK Y E，RADEMAKER R L，et al. Accounting for Stimulus-Specific Variation in Precision Reveals a Discrete Capacity Limit in Visual Working Memory [J].Journal of experimental psychology. human perception and performance，2017，43（1）：6-17.

[11] SRIVASTAVA N ，HINTON G ，KRIZHEVSKY A ，et al. Dropout： A Simple Way to Prevent Neural Networks from Overfitting [J].Journal of Machine Learning Research，2014，15（1）：1929-1958.

[12] IOFFE S，SZEGEDY C. Batch Normalization： Accelerating Deep Network Training by Reducing Internal Covariate Shift [C]//International conference on machine learning.PMLR，2015：448-456.

[13] LIU T，LUO R，XU L，et al. Spatial channel attention for deep convolutional neural networks [J].Mathematics，2022，10（10）：1750.

[14] HOCHREITER S，SCHMIDHUBER J. Long short-term memory [J].Neural computation，1997，9（8）：1735-1780.

[15] CHO K，VAN MERRIENBOER B，GULCEHRE C，et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation [J/OL].arXiv：1406.1078 [cs.CL].（2014-06-03）.https：//arxiv.org/abs/1406.1078.

[16] HOCHSTEIN S，AHISSAR M. View from the Top： Hierarchies and Reverse Hierarchies in the Visual System [J].Neuron，2002，36（5）：791-804.

[17] CAO C，LIU X，YANG Y，et al. Look and Think Twice：Capturing Top-Down Visual Attention with Feedback Convolutional Neural Networks [C]//2015 IEEE International Conference on Computer Vision （ICCV）.Santiago：IEEE，2015：2956-2964.

[18] WEN H，HAN K，SHI J，et al. Deep Predictive Coding Network for Object Recognition [C]//International conference on machine learning.PMLR，2018：5266-5275.

[19] YU N，QIU T. An Improved Method and Application of Recurrent Convolutional Neural Network With Self-attention Mechanism [C]//2022 China Automation Congress （CAC）.Xiamen. IEEE，2022：6312-6316.

[20] HE K，ZHANG X，REN S，et al. Identity Mappings in Deep Residual Networks [C]//In ECCV2016.Amsterdam，Springer，2016：630-645.

[21] ZHANG C，BENGIO S，SINGER Y. Are all layers Created Equa？ [J].The Journal of Machine Learning Research，2022，23（1）：2930-2957.

[22] ZAGORUYKO S，KOMODAKIS N. Wide residual networks [J].arXiv：1605.07146 [cs.CV].（2016-05-23）.https：//arxiv.org/abs/1605.07146v1.

[23] HAN D，KIM J，KIM J. Deep Pyramidal Residual Networks [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu：IEEE，2017：6307-6315.

[24] GAO S H，CHENG M M，ZHAO K，et al. Res2Net： A New Multi-Scale Backbone Architecture [J].IEEE transactions on pattern analysis and machine intelligence，2019，43（2）：652-662.

[25] HUANG G，CHEN D，LI T，et al. Multi-Scale Dense Convolutional Networks for Efficient Prediction [J].arXiv：1703.09844 [cs.LG].（2017-05-29）.https：//arxiv.org/abs/1703.09844v2.

[26] HUANG G，LIU S，VAN DER MAATEN L，et al. Condensenet：An Efficient Densenet Using Learned Group Convolutions [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City：IEEE，2018：2752-2761.

[27] YANG L，JIANG H，CAI R，et al. CondenseNet V2： Sparse Feature Reactivation for Deep Networks [C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Nashville：IEEE，2021：3569-3578.

[28] HUANG G，SUN Y，LIU Z，et al. Deep Networks with Stochastic Depth [C]//Computer Vision – ECCV 2016.Springer International Publishing，2016：641-661.

[29] KRIZHEVSKY A，HINTON G. Learning Multiple Layers of Features from Tiny Images [D].Toronto：University of Toronto，2009.

[30] HE K，ZHANG X，REN S，et al. Delving Deep into Rectifiers： Surpassing Human-Level Performance on ImageNet Classification [C]//2015 IEEE International Conference on Computer Vision （ICCV）.Santiago：IEEE，2015：1026-1034.

[31] NILSBACK M E，ZISSERMAN A. Automated Flower Classification over a Large Number of Classes [C]//2008 Sixth Indian conference on computer vision， graphics amp; image processing. Bhubaneswar：IEEE，2008：722-729.

[32] CIBUK M，BUDAK U，GUO Y，et al. Efficient Deep Features Selections and Classification for Flower Species Recognition [J].Measurement，2019，137：7-13.

[33] SADATI F，REZAIE B. An Improved Image Classification Based In Feature Extraction From Convolutional Neural Network： Application To Flower Classification [C]//2021 12th International Conference on Information and Knowledge Technology （IKT）.Babol：IEEE，2021：35-40.

作者簡介：童順延（1998—），男，漢族，四川屏山人，碩士在讀，研究方向：視覺認(rèn)知計算與醫(yī)學(xué)圖像處理；通訊作者：劉海華（1966—），男，漢族，湖北孝感人，教授，博士，研究方向：視覺認(rèn)知計算與醫(yī)學(xué)圖像處理。