趙長樂，何利力

（浙江理工大學信息學院，浙江 杭州 310018）

0 引言

隨著卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）在計算機視覺領域的廣泛應用，各種不同功能的網(wǎng)絡結(jié)構(gòu)被融合到CNN 中。圖像分類是計算機視覺中最基礎的任務，其數(shù)據(jù)集龐大規(guī)范，輸出結(jié)果簡潔明了，可以很好地評判網(wǎng)絡結(jié)構(gòu)的性能優(yōu)劣［1］。現(xiàn)有CNN 體系結(jié)構(gòu)大多利用下采樣（池化）層減小隱藏層中特征圖的尺寸，通過池化層可以獲得更大的感受野和更少的內(nèi)存消耗。目前廣泛使用的最大池化、平均池化、跨步卷積（使用步幅大于1的滑動窗口）通過在滑動窗口中采用不同下采樣策略得到池化結(jié)果。例如，LeNet-5［2］將下采樣層作為CNN 中的基本層，通過在滑動窗口中對特征值進行求和以降低圖像的空間分辨率；VGG［3］、GoogleNet［4］和DenseNet［5］使用平均池化或最大池化作為下采樣層；ResNet［6］采用跨步卷積作為下采樣層；全局平均池化［7］、ROI pooling［8］和ROI align［9］將任意大小的特征圖縮放為固定大小，從而使網(wǎng)絡能夠適配不同大小的輸入。

在CNN 廣泛應用前，已有一些關(guān)于池化方法的研究。例如，Boureau 等［10］比較了傳統(tǒng)方法中平均池化和最大池化的性能，并證實在特征較稀疏的情況下，最大池化相較平均池化可以保留更多判別特征，效果更好；Wang 等［11］、Xie 等［12］研究結(jié)果表明，對于一個給定的分類問題，最優(yōu)池化類型可能既不是最大池化也不是平均池化，而是介于兩者之間的某個類型池化。這一結(jié)論說明學習池化策略十分必要，本文便是遵循這一研究思路，得到的結(jié)果進一步支持了該結(jié)論。

1 相關(guān)研究

池化的最新研究集中在如何通過新的池化層更好地縮小CNN 中的特征圖方面。例如，F(xiàn)ractional max-pooling［13］和S3pool［14］對池化空間變換的方式進行了改進；Mixed pooling［15］和Hybrid pooling［16］使用最大池化和平均池化的組合形式執(zhí)行下采樣；Lp pooling［17］以Lp 范數(shù)的方式組合特征值，可將其視為由p 控制的最大池化和平均池化之間的結(jié)合體。以上方法可以結(jié)合最大池化和平均池化進一步提高網(wǎng)絡性能，但也只是簡單地基于平均池化、最大池化或它們的組合學習更好的下采樣方式，不具有普適性?；诖?，Saeedan 等［18］提出細節(jié)保留池化法（Detail-Preserving Pooling，DPP），認為圖像中的細節(jié)應該被保留，冗余的特征可以被丟棄。DPP的細節(jié)保留準則是計算滑動窗口中像素的統(tǒng)計偏差，是一種啟發(fā)式方法，可能不是最優(yōu)的；Zhu 等［19］提出的Weighted pooling 將信息熵理論與池化相結(jié)合，通過分析特征圖上的每個特征值得到輸入與輸出特征圖各處的互信息大小，以每個滑動窗口中包含信息量最大的點作為池化結(jié)果。該池化方式同樣是手工制作，且結(jié)果受計算精度影響，并不一定是最優(yōu)池化結(jié)果。

本文將池化操作視為對特征值的加權(quán)求和，不同池化策略對應不同大小的權(quán)重。在下采樣過程中，并非池化區(qū)域中所有像素的貢獻都相等，某些特征比池化窗口中的其他特征更具區(qū)分性，且對于不同的識別任務，區(qū)分性大的像素點也可能不同。如圖1（彩圖掃OSID 碼可見，下同）所示，對于同一幅圖片，若任務目標為識別花的種類，則紅色代表更大的區(qū)分性，應被給予更大權(quán)重；若任務目標為識別天氣狀況，則藍色代表更大的區(qū)分性，應被給予更大權(quán)重。因此，應根據(jù)任務類型不同使用不同的池化策略，在每個池化窗口中對各像素分配與其區(qū)分能力大小相對應的權(quán)重。傳統(tǒng)池化方法在池化窗口內(nèi)對權(quán)重的分配方式固定不變，針對不同類型任務無法做到將細節(jié)都妥善保存，若使用不恰當?shù)南虏蓸硬呗詴鼓Ｐ托阅芙档?。本文提出的自適應加權(quán)池化方法給予每個池化層一組權(quán)重參數(shù)，這些權(quán)重參數(shù)可使網(wǎng)絡根據(jù)不同任務類型自行變換池化策略，通過最小化損失函數(shù)的方式選取最優(yōu)池化方法。

Fig.1 Different downsampling strategies under different tasks圖1 不同任務下的不同下采樣策略

2 池化策略的權(quán)重分析

為分析現(xiàn)有下采樣方式存在的問題并加以改進，從加權(quán)求和的角度出發(fā)提出一個用于下采樣層的統(tǒng)一函數(shù)表達式。具體來說，對給定輸入特征圖I，經(jīng)池化后得到輸出特征圖O，對應的下采樣過程可以表述為：將I中左下坐標為(x1,y1)，右上坐標為(x2,y2)的滑動窗口映射到O中輸出位置為(x0,y0)處，用函數(shù)表示為：

式中，Ix,y為輸入特征圖(x,y)處的特征值；Ox0,y0為輸出特征圖(x0,y0)處的特征值；wx,y為權(quán)重參數(shù)，表示(x,y)處特征值在池化時被分配的權(quán)重大小。對于2×2 大小，步長為2的滑動窗口而言，x2-x1=2，y2-y1=2，x1=2x0，且為使權(quán)重參數(shù)之和為1的性質(zhì)在式中得以體現(xiàn)，可將其表示為：

式中，F(xiàn)(·)稱為重要性函數(shù)，作用在滑動窗口中的每個特征值上，得到的函數(shù)值反映了I中對應位置特征對于該任務的區(qū)分性大小，且F(x) ≥0。因此，可將池化過程函數(shù)表示為：

該函數(shù)將池化過程分為兩個步驟：首先對滑動窗口中各特征值的重要性進行歸一化得到權(quán)重，然后根據(jù)權(quán)重大小對特征值進行加權(quán)求和得到池化結(jié)果。

由于池化過程本質(zhì)上是有損的，其將大的輸入壓縮成小的輸出，因此有必要仔細考慮如何對一個滑動窗口中的特征值進行權(quán)重分配。為此，本文通過該函數(shù)分析一些廣泛使用的下采樣方式，并據(jù)此提出理想池化的特性。圖2為在加權(quán)求和角度下的一些下采樣方法。

2.1 最大池化和平均池化

給定F(x)=exp(βx)，β=0 表示平均池化，β→∞表示最大池化。平均池化在一個池化窗口中給所有位置的特征值賦予了相同的重要性，最大池化將所有注意力放在池化窗口中的最大特征值上，這兩種池化方式都不是最優(yōu)的。基于對特征重要性在局部范圍內(nèi)相等的強假設，平均池化損害了有區(qū)分性但是面積較小的特征，導致下采樣特征模糊。最大池化假設池化窗口中最大的特征值代表最具有區(qū)分性的特征，且只有該特征會被激活。這種假設主要有兩個缺點：首先，關(guān)于最大特征值代表最具區(qū)分性細節(jié)的先驗知識可能并不總是正確的；其次，滑動窗口中的最大算子阻礙了基于梯度的優(yōu)化，因為在反向傳播中，梯度僅分配給局部最大值，如Saeedan 等［18］所述，這些稀疏的梯度將進一步加強這種不一致性。從某種意義上說，除非當前的最大值被抑制，否則一些有區(qū)分性的特征將永遠不會成為最大值。

Fig.2 Different downsampling methods in the view of weighted summation圖2 加權(quán)求和角度下的不同池化方式

2.2 跨步卷積

跨步卷積可以看作是步長為1的密集卷積，后接下采樣［20］。在局部權(quán)重歸一化函數(shù)中，這種下采樣方式可表示為：

式中，I為經(jīng)過步長為1的密集卷積后的特征圖；s 既表示步長又表示滑動窗口的長寬。從這個角度來看，跨步卷積的下采樣部分無法自適應地模擬下采樣過程的重要性。此外，其僅關(guān)注每個滑動窗口內(nèi)的一個固定位置，而將其余位置丟棄。該固定間隔采樣方案將限制移位不變性，因為需要卷積后的特征出現(xiàn)在特定且非連續(xù)的位置才能激活。從這個意義上講，微小的偏移和畸變會導致下采樣后的特征發(fā)生巨大變化，從而干擾CNN的偏移不變性［20］。對于滑動窗口大小為1×1的跨步卷積，缺點會更加明顯，因為特征圖沒有得到充分利用［21］，并且會引起棋盤效應［22］。

2.3 DPP 和基于信息熵理論的Weighted pooling

最近提出的DPP 使用細節(jié)標準作為重要性函數(shù)F，其通過滑動窗口中特征與激活統(tǒng)計數(shù)據(jù)的偏差對重要性進行衡量。DPP 通過設計更復雜的重要性函數(shù)并確保連續(xù)性以實現(xiàn)更好的梯度優(yōu)化，進而解決最大池化存在的問題。然而，DPP 中的假設是啟發(fā)式的，更詳細的特征可能并不代表更具有區(qū)分性，例如雜亂的背景擁有的特征比前景中的純色物體更詳細。因此，DPP 可能會保留對任務不太有區(qū)分性的細節(jié)。在DPP 中手工制作的重要函數(shù)會將先驗知識融入到下采樣過程中，可能會導致區(qū)分任務的最終目標不一致。而基于信息熵理論的Weighted pooling 認為特征圖中特征值出現(xiàn)的次數(shù)越多，該特征值就越重要，對應的重要性函數(shù)F 就越大。這種池化方式偏重于選擇圖像中出現(xiàn)次數(shù)多的特征，但并不一定是最具有區(qū)分性的特征。

通過以上分析可以得出理想池化層的要求。首先，下采樣過程應盡可能處理較小的偏移和失真，因此應避免采用固定間隔采樣方案，如跨步卷積使用的F 函數(shù)；其次，重要性函數(shù)F 應對判別特征具有選擇性，而不是根據(jù)先驗知識（如DPP 中使用的F 函數(shù)）手動設計。這種區(qū)分性措施應適應不同的任務，并由最終目標自動確定。

3 自適應加權(quán)池化

3.1 算法流程

為滿足通過加權(quán)求和分析后提出的理想池化要求，本文提出自適應加權(quán)池化。通過賦予滑動窗口中每個特征值一個可變的權(quán)重參數(shù)，使網(wǎng)絡通過反向傳播最小化損失函數(shù)，進而自行選擇權(quán)重參數(shù)大小。以大小為2×2的池化窗口為例，設4 個特征值分別為a1、a2、a3、a4，首先按照大小順序?qū)μ卣髦颠M行排序，得到a(1)≥a(2)≥a(3)≥a(4)；然后根據(jù)特征值的大小順序為每個特征值分配重要性參數(shù)k1、k2、k3、k4，這4 個參數(shù)的初始值為通過高斯分布生成的隨機數(shù)；最后為使得到的權(quán)重參數(shù)非負且易于優(yōu)化，在隨機生成的重要性參數(shù)上增加exp(·)操作，即：

式中，arg sort(Ix,y)表示特征值Ix,y在滑動窗口中排序后的索引值。

由上述操作得到的權(quán)重大小等于將重要性參數(shù)進行Softmax 歸一化后的值，因此可將自適應加權(quán)池化整理為以下步驟：

（1）輸入：待池化的特征圖，池化窗口大小n，神經(jīng)網(wǎng)絡損失函數(shù)J，神經(jīng)網(wǎng)絡訓練學習率α。

（2）步驟1：根據(jù)每個池化層的池化窗口大小選擇重要性參數(shù)個數(shù)，對于有n 個特征值ai(i=1,2,…,n)的池化窗口隨機初始化n 個重要性參數(shù)ki(i=1,2,…,n)。

（3）步驟2：將每個池化窗口中的特征值從大到小進行排序得到a(1)≥a(2)≥…≥a(n)。

（4）步驟3：將初始化的重要性參數(shù)進行Softmax 歸一化得到權(quán)重參數(shù)，表示為：

（5）步驟4：將權(quán)重參數(shù)與每個池化窗口中對應的特征值相乘后累加得到池化結(jié)果，表示為：

（6）步驟5：初始化的權(quán)重參數(shù)wi(i=1,2,…,n)在網(wǎng)絡訓練的過程中會隨著反向傳播的進行通過梯度下降不斷迭代優(yōu)化，直至收斂，表示為：

以上過程相當于網(wǎng)絡自行選擇了池化窗口中各個特征值所對應的重要性。自適應加權(quán)池化流程如圖3 所示。

Fig.3 Adaptive weighted pooling process圖3 自適應加權(quán)池化流程

3.2 權(quán)重參數(shù)的使用范圍

常見的CNN 結(jié)構(gòu)存在多個網(wǎng)絡層，每層的特征圖包含多個池化窗口，若在每個池化窗口中使用不同權(quán)重參數(shù)，那么需要訓練的參數(shù)量十分龐大，網(wǎng)絡難以訓練且極度占用內(nèi)存。若整個網(wǎng)絡僅使用一組權(quán)重參數(shù)，相當于對所有類型的特征都采用同一種池化策略，不能滿足實際需求，且無法處理網(wǎng)絡中池化窗口大小可能不一致的情況。Hijazi 等［23］研究表明，不同卷積核提取不同的特征，例如高層卷積核提取高級特征。CNN 中的特征圖在經(jīng)過卷積后，同一個通道的特征值代表被一個卷積核提取出的同種類型特征，這表示在特征圖的同一通道上僅使用一組權(quán)重參數(shù)不會擾亂池化過程對特征的提取。對于深層CNN 而言，每個通道使用一組權(quán)重參數(shù)仍會較大程度地增加網(wǎng)絡中的訓練參數(shù)量。為避免由于訓練參數(shù)過多而導致過擬合現(xiàn)象發(fā)生，同時減少網(wǎng)絡對內(nèi)存的占用，每個池化層的特征值使用同一組權(quán)重參數(shù)，即在CNN的每個池化層上使用相同的池化策略。對于最常使用的2×2 池化窗口而言，每個池化層僅有4 個參數(shù)；對于池化窗口大小等于特征圖尺寸的全局平均池化，其池化層參數(shù)量與特征圖尺寸相同。

3.3 算法內(nèi)存占用與復雜度分析

本文基于VGG16 網(wǎng)絡［3］結(jié)構(gòu)分析自適應加權(quán)池化對內(nèi)存占用和計算量的影響。VGG16 中需要訓練的參數(shù)有138M 個，每次迭代需要的浮點計算次數(shù)為15G 次，若將其中的最大池化全部使用2×2的自適應加權(quán)池化代替，則訓練參數(shù)的增加量為20 個，整體增加比例約為千萬分之一；計算次數(shù)增加20M 次，整體增加比例約為千分之一。由此可見，網(wǎng)絡在使用自適應加權(quán)池化后，內(nèi)存占用和計算量的增加都處于可接受的范圍內(nèi)。

4 實驗方法與結(jié)果分析

4.1 數(shù)據(jù)集

本文所有實驗均使用以下公開標準數(shù)據(jù)集：①Fashion-minist 數(shù)據(jù)集是一個時尚衣物的圖像數(shù)據(jù)集，訓練集包含60 000 張圖片，測試集包含10 000 張圖片，每張圖片為28×28的灰度圖，所有數(shù)據(jù)都有標簽，共有10 類，分別為Tshirt/top、Trouser、Pullover、Dress、Coat、Sandal、Shirt、Sneaker、Bag、Ankle boot［24］；②Cifar10 數(shù)據(jù)集包含60 000 張圖像，每張圖像為32×32×3像素的彩色照片，訓練集大小為50 000，測試集大小為10 000，照片分屬10 個不同類別，分別為Airplane、Automobile、Bird、Cat、Deer、Dog、Frog、Horse、Ship、Truck［25］；③Omniglot 數(shù)據(jù)集包含50 個不同字母，共1 622類手寫字符，每個類別有20 個樣本，每個樣本為28×28的灰度圖。該數(shù)據(jù)集具有類別多、每類樣本少的特點，常用于小樣本圖像分類任務中［26］。

4.2 網(wǎng)絡結(jié)構(gòu)使用

對于Fashion-minist 數(shù)據(jù)集分類，本文采用2 個卷積層、2 個下采樣層、2 個全連接層的CNN 結(jié)構(gòu)，具體結(jié)構(gòu)信息如表1 所示，其中下采樣層分別采用最大池化、平均池化、步長為2的3×3 卷積、自適應加權(quán)池化。該實驗旨在比較4種不同下采樣方式下的網(wǎng)絡分類性能，并通過設定不同學習率以評價自適應加權(quán)池化的魯棒性。

Table 1 Network structure for Fashion-minist classification表1 用于Fashion-minist 數(shù)據(jù)集分類的網(wǎng)絡結(jié)構(gòu)

對于Cifar10 數(shù)據(jù)集分類，本文使用兩種不同的網(wǎng)絡結(jié)構(gòu)。第一種為2 層卷積層、2 層池化層、3 層全連接層的淺層CNN 結(jié)構(gòu)，具體結(jié)構(gòu)信息如表2 所示?？紤]到對于自適應加權(quán)池化權(quán)重參數(shù)的初始化過于隨機，可能會導致收斂至損失函數(shù)局部最小處，因此首先使用最大池化將網(wǎng)絡迭代至收斂，保存網(wǎng)絡參數(shù)，然后將池化方式改為自適應加權(quán)池化，權(quán)重參數(shù)的初始值設置為最大池化對應的權(quán)重參數(shù)值，此時自適應加權(quán)池化的初始狀態(tài)等同于最大池化。載入最大池化模型的參數(shù)，對自適應加權(quán)池化模型進行fine-tune。比較fine-tune 前后測試集的準確率和損失，驗證在較復雜的彩色圖像數(shù)據(jù)集中，自適應加權(quán)池化相較于傳統(tǒng)池化方式能否有更好的表現(xiàn)。

Table 2 Shallow CNN network structure for Cifar10 classification表2 用于Cifar10 分類的淺層CNN 網(wǎng)絡結(jié)構(gòu)

對Cifar10 數(shù)據(jù)集進行分類的第二種網(wǎng)絡為ResNet18，具體結(jié)構(gòu)如圖4 所示。原始的ResNet18 網(wǎng)絡在conv_block結(jié)構(gòu)中使用了跨步卷積，在網(wǎng)絡的最后使用了1 個全局平均池化層。本文將跨步卷積與由全局平均池化改成的自適應加權(quán)池化進行性能比較，觀察池化方式更改前后的網(wǎng)絡對測試集分類準確率和損失的影響。該實驗旨在驗證自適應加權(quán)池化不僅適用于淺層CNN，對深層CNN的性能也能有所提升。

Fig.4 ResNet18 network structure圖4 ResNet18 網(wǎng)絡結(jié)構(gòu)

對于Omniglot 數(shù)據(jù)集的小樣本分類，本文采用Matching Network［27］的網(wǎng)絡結(jié)構(gòu)。該網(wǎng)絡輸入的每個batch 包含兩個部分：一部分稱為support set，包含20 個不同類別的圖像；另一部分稱為test example，含有1 個圖像，該圖像的類別與support set 中某個圖像的類別相同。Matching Network包含兩部分：第一部分用于提取輸出圖像特征，含有4 個卷積層和4 個池化層；第二部分用于類別劃分，對提取出的test example 圖像特征與support set 中每個圖像的特征分別計算余弦距離，取20 個余弦距離中最大值對應的support set 圖像類別作為test example的圖像類別。Matching Network 網(wǎng)絡結(jié)構(gòu)如圖5 所示。該實驗旨在說明自適應加權(quán)池化不僅能提升數(shù)據(jù)量多的圖像分類任務性能，也能提升小樣本圖像分類任務的性能。

Fig.5 Matching network structure圖5 Matching network 結(jié)構(gòu)

4.3 實驗結(jié)果分析

各種數(shù)據(jù)集與網(wǎng)絡結(jié)構(gòu)在不同池化方式下對應的測試集最優(yōu)分類準確率和損失如表3 所示，以下詳述。

使用CNN 網(wǎng)絡對Fashion-minist 數(shù)據(jù)集進行分類，分別選取0.000 01～0.01 之間共7 種不同的學習率進行測試，在不同下采樣方式下得到的測試集準確率隨學習率的變化曲線如圖6 所示。可以看到，自適應加權(quán)池化對準確率的提升較為明顯。圖6 中，網(wǎng)絡的測試集分類準確率隨著學習率的增長先增大后減小。最大池化、平均池化、跨步卷積、自適應加權(quán)池化作為下采樣層的最高準確率分別為91.75%、92.09%、91.61%、92.30%。自適應加權(quán)池化相較于排名第2的平均池化，對分類準確率有0.21%的提升，且在學習率變化的情況下分類準確率一直處于較高水平，說明自適應加權(quán)池化具有較強的魯棒性。

Table 3 Optimal classification accuracy and loss of the test set corresponding to various data sets and network structures under different pooling methods表3 各種數(shù)據(jù)集與網(wǎng)絡結(jié)構(gòu)在不同池化方式下對應的測試集最優(yōu)分類準確率和損失

Fig.6 Classification accuracy of the Fashion-minist test set corresponding to each downsampling layer under different learning rates圖6 不同學習率下各下采樣層對應的Fashion-minist測試集分類準確率

在5 層CNN 網(wǎng)絡結(jié)構(gòu)下對Cifar10 數(shù)據(jù)集進行分類，首先設置池化層為最大池化，將網(wǎng)絡迭代100 次，初始學習率設為0.001，迭代到40 次時將學習率降為0.000 1，迭代到80次時進一步降為0.000 01。100 次迭代完成后，保存此時網(wǎng)絡中的訓練參數(shù)，然后將池化層的池化方式更改為自適應加權(quán)池化，載入網(wǎng)絡參數(shù)后進一步訓練，此時設置網(wǎng)絡繼續(xù)迭代50 次，得到最終結(jié)果。經(jīng)過自適應加權(quán)池化finetune 之后的網(wǎng)絡測試準確率提高了約0.43%，測試損失降低約0.01，網(wǎng)絡分類能力得到明顯提升。

在ResNet18 網(wǎng)絡結(jié)構(gòu)下對Cifar10 數(shù)據(jù)集進行分類，設置網(wǎng)絡迭代次數(shù)為200 次，初始學習率設為0.1，在迭代到100 次時將學習率降為0.01，在迭代到150 次時將學習率進一步降為0.001，網(wǎng)絡分別使用原始ResNet18 和替換池化層后的ResNet18 進行訓練。相較于跨步卷積和全局平均池化，使用自適應加權(quán)池化在Cifar10 測試集上的最優(yōu)準確率提高了0.8%，最優(yōu)損失降低了0.032。

使用Matching Network 結(jié)構(gòu)對Omniglot 數(shù)據(jù)集進行小樣本分類，選取前1 200 類為訓練集，中間211 類為驗證集，剩下211 類為測試集，batch 大小設置為32，每個訓練epoch包含從訓練集隨機選取的1 000 個batch，每個測試epoch 包含隨機從測試集選取的250 個batch，共迭代30 個epoch。相較于最大池化，使用自適應加權(quán)池化在Omniglot 測試集上的最優(yōu)準確率提高了0.66%，最優(yōu)損失降低了0.022。

5 結(jié)語

本文提出一種自適應加權(quán)池化方法，相較于常用池化方式，自適應加權(quán)池化能根據(jù)任務類型的不同，智能選取最優(yōu)池化策略提取特征。實驗結(jié)果表明，自適應加權(quán)池化能在少量增加內(nèi)存占用和計算量的情況下提升網(wǎng)絡性能，相較于傳統(tǒng)池化方式，其在各種圖像分類數(shù)據(jù)集和CNN 結(jié)構(gòu)中均取得了更好的分類效果，在小樣本分類任務中也得到了更優(yōu)結(jié)果。自適應加權(quán)池化在不同學習率下均能保證較高的分類準確率，且具有良好的魯棒性。自適應加權(quán)池化解決了傳統(tǒng)池化方式不能客觀評價池化窗口中每個特征值區(qū)分性大小的缺陷，保留了池化層本身的簡潔性，并從實驗上證明了分類問題的最優(yōu)池化類型是介于最大池化和平均池化之間的某種池化方法，為提升CNN 網(wǎng)絡性能提供了新思路。雖然理論上自適應加權(quán)池化只會少量增加網(wǎng)絡的復雜度，但其相較于常用池化方法在深度學習框架上沒有進行性能優(yōu)化。后續(xù)研究將致力于提高自適應加權(quán)池化在各種深度學習框架上的使用性能。