常東良，尹軍輝，謝吉洋，孫維亞，馬占宇

面向圖像分類(lèi)的基于注意力引導(dǎo)的Dropout

常東良1，尹軍輝1，謝吉洋1，孫維亞2，馬占宇1

(1. 北京郵電大學(xué)人工智能學(xué)院，北京 100876； 2. 南水北調(diào)中線(xiàn)信息科技有限公司，北京 100176)

當(dāng)一個(gè)較大的神經(jīng)網(wǎng)絡(luò)在較少的訓(xùn)練數(shù)據(jù)上訓(xùn)練時(shí)，不可避免的會(huì)遭遇過(guò)擬合問(wèn)題，進(jìn)而在測(cè)試數(shù)據(jù)集上泛化性能較差。因此，提出了多種基于Dropout的正則化方法來(lái)緩解這個(gè)問(wèn)題。雖然，這些方法不能直接促使模型關(guān)注有較低判別力的特征，但對(duì)減少過(guò)擬合同樣非常重要。為解決該問(wèn)題，提出了一種基于注意力引導(dǎo)的Dropout (AD)，利用自監(jiān)督機(jī)制更高效地緩解特征描述算子之間的協(xié)同自適應(yīng)問(wèn)題。AD包含2個(gè)獨(dú)特的組件：①特征的重要性度量機(jī)制，通過(guò)SE-Block度量得到每個(gè)特征的重要程度；②基于可學(xué)習(xí)丟棄概率的Dropout，通過(guò)丟棄“較好”的特征檢測(cè)算子，強(qiáng)迫“較差”的特征檢測(cè)算子學(xué)習(xí)到一個(gè)較好的特征表示，從而緩解特征檢測(cè)算子之間的協(xié)同自適應(yīng)并促使模型學(xué)習(xí)擁有較低判別力的特征。實(shí)驗(yàn)結(jié)果表明該方法可以容易地被應(yīng)用到各種卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)構(gòu)里，并獲得較好的性能。

深度神經(jīng)網(wǎng)絡(luò)；過(guò)擬合；Dropout；自注意力機(jī)制；圖像分類(lèi)

深度神經(jīng)網(wǎng)絡(luò)已經(jīng)極大地推動(dòng)了計(jì)算機(jī)視覺(jué)領(lǐng)域的發(fā)展，在諸多極具挑戰(zhàn)的視覺(jué)任務(wù)中獲得了極大地成功，如：目標(biāo)檢測(cè)[1]、圖像分類(lèi)[2]、語(yǔ)義分割[3]等。然而，海量的參數(shù)使得神經(jīng)網(wǎng)絡(luò)極易過(guò)擬合，因而在實(shí)際應(yīng)用中需要多種多樣的正則化技術(shù)。Dropout[4]在2012年被提出，是公認(rèn)的抑制過(guò)擬合問(wèn)題的有效方式。其在訓(xùn)練過(guò)程中隨機(jī)舍棄一些節(jié)點(diǎn)，由此抑制了節(jié)點(diǎn)之間的協(xié)同自適應(yīng)，進(jìn)而使得網(wǎng)絡(luò)獲得了較好的泛化性能[4]。近年來(lái)，受到Dropout技術(shù)的啟發(fā)，研究者提出了很多類(lèi)似的方法，包括：DropConnect[5]，Concrete Dropout[6]和Cutout[7]以及其他變種。此外，文獻(xiàn)[8]回顧了Dropout的發(fā)展歷程。以上的方法使得模型傾向于關(guān)于最有判別力的特征，進(jìn)而提升模型的分類(lèi)性能，但忽視了能夠提供互補(bǔ)信息的其他區(qū)域的特征學(xué)習(xí)。例如，文本情緒分類(lèi)預(yù)測(cè)通常被一個(gè)或幾個(gè)詞所主導(dǎo)，且忽略了一些信息特征。

近年來(lái)，文獻(xiàn)[9-12]通過(guò)在訓(xùn)練過(guò)程中將輸入圖像或特征部分區(qū)域的值設(shè)置為0的方式，擦除最有判別力的特征。這些方法與Dropout[4]和Dropbolck[13]相似，但與前者不同的是，后者隨機(jī)丟棄的是特征上的一塊區(qū)域而不是一個(gè)節(jié)點(diǎn)。盡管隨機(jī)選擇是快速且易于實(shí)現(xiàn)的，但不能高效地擦除最有判別力的區(qū)域。此外，文獻(xiàn)[9-10]需要多次訓(xùn)練模型；文獻(xiàn)[11]需要使用額外的Sigmoid函數(shù)；文獻(xiàn)[12]為了定位最有判別力的區(qū)域，需要在一次迭代中，進(jìn)行2次前向計(jì)算。

為了更高效地捕獲目標(biāo)的整體特征，本文提出了一種基于注意力引導(dǎo)機(jī)制的Dropout (attention- guided Dropout，AD)，如圖1所示。AD能夠利用自注意力(self-attention)機(jī)制防止模型僅僅依靠最有判別力的特征進(jìn)行分類(lèi)，促使模型學(xué)習(xí)到更多的特征區(qū)域，進(jìn)而提高分類(lèi)準(zhǔn)確率。即通過(guò)擠壓和激勵(lì)模塊[14](squeeze-and-excitation block，SE-block)獲得全連接層每一個(gè)神經(jīng)元節(jié)點(diǎn)的重要程度，并與特征蘊(yùn)含的判別力呈正相關(guān)?；诖?，可對(duì)模型學(xué)習(xí)特征的過(guò)程進(jìn)行動(dòng)態(tài)調(diào)整，進(jìn)而在獲得最有判別力特征的同時(shí)，通過(guò)去除學(xué)習(xí)到最有判別力的特征來(lái)獲得其他互補(bǔ)的特征表示，以提高模型的泛化能力。首先通過(guò)以神經(jīng)元節(jié)點(diǎn)的歸一化重要程度為分布參數(shù)的伯努利(Bernoulli)分布獲得Dropout掩膜(mask)，然后通過(guò)該掩膜對(duì)神經(jīng)元節(jié)點(diǎn)進(jìn)行隨機(jī)丟棄。

圖1 本文所提方法AD的總體結(jié)構(gòu)圖

值得注意的是，AD方法與Dropout類(lèi)似，不同點(diǎn)在于本文方法更傾向于刪除具備高判別力的節(jié)點(diǎn)來(lái)提高其他節(jié)點(diǎn)的學(xué)習(xí)能力，而Dropout是每個(gè)節(jié)點(diǎn)等概率隨機(jī)刪除。

1 預(yù)備知識(shí)

首先了解一下標(biāo)準(zhǔn)的Dropout和SE-block方法。

1.1 Dropout

本文使用了較流行的Dropout[4]方法。在數(shù)學(xué)上，針對(duì)全連接層的Dropout方法可寫(xiě)為

1.2 SE-block

AD不僅告訴神經(jīng)網(wǎng)絡(luò)模型關(guān)注什么，還提高了模型的表現(xiàn)能力。SE-block用來(lái)建模通道間的關(guān)系。該模塊允許網(wǎng)絡(luò)進(jìn)行特征重標(biāo)定，可以利用全局信息增強(qiáng)有用的信息，壓縮不重要的信息。文獻(xiàn)[14]第1步通過(guò)全局平均池化匯聚特征圖的信息，產(chǎn)生關(guān)于通道間的統(tǒng)計(jì)量：R，并通過(guò)平面維度×壓縮特征圖；第2步，旨在完全捕獲通道的依賴(lài)關(guān)系，從而將該統(tǒng)計(jì)量輸入到一個(gè)單隱藏層的多層感知器(multilayer perceptron，MLP)。隱藏層的神經(jīng)元個(gè)數(shù)設(shè)置為×1×1，其中為衰減率。記特征圖為=[1,2,···,u]T，整個(gè)過(guò)程可以表示為

圖2 Dropout方法((a)正常的全連接網(wǎng)絡(luò)；(b)引入概率為0.5的訓(xùn)練過(guò)程中某次前向傳播的全連接網(wǎng)絡(luò))

2 基于注意力引導(dǎo)的Dropout (AD)

考慮到Dropout和SE-block，本文提出的AD方法，以鼓勵(lì)模型在學(xué)習(xí)最有判別力特征的同時(shí)，也能夠?qū)W習(xí)到次重要的但對(duì)分類(lèi)仍具有重要意義的特征。其與通常的用在全連接層的Dropout技術(shù)有一個(gè)顯著的區(qū)別，就是可根據(jù)神經(jīng)元的重要性選擇不同的用于刪除神經(jīng)元的概率，而不是同以往的Dropout那樣利用相同的概率刪除所有神經(jīng)元。

本文定義神經(jīng)元的激活值為a+1，作為AD的輸出，同時(shí)定義AD的輸入為a。然后將a輸入到帶單隱藏層的MLP中，則獲得重要性圖。神經(jīng)元a特征重標(biāo)定為

在標(biāo)準(zhǔn)的Dropout方法中，由概率為的伯努利分布生成，而本文利用重要性圖作為自適應(yīng)的刪除率，且由輸入的重要性圖的值大小決定。

掩膜通過(guò)與重新標(biāo)定的神經(jīng)元進(jìn)行點(diǎn)乘操作，圖1為本方法的總體結(jié)構(gòu)框架，前一層神經(jīng)元的輸出是AD層的輸入。重要性圖是通過(guò)對(duì)全連接層的神經(jīng)元進(jìn)行擠壓和激勵(lì)操作獲得的，掩膜被用來(lái)隱藏最具判力的節(jié)點(diǎn)，從而捕獲到其他互補(bǔ)的特征表示。該方法也采用了一個(gè)松弛因子對(duì)刪除概率進(jìn)行尺度變換，從而調(diào)整刪除率。本文方法在提高模型分類(lèi)準(zhǔn)確率的同時(shí)，防止了模型只依賴(lài)最具判別力的特征，而忽略次重要的信息的問(wèn)題。

3 實(shí)驗(yàn)結(jié)果和討論

3.1 數(shù)據(jù)集

為了驗(yàn)證所提出的AD方法的性能，在多個(gè)圖像識(shí)別數(shù)據(jù)集上進(jìn)行了測(cè)試，包括CIFAR-10[15]，CIFAR-100[15]，Stanford Cars[16]以及CUB-200-2011[17]數(shù)據(jù)集。

CIFAR-10和CIFAR-100數(shù)據(jù)集均包括60 000張32×32的彩色圖像，分為訓(xùn)練集(50 000張)和測(cè)試集(10 000張)。此外，CIFAR-10包含10個(gè)類(lèi)別，CIFAR-100包含100個(gè)類(lèi)別。Stanford Cars數(shù)據(jù)集包含196類(lèi)，16 185張圖片，其中訓(xùn)練集8 144個(gè)樣本，測(cè)試集8 041個(gè)樣本。CUB-200-2011數(shù)據(jù)集包含200類(lèi)樣本，包含5 994個(gè)訓(xùn)練樣本和5 794個(gè)測(cè)試樣本。Stanford Cars和CUB-200-2011數(shù)據(jù)集的圖像尺寸均為224×224。

3.2 實(shí)現(xiàn)細(xì)節(jié)

本文使用去除全連接層的VGG16[18]，B-CNN[19]和ResNet50[20]網(wǎng)絡(luò)作為特征提取器。隨后添加了一層全連接層、一層AD層和一層分類(lèi)層作為分類(lèi)器。AD層的輸出是分類(lèi)層的輸入。優(yōu)化器設(shè)置為隨機(jī)梯度下降(stochastic gradient descent，SGD)算法，同時(shí)使用余弦退火算法[21]調(diào)節(jié)學(xué)習(xí)率。初始學(xué)習(xí)率(learning rate)設(shè)置為0.001，權(quán)重衰減(weight decay)設(shè)置為1×10-4，動(dòng)量(momentum)設(shè)置為0.9。

3.3 分類(lèi)性能對(duì)比

將本文的AD方法與FC(無(wú)Dropout技術(shù))，Dropout[4]，DropConnect[5]，Concrete Dropout[6]和Cutout[7]方法，在4個(gè)常用的圖像分類(lèi)數(shù)據(jù)集上進(jìn)行了比較，見(jiàn)表1。AD方法在4個(gè)數(shù)據(jù)集上均獲得了較好的分類(lèi)性能，說(shuō)明其泛化性能良好。從實(shí)驗(yàn)結(jié)果可以看出，在Stanford Cars和CUB-200-2011數(shù)據(jù)集上，本文方法獲得了較高的性能提升，是因?yàn)槠淅昧烁嗟膹?fù)雜信息。此外，Cutout在某些情況下性能超過(guò)AD，但準(zhǔn)確率非常接近。這是因?yàn)镃utout和本文方法均能使網(wǎng)絡(luò)捕捉到更多的特征表示，而不是僅僅關(guān)注最有判別力的特征。

表1 各個(gè)方法在相關(guān)數(shù)據(jù)集上的分類(lèi)準(zhǔn)確率(%)

注：黑體為提取器下的最好結(jié)果；下劃線(xiàn)標(biāo)記為最好結(jié)果

3.4 消融實(shí)驗(yàn)

通過(guò)消融實(shí)驗(yàn)，分析本文方法的各個(gè)組件對(duì)分類(lèi)性能的影響。使用預(yù)訓(xùn)練完成的VGG16網(wǎng)絡(luò)作為特征提取器。在訓(xùn)練階段將所提出的AD方法插入到分類(lèi)層的2層全連接之間，并在CUB-200-2011數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

首先，探索了SE-block對(duì)分類(lèi)性能的影響。從表2可以觀(guān)察到，在CUB-200-2011數(shù)據(jù)集上，SE-block能夠帶來(lái)輕微的性能提升；且能夠使網(wǎng)絡(luò)對(duì)特征重新分配權(quán)重，進(jìn)而提高網(wǎng)絡(luò)的特征提取能力。為了進(jìn)一步研究本文方法是否僅依靠SE-block提升分類(lèi)性能，還在其后添加了AD層對(duì)神經(jīng)元進(jìn)行舍棄，但分類(lèi)性能明顯下降。原因是對(duì)節(jié)點(diǎn)的舍棄概率過(guò)高，導(dǎo)致大量的有判別力的節(jié)點(diǎn)被舍棄，進(jìn)而影響分類(lèi)性能。當(dāng)添加一個(gè)松弛因子對(duì)刪除率進(jìn)行調(diào)節(jié)時(shí)，模型的分類(lèi)性能得到了顯著地提高，這表明本文方法顯著增強(qiáng)了模型的特征提取能力。

表2 在CUB-200-2011數(shù)據(jù)集上不同設(shè)置下的準(zhǔn)確率對(duì)比

注：黑體為提取器下的最好的結(jié)果；“P”和“O”分別表示是否使用該維度

為了進(jìn)一步分析松弛因子對(duì)所分類(lèi)性能的影響，在CIFAR-100數(shù)據(jù)集上，使用VGG16網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，通過(guò)變換松弛因子的值，觀(guān)察分類(lèi)性能的變化，如圖3所示。從圖中可以看到，當(dāng)=1.6時(shí)，本文方法獲得最佳分類(lèi)性能，同時(shí)隨著的變化，分類(lèi)性能大多高于FC (無(wú)Dropout技術(shù))，證明了其的優(yōu)越性和魯棒性。

圖3 松弛因子c對(duì)所提方法分類(lèi)性能的影響

3.5 在不同訓(xùn)練集規(guī)模下的性能對(duì)比

眾所周知，過(guò)擬合問(wèn)題在訓(xùn)練集規(guī)模較小時(shí)，會(huì)愈加嚴(yán)重。為了進(jìn)一步探究本文方法對(duì)過(guò)擬合問(wèn)題的抑制能力，可通過(guò)逐漸減小訓(xùn)練數(shù)據(jù)集規(guī)模并保持測(cè)試集規(guī)模不變的方式進(jìn)行評(píng)估。使用預(yù)訓(xùn)練完成的VGG16網(wǎng)絡(luò)作為特征提取器，在CIFAR-10數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。表3為不同方法在不同規(guī)模訓(xùn)練數(shù)據(jù)集上的分類(lèi)性能對(duì)比。每組實(shí)驗(yàn)重復(fù)10次。當(dāng)訓(xùn)練集規(guī)模逐漸減少時(shí)，各個(gè)方法的性能均有明顯的下降。此外，本文方法幾乎在所有情況下均獲得了最佳的性能，這表明AD相比于其他同類(lèi)方法，抑制過(guò)擬合的能力更加有效。最后，將對(duì)比方法與AD的實(shí)驗(yàn)結(jié)果進(jìn)行了配對(duì)樣本檢驗(yàn)，選擇置信水平為0.01。結(jié)果表明，本文方法相比于其他方法的性能提升是顯著的。

表3 訓(xùn)練集規(guī)模對(duì)所提方法分類(lèi)性能的影響(%)

注：上表：當(dāng)CIFAR-10數(shù)據(jù)集的訓(xùn)練集規(guī)模逐漸減少時(shí)，各個(gè)方法的分類(lèi)性能(%)對(duì)比(0.200：訓(xùn)練集規(guī)模是原規(guī)模的0.2倍，以此類(lèi)推)。下表：所提方法AD的實(shí)驗(yàn)結(jié)果與其他方法結(jié)果通過(guò)配對(duì)樣本T檢驗(yàn)計(jì)算出的值(***：≤0.001；**：0.001<≤0.01)

4 結(jié) 論

本文提出了AD方法，以鼓勵(lì)模型在學(xué)習(xí)最有判別力特征的同時(shí)，也能夠?qū)W習(xí)到次重要的但對(duì)分類(lèi)仍有重要意義的特征。由于此原因，AD在Stanford Cars和CUB-200-2011的2個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了目前最好的分類(lèi)準(zhǔn)確率，同時(shí)在CIFAR-10和CIFAR-100的2個(gè)數(shù)據(jù)集上也有著極具競(jìng)爭(zhēng)力的分類(lèi)準(zhǔn)確率。通過(guò)實(shí)驗(yàn)證明了AD可以應(yīng)用到不同的CNN結(jié)構(gòu)的分類(lèi)器中，從而用來(lái)提升分類(lèi)準(zhǔn)確率。

[1] KRISTAN M, LEONARDIS A, MATAS J, et al. The visual object tracking vot2017 challenge results[C]//2017 IEEE International Conference on Computer Vision Workshops. New York: IEEE Press, 2017: 1949-1972.

[2] VOULODINMOS A, DOULAMIS N, DOULAMIS A, et al. Deep learning for computer vision: a brief review[EB/OL]. [2020-06-15]. https://www.researchgate.net/publication/322895764_Deep_Learning_for_Computer_Vision_A_Brief_Review.

[3] ZHANG H, DANA K, SHI J, et al. Context encoding for semantic segmentation[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 7151-7160.

[4] SHEN X, TIAN X, LIU T, et al. Continuous dropout[J]. IEEE Transactions on Neural Networks and Learning Systems, 2017, 29(9): 3926-3937.

[5] LI W, ZEILER M, ZHANG S, et al. Regularization of neural network using dropconnect[J]. Journal of Machine Learning Research, 2013, 28: 1058-1066.

[6] GAL Y, HRON J, KENDALL A. Concrete dropout[C]//The31st International conference on Neural Information Processing Systems. San Francisco: Morgan Kaufmann, 2017: 3581-3590.

[7] DEVRIES T, TAYLOR G W. Improved regularization of convolutional neural networks with cutout[EB/OL]. [2020-06-21]. https://blog.csdn.net/mingqi1996/article/details/96129374.

[8] LABACH A, SALEHINEJAD H, VALAEE S. Survey of dropout methods for deep neural networks[EB/OL]. [2020-06-25]. https://arxiv.org/abs/1904.13310.

[9] WEI Y C, FENG J S, LIANG X D, et al. Object region mining with adversarial erasing: a simple classification to semantic segmentation approach[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 6488-6496.

[10] KIM D, CHO D, YOO D, et al. Two-phase learning for weakly supervised object localization[C]//2017 IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2017: 3554-3563.

[11] CHOE J, SHIM H. Attention-based dropout layer for weakly supervised object localization[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2019: 2214-2223.

[12] LI K P, WU Z Y, PENG K C, et al. Tell me where to look: guided attention inference network[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 9215-9223.

[13] GHIASI G, LIN T Y, LE Q V. Dropblock: a regularization method for convolutional networks[C]//The 32nd International conference on Neural Information Processing Systems. San Francisco: Morgan Kaufmann, 2018: 10727-10737.

[14] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 7132-7141.

[15] KRIZHEVSKY A. Learning multiple layers of features from tiny images[R]. Ontario Toronto: University of Tront, 2009.

[16] KRAUSE J, STARK M, DENG J, et al. 3D object representations for fine-grained categorization[C]//2013 IEEE International Conference on Computer Vision Workshops. New York: IEEE Press, 2013: 554-561.

[17] WAH C, BRANSON S, WELINDER P, et al. The caltech-UCSD birds200-2011 dataset[R]. California: California Institute of Technology, 2011.

[18] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2020-06-26]. https://arxiv.org/abs/ 1409.1556.

[19] KONG S, FOWLKES C. Low-rank bilinear pooling for fine-grained classification[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 7025-7034.

[20] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 770-778.

[21] FIEDING B, ZHANG L. Evolving image classification architectures with enhanced particle swarm optimisation[J]. IEEE Access, 2018, 6: 68560-68575.

Attention-guided Dropout for image classification

CHANG Dong-liang1, YIN Jun-hui1, XIE Ji-yang1, SUN Wei-ya2, MA Zhan-yu1

(1. School of Artificial Intelligence, Beijing University of Posts and Telecommunications, Beijing 100876, China; 2. South-to-North Water Diversion Middle Route Information Technology Co., Ltd., Beijing 100176, China)

When a large-scale neural network is trained on a small training set, it typically yields “overfitting”, i.e., the model performs poorly on held-out test data. Therefore, various Dropout techniques have been proposed to alleviate this problem. However, the aforementioned methods cannot directly encourage the model to learn the less discriminative parts, which is also important to reducing overfitting. To address this problem, we proposed an attention-guided Dropout (AD), which utilized the self-attention mechanism to alleviate the co-adaptation of feature detectors more effectively. The AD comprised two distinctive components, the importance measurement mechanism for feature maps and the Dropout with a learnable probability. The importance measurement mechanism calculated the degree of importance for each feature map in whole by a Squeeze-and-Excitation block. The Dropout with a learnable probability can force the “bad” neurons to learn a better representation by dropping the “good” neurons. Therefore, it will diminish the co-adaptation and encourage models to learn the less discriminative part. The experimental results show that the proposed method can be easily applied to various convolutional neural network (CNN) architectures, thus yielding better performance.

deep neural network; overfitting; Dropout; self-attention mechanism; image classification

TP 181

10.11996/JG.j.2095-302X.2021010032

A

2095-302X(2021)01-0032-05

2020-07-28；

28 July，2020；

2020-08-06

6 August，2020

國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(2019YFF0303300，2019YFF0303302)；國(guó)家自然科學(xué)基金項(xiàng)目(61773071，61922015，U19B2036)；北京智源人工智能研究院項(xiàng)目(BAAI2020ZJ0204)；北京市科技新星跨學(xué)科合作項(xiàng)目(Z191100001119140)；中國(guó)留學(xué)基金管理委員會(huì)獎(jiǎng)學(xué)金(202006470036)；北京郵電大學(xué)博士生創(chuàng)新基金資助項(xiàng)目(CX2020105，CX2019109)

：National Key Research and Development Program of China (2019YFF0303300, 2019YFF0303302); National Natural Science Foundation of China (61773071, 61922015, U19B2036); Beijing Academy of Artificial Intelligence (BAAI2020ZJ0204); Beijing Nova Program Interdisciplinary Cooperation Project (Z191100001119140); Scholarship from China Scholarship Council (202006470036); BUPT Excellent Ph.D. Students Foundation (CX2020105, CX2019109)

常東良(1992-)，男，河南靈寶人，博士研究生。主要研究方向?yàn)闄C(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺(jué)。E-mail：changdongliang@bupt.edu.cn

CHANG Dong-liang (1992-), male, Ph.D. candidate. His main research interests cover machine learning and computer vision. E-mail：changdongliang@bupt.edu.cn

馬占宇(1982–)，男，河北邯鄲人，教授，博士。主要研究方向?yàn)槟Ｊ阶R(shí)別與機(jī)器學(xué)習(xí)。E-mail：mazhanyu@bupt.edu.cn

MA Zhan-yu (1982-), male, professor, Ph.D. His main research interests cover patten recognition, machine learning, etc. E-mail：mazhanyu@bupt.edu.cn