杜剛　胡佳磊　姜曉媛　周小林　 張碩

摘? 要： 分析了一種基于元學(xué)習(xí)的漸進(jìn)式原形網(wǎng)絡(luò)，只需要少量的圖像樣本，就可以完成模型的訓(xùn)練工作，并能快速識(shí)別新任務(wù)，具有極強(qiáng)的泛化能力.采用的漸進(jìn)式訓(xùn)練策略，提升了模型的訓(xùn)練效率，降低了訓(xùn)練時(shí)間.

關(guān)鍵詞： 漸進(jìn)式原型網(wǎng)絡(luò); 深度學(xué)習(xí); 元學(xué)習(xí); 圖像分類

中圖分類號(hào)： TP 311??? 文獻(xiàn)標(biāo)志碼： A??? 文章編號(hào)： 1000-5137（2022）02-0217-04

DU Gang， HU Jialei， JIANG Xiaoyuan， ZHOU Xiaolin， ZHANG Shuo

（School of Information Science and Technology， Fudan University， Shanghai 200433， China）

In this paper a progressive prototype network based on meta-learning was analyzed. With the proposed network only a few image samples were required to complete model training and new tasks could be quickly identified with outstanding generalization ability. The model training efficiency was improved and the training time was reduced dramatically by using the constructed progressive training strategy.

progressive prototype network; deep learning; meta-learning; image classification

0? 引言

近些年，以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)算法在計(jì)算機(jī)視覺(jué)領(lǐng)域開(kāi)始嶄露頭角并取得成功.然而，以深度學(xué)習(xí)為代表的人工智能技術(shù)仍然面臨著諸如數(shù)據(jù)缺乏、模型泛化性能有限等局限與瓶頸.由于深度學(xué)習(xí)模型大多采用的是監(jiān)督學(xué)習(xí)的模式，其在訓(xùn)練模型時(shí)需要大量的標(biāo)注數(shù)據(jù)，在圖像識(shí)別中，一些復(fù)雜的網(wǎng)絡(luò)模型可能需要上百萬(wàn)張帶有標(biāo)簽類別的圖片.雖然隨著大數(shù)據(jù)技術(shù)的發(fā)展，出現(xiàn)了一些諸如ImageNet的大型公開(kāi)數(shù)據(jù)集，但是仍然缺乏例如醫(yī)療影像、稀有語(yǔ)言翻譯、個(gè)人定制化教育、推薦系統(tǒng)等領(lǐng)域大規(guī)模的標(biāo)注數(shù)據(jù).此外，即使能夠獲得數(shù)據(jù)，高昂的人工標(biāo)記樣本成本同樣制約了深度學(xué)習(xí)技術(shù)的應(yīng)用.除此之外，深度學(xué)習(xí)模型的泛化能力仍然有限，當(dāng)接到一個(gè)新的任務(wù)需求時(shí)，通常還是需要重新訓(xùn)練一個(gè)與之對(duì)應(yīng)的新模型.

基于現(xiàn)有深度學(xué)習(xí)系統(tǒng)與人類在視覺(jué)識(shí)別能力上的差距，小樣本學(xué)習(xí)應(yīng)運(yùn)而生，其旨在通過(guò)少量的標(biāo)注樣本，便能快速學(xué)習(xí).其中，元學(xué)習(xí)逐漸成為小樣本學(xué)習(xí)研究領(lǐng)域中主流的解決方案之一.

在此背景下，本文作者研究了一種基于元學(xué)習(xí)的漸進(jìn)式原型網(wǎng)絡(luò)圖像分類模型.相對(duì)于傳統(tǒng)的訓(xùn)練方案，隨著迭代次數(shù)的不斷增大，該模型的訓(xùn)練樣本數(shù)有規(guī)律地漸進(jìn)增長(zhǎng)，模型的訓(xùn)練效率得到較大幅度的提升.該模型只需要少量的樣本和時(shí)間進(jìn)行訓(xùn)練，能快速準(zhǔn)確地識(shí)別新任務(wù)，具有較強(qiáng)的泛化能力.

1? 基于元學(xué)習(xí)的漸進(jìn)式原型網(wǎng)絡(luò)原理與實(shí)現(xiàn)

漸進(jìn)式原型網(wǎng)絡(luò)結(jié)構(gòu)

設(shè)計(jì)由4個(gè)卷積模塊堆疊而成的卷積神經(jīng)網(wǎng)絡(luò)作為特征提取模塊，每個(gè)卷積模塊由積層、批量歸一化操作、ReLU激活函數(shù)以及最大池化層順序構(gòu)成.

漸進(jìn)式原型網(wǎng)絡(luò)，在對(duì)樣本進(jìn)行特征提取后，計(jì)算支持集中每個(gè)類別的原型特征表征.每個(gè)類別原型是支持集中該類別下所有樣本特征的平均值，具體計(jì)算公式如下：

連續(xù)漸進(jìn)式原型網(wǎng)絡(luò)算法實(shí)現(xiàn)

數(shù)據(jù)增強(qiáng)

由圖1，2可知，相較于原始訓(xùn)練模型，雖然漸進(jìn)式原型網(wǎng)絡(luò)在訓(xùn)練準(zhǔn)確率上略有下降，但是測(cè)試準(zhǔn)確率并未降低，且穩(wěn)定在93%附近.圖3顯示：該網(wǎng)絡(luò)完成訓(xùn)練過(guò)程所需要的時(shí)間更少.綜合以上對(duì)比實(shí)驗(yàn)結(jié)果可知：相對(duì)于原始訓(xùn)練模型，使用基于元學(xué)習(xí)的漸進(jìn)式增長(zhǎng)模型在小樣本分類任務(wù)上的訓(xùn)練效率有較大提升，同時(shí)模型的泛化性能下降的程度也在可以接受的范圍內(nèi).

3? 結(jié) 論

采用漸進(jìn)式原型網(wǎng)絡(luò)對(duì)Omniglot數(shù)據(jù)集進(jìn)行漸進(jìn)式增長(zhǎng)訓(xùn)練，測(cè)試了元任務(wù)數(shù)量漸進(jìn)增長(zhǎng)情況下的模型性能變化，并在同等條件下與原始訓(xùn)練流程的模型進(jìn)行了對(duì)比.實(shí)驗(yàn)結(jié)果表明：使用漸進(jìn)式訓(xùn)練方法模型相較于原始模型，在小樣本分類任務(wù)上的訓(xùn)練效率有所提升，同時(shí)只付出了訓(xùn)練準(zhǔn)確率小幅度下降的代價(jià).

參考文獻(xiàn)：

[1]? LECUN Y， BENGIO Y， HINTON G. Deep [J]. Nature，2015，521（7553）：436-444.

[2]? WANG Y， YAO Q. Few?shot learning： survey [J/OL]. （2020-03-29） [2021-12-20]. https：// arxiv.org/abs/1904.05046v1.

[3]? VANSCHOREN J. Meta?learning： survey [J/OL]. （2018-10-08） [2022-01-08]. https：// arxiv.org/abs/1810.03548.

[4]? SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large?scale image recognition [J/OL]. （2015-04-10） [2021-01-12]. https：// arxiv.org/abs/1409.1556v1.

[5]? HOCHREITER S， YOUNGER A S， CONWELL P R. Learning to learn using gradient descent [C]// International Conference on Artificial Neural Networks. Berlin： Springer，2001：87-94.

（責(zé)任編輯：包震宇，顧浩然）