吳國(guó)娟

(天津鎏金鑠石科技有限公司 天津 300090)

一、問(wèn)題定義

近年來(lái)，隨著神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的突破性發(fā)展，人工智能領(lǐng)域迎來(lái)了新一輪發(fā)展狂潮，谷歌、微軟、facebook、阿里巴巴、騰訊、百度等業(yè)界巨頭都紛紛入場(chǎng)。但以目前而言，“人工智能”和“人類智能”的一個(gè)顯著的區(qū)別在于：傳統(tǒng)的深度學(xué)習(xí)技術(shù)需要大量的數(shù)據(jù)集進(jìn)行訓(xùn)練，才能生產(chǎn)出一個(gè)較好的模型。以圖片分類為例，要訓(xùn)練一個(gè)0-9的手寫數(shù)字識(shí)別模型，大概需要6000張圖片作為訓(xùn)練集，而人類大概只要每個(gè)類(每個(gè)數(shù)字)看一張圖片，即可抽象出每個(gè)類的特征，從而進(jìn)行高效的識(shí)別。

于是，一個(gè)新的分支應(yīng)運(yùn)而生：小樣本學(xué)習(xí)(few-shot learning)，即基于少量(單)樣本數(shù)據(jù)集或弱標(biāo)簽標(biāo)注的學(xué)習(xí)方法。

以圖片分類為例，假設(shè)我們的訓(xùn)練集中有N個(gè)分類，每個(gè)分類中有K個(gè)樣本，一共有N*K個(gè)樣本，從N*K樣本中訓(xùn)練出能夠?qū)個(gè)分類進(jìn)行區(qū)分的模型的任務(wù)被稱為N-way K-shot問(wèn)題。

《Optimization as a model for few-shot learning》5-way1-shot[1]

二、小樣本學(xué)習(xí)的意義

1.處理缺乏充足的樣本數(shù)據(jù)，或者樣本數(shù)據(jù)的獲取成本較高的深度學(xué)習(xí)。比如醫(yī)療領(lǐng)域基于深度學(xué)習(xí)的醫(yī)學(xué)診斷，需要高質(zhì)量的醫(yī)療影像作為訓(xùn)練樣本[2]，而這些樣本資源有限，成本偏高。

2.個(gè)性化AI服務(wù)。比如在傳統(tǒng)制造業(yè)、實(shí)體企業(yè)缺乏完善的數(shù)據(jù)系統(tǒng)，存儲(chǔ)雜亂，采用一個(gè)互聯(lián)網(wǎng)企業(yè)訓(xùn)練出來(lái)的通用模型又往往水土不服，要向這樣的企業(yè)提供AI解決方案，就需要引入小樣本學(xué)習(xí)。

3.用盡量少的樣本訓(xùn)練出盡量精確的模型，是判斷一個(gè)深度學(xué)習(xí)算法質(zhì)量的重要標(biāo)準(zhǔn)。

4.小樣本學(xué)習(xí)的進(jìn)步，將促使“人工智能”向“人類智能”靠近。某種意義上，小樣本學(xué)習(xí)是“人工智能”走向“人類智能”的一把鑰匙，也是“弱人工智能”走向“強(qiáng)人工智能”的關(guān)鍵。

三、小樣本學(xué)習(xí)的主流方法

1.數(shù)據(jù)增廣

數(shù)據(jù)增廣大概又可以分為兩類。一類是對(duì)樣本數(shù)據(jù)進(jìn)行加工，比如對(duì)一個(gè)圖片進(jìn)行旋轉(zhuǎn)、組合、裁切，所得的數(shù)據(jù)跟原始數(shù)據(jù)組合成新的數(shù)據(jù)集。

對(duì)原始數(shù)據(jù)的處理

另一類是使用生成對(duì)抗網(wǎng)絡(luò)(GAN,Generative Adversarial Networks)來(lái)生成樣本進(jìn)行數(shù)據(jù)集擴(kuò)充。

Few-shot Classifier GAN結(jié)構(gòu)圖[3]

通過(guò)以上方法實(shí)現(xiàn)了數(shù)據(jù)集的擴(kuò)展之后，“小樣本學(xué)習(xí)”回歸到一種傳統(tǒng)的深度學(xué)習(xí)。

2.遷移學(xué)習(xí)。

遷移學(xué)習(xí)(Transfer Learning)即把一個(gè)領(lǐng)域(源領(lǐng)域Source Domain)的模型、特征、關(guān)系遷移到另一個(gè)領(lǐng)域(目標(biāo)領(lǐng)域Target Domain)，使得目標(biāo)領(lǐng)域能夠獲取更好的學(xué)習(xí)效果。源領(lǐng)域代表有經(jīng)驗(yàn)，有標(biāo)簽，數(shù)據(jù)量充足的數(shù)據(jù)源，目標(biāo)領(lǐng)域代表無(wú)經(jīng)驗(yàn)，無(wú)標(biāo)簽，數(shù)據(jù)量不足的數(shù)據(jù)源。遷移學(xué)習(xí)按照學(xué)習(xí)的方法，大概可以分為以下幾類：

①基于樣本的遷移。在源領(lǐng)域進(jìn)行權(quán)重調(diào)整，源領(lǐng)域同目標(biāo)領(lǐng)域中的相似度高的樣本提高權(quán)重，低相似的樣板降低權(quán)重，得到一個(gè)新的適用于目標(biāo)領(lǐng)域的模型。

②基于特征的遷移。把源領(lǐng)域和目標(biāo)領(lǐng)域的進(jìn)行特征變換，把源領(lǐng)域和目標(biāo)領(lǐng)域的交叉特征變換到相同的空間。

③基于模型的遷移。利用模型間存在的相似性，把源領(lǐng)域訓(xùn)練好的模型應(yīng)用到目標(biāo)領(lǐng)域上。

3.記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)(Memory-Augmented Neural Networks，MANN)

在《One-shot Learning with Memory-Augmented Neural Networks》[4]這篇論文中，作者提出了一種記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)(Memory-Augmented Neural Networks，MANN)來(lái)快速提取樣本中的信息，并利用提取到的信息對(duì)少數(shù)樣本進(jìn)行較為準(zhǔn)確的預(yù)測(cè)。

記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)(Memory-Augmented Neural Networks，MANN)在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，增加了一個(gè)短時(shí)記憶的的工作。模型在處理樣本時(shí)，允許模型把樣本中的特征提取出來(lái)，存在內(nèi)存里，讓神經(jīng)網(wǎng)絡(luò)可以“思考”，關(guān)聯(lián)樣本上下文。記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)在試圖模擬人腦的工作記憶機(jī)制，如果把模型的訓(xùn)練參數(shù)比作人類的長(zhǎng)期記憶或背景知識(shí)的話，那么在處理樣本時(shí)提取到內(nèi)存中的特征參數(shù)就好比是人類工作時(shí)的短期記憶，這讓模型與樣本產(chǎn)生了互動(dòng)。

四、一點(diǎn)思考

傳統(tǒng)的深度學(xué)習(xí)，需要大量的數(shù)據(jù)去進(jìn)行模型訓(xùn)練，而當(dāng)遇到新的數(shù)據(jù)時(shí)，又必須重新訓(xùn)練。毋庸置疑，小樣本學(xué)習(xí)會(huì)是解決這類問(wèn)題的方向之一，它同時(shí)提供了一種接近“人類智能”的哲學(xué)可能。

在上述3中解決方法的研究實(shí)踐中，數(shù)據(jù)增廣表現(xiàn)效果不錯(cuò)，不過(guò)私以為，此法其實(shí)是一種變相的“多樣本學(xué)習(xí)”，好比把一道題目派生出幾道同類題目，讓小學(xué)生進(jìn)行反復(fù)的機(jī)械訓(xùn)練；而后兩種方法則更接近“智能”的本質(zhì)，一曰“通感”，一曰“遺忘”。博爾赫斯說(shuō)“遺忘是記憶的一種方式”[5]，“遺忘”即是從世間萬(wàn)物中抽象特征的智能算法，這或許也是 “小樣本學(xué)習(xí)”的方向所在。