章 云，王曉東

（廣東工業(yè)大學(xué) 自動(dòng)化學(xué)院，廣東 廣州 510006）

式中：lD(·) 為基于數(shù)據(jù)集D的損失函數(shù)，p(·)為正則項(xiàng)， Ω為未知函數(shù)空間(簇)。解決上述問題的一個(gè)關(guān)鍵就是如何給出包含f?的函數(shù)空間Ω 。實(shí)際上很難事先給出這個(gè)函數(shù)空間，一般都是假定 Ω中函數(shù)的結(jié)構(gòu)為fω(x)， 形成一個(gè)函數(shù)簇，留下待定參數(shù)ω 去學(xué)習(xí)。這樣問題(1)轉(zhuǎn)化為

2021年在杭州召開的全球人工智能技術(shù)大會(huì)上，徐宗本院士作了《如何突破機(jī)器學(xué)習(xí)的先驗(yàn)假設(shè)？》的精彩演講，將上述科學(xué)問題存在的瓶頸歸納為5個(gè)先驗(yàn)假設(shè)的選擇[1]。一是，損失函數(shù)的選擇是否應(yīng)該與實(shí)際問題無關(guān)，謂之獨(dú)立性假設(shè)；二是，函數(shù)空間Ω ={fω(x)}是 否足夠大規(guī)模地包含f?，謂之大容量假設(shè)；三是，樣本數(shù)據(jù)集是否高質(zhì)量且分布充分以訓(xùn)練出 ω?，謂之完備性假設(shè)；四是，正則項(xiàng)從功能上說是為保證機(jī)器(深度)學(xué)習(xí)問題有且有唯一解所設(shè)置的懲罰項(xiàng)，但選擇是盲目的，謂之正則項(xiàng)假設(shè)；五是，在進(jìn)行收斂性、泛化性等分析時(shí)，不自覺地用內(nèi)積、正交、歐氏范數(shù)等，本質(zhì)上說，這蘊(yùn)含著假設(shè)機(jī)器(深度)學(xué)習(xí)參數(shù)能夠自然嵌入到歐幾里得空間里，謂之歐氏假設(shè)。

為了解上述問題，一方面，希望函數(shù)簇 Ω既含有f?，樣本數(shù)據(jù)集D能完全反映f?的特征分布，且規(guī)模盡量??；另一方面，若函數(shù)簇 Ω 和數(shù)據(jù)集D不完美，能否通過設(shè)計(jì)更好的損失函數(shù)lD(·)和 正則項(xiàng)p(·)尋找到f?。近些年，圍繞這些基本問題的研究使深度學(xué)習(xí)得到改進(jìn)完善。

然而在已有的大量實(shí)踐中，數(shù)據(jù)密集型的成功應(yīng)用較多，而在數(shù)據(jù)集很小時(shí)常受到阻礙。本質(zhì)上講，人類的學(xué)習(xí)是基于小樣本的，學(xué)到的知識(shí)是可以遷移的，且在掌握一種學(xué)習(xí)能力后可以拓展新的學(xué)習(xí)。所以，基于受限或不完備的樣本數(shù)據(jù)集D的深度學(xué)習(xí)才是更接近人類的學(xué)習(xí)。

1 受限樣本的深度學(xué)習(xí)研究進(jìn)展

2019年，Wang 等[2]對(duì)小樣本學(xué)習(xí)(Few-shot Learning, FSL)進(jìn)行了綜述，將不同的FSL方法分為數(shù)據(jù)、模型、算法3個(gè)方面：使用先驗(yàn)知識(shí)來增強(qiáng)樣本(數(shù)據(jù))，將小樣本轉(zhuǎn)化為大樣本[3-4]；通過先驗(yàn)知識(shí)來約束假設(shè)空間(模型)，使得小樣本是相對(duì)夠用的[5-6]；使用先驗(yàn)知識(shí)來改變搜索策略(算法)，彌補(bǔ)小樣本的不充分搜索[7-8]。近兩年，將FSL與強(qiáng)化學(xué)習(xí)、元學(xué)習(xí)相結(jié)合成為一個(gè)新的途徑。Hong 等[9]在骨架網(wǎng)絡(luò)里加入一個(gè)注意力代理，該代理通過強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練，在強(qiáng)化注意力的幫助下，嵌入網(wǎng)絡(luò)能夠在小樣本學(xué)習(xí)中逐步生成更具辨別力的特征表示。Elsken等[10]提出MetaNAS，將需要大樣本的神經(jīng)架構(gòu)搜索 (Network Architecture Search, NAS)與元學(xué)習(xí)結(jié)合，可以與任意模型不可知元學(xué)習(xí)算法和任意基于梯度的 NAS 方法一起使用。

本文假設(shè)樣本是受限的，不對(duì)樣本擴(kuò)增方面的研究進(jìn)行闡述。實(shí)際上，將小樣本轉(zhuǎn)化為大樣本不利于模型的快速學(xué)習(xí)；另外，提前用先驗(yàn)知識(shí)來增強(qiáng)樣本學(xué)習(xí)與人的學(xué)習(xí)過程不盡一致，這種先驗(yàn)知識(shí)更合適刻畫在模型中。目前受限樣本的深度學(xué)習(xí)取得了一定進(jìn)展，本文對(duì)遷移學(xué)習(xí)模型、元學(xué)習(xí)模型和課程與自步學(xué)習(xí)模型進(jìn)行回顧。

1.1 遷移學(xué)習(xí)模型

遷移學(xué)習(xí)，就是希望把大樣本領(lǐng)域習(xí)得的知識(shí)和方法遷移到小樣本領(lǐng)域中，這樣計(jì)算機(jī)也可以“舉一反三”“觸類旁通”。近些年，遷移學(xué)習(xí)成為了一個(gè)熱門的研究方向[11-12]。遷移學(xué)習(xí)的核心問題是找到兩個(gè)領(lǐng)域的相似性，為此形成了4種遷移方式：基于實(shí)例的遷移[13-15]，通過度量源域與目標(biāo)域樣本之間的相似度，加大對(duì)訓(xùn)練目標(biāo)模型有利的源域訓(xùn)練樣本(相似度大的)的權(quán)重；基于特征的遷移[16-18]，識(shí)別出源域與目標(biāo)域中共有的特征表示，利用共有的特征來訓(xùn)練一個(gè)通用的分類器；基于參數(shù)的遷移[19-20]，假定源任務(wù)和目標(biāo)任務(wù)共享模型的部分參數(shù)或參數(shù)分布；基于關(guān)系的遷移[21-22]，假設(shè)源域和目標(biāo)域中某些數(shù)據(jù)之間關(guān)系是相似的，一般采用統(tǒng)計(jì)關(guān)系技術(shù)進(jìn)行學(xué)習(xí)。源域和目標(biāo)域相差不大時(shí)，遷移學(xué)習(xí)效果不錯(cuò)，相差較遠(yuǎn)時(shí)，會(huì)出現(xiàn)較大的負(fù)遷移影響。為了克服負(fù)遷移的影響，Tan等[23-24]提出分段遷移學(xué)習(xí)，以一個(gè)課程為基礎(chǔ)再轉(zhuǎn)到下一個(gè)課程，形成多步傳導(dǎo)式的遷移，取得了較好的效果。另外，可以嘗試多個(gè)預(yù)訓(xùn)練模型進(jìn)行遷移，為了找到合適的預(yù)訓(xùn)練模型，對(duì)各種預(yù)訓(xùn)練模型進(jìn)行評(píng)估是一個(gè)關(guān)鍵，You等[25]提出最大證據(jù)對(duì)數(shù)(Log Maximum Evidence, LogME)用于評(píng)估遷移學(xué)習(xí)的預(yù)訓(xùn)練模型，其快速性、準(zhǔn)確性、通用性都得到一定提高。

從理論層面上看，遷移學(xué)習(xí)目前主要關(guān)注什么條件下可進(jìn)行遷移。Ben等[26]定義了分布之間的距離，此距離與領(lǐng)域適應(yīng)性有關(guān)，并且給出了在有限VC (Vapnik-Chervonenkis)維情況下領(lǐng)域適應(yīng)性問題推廣性的界。隨后，Blitzer 等[27]進(jìn)一步界定了在特定的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的情形下的誤差率；Ben等[28]進(jìn)一步研究了在什么條件下一個(gè)分類器能在目標(biāo)領(lǐng)域里很好地完成分類任務(wù)，還研究了給定目標(biāo)領(lǐng)域少量的已標(biāo)注的樣本，如何在訓(xùn)練過程中把它們與大量的已標(biāo)注的源數(shù)據(jù)相結(jié)合，以實(shí)現(xiàn)目標(biāo)誤差最小。

1.2 元學(xué)習(xí)模型

元學(xué)習(xí)是一種模仿人類利用先前已有的知識(shí)快速學(xué)習(xí)新的未知事物的一種學(xué)習(xí)方式，即學(xué)會(huì)學(xué)習(xí)。元學(xué)習(xí)研究目前大致分為3個(gè)方向[29-30]：基于相似度度量的方法、基于記憶功能模型的方法、基于優(yōu)化策略的方法。

基于相似度度量的方法，是假定支持集樣本與查詢集樣本在低維嵌入空間可以通過某種度量進(jìn)行相似度對(duì)比，從而快速地比對(duì)出查詢集樣本的分類信息。該方法包括3個(gè)部分：支持集到嵌入空間的映射f(·) 、查詢集到嵌入空間的映射g(·)以及嵌入空間中的度量s(·,·)。形成了孿生網(wǎng)絡(luò)[31]、匹配網(wǎng)絡(luò)[32]、原型網(wǎng)絡(luò)[33]、關(guān)系網(wǎng)絡(luò)[34]等不同方法，其中孿生網(wǎng)絡(luò)的f(·)=g(·)、s(·,·) 采用帶權(quán)重的L1范數(shù)；匹配網(wǎng)絡(luò)的f(·)≠g(·)、s(·,·)采 用cosine相 似 度；原 型 網(wǎng) 絡(luò) 的f(·)=g(·)(以Convolutional Neural Network (CNN)構(gòu)成)、s(·,·) 采用歐氏距離；關(guān)系網(wǎng)絡(luò)的f(·)=g(·)(以CNN構(gòu)成)、s(·,·)采用全連接網(wǎng)絡(luò)自學(xué)習(xí)度量函數(shù)，度量的精度和適應(yīng)能力比預(yù)先指定的度量方式有所提升，但會(huì)加大訓(xùn)練難度。

具有記憶功能是人類能夠進(jìn)行快速學(xué)習(xí)新事物的重要基礎(chǔ)?；谟洃浌δ苣Ｐ偷姆椒ㄊ菍⑷蝿?wù)中有用的信息編碼儲(chǔ)存到記憶模塊中，以便在下次遇到新任務(wù)時(shí)可以快速準(zhǔn)確地檢索相關(guān)信息。CNN在學(xué)習(xí)后可以有效提取樣本特征，其特征信息分布在網(wǎng)絡(luò)參數(shù)中，當(dāng)樣本撤消后其特征向量不再顯式存在，因而不便于應(yīng)用到新事物的快速學(xué)習(xí)上。為此，Santoro 等[35]提出MANN(Meta-Learning with Memory-Augmented Neural Networks)模型，引入具有存儲(chǔ)模塊的神經(jīng)圖靈機(jī)(Neural Turing Machine,NTM)，可將某種類型的特征向量顯式地存儲(chǔ)起來實(shí)現(xiàn)記憶增強(qiáng)，在下次遇到同類圖片時(shí)就能快速識(shí)別出來，存儲(chǔ)模塊的讀寫由LSTM(Long Short-Term Memory)網(wǎng)絡(luò)作為控制器來實(shí)施，以最少最近使用的規(guī)則(Least Recently Used Access, LRUA)對(duì)存儲(chǔ)單元進(jìn)行覆蓋操作，從而節(jié)省存儲(chǔ)空間與查詢開支。

實(shí)際上，元學(xué)習(xí)的目標(biāo)是試圖建立一個(gè)通用的框架橋梁，這需要找到與問題無關(guān)的元信息，以此快速歸納偏差，修正當(dāng)前任務(wù)空間中的模型設(shè)置(參數(shù))。Munkhdalai 等[36]提出MetaNet(Meta Networks)模型，由基學(xué)習(xí)器(Base Learner)和帶有記憶模塊的元學(xué)習(xí)器(Meta Learner)組成，選擇損失梯度信息作為元信息，其訓(xùn)練包括3個(gè)主要過程：元數(shù)據(jù)的獲取、快速權(quán)重的生成和慢速權(quán)重的優(yōu)化?；鶎W(xué)習(xí)器分析支持集的任務(wù)并將元信息反饋給元學(xué)習(xí)器，元學(xué)習(xí)器則快速歸納偏差生成權(quán)重，實(shí)現(xiàn)快速概括，并記錄到存儲(chǔ)模塊，供新樣例檢索使用，再結(jié)合查詢集中的任務(wù)對(duì)慢速權(quán)重進(jìn)行優(yōu)化。該方法將存儲(chǔ)的類別特征信息升級(jí)為直接保存的權(quán)重信息，并且使用一種層增強(qiáng)技術(shù)，可同時(shí)利用快速權(quán)重和慢速權(quán)重得到預(yù)測結(jié)果。

結(jié)合快速查詢和相似度比對(duì)，Cai 等[37]提出MMNet(Memory Matching Networks for One-Shot Image Recognition)模型，將支持集的特征與對(duì)應(yīng)類別標(biāo)簽構(gòu)成“鍵?值對(duì)”儲(chǔ)存在記憶模塊中，然后提取查詢集的特征，并與記憶模塊中的特征進(jìn)行比對(duì)，選擇相似程度最高的作為查詢圖片的類別，在此過程中利用Bi-LSTM (Bi-directional Long Short Term Memory)網(wǎng)絡(luò)，根據(jù)記憶模塊中存儲(chǔ)的特征信息學(xué)習(xí)特征，提取網(wǎng)絡(luò)的卷積核參數(shù)，這一點(diǎn)類似于MetaNet中的快速參數(shù)化。

在監(jiān)督學(xué)習(xí)的方式下，梯度信息直接影響模型參數(shù)的學(xué)習(xí)，建立以它為基礎(chǔ)的元學(xué)習(xí)能力是有意義的，這就是基于優(yōu)化策略的方法。Finn等[38]提出MAML(Model-Agnostic Meta-Learning)模型，創(chuàng)造性地給出雙循環(huán)的優(yōu)化策略，針對(duì)隨機(jī)采樣的學(xué)習(xí)任務(wù)，其內(nèi)循環(huán)與通常的預(yù)訓(xùn)練模型一樣，利用支撐集的梯度信息更新參數(shù)，此過程是在網(wǎng)絡(luò)副本上進(jìn)行的，謂之第一次梯度更新過程，實(shí)現(xiàn)基學(xué)習(xí)的任務(wù)；外循環(huán)是以內(nèi)循環(huán)的結(jié)果來測試查詢集，再以這個(gè)損失的梯度信息真正更新網(wǎng)絡(luò)參數(shù)，謂之第二次梯度更新過程，即Gradient by Gradient，其目的就是找到一個(gè)盡量滿足所有任務(wù)的網(wǎng)絡(luò)參數(shù)，實(shí)現(xiàn)元學(xué)習(xí)的任務(wù)。如此多次循環(huán)后作為新任務(wù)的網(wǎng)絡(luò)初始化參數(shù)，再用少量的樣本進(jìn)行微調(diào)(Fine-tune)便可快速擬合。MAML的元學(xué)習(xí)實(shí)際上是一個(gè)雙循環(huán)的框架，與基學(xué)習(xí)的模型無關(guān)，這一特點(diǎn)使MAML類模型成為了眾多元學(xué)習(xí)算法的基礎(chǔ)框架，其適用范圍擴(kuò)展至強(qiáng)化學(xué)習(xí)、回歸預(yù)測等領(lǐng)域[39–43]。

基于優(yōu)化策略的元學(xué)習(xí)，其目的是學(xué)習(xí)到梯度的更新規(guī)則。Ravi 等[7]注意到梯度更新的迭代序列與LSTM的序列學(xué)習(xí)記憶過程是同構(gòu)相似的，因而構(gòu)建了一個(gè)基于LSTM的梯度優(yōu)化器，以它作為元學(xué)習(xí)者(Meta-learner)訓(xùn)練另一個(gè)只有小樣本的基學(xué)習(xí)者(Learner)，換言之，通過一個(gè)網(wǎng)絡(luò)更新另一個(gè)網(wǎng)絡(luò)。通?；鶎W(xué)習(xí)者的網(wǎng)絡(luò)參數(shù)是大量的，若元學(xué)習(xí)者LSTM網(wǎng)絡(luò)的隱藏單元一一對(duì)應(yīng)基學(xué)習(xí)者的網(wǎng)絡(luò)參數(shù)，將引起元學(xué)習(xí)者的參數(shù)爆炸，為此使用了一種參數(shù)共享機(jī)制，即LSTM的隱藏單元只有一個(gè)，基學(xué)習(xí)者的每個(gè)參數(shù)都共享這個(gè)LSTM，即它們的更新規(guī)則一樣，但各自的歷史隱藏信息不同，因而它們的每個(gè)參數(shù)的更新量是不一樣的。

1.3 課程與自步學(xué)習(xí)模型

樣本數(shù)據(jù)集的完備程度影響深度學(xué)習(xí)的效果，但現(xiàn)實(shí)中樣本數(shù)據(jù)常常會(huì)有噪聲不同、異常值、不平衡等情況，即樣本有“難”“易”之分，若不加處理同等對(duì)待全部提供給機(jī)器學(xué)習(xí)，即使有足夠量的樣本數(shù)據(jù)，其效果也會(huì)受到制約。為此，出現(xiàn)了課程?自步學(xué)習(xí)理論。

2009年，Bengio 等[44]首次提出了課程學(xué)習(xí)的概念，嘗試模擬“從易到難”的學(xué)習(xí)機(jī)制，預(yù)先將數(shù)據(jù)按照某種預(yù)設(shè)“課程”從易到難排序，然后按此順序?qū)?shù)據(jù)逐步輸入學(xué)習(xí)模型進(jìn)行增量式學(xué)習(xí)。雖然課程學(xué)習(xí)在一些應(yīng)用中體現(xiàn)出良好的性能，但其性能依賴于預(yù)先主觀制定的課程質(zhì)量，這需要用戶對(duì)領(lǐng)域擁有足夠全面的先驗(yàn)知識(shí)；另一方面，對(duì)于人類容易的課程未必對(duì)于模型也是容易的。

為了能自適應(yīng)設(shè)置課程，Kumar等[45]在2010年提出了自步學(xué)習(xí)(Self-paced Learning)，將課程的難易程度以正則化項(xiàng)嵌入到目標(biāo)函數(shù)中，動(dòng)態(tài)地調(diào)整參與學(xué)習(xí)的樣本的難易系數(shù)。由于正則項(xiàng)獨(dú)立，不會(huì)因?yàn)槿蝿?wù)的改變而改變，自步學(xué)習(xí)被廣泛用于不同的任務(wù)，并獲得了良好的應(yīng)用效果[46–49]。Meng等[50]從理論上證明了自步學(xué)習(xí)的迭代算法與一個(gè)魯棒損失函數(shù)的迭代過程是對(duì)應(yīng)的，并在此后證明了自步學(xué)習(xí)的收斂性[51]，這項(xiàng)工作揭示了自步學(xué)習(xí)具有魯棒學(xué)習(xí)的本質(zhì)內(nèi)涵。隨后，Liu等[52]闡明了自步學(xué)習(xí)模型與凹共軛形式是本質(zhì)等價(jià)的，并在此框架下誘導(dǎo)出更具一般性的自步正則。

然而，所有這些工作都敏感地依賴于正則項(xiàng)中超參數(shù)的選擇。若選擇不當(dāng)，可能導(dǎo)致進(jìn)入學(xué)習(xí)的訓(xùn)練樣本過快過多，使異常樣本或者無意義的噪聲樣本過早侵入，從而產(chǎn)生訓(xùn)練效果的偏差；或者導(dǎo)致進(jìn)入樣本過少，使學(xué)習(xí)速度過慢等。為此，束俊等[53]提出一種元自步學(xué)習(xí)算法，將元學(xué)習(xí)與自步學(xué)習(xí)相融合，構(gòu)建了超參數(shù)的自動(dòng)學(xué)習(xí)策略。

近幾年，課程與自步學(xué)習(xí)在深度和廣度方面都有新推進(jìn)[54]，如采取老師?學(xué)生共同學(xué)習(xí)的方式[55–57]、與弱監(jiān)督遷移學(xué)習(xí)相結(jié)合[58-59]、與貝葉斯優(yōu)化器相結(jié)合[60]、用動(dòng)態(tài)損失函數(shù)分類課程[61]等。上述成果印證了課程與自步學(xué)習(xí)是具有廣泛有效性的，但Zhang等[62]發(fā)現(xiàn)在神經(jīng)機(jī)器翻譯任務(wù)上，“由難到易”的反課程效果更好，隨后，Hacohen等[63]和Wang等[64]也有類似結(jié)論。這提示了如何根據(jù)任務(wù)與模型的不同設(shè)置合適的課程體系仍是一個(gè)待解決的問題。

借鑒“仿人學(xué)習(xí)”而提出的小樣本學(xué)習(xí)、遷移學(xué)習(xí)、元學(xué)習(xí)、課程與自步學(xué)習(xí)等，盡管有各自的出發(fā)點(diǎn)，但相互嵌入融合成為了目前一個(gè)新的發(fā)展趨勢，為改善神經(jīng)網(wǎng)絡(luò)泛化能力，提高快速響應(yīng)能力，加強(qiáng)通用性帶來新機(jī)。

2 進(jìn)一步研究的思考

前面的分析表明，解決式(2)的科學(xué)問題面臨的挑戰(zhàn)仍在兩方面：一是函數(shù)簇fω的建構(gòu)，二是在數(shù)據(jù)集D受限時(shí)如何設(shè)計(jì)算法尋找到ω?，而建構(gòu)包含(接近)f?的函數(shù)簇fω是根本。

從目前對(duì)大腦的研究看，人的認(rèn)知過程在大腦中是分區(qū)域的，每個(gè)區(qū)域擔(dān)負(fù)的功能是不同的，因而，對(duì)每個(gè)區(qū)域功能的訓(xùn)練(生化過程)也應(yīng)該是有差異的。因此，網(wǎng)絡(luò)結(jié)構(gòu)fω應(yīng)由多種功能模塊分區(qū)分層組成。以圖像分類問題為例，既能做到特征表示，又能析出背景噪聲等干擾信息；既能提取像素?cái)?shù)據(jù)級(jí)特征，更能生成豐富的嵌入位姿信息的語義級(jí)特征；既能通過網(wǎng)絡(luò)參數(shù)分布記憶特征信息，也應(yīng)存在一種長期記憶機(jī)制以便能快速學(xué)習(xí)與快速響應(yīng)；既能掃描聚焦注意力，又能構(gòu)建“整體–部件”的關(guān)系；有的功能模塊為所有類別共享可遷移，有的功能模塊與類別相關(guān)易擴(kuò)展等。

此外，對(duì)于每個(gè)功能模塊的訓(xùn)練應(yīng)該是“進(jìn)階”式的，類似人的大腦從嬰兒到成人有一個(gè)從發(fā)育至成熟的過程。在這個(gè)過程中，有些功能模塊需要先訓(xùn)練，有些功能模塊需要后訓(xùn)練；不同功能的實(shí)現(xiàn)，應(yīng)提供不同的“課程”(樣本)，采用不同的教法(優(yōu)化策略)等。

鑒于此，本文給出一種分區(qū)分層多種功能模塊的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)想，并初步研究“進(jìn)階”式的功能模塊訓(xùn)練方法，以期探求“仿人學(xué)習(xí)”的新路徑。

2.1 分區(qū)分層多種功能模塊的網(wǎng)絡(luò)結(jié)構(gòu)

為了簡化描述，本文以圖像分類問題為例進(jìn)行闡述。令x是輸入圖像，y是分類輸出，網(wǎng)絡(luò)模型為f(x,ω)， 那么，對(duì)于任意兩個(gè)圖像xi、xj，xj=xi+Δx，應(yīng)該有以下情況。

若屬于同一類，則

若不屬于同類，則

圖1 分區(qū)分層多種功能模塊的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure with partitioned and hierarchical multifunctional modules

(1) 基本功能模塊。該模塊處理標(biāo)準(zhǔn)尺寸的圖像(x?)，完成數(shù)據(jù)級(jí)的特征提取。當(dāng)人眼觀察圖像時(shí)，實(shí)際上只是對(duì)視網(wǎng)膜中心的中央凹區(qū)上的局部圖像進(jìn)行觀察處理，對(duì)于全局圖像人眼需要不停地掃尋運(yùn)動(dòng)。受此啟發(fā)，在網(wǎng)絡(luò)模型的基本處理單元上設(shè)置一個(gè)“中央凹區(qū)”，即只對(duì)應(yīng)處理一個(gè)標(biāo)準(zhǔn)尺寸的圖像(稱為小圖x?)。這個(gè)標(biāo)準(zhǔn)尺寸需要進(jìn)一步研究，一方面其分辨率足夠大能保證提取清晰的特征，另一方面尺寸盡量小以減少計(jì)算量。另外，將特征提取分為2 個(gè) 部 分：通 用 特 征(q=f0(x?,ω0))與 分 類 特 征(q?k=fk(q,ωk)，k=1,2,···,K)。對(duì)于后者，其參數(shù)ωk應(yīng)充分刻畫類別k=1,2,···,K的信息，因此需要有帶標(biāo)簽的數(shù)據(jù)進(jìn)行訓(xùn)練；對(duì)于前者，其參數(shù)ω0不應(yīng)與類別關(guān)聯(lián)，因此不宜用帶標(biāo)簽的數(shù)據(jù)進(jìn)行訓(xùn)練，否則會(huì)殘留類別的印記(信息)。這兩類參數(shù)的學(xué)習(xí)目標(biāo)是不一樣的，需要探索一種新的學(xué)習(xí)機(jī)制。

(2) 擴(kuò)展功能模塊。該模塊需實(shí)現(xiàn)三方面功能：一是，構(gòu)建長期記憶模塊存儲(chǔ)各類的特征信息；二是，構(gòu)建掃描聚焦模塊，將輸入的大圖x裁選為小圖x? ； 三是，依據(jù)當(dāng)前圖像信息x?=x??+Δx(x??是原型樣本)和記憶的特征信息析出差異信息 Δx。首先，把基本功能模塊提取出來的各類別特征存儲(chǔ)起來，需要探索一種容量受限效率高效的記憶機(jī)制；其次，對(duì)于干擾析出模塊的參數(shù)學(xué)習(xí)，由于沒有直接的監(jiān)督信號(hào)，需要構(gòu)造間接信號(hào)實(shí)現(xiàn)自監(jiān)督的學(xué)習(xí)；最后，對(duì)于掃描聚焦模塊，要探索多種裁選機(jī)制，如順序掃描、隨機(jī)掃描、依據(jù)分類輸出信息進(jìn)行掃描等。

(3) 語義功能模塊。該模塊歸納出圖像多層次多尺度的語義特征。一是，研究從掃描聚焦模塊抽出全局(圖像)位姿信息；二是，研究從擴(kuò)展功能模塊抽出局部(圖像)位姿信息；三是，研究從通用特征、分類特征模塊的分層信息和前面的位姿信息中歸納出各級(jí)語義信息。由于位姿信息的存在，可以錨定通用特征、分類特征模塊中的信息，使語義特征更加明確。構(gòu)造網(wǎng)絡(luò)模型實(shí)現(xiàn)式(4)的要求相對(duì)容易，而實(shí)現(xiàn)式(3)的要求相對(duì)困難，有了語義特征后，再聚合數(shù)據(jù)特征，便能很好地實(shí)現(xiàn)式(3)的要求。

2.2 訓(xùn)練樣本集的構(gòu)建

要實(shí)現(xiàn)“功能進(jìn)階式”的訓(xùn)練，構(gòu)建不同功能的訓(xùn)練樣本集是一個(gè)重點(diǎn)?？纱笾聦颖炯譃椋夯炯?、擴(kuò)展集、語義級(jí)。

(1) 對(duì)于基本集，重點(diǎn)是訓(xùn)練如何提取數(shù)據(jù)特征，樣本應(yīng)盡量不含背景噪聲等干擾因素。由于原型樣本量小，所以研究對(duì)原型樣本的遮蔽方法，形成大量殘缺樣本，增強(qiáng)基本集，以訓(xùn)練特征提取的魯棒性。

(2) 對(duì)于擴(kuò)展集，重點(diǎn)是訓(xùn)練如何析出與原型樣本的差異信息。研究在基本集的樣本上自動(dòng)進(jìn)行平移、縮放、旋轉(zhuǎn)、視點(diǎn)變換的增強(qiáng)方法，形成1級(jí)擴(kuò)展集；再研究在1級(jí)擴(kuò)展集的基礎(chǔ)上，引入各種背景噪聲，形成2級(jí)擴(kuò)展集；再研究借助Web等易得資源擴(kuò)充多類多變的復(fù)雜樣本，形成3級(jí)擴(kuò)展集。

(3) 對(duì)于語義級(jí)，重點(diǎn)是訓(xùn)練如何提取語義特征，樣本可在基本集和擴(kuò)展集中篩選，再對(duì)其實(shí)施各種掩蔽，用以生成語義信息和建立它們之間的關(guān)聯(lián)。

3 結(jié)論

受限樣本的深度學(xué)習(xí)旨在模仿人類學(xué)習(xí)的方式，通過將學(xué)習(xí)到的不同模態(tài)間的通用知識(shí)刻畫在模型里，然后快速遷移到小樣本的新任務(wù)中。本文從深度學(xué)習(xí)的優(yōu)化問題出發(fā)，總結(jié)出依賴不完備樣本數(shù)據(jù)集的深度學(xué)習(xí)模型更接近人類的學(xué)習(xí)，然后對(duì)遷移學(xué)習(xí)模型、元學(xué)習(xí)模型和課程與自步學(xué)習(xí)模型在受限樣本下的深度學(xué)習(xí)進(jìn)行了分類綜述。進(jìn)一步地，針對(duì)受限樣本的深度學(xué)習(xí)所面臨的挑戰(zhàn)，給出了一種分區(qū)分層多種功能模塊的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)想，并構(gòu)建相應(yīng)的數(shù)據(jù)集，以探索“仿人學(xué)習(xí)”的新路徑。