宋 偉，謝建平，高 倩，謝良旭，4，許曉軍，4

（1. 江蘇理工學(xué)院電氣信息工程學(xué)院，常州 213001；2. 湖州師范學(xué)院理學(xué)院，湖州 313000；3. 江蘇理工學(xué)院計算機(jī)工程學(xué)院，常州 213001；4.江蘇理工學(xué)院生物信息與醫(yī)藥工程研究所，常州 213001）

引言

人工智能探索讓計算機(jī)以類人腦方式學(xué)習(xí)和認(rèn)知。隨著超大容量計算機(jī)存儲的普及和互聯(lián)網(wǎng)對人類活動的時空突破，涌現(xiàn)出了大量可用數(shù)據(jù)?？焖偾腋叨炔⑿械挠嬎銠C(jī)硬件結(jié)合大數(shù)據(jù)推動了人工智能的發(fā)展，特別是引發(fā)了深度學(xué)習(xí)在諸多領(lǐng)域的技術(shù)革命［1-3］。需要指出的是，人工智能的高成效通常需要有充足的數(shù)據(jù)來訓(xùn)練模型參數(shù)，使其達(dá)到預(yù)測/識別的高精度和良好泛化能力。然而，在很多實際應(yīng)用場景，樣本數(shù)量不足或者樣本標(biāo)注存在較大困難而無法實現(xiàn)有效標(biāo)注。高質(zhì)量數(shù)據(jù)的缺乏往往使得人工智能算法極易出現(xiàn)過/欠擬合行為而很難達(dá)到預(yù)期成效。因此，小樣本學(xué)習(xí)，即通過少量樣本學(xué)習(xí)得到解決問題的方法就成為人工智能領(lǐng)域的重要研究方向之一。

小樣本學(xué)習(xí)目前在圖像目標(biāo)識別、圖像分割、圖像分類與檢索等諸多圖像處理任務(wù)中都有重要應(yīng)用［4-16］。例如，汪航等［13］使用2D Gabor 濾波增強(qiáng)圖像，結(jié)合深度卷積自編碼網(wǎng)絡(luò)實現(xiàn)了小樣本學(xué)習(xí)的合成孔徑雷達(dá)（Synthetic aperture radar，SAR）圖像識別。Gabor 濾波器能很好地把握圖像的整體特征，同時還能夠?qū)ζ渚植刻卣鬟M(jìn)行有效分析。最近，Li 等［16］發(fā)展了用于小樣本圖像分類的深度學(xué)習(xí)模型InterBoost。該模型首先構(gòu)建兩個相同框架的深度神經(jīng)網(wǎng)絡(luò)并隨機(jī)初始化互補(bǔ)權(quán)重參數(shù)，然后通過互動式訓(xùn)練的方式進(jìn)行兩模型參數(shù)的聯(lián)合迭代優(yōu)化，其目的是得到兩個具有獨(dú)立特征提取的深度網(wǎng)絡(luò)，最后取兩個網(wǎng)絡(luò)預(yù)測結(jié)果的平均值作為InterBoost 模型的最終輸出。在多個小樣品數(shù)據(jù)集上的測試結(jié)果表明，此方法相比于其他模型在圖像分類識別精度上有顯著提升。

手寫文本是從古至今人類最為常用的交流和傳播方式之一。在當(dāng)今的數(shù)字化時代，海量的手寫材料，如收據(jù)、支票、賬單、郵件和手寫試卷等需要錄入計算機(jī)系統(tǒng)實現(xiàn)信息化處理。如何準(zhǔn)確且快速地識別手寫數(shù)字、字符及標(biāo)記等有著廣泛的商業(yè)需求和學(xué)術(shù)價值［17-22］。對于手寫數(shù)字圖像數(shù)據(jù)來說，由于個體書寫習(xí)慣的多樣性，書寫力（筆壓或筆力）、書寫順序、書寫快慢以及連筆習(xí)慣等均存在個體差異，且具有一定的隨機(jī)性，即同一個人在不同環(huán)境下的手寫數(shù)字也不會完全相同，甚至有可能出現(xiàn)很大差異。因此，手寫數(shù)字識別神經(jīng)網(wǎng)絡(luò)模型在數(shù)據(jù)缺乏時也很難取得應(yīng)有的識別成效。如何在少量樣本上進(jìn)行模型訓(xùn)練從而實現(xiàn)對手寫數(shù)字的精準(zhǔn)識別有望為解決數(shù)據(jù)不足和樣本不均衡提供有益的嘗試。本文首先采用圖像插值算法對手寫數(shù)字圖像進(jìn)行預(yù)處理。不同于傳統(tǒng)數(shù)據(jù)增強(qiáng)中增多數(shù)據(jù)的策略，本文著重于提高圖像質(zhì)量（分辨率），并在增強(qiáng)圖像分辨率的基礎(chǔ)上，詳細(xì)研究兩種常見神經(jīng)網(wǎng)絡(luò)在手寫數(shù)字識別問題的數(shù)據(jù)集大小依賴性以及參數(shù)訓(xùn)練環(huán)節(jié)中迭代次數(shù)對小樣本學(xué)習(xí)的影響。研究結(jié)果表明，圖像插值預(yù)處理可以顯著提升手寫數(shù)字識別神經(jīng)網(wǎng)絡(luò)的特征提取質(zhì)量，提高了模型的小樣品學(xué)習(xí)性能。

1 材料和方法

1.1 小樣本訓(xùn)練數(shù)據(jù)集和測試集

作為機(jī)器學(xué)習(xí)領(lǐng)域的一個經(jīng)典數(shù)據(jù)集，MNIST 數(shù)據(jù)集包含60 000 張訓(xùn)練圖像和10 000 張測試圖像。所有圖像均為28 像素×28 像素的灰度圖像。為了研究手寫數(shù)字識別神經(jīng)網(wǎng)絡(luò)模型的小樣本學(xué)習(xí)性能并確保在小樣本訓(xùn)練集中各數(shù)字的樣本數(shù)一致，對于每個數(shù)字，從60 000 張MNIST 原始訓(xùn)練集中隨機(jī)選取N個樣本，合并組成大小為10×N個的訓(xùn)練數(shù)據(jù)集。通過改變N值，可以得到樣本數(shù)可變的訓(xùn)練數(shù)據(jù)集，以此來驗證神經(jīng)網(wǎng)絡(luò)在指定數(shù)目小樣本上的手寫數(shù)字識別的學(xué)習(xí)性能。對于不同的N值，本文統(tǒng)一使用同一個測試集，即10 000 張MNIST 測試集進(jìn)行模型性能測試。

美國郵政服務(wù)USPS 數(shù)據(jù)集共有9 298 張尺寸為16 像素×16 像素的手寫數(shù)字灰度圖像。本文首先將USPS 整個數(shù)據(jù)集隨機(jī)分成7 000 張訓(xùn)練圖像和2 298 張測試圖像。與MNIST 測試過程一致，對于每個數(shù)字，從7 000 張USPS 原始訓(xùn)練集中隨機(jī)選取N個樣本，合并組成大小為10×N個的訓(xùn)練數(shù)據(jù)集進(jìn)行模型參數(shù)訓(xùn)練，并統(tǒng)一在2 298 張測試集中進(jìn)行模型性能測試。

本文所使用的MNIST 和USPS 數(shù)據(jù)集均來源于Kaggle 在線平臺（www.kaggle.com）。

1.2 圖像插值

圖像插值是圖像預(yù)處理方法之一，常常應(yīng)用于樣本量不足時的圖像增強(qiáng)以提高人工智能等算法的特征學(xué)習(xí)能力。圖像插值通過利用已知像素產(chǎn)生未知像素的方法來引入不同的圖像邊緣效果，提高圖像質(zhì)量（分辨率）。根據(jù)產(chǎn)生未知像素色度值的方法不同，圖像插值算法可分為最鄰插值、雙線性插值以及雙三次插值等多種插值處理方式。

最鄰插值（Nearest）是將原始圖像的最近鄰像素點的色度值直接賦值給插值后像素點的色度值。

雙線性插值（Bilinear）利用原始圖像中的4 個最近鄰采樣點的加權(quán)平均計算插值點的色度值，如圖1 所示。圖中，原始圖像像素點（i，j），（i+1，j），（i，j+1）以及（i+1，j+1）為插值點（i+u，j+v）的4 個最近鄰采樣點。通過雙線性插值公式

計算插值點（i+u，j+v）的色度值。其中：u、v為指定的內(nèi)插值位置，F(xiàn)為對應(yīng)點的色度值。

雙三次插值（Bicubic）是一種更為復(fù)雜的插值算法，通過利用原始圖像中16 個最近（包括最近鄰和次近鄰等）采樣點的加權(quán)平均方式進(jìn)行插值，從而引入相對平滑的圖像邊緣效果。

為了避免插值后的新圖像發(fā)生形變，本工作對原始圖像的高和寬維度均采用相同比例的插值放大，并使用縮放系數(shù)S=Hbilinear/Horiginal=Wbilinear/Woriginal表征。這里，（Horiginal，Woriginal）和（Hbilinear，Wbilinear）分別對應(yīng)原始圖像和插值后圖像的高與寬的維度值。圖1 給出了縮放系數(shù)S= 1.5 的MNIST圖像雙線性插值示例。插值后的圖像為42 像素×42 像素的灰度圖像。

圖1 雙線性插值算法Fig.1 Bilinear interpolation algorithm

1.3 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)具有廣泛應(yīng)用性，尤其是隨著計算機(jī)軟硬件的提升，神經(jīng)網(wǎng)絡(luò)進(jìn)入高速發(fā)展時期。針對本次研究的手寫數(shù)字識別（分類）問題，分別選取全連神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)作為學(xué)習(xí)器來驗證基于圖像插值的小樣本手寫數(shù)字識別研究。神經(jīng)網(wǎng)絡(luò)一般包含一個輸入層、一個輸出層以及若干個隱藏層。輸入層神經(jīng)元的數(shù)目需要與輸入數(shù)據(jù)的維度匹配。圖像插值處理后的圖像尺寸會隨著縮放系數(shù)S的改變而改變，因此，輸入數(shù)據(jù)的維度由S值決定。對于手寫數(shù)字識別模型，輸出層為10 個神經(jīng)元，其輸出分別對應(yīng)于0～9 數(shù)字的識別概率。

所測全連神經(jīng)網(wǎng)絡(luò)，如圖2（a）所示，由兩個全連接層（Dense layer）堆疊，其中第一個dense 層的輸出神經(jīng)元數(shù)（Units）為可調(diào)變量Xd。本工作通過改變Xd值來研究圖像插值對全連神經(jīng)網(wǎng)絡(luò)的小樣本學(xué)習(xí)性能的影響。圖2（b）給出了所測卷積神經(jīng)網(wǎng)絡(luò)的模型架構(gòu)。該模型在兩層全連接層之前通過展平層（Flatten layer）堆疊一層二維卷積層（Conv2D layer），其輸出過濾器數(shù)（Filters）為可調(diào)變量Xc。本文通過改變Xc值來研究圖像插值對卷積神經(jīng)網(wǎng)絡(luò)的小樣本學(xué)習(xí)性能的影響。

圖2 測試模型Fig.2 Evaluated models

1.4 小樣本學(xué)習(xí)的評價策略

神經(jīng)網(wǎng)絡(luò)的性能強(qiáng)烈依賴于訓(xùn)練數(shù)據(jù)的完整性，特別是在小樣品學(xué)習(xí)中，由于數(shù)據(jù)缺乏，在小樣品數(shù)據(jù)中學(xué)到的特征并不具有良好的泛化效果。因此，不同的小樣本數(shù)據(jù)，同一模型在測試集上的測試精度存在一定程度的隨機(jī)性，并且波動幅度通常隨著訓(xùn)練數(shù)據(jù)集的減小而增大。為了盡可能地避免小樣品數(shù)據(jù)的隨機(jī)/波動性帶來的誤導(dǎo)，對于給定的各數(shù)字樣本數(shù)N值，本文采用多次隨機(jī)選取樣本構(gòu)建多個訓(xùn)練集（總樣本數(shù)為10×N），并對每個訓(xùn)練集分別進(jìn)行獨(dú)立的模型參數(shù)訓(xùn)練，給出獨(dú)立的測試精度。具體來說，重復(fù)次數(shù)M由N值決定，即

當(dāng)使用完整訓(xùn)練集（60 000 張MNIST 圖像或7 000 張USPS 圖像）時，以N=6 000（MNIST）或700（USPS）標(biāo)注，此時，M=1。M次獨(dú)立訓(xùn)練及測試的平均測試精度評價樣本數(shù)為N的神經(jīng)網(wǎng)絡(luò)性能。

針對手寫數(shù)字圖像分類問題，采用“RMSprop”和“categorical_crossentropy”分別作為優(yōu)化器和損失函數(shù)進(jìn)行模型參數(shù)訓(xùn)練。測試精度（Accuracy），即正確識別數(shù)目在測試集中的比例，是較為理想的模型性能評價指標(biāo)。訓(xùn)練過程中的批量尺寸為min（N/3，128），即N/3 與128 的較小值。學(xué)習(xí)率固定為0.001（keras 默認(rèn)設(shè)置）。另外，訓(xùn)練環(huán)節(jié)的迭代次數(shù)（Epoch）對神經(jīng)網(wǎng)絡(luò)的性能有較大影響。迭代次數(shù)太少（訓(xùn)練不夠徹底），模型可能還處在欠擬合狀態(tài)；反之，模型則極易出現(xiàn)過擬合現(xiàn)象。迭代次數(shù)的最優(yōu)值與模型的學(xué)習(xí)效率及泛化能力有關(guān)。因此，本文還從迭代次數(shù)的角度研究圖像插值對神經(jīng)網(wǎng)絡(luò)小樣本學(xué)習(xí)性能的影響。

2 結(jié)果與討論

2.1 實驗環(huán)境

實驗使用Ubuntu 18.04 操作系統(tǒng)，內(nèi)存為32 GB，采用48 核的分布式計算機(jī)；計算環(huán)境需安裝深度學(xué)習(xí)庫Keras-2.2.2 和Tensorflow-1.3.0，數(shù)據(jù)的分析和存儲使用Scikit-learn-0.19.2 和Numpy-1.18.1；使用Python-3.5.6 進(jìn)行數(shù)據(jù)增加、模型訓(xùn)練和數(shù)據(jù)分析。

2.2 全連神經(jīng)網(wǎng)絡(luò)的小樣本學(xué)習(xí)

圖3（a）給出了迭代次數(shù)Epoch = 5，全連接層輸出神經(jīng)元數(shù)Xd分別為8、32、128、256 以及512 時的全連神經(jīng)網(wǎng)絡(luò)在MNIST 原始圖像（未經(jīng)插值處理）的測試結(jié)果?？梢钥闯?，全連網(wǎng)絡(luò)從（原始）訓(xùn)練圖像中學(xué)習(xí)到的特征在（原始）測試圖像中的泛化能力隨著Xd值的增大而提升，特別是在N較小時，提升效果顯著。例如，當(dāng)使用完整訓(xùn)練集（即N=6 000 時），Xd值的變化可引起測試精度從91.6%提高到98.2%。對于N=1 的超小樣本學(xué)習(xí)，測試精度有28.3%的提升。當(dāng)Xd≥256，且N≥128 時，不同N值的測試性能近乎重合，表明此網(wǎng)絡(luò)架構(gòu)在固定其他超參數(shù)的情況下達(dá)到了最優(yōu)化模型容量（神經(jīng)元數(shù)）。

圖3 全連神經(jīng)網(wǎng)絡(luò)Fig.3 Dense neural network

為直觀給出雙線性插值圖像預(yù)處理對神經(jīng)網(wǎng)絡(luò)小樣本學(xué)習(xí)性能的影響，圖3（b）給出了迭代次數(shù)Epoch=5，Xd分別為8、32、128 以及512 時全連神經(jīng)網(wǎng)絡(luò)在MNIST 原始圖像集（黑色線）和S= 1.5 的雙線性插值圖像集（紅色線）的測試結(jié)果對比。可以看出，當(dāng)N>1 000 或Xd趨近于最優(yōu)化容量（=512）時，模型的測試精度與是否進(jìn)行圖像插值預(yù)處理近乎無關(guān)；而當(dāng)N較小且Xd<128 時，圖像在進(jìn)行插值預(yù)處理后可以顯著提升模型的小樣本學(xué)習(xí)性能。例如，對于Xd=32，模型的測試精度增量最大可達(dá)12.3%。因此，雙線性圖像插值在小樣本數(shù)據(jù)集中可以增加全連神經(jīng)網(wǎng)絡(luò)的特征提取能力，有助于提升模型泛化性。

圖3（c）給出了神經(jīng)元數(shù)Xd= 32，Epoch 分別為3、9、17 以及21 時全連神經(jīng)網(wǎng)絡(luò)在MNIST 原始圖像集（黑色線）和S=1.5 的雙線性插值圖像集（紅色線）的測試精度對比。可以看出，隨著Epoch 值的增大，模型在大數(shù)據(jù)集（較大N值）中的表現(xiàn)與是否進(jìn)行圖像插值預(yù)處理近乎無關(guān)，表明了神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)量的依賴性。在較小N值（小樣本學(xué)習(xí)）時，圖像在進(jìn)行插值預(yù)處理后可以提升模型的學(xué)習(xí)效率，即在同一Epoch 值時圖像插值預(yù)處理有相對更佳的預(yù)測精度。Epoch 值越小，模型的提升效果往往越明顯。例如，對于Epoch=3，模型的測試精度增量最大可達(dá)13.6%。雙線性圖像插值可以有效減少對訓(xùn)練集數(shù)據(jù)量和迭代次數(shù)的依賴。因此，雙線性圖像插值在小樣本數(shù)據(jù)集中可以增加全連神經(jīng)網(wǎng)絡(luò)的特征提取能力，有助于提升模型的訓(xùn)練效率。

2.3 卷積神經(jīng)網(wǎng)絡(luò)的小樣本學(xué)習(xí)

圖4（a）給出了迭代次數(shù)Epoch=5，卷積層過濾器數(shù)Xc分別為4、8、32 以及128 時的卷積神經(jīng)網(wǎng)絡(luò)在MNIST 原始圖像（未經(jīng)插值處理）的測試結(jié)果?？梢钥闯?，卷積網(wǎng)絡(luò)從（原始）訓(xùn)練圖像中學(xué)習(xí)到的特征在（原始）測試圖像中的泛化能力隨著Xc值的增大而提升。特別是在N較小時，提升效果較為顯著。例如，當(dāng)使用完整訓(xùn)練集（即N=6 000 時），Xc值的變化可引起測試精度從97.7%提高到98.4%。而對于N=1 的超小樣本學(xué)習(xí)，測試精度有7.1%的提升。

圖4 卷積神經(jīng)網(wǎng)絡(luò)Fig.4 Convolutional neural network

圖4（b）給出了迭代次數(shù)Epoch=5，Xc分別為4、8、32 以及128 時的卷積神經(jīng)網(wǎng)絡(luò)在MNIST 原始圖像集（黑色線）和S=2.0 的雙線性插值圖像集（紅色線）的測試結(jié)果對比?？梢钥闯觯瑢τ谳^大樣本數(shù)據(jù)集，模型的測試精度與是否進(jìn)行圖像插值預(yù)處理近乎無關(guān)。過濾器數(shù)Xc較小時，圖像在進(jìn)行插值預(yù)處理后可以提升模型的小樣本學(xué)習(xí)性能。例如，對于Xc= 8，模型的測試精度增量最大可達(dá)5%。因此，雙線性圖像插值在小樣本數(shù)據(jù)集中可以增加卷積神經(jīng)網(wǎng)絡(luò)的特征提取能力，有助于提升模型泛化性。需要指出的是，如圖4（b3）和（b4）所示，圖像預(yù)處理可引起測試精度稍許下降（即測試精度增量為負(fù)值），表明網(wǎng)絡(luò)模型在當(dāng)前的超參數(shù)下對于高分辨率圖像數(shù)據(jù)存在一定程度的欠擬合。

圖4（c）給出了過濾器數(shù)Xc=4，Epoch 分別為3、9、17 以及21 時的卷積神經(jīng)網(wǎng)絡(luò)在MNIST 原始圖像集（黑色線）和S=2.0 的雙線性插值圖像集（紅色線）的測試精度對比?？梢钥闯?，迭代次數(shù)Epoch 值較大時，模型的測試精度在不同樣本數(shù)中的表現(xiàn)均與是否進(jìn)行圖像插值預(yù)處理近乎無關(guān)。與全連神經(jīng)網(wǎng)絡(luò)類似，在較小N值（即小樣本學(xué)習(xí)）時，圖像在進(jìn)行插值預(yù)處理后可以提升模型的學(xué)習(xí)效率。例如，對于Epoch=3，模型的測試精度增量最大可達(dá)4.8%。因此，雙線性圖像插值在小樣本數(shù)據(jù)集中可以增加卷積神經(jīng)網(wǎng)絡(luò)的特征提取能力，有助于提升模型的訓(xùn)練效率。

2.4 縮放系數(shù)對小樣本學(xué)習(xí)的影響

縮放系數(shù)可以改變插值后圖像的分辨率。分辨率不同，神經(jīng)網(wǎng)絡(luò)從相應(yīng)訓(xùn)練數(shù)據(jù)集中學(xué)到的特征會有差異，從而改變模型在測試數(shù)據(jù)集上的測試精度。表1 列出了Epoch=5 時雙線性插值不同縮放系數(shù)對全連神經(jīng)網(wǎng)絡(luò)的小樣本學(xué)習(xí)影響（此處以不同數(shù)據(jù)集大小的測試精度最大增量表征）。當(dāng)Xd值較小時，神經(jīng)網(wǎng)絡(luò)的小樣本學(xué)習(xí)性能隨著縮放系數(shù)S值的增大而顯著增強(qiáng)。例如，對于Xd=32，S從1.2 增大到2.0 可引起測試精度最大增量從6%上升至15%。隨著縮放系數(shù)S值的繼續(xù)增大，神經(jīng)網(wǎng)絡(luò)測試精度的最大增量呈現(xiàn)下降趨勢，表明此時的網(wǎng)絡(luò)模型對于高分辨率的圖像數(shù)據(jù)出現(xiàn)欠擬合。當(dāng)Xd=512 時，此時的全連神經(jīng)網(wǎng)絡(luò)對于S≤3.0 的不同分辨率圖像數(shù)據(jù)集與未進(jìn)行圖像插值預(yù)處理的原始數(shù)據(jù)集具有等效性能，因而改變S值引起的測試精度最大增量可基本忽略。

表2 列出了Epoch=5 時的雙線性插值不同縮放系數(shù)對卷積神經(jīng)網(wǎng)絡(luò)的小樣本學(xué)習(xí)影響。當(dāng)Xc值較小時，神經(jīng)網(wǎng)絡(luò)的小樣本學(xué)習(xí)性能隨著縮放系數(shù)S值的增大而增強(qiáng)。例如，對于Xc=4，S從1.2 增大到3.0 可引起測試精度最大增量從1%上升至6%。而對于較大Xc值（32 和128），此時的卷積神經(jīng)網(wǎng)絡(luò)對于S≤3.0 的不同分辨率圖像數(shù)據(jù)集與未進(jìn)行圖像插值預(yù)處理的原始數(shù)據(jù)集具有等效性能，因而改變S值引起的測試精度最大增量可基本忽略。

2.5 不同插值算法的測試對比

圖像插值算法不同，對原始圖像中像素漸變關(guān)系的處理方式就會不一樣。圖5 分別給出了最鄰插值、雙線性插值以及雙三次插值算法在MNIST 和USPS 手寫數(shù)字圖像集中的小樣本學(xué)習(xí)測試結(jié)果。測試所選用的全連神經(jīng)網(wǎng)絡(luò)（細(xì)實線）的Xd= 32，卷積神經(jīng)網(wǎng)絡(luò)（粗實線）的Xc= 4，迭代次數(shù)Epoch 均為5。從圖5 可以看出：（1）對于兩種神經(jīng)網(wǎng)絡(luò)框架，MNIST 和USPS 數(shù)據(jù)集均具有相似的手寫數(shù)字識別效果，說明此兩數(shù)據(jù)集所采集的圖像數(shù)據(jù)均有較好的完整性。（2）在兩個數(shù)據(jù)集上，3 種插值方法在少量樣本（尤其是N< 200）時對神經(jīng)網(wǎng)絡(luò)的預(yù)測精度均有明顯提升。（3）與雙線性插值效果接近，最鄰插值和雙三次插值也有效提升了神經(jīng)網(wǎng)絡(luò)對手寫數(shù)字的識別性能。需要指出的是，對于不同的Xd和Xc值，3 種圖像插值算法的測試結(jié)果均類似。（4）卷積神經(jīng)網(wǎng)絡(luò)（相比于全連神經(jīng)網(wǎng)絡(luò)）引入了額外的卷積層。神經(jīng)網(wǎng)絡(luò)架構(gòu)、全連層與卷積層的神經(jīng)元數(shù)目等不一樣，訓(xùn)練參數(shù)數(shù)目等有很大差異。從整體效果來說，卷積層的參與使得卷積神經(jīng)網(wǎng)絡(luò)比全連神經(jīng)網(wǎng)絡(luò)（全連層架構(gòu)及神經(jīng)元數(shù)目一致）有相對更好的圖像識別能力，特別是在小樣本學(xué)習(xí)過程中表現(xiàn)更為明顯。說明卷積算法有利于圖像數(shù)據(jù)的特征提取，全連神經(jīng)網(wǎng)絡(luò)則對大數(shù)據(jù)集有更強(qiáng)的依賴性。圖像插值預(yù)處理將全連神經(jīng)網(wǎng)絡(luò)的識別性能提升至與卷積神經(jīng)網(wǎng)絡(luò)在原始圖像集類似的識別效果，此時的提升幅度較大（表1）；對于卷積神經(jīng)網(wǎng)絡(luò)，圖像插值預(yù)處理可進(jìn)一步提升識別精度，此時的提升幅度相對較?。ū?）。

圖5 不同圖像插值算法在MNIST 和USPS 數(shù)據(jù)集的測試精度Fig.5 Test accuracy of different image interpolation algorithms in MNIST and USPS data sets

表1 雙線性插值不同縮放系數(shù)的全連神經(jīng)網(wǎng)絡(luò)測試精度最大增量Table 1 The maximum accuracy increment of dense neural network with different S of bilinear interpolation

表2 雙線性插值不同縮放系數(shù)的卷積神經(jīng)網(wǎng)絡(luò)測試精度最大增量Table 2 The maximum accuracy increment of convolutional neural network with different S of bilinear interpolation

3 結(jié)束語

針對深度神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)集的強(qiáng)依賴性問題，本文系統(tǒng)研究了基于圖像插值的全連神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)在小樣本時的手寫數(shù)字識別的學(xué)習(xí)性能。結(jié)果表明，圖像插值在小樣本學(xué)習(xí)中可顯著提升模型性能；樣本集越小，模型性能提升越明顯。圖像插值的預(yù)處理對全連接神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的影響程度不同，相比于原始數(shù)據(jù)集，對于包含兩層全連接層的神經(jīng)網(wǎng)絡(luò)，圖像插值預(yù)處理可引起最大約為15%的測試精度提升。對于一層卷積層堆疊兩層全連接層的卷積神經(jīng)網(wǎng)絡(luò)，圖像插值預(yù)處理可引起最大約為6%的測試精度提升。通過改變?nèi)B接層的神經(jīng)元數(shù)、卷積層的過濾器數(shù)以及訓(xùn)練迭代次數(shù)的系統(tǒng)研究表明，圖像插值可以有效提升神經(jīng)網(wǎng)絡(luò)在小樣本學(xué)習(xí)中的特征提取能力和學(xué)習(xí)效率。需要說明的是，縮放系數(shù)決定了插值后圖像的分辨率。對于相同的神經(jīng)網(wǎng)絡(luò)架構(gòu)，輸入圖像的尺寸決定了可訓(xùn)練參數(shù)的數(shù)目以及模型最優(yōu)化性能的超參數(shù)（如迭代次數(shù)等）選擇。因此，最優(yōu)化縮放系數(shù)的選擇與原始圖像質(zhì)量、目標(biāo)任務(wù)以及網(wǎng)絡(luò)架構(gòu)等有關(guān)。

圖像特征是圖像標(biāo)識的基礎(chǔ)，好的特征能夠極大提高圖像識別率。手寫數(shù)字識別問題的關(guān)鍵是書寫筆跡的特征提取。圖像插值提高了圖像的質(zhì)量（分辨率），有利于神經(jīng)網(wǎng)絡(luò)（特別是卷積神經(jīng)網(wǎng)絡(luò)）的筆跡特征提取。因此，基于圖像插值的策略有效提高了手寫數(shù)字識別任務(wù)的計算精度，在小樣本學(xué)習(xí)中效果更為明顯。該策略有望應(yīng)用到其他數(shù)據(jù)增強(qiáng)方法中。另外，3 種不同插值算法（最鄰、雙線性和雙三次插值）在提升圖像分辨率過程中引入了不同的圖像邊緣效果。對手寫數(shù)字識別的小樣本學(xué)習(xí)性能的相似測試結(jié)果說明，不同圖像邊緣效果對神經(jīng)網(wǎng)絡(luò)的書寫筆跡特征提取并沒有產(chǎn)生本質(zhì)區(qū)別。在其他圖像識別/分類任務(wù)（例如，機(jī)場等特殊場景的人臉多任務(wù)識別、多種類動值物分類和自動駕駛的場景標(biāo)識與定位等）的小樣本學(xué)習(xí)有待驗證。在進(jìn)一步的研究中，可將該方法拓展到其他計算機(jī)視覺問題，研究不同數(shù)據(jù)增強(qiáng)方法對不同深度網(wǎng)絡(luò)架構(gòu)小樣本學(xué)習(xí)性能的影響。