劉新偉，陳楷哲，張振宇，姜賀云

(溫州大學數(shù)理與電子信息工程學院，浙江溫州 325035)

圖像分類是計算機視覺的核心任務，比如對象識別、圖像標注、行為識別等均可轉換為圖像分類問題[1]．本文考慮RGB圖像，它通常被表示為三維數(shù)組，其數(shù)據(jù)類型為uint8．對于圖1，圖案是狗還是熊，對于人類來說，這是一個十分簡單的問題，但計算機無法直接給出判斷，因為計算機僅僅可以識別像素級別的數(shù)字特征，無法直接解讀圖片的具體語義，即使是頂級的程序員也無法直接編寫出判定所給圖片是貓還是熊的程序．為此，人們逆向思考，借助人類自己的判別能力優(yōu)選出大量圖片并對其手工標注，然后，設法去擬合圖片的像素級別的特征與其標簽的關系，由此而產(chǎn)生了許許多多的用數(shù)據(jù)去編程的優(yōu)秀算法．

圖1 人類和計算機對圖像辨別的差異

近幾年來，以卷積神經(jīng)網(wǎng)絡[1]（CNN）為代表的深度學習技術在計算機視覺方面取得了許多遠遠超出普通的機器學習算法的傲人成績，更甚者，部分使用CNN進行圖片分類的精度也超出了手工標注獲得的精度[2]．卷積神經(jīng)網(wǎng)絡經(jīng)歷了 LeNet[3]、AlexNet[4]、VGG[5]、GoogleNet[6]（Inception）、ResNet[7]、Densnet[8]等變革，變得越來越深，同時訓練難度也不斷變大．考慮到計算設備、數(shù)據(jù)集的規(guī)模等的制約，遷移學習在計算機視覺中扮演的角色也越來越重要，同時半監(jiān)督學習對于圖片分類任務也是至關重要的，但是僅僅使用淺層機器學習進行標簽傳播遠遠無法滿足當今社會的需求，由于傳統(tǒng)方法通過手工提取的特征泛化性不好，本文將采用深度學習技術提取高級特征，然后再利用高級特征去改進標簽傳播算法．

1 相關工作

1.1 深度學習模型

從技術角度來看，CNN是一種至少包含一個卷積層（有濾波器的作用）的神經(jīng)網(wǎng)絡．一般地，一個神經(jīng)元可以看作是線性映射與非線性映射的組合，而多層神經(jīng)網(wǎng)絡是由多個神經(jīng)元按照分層結構組合而成的．神經(jīng)網(wǎng)絡模型的優(yōu)化大都是基于反向傳播算法完成的．本文使用了He等人[7]提出的殘差網(wǎng)絡（ResNet），ResNet網(wǎng)絡的基本單元是殘差塊，見圖2．

圖2 殘差模塊示意圖

ResNet中指出神經(jīng)網(wǎng)絡的訓練存在退化問題，即層數(shù)加深到一定深度之后，越深的網(wǎng)絡訓練效果越差，但這并不是梯度消失和梯度爆炸引起的問題（因為已經(jīng)有許多方法來解決梯度傳播的問題）．數(shù)據(jù)經(jīng)過兩條路線，一條與普通神經(jīng)網(wǎng)絡類似，另一條實現(xiàn)了單位映射的路線（被稱為shortcut），這兩條路線一般被稱為“殘差塊”，在網(wǎng)絡中使用殘差塊的神經(jīng)網(wǎng)絡被稱為ResNet．ResNet很好地應對了網(wǎng)絡退化問題，可以使網(wǎng)絡變得很深．

1.2 降 維

降維是指提取高維空間的關鍵信息，并將高維空間的問題轉換到易于計算的低維空間進行求解的過程．降維是十分必要的，因為它緩解了以下三種問題．

1）多重共線性．預測變量之間相互關聯(lián)，這樣會導致模型解空間的不穩(wěn)定性．

2）高維空間的稀疏性．高維空間的數(shù)據(jù)往往是稀疏的，增加了模型求解的難度．

3）過高的維度可能含有大量的冗余信息，妨礙人們找到變量之間真正的隱含信息．

本文主要涉及兩種降維方法，無監(jiān)督的PCA[8]和有監(jiān)督的LDA[9]．下面逐一介紹．

1.2.1 主成分分析法（PCA）

主成分分析法（Principal Components Analysis, PCA）[9]將輸入數(shù)據(jù)x正交投影表示為z，目的是學習該正交投影，使得降維后的數(shù)據(jù)盡可能地保留原數(shù)據(jù)空間的信息，通常A被稱為解碼矩陣，且TA 被稱為投影矩陣．為了保留原始信息，需要保證最近重構性或者最大可分性，這樣原問題可以轉換為：

其中，λ是拉格朗日乘子．這樣將X進行標準化處理，那么 XTX可以看作是樣本的協(xié)方差矩陣；再對 XTX進行特征值分解，并求得最大的p個特征值所對應的特征向量（在 PCA算法中，一般稱為主成分）則便可得到A*= ( a1, a2,… ,ap)．因而，對于任意的 xi，便可得到其低維表示

1.2.2 線性判別分析（LDA）

線性判別分析（Linear Discriminant Analysis, LDA）[10]的核心思想是設法將樣本投影到一個子空間上，且使得同類樣本投影后盡可能地接近而不同類樣本投影后盡可能地分開．LDA與PCA十分相似，PCA試圖找到方差最大的幾個主成分，LDA的目標是發(fā)現(xiàn)可以最優(yōu)化分類的特征子空間．

與PCA類似，LDA需要將X進行標準化處理，然后將數(shù)據(jù)集按其類別劃分為c個子集，并計算各個子集類所在集合的均值向量 uj, j = 1 ,2,… , c ．構造類間散度矩陣以及類內(nèi)散度矩陣．不同類之間的樣本盡可能分離等價于同類之間盡可能接近等價故而原問題便轉換為優(yōu)化問題因而，取的按照從大到小排列后的前p個特征值所對應的特征向量組成A，最后使用A將樣本投影到新的特征子空間中．

1.3 標簽傳播

半監(jiān)督學習的算法有很多，本文僅僅考慮標簽傳播算法．下面構建一個圖 G = ( V,E)，其中，邊集為可表示為一個相似度矩陣[11]（，對角矩陣 D = d iag(d1,… ,dm)被稱為度矩陣，且稱 Δ = D - W 為拉普拉斯矩陣．假定從圖G中學得一個映射該映射對應的是分類規(guī)則，其中被稱為標記矩陣．要實現(xiàn)相似的樣本有相似的標記，只需要最小化 E (f ) = T r(FTΔ F )即可．下面公式（2）中分別是按照文[12]對 Δ , F,W ,Y進行分塊得到的矩陣，下標 u,l分別代表無標簽數(shù)據(jù)和有標簽數(shù)據(jù)．

2 基于預訓練的深度模型提取特征的半監(jiān)督學習圖像分類方法

本文先將 ImageNet（http://www.image-net.org/）數(shù)據(jù)集上學習的深度模型遷移到 Cifar10（http://www.cs.toronto.edu/～kriz/cifar.html）數(shù)據(jù)集上，利用深度網(wǎng)絡模型提取 Cifar10的深度特征，然后對原深度特征進行降維處理，去除里面的噪聲和冗余信息，最后使用降維后的特征來進行半監(jiān)督學習或者說是標簽傳播．這樣既考慮到了使用深度學習技術提取到的比較好的特征，提高了特征提取的質(zhì)量，同時也考慮到了無標簽數(shù)據(jù)之間的相似性，且通過降維去除了冗余的特征．具體算法流程如下（對于任意的1im≤≤）．

1）找到一個在ImageNet數(shù)據(jù)集已經(jīng)訓練好的模型，記作Net（本文使用ResNet50），為遷移學習做準備．一般情況下模型Net分為features和output兩個部分，分別代表特征提取層和輸出層．

2）對于每個樣本 xi提取其特征即Net.features為了方便我們?nèi)匀粚⑵溆涀?xi．

3）本文得到的ix的特征維度仍然是比較高的，其中存在著冗余和噪聲特征，對其進行降維處理（本文對無標簽數(shù)據(jù)采用PCA，對有標簽數(shù)據(jù)采用LDA），降維后的X記作Z．

4）依據(jù)公式（2）對Z進行標簽傳播獲得 Yu，得到無標簽樣本的預測類別標簽，實現(xiàn)無標簽圖像數(shù)據(jù)的半監(jiān)督分類．

3 實驗與結果分析

3.1 數(shù)據(jù)集簡介

Cifar10是圖像分類問題的基準數(shù)據(jù)集．Cifar10分為訓練集和測試集，它有10個類別，其中訓練集包含50 000個樣本，測試集包含10 000個樣本，且是尺寸為32 × 32的彩色圖片，因而數(shù)據(jù)集足以應對一些中小型模型的需求．類的標記為：airplane、automobile、bird、cat、deer、dog、frog、horse、ship、truck，這些類是完全互斥的，相互之間沒有重疊．

3.2 通過CNN提取特征做標簽傳播的實驗與結果

針對Cifar10數(shù)據(jù)集中的訓練集，隨機選取由6 000個圖像的樣本構成的子集作為本論文中的圖像分類數(shù)據(jù)集．在這6 000個樣本中，假設部分數(shù)據(jù)存在類別標簽，其它數(shù)據(jù)無類別標簽，構成半監(jiān)督學習數(shù)據(jù)集．以分類精確度作為性能度量，并且做一些對比實驗．參與比較的方法有作為基準的近鄰分類法、基于原始圖像像素特征的半監(jiān)督學習方法以及基于深度特征的半監(jiān)督學習方法．固定6 000個樣本構成的實驗集后，每次隨機選擇有標簽的樣本，在下面每次實驗設置中都要重復10次實驗，所得結果的均值和方差在圖中均有體現(xiàn)．下面各圖中的LGC[12]指的是半監(jiān)督分類，即使用標簽傳播做半監(jiān)督分類，1NN為最近鄰分類，GRF[13]指的是高斯條件隨機場．

首先固定每類數(shù)據(jù)中有標簽樣本數(shù)目為50，讓半監(jiān)督學習算法的參數(shù)——最近鄰數(shù)k，從3變化到50，來測試所提出方法對該參數(shù)的魯棒性．圖3給出了該實驗的結果．從圖3可以看出，深度特征數(shù)據(jù)上的模型的泛化性能顯著地好于利用圖像的原始像素特征的模型．無論是對數(shù)據(jù)的原始特征還是深度特征，半監(jiān)督學習方法的效果都好于有監(jiān)督的近鄰分類方法，較好的最近鄰參數(shù)選擇范圍也較廣，比如20就是一個不錯的選擇．

然后，固定鄰域范圍k = 18，讓每類有標簽樣本的數(shù)目從10變化到250，來觀察有標簽樣本數(shù)目的變化對分類效果的影響．如圖4所示，當每類有標簽樣本數(shù)目為10個時，半監(jiān)督分類準確率達到50%，當每類有標簽樣本數(shù)目為250個時，半監(jiān)督分類準確率接近70%，這充分說明了標簽數(shù)量對圖像分類效果的重要性．

總的來說，從圖3和圖4可以看出，深度學習技術提取特征后再進行半監(jiān)督學習得到的準確度明顯比直接使用原始圖像進行半監(jiān)督學習的準確度要高20% – 30%．更具體是，不管是深度特征還是原始特征，使用1NN（最近鄰分類）的分類準確度總是低于LGC[13]（半監(jiān)督分類）和GRF[14]（高斯隨機場）的分類準確度．總體看來，隨著近鄰的尺寸（size）或者有標簽數(shù)據(jù)的樣本數(shù)的增加，分類的準確度均有一定的增幅．

圖 3 鄰域范圍變化的實驗結果

圖4 有標簽樣本的數(shù)目從10變化到250的實驗效果

接著測試降維方法在去除特征噪聲、提高識別效果方面的性能．固定每類數(shù)據(jù)中有標簽樣本數(shù)目為50，最近鄰范圍k= 18，圖5給出了當PCA降維范圍在10到2 000時，半監(jiān)督分類在深度特征上的效果，圖6是圖5的局部放大版．可以看出，當PCA維數(shù)為200左右的時候，半監(jiān)督算法給出比較高的準確率，而隨著降維維數(shù)的升高，算法的性能反而開始下降，直到穩(wěn)定在和不對深度特征降維的準確率相同．圖7給出的是基于有監(jiān)督數(shù)據(jù)用LDA方法進行降維的效果．注意LDA方法在9維時能夠?qū)崿F(xiàn)最高的準確率．從圖5和圖7可以看出，使用降維技術可以使模型分類的準確度提升10%左右．從圖7可以看出，有監(jiān)督降維得到更低的維度空間，可以更加有效地去除信息的冗余，獲得更高的分類準確度．

圖 5 PCA降維對基于深度特征的半監(jiān)督算法效果

圖 6 圖5的局部放大圖

4 總結與展望

實驗結果表明，與直接利用原始像素特征的模型相比，本文提出的算法的性能更高，這說明了深度學習技術相對于淺層機器學習有著很大的優(yōu)越性．通過上面實驗還可以看出，在半監(jiān)督學習任務中，深度學習技術的使用可以很好地提升分類的準確度，同時，降維技術可以進一步提升深度學習技術的泛化能力．

雖然本文使用深度特征對半監(jiān)督學習算法——標簽傳播算法提出了一些改進，但是，由于標簽傳播本身的計算復雜度是O(m3)，這極大地限制了本文算法的進一步改進．進一步拓展本文算法可以從小樣本的訓練著手．小樣本的訓練方法有很多，如 One-Shot[15]．這樣就可以很好地將無標簽數(shù)據(jù)與有標簽數(shù)據(jù)建立聯(lián)系，從而實現(xiàn)端到端的半監(jiān)督學習方法．

圖 7 基于LDA方法降維的深度特征半監(jiān)督學習效果圖