羅澤鵬，范 峰，高宇航

（華北理工大學，河北 唐山 063210）

深度學習是機器學習領域中的一個分支，起源于人工智能領域，其起源可以追溯到1980年提出的新認知機[1]概念，而現(xiàn)代深度神經(jīng)網(wǎng)絡得以發(fā)展離不開向后傳播算法[2]的提出，現(xiàn)代深度神經(jīng)網(wǎng)絡基本上都使用反向傳播（Back Propagation，BP）算法進行訓練。之后很長一段時間內(nèi)深度神經(jīng)網(wǎng)絡訓練由于BP神經(jīng)網(wǎng)絡模型帶來的梯度彌散（Gradient Diffusion），直到Hinton[3]在2006年提出的逐層訓練方法才重新將人們的目光轉(zhuǎn)向深度神經(jīng)網(wǎng)絡。

隨著近年傳感器技術發(fā)展以及越來越強大越來越容易獲取的計算資源，出現(xiàn)了許多復雜高維數(shù)據(jù)集。在這一類數(shù)據(jù)集上使用淺層機器學習模型的表現(xiàn)通常會變差。例如K近鄰（K-Nearsert Neighbor，KNN）學習是一種常用的監(jiān)督學習方法，常用于分類問題，其工作機制非常簡單；給定測試樣本，基于某種距離度量找出訓練集中與其最靠近的K個訓練樣本，然后基于這K個近鄰的信息來進行預測。在模式識別領域中，最近鄰居法是一種用于分類和回歸的非參數(shù)統(tǒng)計學方法。在這兩種情況下，輸入包含特征空間中的K個最接近的訓練樣本。近年來，計算機視覺領域取得許多引人注目的成果，尤其是卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNNs）在分類、目標檢測問題上取得了優(yōu)異成績。因此，本文通過對比K近鄰模型與卷積神經(jīng)網(wǎng)絡在高維度數(shù)據(jù)集上的表現(xiàn)，證明卷積神經(jīng)網(wǎng)絡處理高維數(shù)據(jù)集有優(yōu)異的性能。

1 模型選取及構(gòu)建

在機器學習的模型上，選取了具有代表性的KNN模型作為淺層機器學習模型的代表。卷積神經(jīng)網(wǎng)絡方面，構(gòu)建了2個卷積神經(jīng)網(wǎng)絡的模型作為卷積神經(jīng)網(wǎng)絡對比項。

1.1 ResNet50-mini

使用了基于ResNet50[4]裁剪后的迷你版作為實驗的第一階段的卷積神經(jīng)網(wǎng)絡模型，在卷積層尺度上進行相應縮小。使用殘差網(wǎng)絡隨著深度增加，準確度也會隨之增加。其中Conv2，Conv3，Conv4，Conv5層均是由殘差塊組成的一系列卷積層池化層。

如表1所示，基于RestNet50層模型修改而來的縮小版的架構(gòu)，我們稱之為ResNet50-mini。

表1 ResNet50-mini結(jié)構(gòu)

1.2 6層CNN

對于實驗第二階段使用了一個6層神經(jīng)網(wǎng)絡結(jié)構(gòu)。網(wǎng)絡結(jié)構(gòu)如圖1所示，由1層卷積層、1層池化層、4層全連接層組成。

圖1 6層卷積網(wǎng)絡

2 實驗

實驗主要分為兩個階段：第一階段，對比KNN與ResNet50-mini在同一數(shù)據(jù)集以及相同劃分下對分類任務的準確度。第二階段，對比KNN與6層卷積神經(jīng)網(wǎng)絡在統(tǒng)一數(shù)據(jù)以及同一劃分下對分類任務的準確度，來獲得更具有普遍性的結(jié)論。

2.1 實驗階段一

2.1.1 實驗數(shù)據(jù)選擇與處理

實驗階段一使用的數(shù)據(jù)集為加州大學歐文（爾灣）分校（University of California Irvine，UCI）的可穿戴計算體態(tài)運動分類數(shù)據(jù)集[5]。此數(shù)據(jù)集一共有18列，165632條數(shù)據(jù)，使用4個三軸加速傳感器記錄了8 h的活動數(shù)據(jù)，將活動分為5類（坐，坐下，站立，站起，行走）。

將數(shù)據(jù)集按1∶4比例隨機劃分訓練集以及測試集，訓練集為124224條數(shù)據(jù)測試集有41409條數(shù)據(jù)。

選取年齡、身高、體重、BMI指數(shù)、4個三軸傳感器數(shù)據(jù)，一共16列作為特征值?？纱┐饔嬎泱w態(tài)分類數(shù)據(jù)集各列數(shù)據(jù)類型如表2所示。

表2 可穿戴計算體態(tài)分類數(shù)據(jù)集各列數(shù)據(jù)類型

如圖2所示，這兩張的4×4大小的灰階圖片都包含著可以用來判斷體態(tài)行為的所有數(shù)據(jù)。雖然通過肉眼看上去，這兩張圖片好像有著很大的差異，但是事實上，這兩張圖片所表示的數(shù)據(jù)都屬于同一類體態(tài)。KNN算法在此數(shù)據(jù)集上的表現(xiàn)為99.54%的準確率。

2.1.2 訓練ResNet50-mini模型

使用ResNet50-mini模型，模型使用的優(yōu)化算法為Adam算法[6]，損失函數(shù)為多類交叉熵（categorical crossentropy）函數(shù)。

如圖3所示，ResNet50-mini經(jīng)過10個Epoch的訓練損失和準確率的變化情況?？梢灾庇^地看到，損失下降得很快，隨著損失的快速下降，訓練集的準確率也在不斷提升。經(jīng)過1000個Epoch的訓練，ResNet50-mini在測試集上的分類精度達到了99.56%。

2.2 實驗階段二

2.2.1 實驗數(shù)據(jù)選擇與處理

實驗階段二使用的數(shù)據(jù)維數(shù)較實驗階段一使用的數(shù)據(jù)更為龐大。選用的數(shù)據(jù)集為NIPS 2003特征選取挑戰(zhàn)賽中5個數(shù)據(jù)集之一的Arcene數(shù)據(jù)集[7]。Arcene數(shù)據(jù)集的任務是使用大量的質(zhì)譜數(shù)據(jù)分辨目標是否患有癌癥。Arcene數(shù)據(jù)集一共包含有900條數(shù)據(jù)訓練集、驗證集、測試集分別來自3個不同的來源。其中訓練集、驗證集各100條數(shù)據(jù)，測試集700條數(shù)據(jù)，但未給出標注。選取ml-benchmarks中的已標注的100條數(shù)據(jù)作為測試集。其中，每條數(shù)據(jù)有10000個特征。

圖2 UCI可穿戴計算體態(tài)分類數(shù)據(jù)集選取特征組成的4×4灰階

如圖4所示，這是Arcene數(shù)據(jù)集中一條數(shù)據(jù)展開成100×100大小矩陣所轉(zhuǎn)化成的灰度圖片。與實驗階段一不同的是，通過肉眼已經(jīng)無法看出其中存在的模式。

圖3 ResNet50-mini訓練情況

圖4 ARCENE數(shù)據(jù)組成的100×100的灰階

2.2.2 訓練卷積神經(jīng)網(wǎng)絡

將數(shù)據(jù)集中的測試集、驗證集與驗證集合并，并隨機劃分為270條數(shù)據(jù)為訓練集，30條數(shù)據(jù)為測試集。

本階段實驗選取的模型為4層卷積神經(jīng)網(wǎng)絡，結(jié)構(gòu)如圖1所示，訓練中使用的優(yōu)化算法為Adam算法，損失函數(shù)為多類交叉熵（categorical crossentropy）函數(shù)。

如圖5所示，ARCENE數(shù)據(jù)集在6層卷積神經(jīng)網(wǎng)絡上的訓練情況可以看出，雖然一開始損失很大，但是隨著訓練的時間開始快速下降，100個Epoch訓練后分類準確度達到69.99%。

2.3 實驗結(jié)果

在實驗階段一中，KNN在UCI可穿戴體態(tài)分類數(shù)據(jù)集上進行多分類任務準確度可以達到99.54%，而卷積神經(jīng)網(wǎng)絡ResNet50-mini在這一任務上的表現(xiàn)則為99.56%。階段二中，KNN在ARCENE數(shù)據(jù)集上的表現(xiàn)為53.33%，而6層卷積神經(jīng)網(wǎng)絡在這一任務上可以達到69.99%的準確度。

實驗結(jié)果如表3所示，無論在ResNet50-mini這樣深度較大的神經(jīng)網(wǎng)絡或是一個6層卷積神經(jīng)網(wǎng)絡，對高維數(shù)據(jù)集的分類任務都有著優(yōu)異的表現(xiàn)。

表3 實驗結(jié)果對比

圖5 6層卷積神經(jīng)網(wǎng)絡100個Epoch的訓練情況

3 結(jié)語

經(jīng)過兩個階段的實驗，可以直觀地看出深度卷積神經(jīng)網(wǎng)絡在提取高維數(shù)據(jù)集特征以及處理分類任務上有著優(yōu)異的表現(xiàn)，取得了普通淺層機器學習模型難以達到的成績。通過淺層機器學習模型來處理這一類高維數(shù)據(jù)集的分類問題是有一定難度的，通常需要消耗大量的時間來預處理數(shù)據(jù)或使用一些方法來降低維度。而卷積神經(jīng)網(wǎng)絡在關于圖片視頻的計算機視覺問題上擁有的優(yōu)勢可以運用在傳統(tǒng)的高維數(shù)據(jù)集中[8]。實驗表明，對于高維數(shù)據(jù)集，深度卷積神經(jīng)網(wǎng)絡往往有著比KNN更優(yōu)異的性能。通過較短時間的訓練，對于高維數(shù)據(jù)集的分類問題上能夠達到較KNN更高的準確度。

[1]FUKUSHIMA K.Neocognitron： a self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position[J].Biological Cybernetics，1980（4）：193-202.

[2]WERBOS P.Beyond regression： new tools for prediction and analysis in the behavioral science[D].Massachusetts：Harvard University，1974.

[3]HINTON G E，SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science，2006（5786）：504-507.

[4]HE K，ZHANG X，REN S，et al.Deep residual learning for image recognition[C].Las Vegas：IEEE Conference on Computer Vision and Pattern Recognition，2016.

[5]UGULINO W，CARDADOR D，VEGA K，et al.Wearable computing： accelerometers’ data classification of body postures and movements[C].Curitiba：Brazilian Conference on Advances in Artificial Intelligence. Springer-Verlag，2012.

[6]KINGMA D，BA J.Adam： a method for stochastic optimization[J].Computer Science，2014（10）：22.

[7]GUYON I.Design of experiments for the NIPS 2003 variable selection benchmark[J].Science，2003（6）：8-12.

[8]盧宏濤，張秦川.深度卷積神經(jīng)網(wǎng)絡在計算機視覺中的應用研究綜述[J].數(shù)據(jù)采集與處理，2016（1）：1-17.