孟海東+冀小青+宋宇辰

摘 要： 光網(wǎng)絡是一種輕便的、通用的和純基于Matlab的深度學習框架。其思想是為深度學習研究提供一個易于理解、易于使用和高效的計算平臺。實現(xiàn)此框架可以支持大部分深度學習架構例如多層感知器網(wǎng)絡（MLP）、卷積神經(jīng)網(wǎng)絡（CNN）和循環(huán)神經(jīng)網(wǎng)絡（RNN）。該框架支持CPU和GPU無縫轉換。實驗證明此框架在計算機視覺、自然語言處理以及機器人技術中有不同的應用。

關鍵詞： 計算機視覺； 圖像理解； 卷積神經(jīng)網(wǎng)絡； 多層感知器

中圖分類號： TN915.63?34； TP311 文獻標識碼： A 文章編號： 1004?373X（2017）14?0170?04

Abstract： The optical network is a lightweight， versatile and purely Matlab?based deep learning framework. The idea underlying its design is to provide an easy?to?understand， easy?to?use and efficient computational platform for deep learning research. The framework supports major deep learning architectures such as multilayer perceptron（MLP） networks， convolutional neural networks （CNN） and recurrent neural networks （RNN）. The framework also supports the straightforward switch between both CPU and GPU for computation. The experiment result indicates that the framework has different applications in computer vision， natural language processing and robotic technology.

Keywords： computer vision； image understanding； convolutional neural network； multilayer perceptron

0 引 言

深層神經(jīng)網(wǎng)絡[1]已經(jīng)給出了許多機器智能問題的主要進展，最新的神經(jīng)網(wǎng)絡模型的實現(xiàn)主要強調(diào)效率。這些框架可以由20萬～50萬行代碼組成，并經(jīng)常涉及多個編程語言[2?4]。它需要付出巨大的努力來徹底理解和改進模型。一個簡單的和自我解釋的深層學習框架是高度預期的且加快深層神經(jīng)網(wǎng)絡模型的理解和應用。

在此提出的光網(wǎng)絡是一個輕便的、通用的和純基于Matlab的深層神經(jīng)網(wǎng)絡模型。簡潔、高效的Matlab編程技術已被用來實現(xiàn)所有的計算模塊。許多神經(jīng)網(wǎng)絡流行的類型，如多層感知器、卷積神經(jīng)網(wǎng)絡、神經(jīng)網(wǎng)絡都在光網(wǎng)絡中得以實現(xiàn)，是結合隨機梯度下降的幾個變化（SDG）為基礎的優(yōu)化算法。

自從光網(wǎng)絡僅用Matlab實現(xiàn)，主要的計算用幾百行代碼來矢量化和執(zhí)行，數(shù)量級比現(xiàn)有的框架更簡潔。所有基本操作都可以輕松定制，只需有Matlab編程基本知識。數(shù)學化研究人員可以專注于數(shù)學建模的一部分而不是工程部分。

應用程序的用戶可以很容易地理解和修改任何部分的框架，開發(fā)新的網(wǎng)絡架構，使他們適應新的應用。除了簡單，光網(wǎng)絡還具有以下特點：光網(wǎng)絡包含最現(xiàn)代的網(wǎng)絡架構；計算機視覺中的應用、自然語言處理和強化學習已被證明；光網(wǎng)絡提供了一個綜合的優(yōu)化算法的收集；光網(wǎng)絡支持在CPU和GPU之間計算的簡單切換；快速傅里葉變換來有效地計算卷積，從而使大卷積核被支持；光網(wǎng)絡自動化的超參數(shù)優(yōu)化了新型選擇性的SGD算法。

1 模 塊

主要的計算模塊包括前饋過程和向后/反向傳播過程。前饋過程評估模型，反向傳播報告網(wǎng)絡梯度。隨機梯度下降算法是用來優(yōu)化模型參數(shù)。

1.1 核心計算模塊

光網(wǎng)絡能夠?qū)Ｗ⒂跀?shù)學部分而不是低層次的工程細節(jié)。為了使本文更完備，在此說明光網(wǎng)絡中的主要計算模塊。本文的所有網(wǎng)絡和相關實驗都是建立在這些模塊的基礎之上。

1.1.1 線性感知器層

一個線性感知器層可以表示為y=Wx+b。在這里，x表示input_dim×1大小的輸入數(shù)據(jù)，W表示output_dim× input_dim大小的權重矩陣，b是一個output_dim× 1大小的偏置向量，y表示output_dim× 1大小的線性層輸出。

從線性感知器輸入映射到最終的網(wǎng)絡輸出可以表示為z=f（y）=f（Wx+b），f是一個非線性函數(shù)，它表示在更深層次的網(wǎng)絡的計算；z是網(wǎng)絡輸出，通常是一個損失值。

1.1.2 卷積層

卷積層由一個多維濾波器組kio將輸入特征圖Nmap_in映射到輸出特征圖Nmap_out。每個輸入特征圖xi與相對應的濾波器組kio進行卷積，卷積的結果是求和并添加偏置值Bo生成o?th輸出圖： 。允許使用大的卷積核，快速傅里葉變換（FFT）是用來計算卷積（及相關）。根據(jù)卷積定理[5]，在空間域卷積等價于在頻域的逐點乘法。因此，ki*xi可以用傅里葉變換計算：ki*xi=F-1{F{ki}·F{xi}}。在這里，F(xiàn)表示傅里葉變換，“”表示逐點乘法運算，卷積層支持填充和跨越。

從o?th輸出特征圖到網(wǎng)絡輸出的映射可以表示為z=f（yo）。這里f是從o?th輸出特征圖yo到最終的網(wǎng)絡輸出的非線性映射。與第1.1.1節(jié)類似，，，需要在反向的過程中計算。

1.1.3 Max?pooling層

最大pooling層計算在窗口中的最大元素與步幅大小，一個定制的im2col_ln功能是實現(xiàn)轉換pooling補丁為列向量，來矢量化在Matlab中的pooling計算。內(nèi)置的最大功能是這些列向量可以返回pooling結果和這些最大值的指數(shù)，然后，在原來的批量數(shù)據(jù)恢復相應指數(shù)。此外，零填充可應用于輸入數(shù)據(jù)。

不失一般性，從Max?pooling層輸入到最終的網(wǎng)絡輸出的映射可以表示為z=f（y）=f（Sx），其中S是選擇矩陣，x是一個列向量，它表示輸入數(shù)據(jù)到這層。

在反向的過程中，被計算并傳遞給淺層：。

當pooling范圍小于或等于該步長大小時，可以用Matlab中簡單的矩陣索引技術計算出。具體來說，與輸入數(shù)據(jù)相同大小的一個空的張量dzdx被創(chuàng)建。dzdx（from）=dzdy，from是pooling指數(shù)，dzdy是一個記錄pooling結果的張量。當pooling范圍大于步長大小時，x中的每一個條目都可以被匯集多次，并且反向傳播梯度需要為這些多個匯集條目積累。在這種情況下，計算可以利用Matlab自帶的功能accumarray（）。

1.1.4 修正線性單元

修正線性單元（ReLU）作為一個主要的非線性映射函數(shù)被實現(xiàn)，一些其他的函數(shù)包括sigmoid和tanh這里的討論就省略了。ReLU函數(shù)是很獨特的函數(shù)，如果輸入大于0，則輸出0，否則y=ReLU（x）=x·ind（x>0）。在反向的過程中，如果輸入數(shù)據(jù)是非負的，則梯度傳遞到較淺層，否則，梯度被忽略。

1.2 損失函數(shù)

通常，一個損失函數(shù)會和最深核心計算模塊的輸出相連。目前，為了達到分類任務光網(wǎng)絡還支持softmax 中的LogLoss函數(shù)。

1.3 優(yōu)化算法

隨機梯度下降（SGD）為基礎的優(yōu)化算法是訓練深層神經(jīng)網(wǎng)絡的主要工具。標準的SGD算法和它的一些流行的變型如adagrad[6]，rmsprop[7]， Adam[8]，同樣實現(xiàn)了深度學習的研究。值得一提的是，在此實現(xiàn)了一個新的選擇性的SGD算法便于參數(shù)尤其是學習速率的選擇。

2 實 驗

2.1 多層感知器網(wǎng)絡

在MNIST數(shù)據(jù)上[9]構造一個多層感知器網(wǎng)絡來測試光網(wǎng)絡的性能。網(wǎng)絡從MNIST圖像數(shù)據(jù)集取得28×28輸入，在接下來的兩層分別有128個節(jié)點。然后，128維特征連接10個節(jié)點來計算softmax輸出。實驗結果見圖1。

和測試階段的損失和錯誤率

2.2 卷積神經(jīng)網(wǎng)絡

在cifar?10數(shù)據(jù)[10]上由4個卷積層構建一個卷積網(wǎng)絡來測試光網(wǎng)絡的性能。此結構與來自MatConvNet的一個報告相同[3]。32，32，64，64在前三層有5×5大小的卷積核，最后一層有4 × 4大小的內(nèi)核。ReLU函數(shù)應用到每一個卷積層之后作為非線性映射函數(shù)。光網(wǎng)絡自動選擇和調(diào)整學習速率并可以達到非常精確。與有固定的學習速率的SGD標準比較，選擇性SGD具有更好的精度。最重要的是，使用選擇性SGD避免手動調(diào)諧的學習速率。圖2為實驗結果。計算在一個Intel i5 6600K CPU和Nvidia Titan X GPU（12 GB內(nèi)存）的臺式電腦上進行。當前版本的光網(wǎng)絡用這種網(wǎng)絡結構在GPU上每秒可以處理750個圖像，大約比使用的CPU速度快5倍。

2.3 LSTM網(wǎng)絡

長短期記憶（LSTM）[11]是一個流行的遞歸神經(jīng)網(wǎng)絡模型。由于光網(wǎng)絡的通用性，LSTM網(wǎng)絡作為一個特定的應用程序可以在光網(wǎng)絡包中實現(xiàn)。值得注意的是，在光網(wǎng)絡中的核心計算模塊用于執(zhí)行時域前向過程和反向傳播為LSTM。

在一個LSTM模型中的前向過程可以用公式表示為：

和測試階段的損失和錯誤率

優(yōu)化LSTM模型，在LSTM中通過時間的反向傳播實現(xiàn)和計算最關鍵值：

采用一個關鍵的迭代屬性來計算上述值：

一些其他的梯度可以通過使用上述計算輸出的鏈規(guī)則計算：

LSTM網(wǎng)絡測試一個字符語言建模任務，該數(shù)據(jù)集由選自莎士比亞作品的20 000個句子組成，每個句子斷成67字（和標點符號），LSTM模型可以根據(jù)前一個字符預測下一個字符。網(wǎng)絡模型中使用30個隱含節(jié)點并且RMSProp用于訓練。在后10次訓練，下一個字符的預測精度提高到70%。

2.4 Q?網(wǎng)絡

作為強化學習中的應用，創(chuàng)建一個和MLP網(wǎng)絡一致的Q?network[12]。然后將Q?network應用到經(jīng)典的Cart?Pole的問題中[13]。Cart?Pole系統(tǒng)的動力學可以在一個兩層網(wǎng)絡數(shù)百次迭代中學習到。對Q?network更新過程的一次迭代為：

式中，act是由概率ε隨機選擇的。所需的網(wǎng)絡輸出值Qnew是利用觀測到的reward和由此產(chǎn)生的狀態(tài)的貼現(xiàn)值γV（statenew）計算出來的，通過均衡器預測當前的網(wǎng)絡。通過使用最小平方損失函數(shù)：

3 結 論

為了深層神經(jīng)網(wǎng)絡模型的理解與發(fā)展，光網(wǎng)絡提供了一個易于擴展的生態(tài)系統(tǒng)。在Matlab環(huán)境下，整個計算過程可以很容易地跟蹤和可視化。這些設置的主要功能可以對深度學習研究界提供獨特的便利。

參考文獻

[1] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks [J]. Advances in neural information processing systems， 2012， 25（2）： 1097?1105.

[2] JIA Y， SHELHAMER E， DONAHUE J， et al. Caffe： Convolutional architecture for fast feature embedding [C]// Proceedings of the ACM International Conference on Multimedia. [S.l.]： ACM， 2014： 675?678.

[3] VEDALDI A， LENC K. Matconvnet： Convolutional neural networks for Matlab [C]// Proceedings of the 23rd Annual ACM Conference on Multimedia. [S.l.]： ACM， 2015： 689?692.

[4] BASTIEN F， LAMBLIN P， PASCANU R， et al. Theano： new features and speed improvements [J]. arXiv preprint arXiv， 2012， 20： 42?51.

[5] MALLAT S G. A wavelet tour of signal processing： the sparse way [J]. Academic press， 1998 ， 31 （3） ：83?85.

[6] DUCHI J， HAZAN E， SINGER Y. Adaptive subgradient methods for online learning and stochastic optimization [J]. The journal of machine learning research， 2011 （12）： 2121?2159.

[7] TIELEMAN T， HINTON G. Lecture 6.5?rmsprop： Divide the gradient by a running average of its recent magnitude [J]. Neural networks for machine learning， 2012， 4 （2）： 20?26.

[8] KINGMA D， BA J. Adam： A method for stochastic optimization [C]// Proceedings of the 3rd International Conference for Learning Representations. San Diego： [s.n.]， 2015： 1412?1418.

[9] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [J]. Proceedings of the IEEE， 1998， 86（11）： 2278?2324.

[10] KRIZHEVSKY A， HINTON G. Learning multiple layers of features from tiny images [M]. [S.l.： s.n.]， 2009.

[11] HOCHREITER S， SCHMIDHUBER J. Long short?term memory [J]. Neural computation ， 1997， 9（8）： 1735?1780.

[12] MNIH V， KAVUKCUOGLU K， SILVER D， et al. Human?level control through deep reinforcement learning [J]. Nature 2015， 518（7540）： 529?533.

[13] BARTO A G， SUTTON R S， ANDERSON C W. Neuronlike adaptive elements that can solve difficult learning control problems [J]. IEEE transactions on systems， man and cybernetics， 1983， （5）： 834?846.