周林騰

（山東科技大學山東青島266590）

大數(shù)據(jù)蘊含著龐大的社會經(jīng)濟和科學價值，且隨著近年來基于大數(shù)據(jù)的新應用、新行業(yè)不斷興起，已在全世界掀起一股大數(shù)據(jù)研究的熱潮。2015年，國務院發(fā)布發(fā)展綱要，將大數(shù)據(jù)納入其中。大數(shù)據(jù)價值的體現(xiàn)在其中蘊藏的大量信息，要真正發(fā)掘出數(shù)據(jù)的信息價值，需要克服“4 V特性”（價值稀疏、多源異構、數(shù)據(jù)海量、指數(shù)生長）帶來的挑戰(zhàn)[1-2]。而人腦作為天然的數(shù)據(jù)處理引擎，具備超乎想象的數(shù)據(jù)分析處理能力?？梢酝浇馕鰣D像、氣溫、觸感、聲音多種形式數(shù)據(jù)，每秒的信息傳遞量可達1 000億次。

深度神經(jīng)網(wǎng)絡算法仿生人腦數(shù)據(jù)處理模式，是目前最為高效的大數(shù)據(jù)分析算法之一[3-4]。本文將基于大數(shù)據(jù)和神經(jīng)網(wǎng)絡的核心技術，梳理了神經(jīng)網(wǎng)絡大數(shù)據(jù)分析的基本框架，并對以數(shù)據(jù)驅動的自動化特征提取模式為核心的深度學習方法做深入研究。同時，對其在圖像理解中的應用進行實例分析。

1 大數(shù)據(jù)與深度神經(jīng)網(wǎng)絡

1.1 大數(shù)據(jù)關鍵技術

1.1.1 大數(shù)據(jù)概念

大數(shù)據(jù)一詞誕生于1997年，通常指信息龐大復雜的數(shù)據(jù)集合。大數(shù)據(jù)具備4個突出特征：

1）數(shù)據(jù)海量

大數(shù)據(jù)包含的是全樣本數(shù)據(jù)和超高維的復雜數(shù)據(jù)，而非少量的抽樣數(shù)據(jù)。

2）價值稀疏

單條數(shù)據(jù)蘊含的價值極低且數(shù)據(jù)間相關性差。

3）多源異構

數(shù)據(jù)來源復雜、渠道廣泛，且大多是非結構化的數(shù)據(jù)混雜結構化數(shù)據(jù)，難以分類整理。

4）指數(shù)生長

大數(shù)據(jù)包含的數(shù)據(jù)量會隨著產(chǎn)出指數(shù)變化，流量可達到TB級[5-9]。

1.1.2 大數(shù)據(jù)核心技術

要跨過大數(shù)據(jù)的特征門檻，發(fā)掘出大數(shù)據(jù)的信息價值，其關鍵技術分為3個部分層[10-11]：

1）數(shù)據(jù)平臺

數(shù)據(jù)平臺負責大數(shù)據(jù)的采集和分類存儲管理。對收集到的數(shù)據(jù)需要進行清理、再標記。標記數(shù)據(jù)時刻清理更新，蘊含著海量數(shù)據(jù)的大部分研究價值。

2）分析平臺

分析平臺負責大數(shù)據(jù)計算、分析，是價值具象化的重要途徑。轉化過程需要強大的計算平臺支撐，現(xiàn)常用的分布式大數(shù)據(jù)計算框架有：MapReduce、Parameter Server等，分析方法常用人工建?；蛏窠?jīng)網(wǎng)絡分析。

3）展示平臺

展示平臺通常以流量渠道進行大數(shù)據(jù)產(chǎn)品的推廣，包括大數(shù)據(jù)研究規(guī)律或價值研究模型等。大數(shù)據(jù)完整的分析、標記、提取流程如圖1所示。

圖1 三層架構下元數(shù)據(jù)管理

1.2 神經(jīng)網(wǎng)絡算法

1.2.1 算法模型

神經(jīng)網(wǎng)絡算法是一種模擬大腦分析機制的仿生計算方法，研究內(nèi)容涵蓋神經(jīng)網(wǎng)絡結構模擬、網(wǎng)絡通信模型、記憶模型及學習算法等[12]。

目前，研究實現(xiàn)的神經(jīng)網(wǎng)絡算法模型主要有：前饋神經(jīng)網(wǎng)絡、回復式神經(jīng)網(wǎng)絡、時序記憶神經(jīng)網(wǎng)絡。本文主要研究基于前饋神經(jīng)網(wǎng)絡，這也是最為高效的一種網(wǎng)絡模型。其突出的特征學習能力，可廣泛運用于語音、圖像識別中。前饋神經(jīng)網(wǎng)絡分為多層結構，每層由多組神經(jīng)元構成，信息沿著前饋層輸入，單向流動傳輸[13]。基于此特性，前饋神經(jīng)網(wǎng)絡可有效提取數(shù)據(jù)空間結構特征，最為著名的實現(xiàn)方法如感知機、深度自動編碼機等，均已在計算機視覺與人工智能開發(fā)領域作出卓著貢獻。

1.2.2 無限深度神經(jīng)網(wǎng)絡

深度神經(jīng)網(wǎng)絡，通常指具有一定層級深度的前饋式神經(jīng)網(wǎng)絡，且無“時間參數(shù)”限制，適合處理靜態(tài)數(shù)據(jù)，拓撲如圖2所示。而無限深度神經(jīng)網(wǎng)絡則在反饋結構上建立回復式互聯(lián)，在時間維度上展開，隨著不斷分支，網(wǎng)絡可以“無限深”，使其具備可處理動態(tài)數(shù)據(jù)的能力。其拓撲示意如圖3所示。

圖2 前饋式深度神經(jīng)網(wǎng)絡拓撲

圖3 無限深度神經(jīng)網(wǎng)絡拓撲

2 神經(jīng)網(wǎng)絡學習算法

深度神經(jīng)網(wǎng)絡任務的核心在于對數(shù)據(jù)變化趨勢的預測，即時序特征。時序是一個時間相關的動態(tài)函數(shù)，常以“Bus Driver”來驗證算法的動態(tài)提取能力。

“Bus Driver”問題要求在動態(tài)干擾中識別順序發(fā)生的兩個事件。如圖4所示，對于a，b，c，d 4個事件，只有在a后出現(xiàn)了事件b才會輸出1，否則為0。

圖4 Bus Driver問題

在深度神經(jīng)網(wǎng)絡算法模型中，以一個神經(jīng)元作為觸發(fā)器，另一個為輸出。劃定4端口輸入，1值在端口隨機轉換，其余默認為0，便可實現(xiàn)“Bus Driver”目標輸出規(guī)則：在a后出現(xiàn)第一個b輸出1。拓撲如圖5所示。

2.1 性能函數(shù)分析

以上算例凸顯出了記憶、學習能力與時間判斷相結合的時序深度分析能力。而神經(jīng)網(wǎng)絡的計算分析能力，是建立在模擬神經(jīng)元連接權值上的。因此，學習算法的效率核心就在于網(wǎng)絡節(jié)點權值的調(diào)節(jié)上。

圖5 解決Bus Driver問題的無限深度神經(jīng)網(wǎng)絡拓撲

權值調(diào)節(jié)的最終目標是從數(shù)據(jù)中抽取有效知識，達成計算任務。常用性能函數(shù)J（w）來進行權值優(yōu)化。α為學習效率，?wJ為參數(shù)梯度

以一個監(jiān)督有序學習序列作為輸入，在任意t時刻性能函數(shù)：

若劃定起止時間t0和t1，性能函數(shù)轉變?yōu)椋?/p>

以上兩種方式分別稱為階段訓練和連續(xù)訓練，其特點如表1所示。

表1 連續(xù)訓練與階段訓練特性對比

2.2 深度神經(jīng)網(wǎng)絡學習算法

作為最經(jīng)典的前饋網(wǎng)絡算法，BPTT算法按照無限深度神經(jīng)網(wǎng)絡展開為回復式網(wǎng)絡，每層有其相對應的權值。根據(jù)2.1所示的兩種訓練學習方式，可實現(xiàn)兩種經(jīng)典算法：Epoch-BPTT、Real-BPTT[14-16]。同時，為了解決無限深度神經(jīng)網(wǎng)絡普遍存在的“梯度爆炸、消失”問題，本文研究采用“長短時記憶”的改進LSTM學習算法。

其具體解決原理在于將非線性的激活函數(shù)變?yōu)榫€性函數(shù)，拓撲結構如圖6所示（稱為CEC神經(jīng)元）。但線性結構也限制了其學習能力，且存在特殊情況下的輸入輸出沖突。因此，將CEC結構進一步發(fā)展為LSTM memory cell。即一個block中可包含多個 memory cell，由 Gate、Output、Forget三塊區(qū)域采用全連接方式控制，如圖7所示。

圖6 A CEC of LSTM

圖7 LSTM memory block

3 算法分析實例

無限深度學習適用于海量數(shù)據(jù)的特征提取，獲取到有用知識。以LSTM模型為例，其在視頻識別中可對人肢體行為進行分析，并排列出動態(tài)時序信息，從而處理復雜的視頻序列。而在圖像處理領域，也無須建立任何語法結構和語言庫，可將圖像甚至視頻映射為一個自然語句。

測試圖像、視頻庫中存有8 w+訓練圖像。本文從測試圖庫隨機抽取一張圖像或視頻的一幀為目標，輸入到卷積網(wǎng)絡中，得到一個固定長度的特征向量。然后，將特征序列輸入到LSTM學習模型得到時序特征，預測出時序上的單詞空間分布概率。進而標記提取出正確行為信息，按時序級聯(lián)表達，轉化為自然語句輸出。

整體網(wǎng)絡架構分為：1個卷積神經(jīng)網(wǎng)絡，4個長短時記憶網(wǎng)絡連接分類器。通過分析結果可知，LSTM相比其他語義理解算法能夠取得更高的精準度，其優(yōu)勢尤其體現(xiàn)在短句的理解與翻譯中。

4 結束語

文中主要研究“大數(shù)據(jù)+神經(jīng)網(wǎng)絡”模式下，深度學習在非結構化數(shù)據(jù)中動態(tài)時序分析方法。介紹了大數(shù)據(jù)特性、大數(shù)據(jù)關鍵技術及深度神經(jīng)網(wǎng)絡在時間維度展開的回復式互聯(lián)結構。并就其性能函數(shù)優(yōu)化問題，提出采用改進LSTM學習算法，良好平衡“學習能力”與“輸入輸出沖突”的矛盾問題?？偠灾?，無限深度神經(jīng)網(wǎng)絡方法在圖像、語音、視頻的實例處理中表現(xiàn)出極高的精準度和學習能力，可高效實現(xiàn)大數(shù)據(jù)價值轉化。

參考文獻：

[1]張蕾，章毅.大數(shù)據(jù)分析的無限深度神經(jīng)網(wǎng)絡方法[J].計算機研究與發(fā)展，2016，53（1）:68-79.

[2]工業(yè)和信息化部電信研究院.大數(shù)據(jù)白皮書[M].北京:工業(yè)和信息化部電信研究院，2014.

[3]Silver D，Huang A，Maddison C J，et al.Mastering the game of go with deep neural networks and tree search[J].Nature，2016，529（7587）:484-489.

[4]Intel IT Center.大數(shù)據(jù)101:非結構化數(shù)據(jù)分析[EB/OL].（2015-07-01）[2017-11-05]www.intel.com.

[5]Hochreiter S，Schmidhuber J.Long short-term memory[J].Neural Computation，1997，9（8）:1735.

[6]Gers F A，Schmidhuber J，Recurrent nets that time and count[C].Piscataway，NJ:IEEE，2000.

[7]Donahue J，Hendricks L A，Guadarrama S，et al，Long-term recurrent convolutional networks for vi?sual recongnition and description[J].ArXiv Pre?print，2014，14（11）:4389-4395.

[8]Gravers A.Generating sequences with recurrent neural networks[J].ArXiv Preprint，2013，13（11）:850-859.

[9]Fu X L，Cai L H，Liu Y，et al． A computational cognition model of perception，memory，and judg?ment[J].Science China Information Sciences，2014，57（3）:1-15.

[11]繆林松.基于代價敏感神經(jīng)網(wǎng)絡算法的軟件缺陷預測[J].電子科技，2012，25（6）:75-78.

[12]常政威，謝曉娜，桑楠，等.MPSoC軟硬件劃分的自動波競爭神經(jīng)網(wǎng)絡算法[J].電子科技大學學報，2010，39（5）:752-756.

[10]劉玉儒，張振華，劉陵順，等.一種基于BP神經(jīng)網(wǎng)絡算法PID控制器的研究與仿真[J].電子設計工程，2012，20（12）:140-142.

[13]梁玉強，陳勁杰，葉其含.基于AdaBoost和BP網(wǎng)絡的機器人動作理解[J].電子科技，2017，30（8）:63-66.

[14]劉天舒.BP神經(jīng)網(wǎng)絡的改進研究及應用[D].哈爾濱:東北農(nóng)業(yè)大學，2011.

[15]劉蕊蕊，于合謠，冀鵬飛.基于遺傳算法改進的BP神經(jīng)網(wǎng)絡算法[J].德州學院學報，2017，33（4）:38-41.

[16]張裊娜，劉美艷.一種基于RTRL的神經(jīng)網(wǎng)絡駕駛員巡航模型[J].電子科技，2016，29（6）:5-7.