摘 要：在大數(shù)據(jù)高效處理和學(xué)習(xí)方面，超級(jí)計(jì)算機(jī)和Deep Learning[1]（深度學(xué)習(xí)）已經(jīng)成為了引人注目的話題。結(jié)合Deep learning和超級(jí)計(jì)算機(jī)基礎(chǔ)知識(shí)，提出了基于Deep Learning多隱含層感知架構(gòu)的超級(jí)計(jì)算機(jī)新模型，并針對(duì)該架構(gòu)超級(jí)計(jì)算機(jī)的計(jì)算速率和容錯(cuò)性能兩方面，分析了該架構(gòu)超級(jí)計(jì)算機(jī)的高性能性。

關(guān)鍵詞：大數(shù)據(jù)；超級(jí)計(jì)算機(jī)；深度學(xué)習(xí)；多隱含層感知；高性能

中圖分類(lèi)號(hào)：TP393.0

超級(jí)計(jì)算機(jī)是計(jì)算機(jī)系統(tǒng)中計(jì)算能力最強(qiáng)的一種，也是推動(dòng)計(jì)算科學(xué)進(jìn)步的中堅(jiān)力量，高性能是超級(jí)計(jì)算機(jī)的重要指標(biāo)。超級(jí)計(jì)算機(jī)在需要密集計(jì)算、海量數(shù)據(jù)處理、工程模擬等領(lǐng)域發(fā)揮著舉足輕重的作用，它已經(jīng)成為國(guó)力的一種象征。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)[2]研究的新領(lǐng)域，源于人工神經(jīng)網(wǎng)絡(luò)[3]研究。

1 Deep Learning（深度學(xué)習(xí)）

1.1 Deep Learning多隱含層感知架構(gòu)

Deep Learning結(jié)構(gòu)最優(yōu)秀的特征是多隱含層的多層感知器[4]架構(gòu)。該架構(gòu)使得它具有優(yōu)異的特征學(xué)習(xí)能力。并且它的“逐層初始化”（layer-wise pre-training）有效地克服了深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度。Deep Learning的多隱含層結(jié)構(gòu)由包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)。它的每一層可以認(rèn)為是一個(gè)淺度學(xué)習(xí)模型（如Support Vector Machines）；這種分層結(jié)構(gòu)比較接近人類(lèi)大腦的結(jié)構(gòu)。

人大腦皮層計(jì)算也是分多層進(jìn)行，例如人的視覺(jué)系統(tǒng)，對(duì)圖像數(shù)據(jù)的處理是從V1區(qū)傳到V2區(qū)然后依次在各個(gè)區(qū)進(jìn)行處理。使用含多隱含層感知器架構(gòu)網(wǎng)絡(luò)主要優(yōu)勢(shì)在于能以簡(jiǎn)潔的方式來(lái)表達(dá)比淺層網(wǎng)絡(luò)大得多的函數(shù)集合。通過(guò)這種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，Deep Learning可以實(shí)現(xiàn)復(fù)雜函數(shù)的逼近，并表現(xiàn)出極強(qiáng)的從少量數(shù)據(jù)學(xué)習(xí)本質(zhì)特征的能力。

1.2 Deep Learning訓(xùn)練過(guò)程

（1）首先逐層構(gòu)建單層神經(jīng)元，使得每次都是訓(xùn)練一個(gè)單層網(wǎng)絡(luò)。

（2）當(dāng)所有層訓(xùn)練完后，使用wake-sleep算法[5]進(jìn)行調(diào)優(yōu)。

將除最頂層的其它層間的權(quán)重變?yōu)殡p向的。其中向上的權(quán)重用于“認(rèn)知”，向下的權(quán)重用于“生成”。然后使用Wake-Sleep算法調(diào)整所有的權(quán)重。讓“認(rèn)知”和“生成”達(dá)成一致。Wake-Sleep算法分為醒（Wake）和睡（Sleep）兩個(gè)部分。

Wake階段：“認(rèn)知”過(guò)程，通過(guò)外界輸入物體的特征和向上的權(quán)重（認(rèn)知權(quán)重）產(chǎn)生每一層的抽象表示（結(jié)點(diǎn)狀態(tài)），并用梯度下降修算法調(diào)整層間的向下的權(quán)重（生成權(quán)重）。

Sleep階段：“生成”過(guò)程，通過(guò)頂層表示（醒時(shí)學(xué)得的狀態(tài)）和向下權(quán)重（生成權(quán)重），生成底層的狀態(tài)，如果沒(méi)有復(fù)原底層狀態(tài)，則調(diào)整層間向上的權(quán)重（認(rèn)知權(quán)重），再重新使用Wake-Sleep算法調(diào)優(yōu)，直到頂層表示能夠復(fù)原底層狀態(tài)。

2 基于Deep Learning多隱含層感知架構(gòu)超級(jí)計(jì)算機(jī)

2.1 超級(jí)計(jì)算機(jī)系統(tǒng)四層應(yīng)用視圖

按照面向應(yīng)用的層次化可用性建模[6]方法，可以描述一般超級(jí)計(jì)算機(jī)系統(tǒng)的四層應(yīng)用視圖。

節(jié)點(diǎn)層：該層的基本單元是個(gè)體計(jì)算節(jié)點(diǎn)，而個(gè)體計(jì)算節(jié)點(diǎn)是系統(tǒng)向用戶(hù)提供的基本計(jì)算資源。

系統(tǒng)層：該層是為了幫助系統(tǒng)管理人員從整機(jī)角度觀察系統(tǒng)的強(qiáng)度可用性水平，以便于調(diào)整節(jié)點(diǎn)調(diào)度、作業(yè)調(diào)度、失效處理等重要決策。

作業(yè)分區(qū)層：該層由一個(gè)個(gè)作業(yè)區(qū)組成。每個(gè)作業(yè)分區(qū)對(duì)應(yīng)一個(gè)作業(yè)隊(duì)列，其上可有若干用戶(hù)作業(yè)并行執(zhí)行。系統(tǒng)的所有節(jié)點(diǎn)資源是按照分區(qū)規(guī)則進(jìn)行調(diào)度使用的。

作業(yè)層：該層是作業(yè)用戶(hù)從單個(gè)作業(yè)的角度所見(jiàn)的強(qiáng)度可用性層次。

2.2 基于Deep Learning多隱含層的超級(jí)計(jì)算機(jī)計(jì)算節(jié)點(diǎn)模型

超級(jí)計(jì)算機(jī)系統(tǒng)能提供多大的計(jì)算能力，對(duì)系統(tǒng)的高性能優(yōu)勢(shì)的發(fā)揮有著直接影響。計(jì)算節(jié)點(diǎn)是系統(tǒng)提供的基本計(jì)算資源。從而提高每個(gè)計(jì)算節(jié)點(diǎn)的計(jì)算性能對(duì)系統(tǒng)的高性能優(yōu)勢(shì)的發(fā)揮有很大的影響。故提出基于Deep Learning 多隱含層感知架構(gòu)的超級(jí)計(jì)算機(jī)計(jì)算節(jié)點(diǎn)模型。

基于Deep Learning多隱含層感知架構(gòu)的計(jì)算節(jié)點(diǎn)具有多層，每層由多個(gè)子計(jì)算節(jié)點(diǎn)組成，層間子計(jì)算節(jié)點(diǎn)通過(guò)計(jì)算網(wǎng)絡(luò)傳遞數(shù)據(jù)。每個(gè)子計(jì)算節(jié)點(diǎn)是一個(gè)獨(dú)立的計(jì)算單元，它主要由計(jì)算部件、互連部件和存儲(chǔ)部件組成。

工作原理：當(dāng)作業(yè)從系統(tǒng)層調(diào)度到計(jì)算節(jié)點(diǎn)后，計(jì)算節(jié)點(diǎn)的多個(gè)層依次對(duì)輸入數(shù)據(jù)處理。每層的子計(jì)算節(jié)點(diǎn)利用處理函數(shù)（處理向量），對(duì)輸入數(shù)據(jù)進(jìn)行簡(jiǎn)單操作生成處理結(jié)果和處理函數(shù)（處理向量）對(duì)應(yīng)的反函數(shù)（反向處理向量），然后反函數(shù)（反向處理向量）和處理結(jié)果通過(guò)運(yùn)算生成反向處理結(jié)果，再讓反向處理結(jié)果與輸入數(shù)據(jù)比較：如果反向處理結(jié)果與輸入數(shù)據(jù)不相同，則認(rèn)為該子計(jì)算節(jié)點(diǎn)計(jì)算操作錯(cuò)誤，將錯(cuò)誤信息報(bào)告到系統(tǒng)，再由系統(tǒng)調(diào)用其他計(jì)算節(jié)點(diǎn)對(duì)該輸入數(shù)據(jù)重新處理；如果反向處理結(jié)果與輸入數(shù)據(jù)相同則認(rèn)為處理操作正確，則將正確處理結(jié)果作為下層子計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)，依次迭代操作，直到最終正確處理結(jié)果輸入到該計(jì)算節(jié)點(diǎn)的輸出接口，最后正確處理結(jié)果被傳遞到高速計(jì)算網(wǎng)絡(luò)。如果作業(yè)需要計(jì)算節(jié)點(diǎn)間協(xié)同處理才能完成整個(gè)處理操作，則將這個(gè)計(jì)算節(jié)點(diǎn)的正確處理結(jié)果通過(guò)高速計(jì)算網(wǎng)絡(luò)傳遞到另外一個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行同樣過(guò)程的操作，依次迭代，直到完成對(duì)該作業(yè)的所有操作，系統(tǒng)輸出最終正確處理結(jié)果；如果作業(yè)只需要一個(gè)計(jì)算節(jié)點(diǎn)的處理就能夠完成對(duì)作業(yè)的所有操作，就將這個(gè)計(jì)算節(jié)點(diǎn)的正確處理結(jié)果作為系統(tǒng)對(duì)作業(yè)的最終處理結(jié)果，輸出系統(tǒng)。

計(jì)算節(jié)點(diǎn)采用多層次能夠減輕每層子計(jì)算節(jié)點(diǎn)的負(fù)擔(dān)，提高每層子計(jì)算節(jié)點(diǎn)處理速度，進(jìn)而提高了整個(gè)計(jì)算節(jié)點(diǎn)的處理速度。而且計(jì)算節(jié)點(diǎn)采用多層能夠避免過(guò)多的中間數(shù)據(jù)占用高速計(jì)算網(wǎng)絡(luò)，從而提高了計(jì)算節(jié)點(diǎn)間數(shù)據(jù)傳遞的速度。計(jì)算節(jié)點(diǎn)多層次間采用反向回饋機(jī)制，能夠有效的避免計(jì)算錯(cuò)誤或降低計(jì)算錯(cuò)誤率，從而增強(qiáng)系統(tǒng)的容錯(cuò)性能。計(jì)算速度的提高和容錯(cuò)性能的增強(qiáng)最終能夠使超級(jí)計(jì)算機(jī)的總體性能提高。

3 結(jié)束語(yǔ)

本文主要提出對(duì)超級(jí)計(jì)算機(jī)的底層計(jì)算節(jié)點(diǎn)利用基于Deep Learning 多隱含層感知架構(gòu)思想，構(gòu)建含多隱層的計(jì)算節(jié)點(diǎn)用來(lái)提高超級(jí)計(jì)算機(jī)的高性能和高容錯(cuò)性能的新解決方案。

參考文獻(xiàn)：

[1]Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006（5786）：504-507.

[2]湯姆·米切爾.曾華軍，譯.機(jī)器學(xué)習(xí)[M].北京：機(jī)械工業(yè)出版社，2003：1-280.

[3]吳昌友.神經(jīng)網(wǎng)絡(luò)的研究及應(yīng)用[D].哈爾濱：東北農(nóng)業(yè)大學(xué)，2007.

[4]HINTON G，OSINDERO S，TEH Y. A fast learning algorithm for deep belief nets[J].Neural Computation，2006（07）：1527-1554.

[5]Chuang Gao，Bin Chen，Wei Wei.Dynamic detection of wake sleep transition with reaction time-magnitude[J].Neural Regenerattion Research，2009（07）：552-560.

[6]鄭霄.超級(jí)計(jì)算機(jī)系統(tǒng)的可用性評(píng)估研究[D].鄭州：解放軍信息工程大學(xué)，2009.

作者簡(jiǎn)介：魯向擁（1992-），男，河南開(kāi)封人，在校本科生，研究方向：計(jì)算機(jī)科學(xué)與技術(shù)；劉正發(fā)（1990-），男，山西運(yùn)城人，在校本科生，研究方向：自動(dòng)化；李明明（1992-），男，河南濟(jì)源人，在校本科生，研究方向：網(wǎng)絡(luò)工程。

作者單位：河南大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，河南開(kāi)封 475000