甘興龍 許峰 周劍輝

摘要：為適應(yīng)當前信息技術(shù)系統(tǒng)復(fù)雜度越來越高、數(shù)據(jù)處理量越來越大等需求，基于NoC（Network-on-Chip，片上網(wǎng)絡(luò)）架構(gòu)設(shè)計實現(xiàn)分布式存儲多核系統(tǒng)被不斷普及運用。與傳統(tǒng)的基于總線的互連架構(gòu)相比，該系統(tǒng)可以用較小的硬件資源消耗，實現(xiàn)更高的單位時間數(shù)據(jù)處理量。同時該系統(tǒng)可根據(jù)不同的應(yīng)用靈活設(shè)定數(shù)據(jù)通信的優(yōu)先級，提升了系統(tǒng)整體的數(shù)據(jù)吞吐量。通過將該系統(tǒng)運用于H.264視頻解碼的實驗，可以驗證得出應(yīng)用NoC架構(gòu)的分布式多核存儲系統(tǒng)可以實現(xiàn)性能的極大提升。

關(guān)鍵詞：片上網(wǎng)絡(luò)（NoC）;分布式存儲;多核系統(tǒng)

當前新技術(shù)、新應(yīng)用層出不窮的背后，體現(xiàn)著對高速率、大容量、高穩(wěn)定性數(shù)據(jù)通信的要求。傳統(tǒng)的單核系統(tǒng)已不能滿足數(shù)據(jù)通信和處理要求，多核系統(tǒng)應(yīng)運而生。多核處理器已經(jīng)成為處理器的主流，并發(fā)展成為各種通信與媒體應(yīng)用的主流處理平臺。傳統(tǒng)的基于總線的多核互連結(jié)構(gòu)，隨著微處理器核的數(shù)量的增加，在內(nèi)存存取、大規(guī)模數(shù)據(jù)通信方面的固有缺陷暴露無遺。作為多核系統(tǒng)和嵌入式應(yīng)用中異構(gòu)系統(tǒng)片上通信的首選方案，一種新的體系架構(gòu)片上網(wǎng)絡(luò)應(yīng)運而生。作為全新的片上通信方法，NoC有著顯著優(yōu)于傳統(tǒng)總線式系統(tǒng)的性?；诨ヂ?lián)網(wǎng)的NoC的研究和應(yīng)用成為集成電路設(shè)計新的熱點，半導(dǎo)體、集成電路廠商加大這方面的投入力度，各科研院校也成為NoC研究領(lǐng)域的生力軍。同集中式系統(tǒng)相比，分布式系統(tǒng)潛在的優(yōu)勢是可以將工作負載分散到多核系統(tǒng)中，具有資源共享、并發(fā)性操作、子系統(tǒng)可異構(gòu)、可擴展性和可分散控制等優(yōu)點。多核間的通信是分布式系統(tǒng)中的核心技術(shù)之一，分布式系統(tǒng)間通信的效率是影響分布式多核系統(tǒng)性能的重要指標，而其中最為重要的就是數(shù)據(jù)在多核系統(tǒng)中的傳遞。當前大數(shù)據(jù)應(yīng)用的特點決定了數(shù)據(jù)的傳遞和處理成為整個分布式系統(tǒng)的瓶頸。本文設(shè)計基于NoC架構(gòu)的分布式存儲多核系統(tǒng)，在充分利用NoC架構(gòu)優(yōu)點的同時，解決分布式系統(tǒng)在數(shù)據(jù)存儲和處理中存在的問題，提出了針對分布式多核系統(tǒng)新的解決方案。

一、基于NoC架構(gòu)的分布式存儲系統(tǒng)架構(gòu)

互連網(wǎng)絡(luò)可以是靜態(tài)的或是動態(tài)的，靜態(tài)連接的特點是其連接關(guān)系是固定不變的，因此主要的缺點是系統(tǒng)擴展性不佳，不適合當前分布式系統(tǒng)的要求。而動態(tài)網(wǎng)絡(luò)連接是當需要的時候才建立的，動態(tài)的網(wǎng)絡(luò)互連又可以分為基于總線的和基于交換的，本設(shè)計基于NoC架構(gòu)，因此是基于交換的動態(tài)連接。

關(guān)于分布式多核系統(tǒng)，片上網(wǎng)絡(luò)定位為用于各個終端間傳輸數(shù)據(jù)的、可擴展的系統(tǒng)。NoC的核心思想是將網(wǎng)絡(luò)技術(shù)應(yīng)用于分布式多核系統(tǒng)中，NoC最為廣泛的應(yīng)用主要集中在微處理器系統(tǒng)和通信轉(zhuǎn)換系統(tǒng)方面息。隨著納米半導(dǎo)體器件特征尺寸的不斷縮小，引起人們對于傳統(tǒng)的基于總線的片上互連架構(gòu)的可靠性、信號完整性和QoS的極大關(guān)注。

片上網(wǎng)絡(luò)將現(xiàn)代高速網(wǎng)絡(luò)單元與基于包的路由協(xié)議結(jié)合，形成新的架構(gòu)?；贜oc架構(gòu)的設(shè)計融合了分布式系統(tǒng)與計算機網(wǎng)絡(luò)的概念，互連架構(gòu)使得通信模塊間并行通信成為可能，由此帶來數(shù)據(jù)通信帶寬高、擴展性好、吞吐量大等優(yōu)點，在一定程度上改善深/超深亞微米條件下信號傳輸線延遲等問題。

典型的分布式系統(tǒng)采用集中式存儲的結(jié)構(gòu)，數(shù)據(jù)在分布式系統(tǒng)采用傳統(tǒng)的動態(tài)網(wǎng)絡(luò)的方式進行，實現(xiàn)系統(tǒng)內(nèi)的數(shù)據(jù)傳遞和處理平衡。其缺點是因為采用集中式的存儲架構(gòu)，對存儲單元的讀寫操作不能并行處理，因此成為制約分布式系統(tǒng)整體性能的瓶頸。

針對集中式存儲的缺陷，本設(shè)計提出基于NoC架構(gòu)的分布式存儲系統(tǒng)，分布式存儲系統(tǒng)與集中式存儲系統(tǒng)的最大區(qū)別在于將存儲單元均衡地分配給各個子系統(tǒng)，因此可以實現(xiàn)對數(shù)據(jù)的并行操作，提升系統(tǒng)數(shù)據(jù)吞吐量，實現(xiàn)分布式系統(tǒng)性能的最優(yōu)化如何實現(xiàn)圖2所示的分布式存儲系統(tǒng)，需要解決以下四個關(guān)鍵問題：一是分布式存儲單元的有效管理;二是實現(xiàn)多核分布式系統(tǒng)數(shù)據(jù)傳輸吞吐量的平衡;三是更好地支持當前主流多核系統(tǒng);四是支持不同類型數(shù)據(jù)在片上網(wǎng)絡(luò)中的傳輸。

二、基于NoC架構(gòu)的分布式存儲系統(tǒng)設(shè)計

針對以上四個問題，設(shè)計了面向多核系統(tǒng)的分布式、自適應(yīng)片上網(wǎng)絡(luò)方案。在X-YRouting路由中，是按照維度依次進行路徑的選擇。網(wǎng)絡(luò)中的路徑被分為不同的維度（即現(xiàn)實中的方向），當數(shù)據(jù)包在網(wǎng)絡(luò)中傳輸時，先按照某一個維度（X）進行傳輸，在這個維度上計算出數(shù)據(jù)包當前所在的節(jié)點與目標節(jié)點之間的距離，然后在這個維度上偏移適當距離達到在此維度上與目標節(jié)點一致，接著再按照另一個維度傳輸，同樣達到在此維度上與目標節(jié)點保持一致，以此類推直到達到與目的地址在所有維度上完全相。確定性路由算法比較簡單，在網(wǎng)絡(luò)擁塞相對比較小的時候延遲不是很大，但是當網(wǎng)絡(luò)擁塞比較嚴重的時候，確定性路由在網(wǎng)絡(luò)中不會自動選擇擁塞小的路徑去路由，這樣會使網(wǎng)絡(luò)更加擁塞甚至堵塞。而自適應(yīng)路由算法是即使已經(jīng)指定了源節(jié)點和目標節(jié)點，還是可以根據(jù)當前網(wǎng)絡(luò)的狀況決定傳輸?shù)穆窂?。就是在自適應(yīng)路由當中，路徑的選擇由源節(jié)點和目標節(jié)點以及當前的網(wǎng)絡(luò)狀況共同決定。

1）為提高多核系統(tǒng)數(shù)據(jù)傳輸吞度量平衡的問題，設(shè)計提出了自適應(yīng)路由的解決方案。X-Y路由結(jié)構(gòu)相比，設(shè)計中添加了DMM（DataManagementModule，內(nèi)存管理模塊）單元，自適應(yīng)路由機制在路由選擇的時候采集當前片網(wǎng)網(wǎng)絡(luò)的狀態(tài)信息和本節(jié)點的負載信息，并基于此，選擇最佳的傳輸路徑，因此能解決系統(tǒng)整體不平衡的缺陷。即使兩個數(shù)據(jù)擁有相同的源地址和目的地址，但是它們傳輸?shù)穆窂揭部赡芡耆煌Ｗ赃m應(yīng)路由可以根據(jù)網(wǎng)絡(luò)狀態(tài)隨時調(diào)整數(shù)據(jù)包的傳輸路徑，避免了網(wǎng)絡(luò)擁塞，得到更高的網(wǎng)絡(luò)帶寬。

2）本設(shè)計采用了分布式的內(nèi)存管理架構(gòu)，通過設(shè)計DMM管理，實現(xiàn)分布式存儲單元的分配與管理，相對集中式內(nèi)存架構(gòu)，整個內(nèi)存被分為各個相對獨立的部分而分屬于不同的終端，實現(xiàn)數(shù)據(jù)傳遞、處理的并行性，提高了內(nèi)存管理整體的吞吐率。

3）各終端的內(nèi)存又可進一步細化為專屬內(nèi)存（Private）和共有（Shared）部分，整個系統(tǒng)內(nèi)存可根據(jù)實際的需要實現(xiàn)靈活的劃分、設(shè)置，使得數(shù)據(jù)傳輸、處理不再成為整個系統(tǒng)處理過程中的瓶頸。

4）對應(yīng)不同應(yīng)用的數(shù)據(jù)有不同的處理要求，不同類型的數(shù)據(jù)必然帶來處理上不同的優(yōu)先級。因此考慮在應(yīng)用中將數(shù)據(jù)設(shè)置為RealTime和BestEffbrt兩種，分別適應(yīng)對數(shù)據(jù)實時性要求較高和實時性要求不高的應(yīng)用場合，這也是本設(shè)計中的重點。RealTime類型在數(shù)據(jù)傳輸中優(yōu)先級高，并且傳輸過程中不能間斷，而BestEffort類型數(shù)據(jù)則可以利用RealTime傳輸?shù)臅r間間隙實現(xiàn)數(shù)據(jù)傳輸。相同的RealTime和Besteffort類型數(shù)據(jù)具有相同的優(yōu)先級，在數(shù)據(jù)傳輸過程中，內(nèi)部采用輪詢機制確認同等優(yōu)先級數(shù)據(jù)的傳輸順序。在本設(shè)計中的片上網(wǎng)絡(luò)的接口部分，支持當前業(yè)界廣泛使用的AMBA協(xié)議，實現(xiàn)對該類接口的無縫連接，在保證系統(tǒng)整體性能提升的同時，提高了實現(xiàn)該系統(tǒng)實際應(yīng)用的可能性。

三、基于NoC架構(gòu)的分布式存儲系統(tǒng)實現(xiàn)與功能驗證

系統(tǒng)實現(xiàn)與功能驗證通過將本設(shè)計應(yīng)用于實際中，并與未采用本設(shè)計的系統(tǒng)進行比較，驗證性能是否得到優(yōu)化。系統(tǒng)的實現(xiàn)基于FPGA平臺，這樣可以充分利用可編程邏輯器件的擴展性優(yōu)點，而性能的驗證基于H.264解碼器。典型的H.264可以分為爛解碼、反量化、反變換等子任務(wù)，子任務(wù)的形式符合分布式系統(tǒng)的定義，因此基于H.264功能單元劃分子系統(tǒng)，并將原有的H.264解碼器與本設(shè)計相融合—即基于NoC架構(gòu)的分布式內(nèi)存管理多核系統(tǒng)，實現(xiàn)子任務(wù)單元內(nèi)和之間的數(shù)據(jù)處理平衡和最優(yōu)化。整個系統(tǒng)由4個子系統(tǒng)構(gòu)成，4個子系統(tǒng)分別完成H.264解碼功能，實現(xiàn)任務(wù)的并行處理。每個子系統(tǒng)中又包含三個處理單元，分別實現(xiàn)H.264解碼器中的子任務(wù)。內(nèi)置的內(nèi)存管理單元實現(xiàn)數(shù)據(jù)在子任務(wù)間的有效傳遞和處理。與集中式存儲多核系統(tǒng)相比，分布式存儲多核系統(tǒng)隨著處理單元的增加性能將得到極大提升。

小結(jié)

本設(shè)計基于NoC架構(gòu)，針對傳統(tǒng)片上網(wǎng)絡(luò)架構(gòu)存在的內(nèi)存管理不夠高效、靈活性不高等缺陷，提出分布式內(nèi)存管理架構(gòu)，具有原創(chuàng)性。而面對傳統(tǒng)確定性路由算法帶來的片上網(wǎng)絡(luò)架構(gòu)數(shù)據(jù)處理平均吞吐量較低等問題，本設(shè)計提出的自適應(yīng)路由機制具有很強的針對性。自適應(yīng)路由機制在本設(shè)計中有兩方面的考慮：首先，在端口路由選擇時考慮網(wǎng)絡(luò)狀態(tài)的信息和本端口的負載信息，數(shù)據(jù)傳輸路徑因此將根據(jù)實際情況發(fā)生相應(yīng)變化，而非傳統(tǒng)的確定性路由算法的路徑一旦確認則不會改變，因而能做出最佳的選擇，其最終目標是數(shù)據(jù)傳輸和處理在系統(tǒng)整體層面上變得更為平衡。其次，網(wǎng)絡(luò)中數(shù)據(jù)的傳遞可根據(jù)不同的實時性要求設(shè)置優(yōu)先級，保證實時性要求比較高的數(shù)據(jù)傳遞處于最高的優(yōu)先級，因此在對實時性要求比較高的場合，具有特殊的優(yōu)勢。同時，本設(shè)計基于設(shè)計應(yīng)用（H264解碼）對系統(tǒng)進行性能驗證，實際驗證的結(jié)果顯示該系統(tǒng)能極大地提升分布式系統(tǒng)性能。

參考文獻：

[1]Benini，MicheliGD.NetworkonChqj：ANewSoCParadigm[J].IEEECon^uter，2018（7）：70-71.

[2]DalfyWJ，TowelsB.RoutePackets，Notwires：On-Ch^）InterconnectionNetworks[J].InProc，oftheDesignAutomationConference，2019（2）：648-649.

[3]AxelJantsch，HannuTenhunen.NetworksonCh^）[M].SwedenKluwerAcademicPublishers，2017：853-855.

[4] Dally W J，Towels B.Princ^le and Practices of Interconnection Networks [M]. San Mateo：Morgan KaufinanPublishes，2004：500-504.