李　彬　董德尊　吳　際　夏　軍

(國防科學(xué)技術(shù)大學(xué)計算機學(xué)院　長沙　410073)

?

基于SMART技術(shù)的片上網(wǎng)絡(luò)低功耗策略P-SMART

李彬董德尊吳際夏軍

(國防科學(xué)技術(shù)大學(xué)計算機學(xué)院長沙410073)

(xtlil3@163.com)

摘要片上網(wǎng)絡(luò)(network-on-chip, NoC)消耗的功耗在整個芯片中所占比例不斷增大,并且隨著芯片工藝精度的提升和工作電壓的不斷降低，靜態(tài)功耗占片上網(wǎng)絡(luò)總功耗的比例也越來越大.當(dāng)前芯片設(shè)計者致力于將未被使用的核設(shè)置為休眠狀態(tài)來降低功耗.然而，即便是最前沿的芯片設(shè)計，當(dāng)核休眠時與它連接的路由器都是保持在正常狀態(tài)來進行報文傳輸.而與休眠核相連的片上網(wǎng)絡(luò)路由器由于沒有注入和吸收的報文，負載相對較低.在SMART(single-cycle multi-hop asynchronous repeated traversal)片上網(wǎng)絡(luò)中，報文能夠單周期從源路由器到目標(biāo)路由器.基于單周期多跳旁路(SMART)技術(shù)，提出一種關(guān)閉低負載路由器虛通道的策略P-SMART,以在不影響網(wǎng)絡(luò)性能的情況下節(jié)省片上網(wǎng)絡(luò)功耗.實驗結(jié)果表明：相對于SMART技術(shù),P-SMART的性能損失不超過2%，而功耗節(jié)省13.4%.

關(guān)鍵詞片上互連網(wǎng)絡(luò)；功耗；旁路；延遲；虛通道

片上多核處理器成為越來越主流的硬件體系結(jié)構(gòu).片上網(wǎng)絡(luò)(network-on-chip, NoC)作為片上多核系統(tǒng)的通信結(jié)構(gòu)，能夠為片上多核體系結(jié)構(gòu)提供更高的通信帶寬、更好的可擴展性.

片上網(wǎng)絡(luò)消耗著很大比例的片上功耗.例如，在所有核滿負荷工作時，Intel的 80-core chip[1]和MIT的 RAW chip[2]上的互連網(wǎng)絡(luò)分別消耗了片上總功耗的 28%和36%.在核使用率較低的情況下，互連網(wǎng)絡(luò)消耗的功耗比例更大.同時隨著工藝精度的提升和工作電壓的降低，靜態(tài)功耗占總功耗的比例也在不斷變大.根據(jù)IDC的研究[3]，服務(wù)器中核的使用率只有10%～15%.在低利用率下，靜態(tài)功耗占互連網(wǎng)絡(luò)總功耗的比例預(yù)計會更大.

由于功耗已經(jīng)成為高性能處理器設(shè)計的約束條件[4]，設(shè)計高能效的片上互連網(wǎng)絡(luò)變得十分重要.有研究提出以關(guān)閉與休眠核連接的片上網(wǎng)絡(luò)路由器的方法減小片上網(wǎng)絡(luò)靜態(tài)功耗[5].這種方法可以選擇將部分路由器完全關(guān)閉，能夠較好地降低片上網(wǎng)絡(luò)功耗.在片上網(wǎng)絡(luò)路由器中，緩存消耗的功耗又占了整個路由器的很大一部分.有很多研究致力于降低路由器中的緩存[6-7]，實現(xiàn)無緩存路由器.研究表明無緩存路由器相對于傳統(tǒng)的有緩存路由器最多能夠節(jié)省39%的片上網(wǎng)絡(luò)功耗[8].但在這些無緩存設(shè)計中，報文出現(xiàn)競爭時競爭失敗的報文被丟棄或是發(fā)生偏轉(zhuǎn)，帶來更大的時間和功耗開銷.

不論是關(guān)閉路由器[9]、關(guān)閉路由器中的部件[10-11]，還是無緩存路由器[12-15]都將減少網(wǎng)絡(luò)中的可用資源，報文在網(wǎng)絡(luò)中的延遲都將受到影響.降低功耗的同時性能也有降低,而更高的網(wǎng)絡(luò)延遲會增加傳輸報文消耗的功耗.文獻[16]提出了一種基于Mesh網(wǎng)絡(luò)的單周期多跳異步中繼傳輸網(wǎng)絡(luò)SMART(single-cycle multi-hop asynchronous repeated traversal)，報文能夠一跳穿過路由路徑中的多個路由器，減少了跳步數(shù).跳步數(shù)的減少，相應(yīng)的動態(tài)功耗也隨之下降.

本文基于SMART網(wǎng)絡(luò)，提出關(guān)閉相應(yīng)路由器中輸入虛通道的策略P-SMART來降低功耗.當(dāng)計算核進入休眠狀態(tài)時，與其相連的路由器沒有注入和吸收報文，緩存使用率相對較低.關(guān)閉這些路由器輸入端口的部分輸入緩存以及注入端口的輸入緩存，可以降低靜態(tài)功耗.但是單純的關(guān)閉虛通道會影響虛通道分配，SMART的運用，使得關(guān)閉部分虛通道，不會對后續(xù)的分配造成影響，所以我們將關(guān)閉虛通道與SMART結(jié)合起來，在低負載情況下既可以降低網(wǎng)絡(luò)延遲，又能夠節(jié)省網(wǎng)絡(luò)功耗.

實驗結(jié)果表明：在低負載情況下，P-SMART策略相對于現(xiàn)有的SMART技術(shù)，平均網(wǎng)絡(luò)性能損耗不超過2%，而功耗平均節(jié)省了16.8%.

1SMART

SMART策略的核心思想是在路由器中加入旁路以及異步中繼器，報文進入路由器后可以直接通過旁路穿過交叉開關(guān)離開路由器.增加異步中繼器是減小線延遲的標(biāo)準(zhǔn)方法，路由器輸出端口的中繼器為報文創(chuàng)建虛擬的單周期多跳通路提供可能.在SMART網(wǎng)絡(luò)中，同一維中的任意2個路由器之間都可以建立虛多跳通道.SMART路由器增加了3個控制位：寫緩存(buffer write enable,BW)，在每個輸入端口確定是否鎖存輸入信號;旁路多路器選擇(bypass mux select,BM)，在每個交叉開關(guān)輸入端，用來確定選擇本地被緩存的報文還是旁路的報文;交叉開關(guān)選擇(crossbar select,XB).SMART路由器的結(jié)構(gòu)如圖1所示：

Fig. 1　SMART bypass router architecture.圖1　SMART旁路由器體系結(jié)構(gòu)

在SMART網(wǎng)絡(luò)中，報文在同一個周期內(nèi)申請多跳路由器和鏈路資源.它的實現(xiàn)方法是，報文在本地開關(guān)分配中獲得輸出端口之后，廣播一個旁路建立請求信號(SMART-hop setup request, SSR)，發(fā)給當(dāng)前路由器輸出端口下游的所有路由器，SSR攜帶著報文將要傳輸?shù)奶綌?shù)信息.增加全局開關(guān)仲裁(switch allocation global, SA-G)，在收到的多個SSR旁路請求和本地報文請求之間，根據(jù)優(yōu)先級進行仲裁，通過仲裁結(jié)果設(shè)置3個控制信號：BW,BM和XB.SA-G仲裁確保路由器交叉開關(guān)的任意一個輸入輸出端只有一個報文被允許通過，將BW置為1就可以使沖突的報文緩存下來.單周期多跳通道是投機地建立，當(dāng)報文的旁路請求總是不成功，像在傳統(tǒng)網(wǎng)絡(luò)中一樣一跳一跳地傳輸.在一個報文特定的多跳傳輸中，所有路由器中的旁路請求是以分布式的方式在單周期內(nèi)同時仲裁.這就需要確保報文被鎖存在正確的路由器中，這是通過在路由器中設(shè)置相同優(yōu)先級來實現(xiàn).在SMART網(wǎng)絡(luò)中，報文能夠沿著同一維方向建立單周期任意跳數(shù)的通道，在需要轉(zhuǎn)維時停下來.

Fig. 2　SSR in SMART.圖2　SMART中的SSR

2P-SMART策略

本文基于第1節(jié)所述的SMART路由器旁路策略，關(guān)閉與休眠核連接路由器中部分輸入虛通道來降低片上網(wǎng)絡(luò)功耗.目標(biāo)是在較小的性能損失下降低片上網(wǎng)絡(luò)的功耗.在SMART片上網(wǎng)絡(luò)中，旁路是投機建立的.我們優(yōu)先讓本地路由器中的報文使用鏈路資源.當(dāng)一個報文嘗試建立多跳旁路時，如果中間路由器有本地報文與它沖突，旁路不成功，下次再申請多跳旁路，直到它到達同維上的目標(biāo)路由器.與傳統(tǒng)網(wǎng)絡(luò)相比，SMART網(wǎng)絡(luò)中報文的平均延遲低，同時虛通道的使用率也會低很多.

當(dāng)負載較低時，片上系統(tǒng)將部分核置為休眠狀態(tài)，片上網(wǎng)絡(luò)中的報文較少.這種狀態(tài)下，與休眠核連接的路由器不會被核注入報文，同時也不會有需要被核吸收的報文，路由器不會是任何一個報文的目標(biāo)路由器.當(dāng)一個報文被注入片上網(wǎng)絡(luò)，進入源路由器，如果它在所有路由路徑中旁路申請都成功，它就只需要使用路由路徑中2個路由器的輸入虛通道：轉(zhuǎn)維路由器和目的路由器.部分報文不需轉(zhuǎn)維，沒有轉(zhuǎn)維路由器，而且從路由算法的角度，考慮到Mesh中確定性維序路由，報文或者不轉(zhuǎn)維，或者最多轉(zhuǎn)維一次，所以目的路由器的比例要高于轉(zhuǎn)維路由器.與休眠核連接的路由器僅作為旁路路由器或轉(zhuǎn)維路由器，不會被核注入報文，注入端口中的輸入虛通道不會被使用.

報文在網(wǎng)絡(luò)中傳輸?shù)穆酚陕窂娇梢苑殖?種情況：1)報文在同一維度上的傳輸，如圖3中報文從R12到R15；2)報文需要轉(zhuǎn)維，如圖3中報文從R0到R11需要在R3轉(zhuǎn)維.情況1中旁路成功時，報文只需使用到目的路由器的輸入虛通道，而目的路由器只可能是與非休眠核連接的路由器；旁路不成功，需要進入路由路徑中間的路由器的輸入虛通道，由于與休眠核連接的路由器沒有本地報文與旁路報文競爭，旁路報文不會停在與休眠核連接路由器的輸入虛通道.所以在情況1下，只有與非休眠核連接的路由器輸入虛通道被使用.情況2中旁路成功時，報文會進入目的路由器以及轉(zhuǎn)維路由器的輸入虛通道，轉(zhuǎn)維路由器可能是與休眠核連接的路由器如R4，也可能是其他路由器如R3，但目的路由器也只能是與非休眠核連接的路由器；旁路不成功時，和情況1相同，報文只會停在與休眠核連接的路由器輸入虛通道.

Fig. 3　Example of a single-cycle multi-hop path in core sleeping system.圖3　在核休眠時的單周期多跳通道

與休眠核連接的路由器收到來自其他路由器中報文旁路的請求，不會有來自注入端的報文與它競爭輸出端口，與在其他路由器中相比，沒有核注入的報文競爭路由器輸出端口.報文旁路不成功，進入休眠核連接路由器的輸入緩存的幾率比其他路由器小一些.綜上，負載較低、部分核被置于休眠狀態(tài)時，與休眠核連接的路由器中輸入虛通道占用率要比其他路由器低，因此適當(dāng)減少與休眠核連接路由器中的可用虛通道數(shù)量不會對報文在網(wǎng)絡(luò)中的延遲產(chǎn)生較大影響.我們提出在基于SMART的Mesh網(wǎng)絡(luò)中，關(guān)閉與休眠核連接的路由器中部分虛通道來減低片上網(wǎng)絡(luò)功耗的方法P-SMART，對網(wǎng)絡(luò)性能的影響不大.與文獻[5]中提出的關(guān)閉部分休眠核連接路由器的方法比較，雖然只是關(guān)閉了部分虛通道，但目標(biāo)路由器是所有與休眠核連接的路由器.緩存占整個路由器功耗的比例較大，關(guān)閉虛通道的方法能夠獲得較好的功耗節(jié)省效果.

P-SMART需要在原有的路由器體系結(jié)構(gòu)上做一些改變.首先，核在被置為休眠狀態(tài)后，需要通知與它連接的路由器，這些路由器再將輸入端的部分虛通道關(guān)閉；然后就是怎樣關(guān)閉以及關(guān)哪些虛通道.

我們將每個路由器中的輸入虛通道分為2類：1)基本的虛通道;2)可以關(guān)閉的虛通道(圖4中灰色部分虛通道)，并在可關(guān)閉的虛通道前面加上一個開關(guān)，這個開關(guān)由核休眠信號控制.當(dāng)核被置為休眠狀態(tài)后，它就傳輸一個通知報文給路由器，路由器將可關(guān)閉的虛通道全部關(guān)掉.每個輸入端口都配置一定比例的2類虛通道.由于核休眠后，不再往路由器注入報文，路由器注入端口全部為可關(guān)閉的虛通道.而在本文中將其他端口中的可關(guān)閉虛通道比例設(shè)置為0.5，并未探究最優(yōu)的關(guān)停比例.而在休眠核被重新激活后，同樣發(fā)送信號給路由器將虛通道激活.在關(guān)閉與休眠核連接路由器中的可關(guān)閉虛通道后，路由器之間的虛通道數(shù)目出現(xiàn)差異.這在傳統(tǒng)路由器網(wǎng)絡(luò)中，會給虛通道分配帶來一定的麻煩，但在單周期多跳旁路的網(wǎng)絡(luò)中并沒有影響.在傳統(tǒng)的路由器中，虛通道分配是給報文在相鄰的下級路由器選擇一個空的虛通道.而在SMART旁路網(wǎng)絡(luò)中，報文從源路由器發(fā)出后可能停在路由路徑中的任意一個路由器的輸入虛通道，傳統(tǒng)的虛通道分配無效，所以在虛通道分配階段，只要下級路由器有空，虛通道就分配成功.在到達它需要停的路由器后，再選擇進入哪個虛通道，所以虛通道數(shù)目的差異不會給虛通道分配帶來影響.在原有的SMART的基礎(chǔ)上，只需要增加比較簡單的開關(guān)，就能夠?qū)崿F(xiàn)關(guān)閉與休眠核連接路由器中部分輸入虛通道的功能.

Fig. 4　power-gate virtual channel.圖4　關(guān)停虛通道

3實驗評估

本節(jié)對P-SMART進行實驗評估.我們在片上網(wǎng)絡(luò)模擬器Booksim2.0中模擬實現(xiàn)本文中提出的設(shè)計.Booksim2.0是基于周期flit(切片)級建模的模擬器，是當(dāng)前比較主流的片上網(wǎng)絡(luò)模擬器.實驗用到3種片上網(wǎng)絡(luò)：基本路由器網(wǎng)絡(luò)、SMART和P-SMART.實驗評測對象為64核8×8 mesh拓撲結(jié)構(gòu)，baseline中實驗配置為：每個輸入端口8個輸入虛通道，虛通道深度為1個切片，路由器為4周期流水，鏈路延遲為1個周期.SMART和P-SMART配置相同.在3種流量模式(Uniform random，Trans-pose，Bit-complement)下測試網(wǎng)絡(luò)性能.路由算法為DOR(dimension order routing).在SMART中，每個虛通道中的緩存資源是私有的，也就是只給一個報文使用，虛通道的深度只需要報文最大報文數(shù)量，虛通道深度設(shè)為一個報文.在每個路由器中，與處理核連接的注入端口虛通道關(guān)停比例為100%，其他端口比例為50%.P-SMART中，除注入端口外的4個端口的可關(guān)閉虛通道比例設(shè)置為12，核休眠的比例是18,14或12. 3種網(wǎng)絡(luò)路由器的其他配置均相同.圖5所示為SMART和P-SMART性能比較.如圖6所示，圖6(a)(b)(c)中最上面的圖給出的是核休眠比例為18時不同路由器結(jié)構(gòu)在不同流量模式下的性能圖.2種旁路路由器低注入率下的延遲較基本路由器低；而P-SMART相對SMART延遲增加不明顯，只是飽和吞吐率下降.而在實際片上系統(tǒng)中，當(dāng)負載較低、片上網(wǎng)絡(luò)流量較少時，才會將核休眠.我們只在較低注入率下(低于0.14)比較它們的性能，在核休眠比例為14和12時顯示出相近的結(jié)果.

Fig. 5　Performance evaluation results under uniform traffic patterns.圖5　uniform流量模式下性能評測結(jié)果

Fig. 6　Performance evaluation results under synthetic loads.圖6　合成負載下性能評測結(jié)果

我們用Dsent對合成負載的網(wǎng)絡(luò)功耗進行評測.只對P-SMART和SMART進行比較.圖7顯示的是在不同的核休眠比例下，動態(tài)功耗以及總功耗隨著注入率增加的變化情況，流量模式為uniform.在注入率低于0.12時，核休眠的比例為18,14,12，總功耗分別降低8.7%，13.4%，28.2%.

4總結(jié)

本文提出在單周期多跳旁路片上網(wǎng)絡(luò)中，關(guān)閉與休眠核連接的路由器中部分輸入虛通道，減少路由器中緩存功耗.我們分析得出，在旁路片上網(wǎng)絡(luò)中，當(dāng)部分路由器連接的核被置為休眠狀態(tài)時，它們的輸入虛通道使用率會比普通的路由器低許多.而在片上網(wǎng)絡(luò)路由器中，緩存消耗的能量占整個路由器消耗能量的比例比較大.我們將這部分路由器中的部分輸入緩存關(guān)閉，減小路由器消耗的功耗，對網(wǎng)絡(luò)性能的影響不大.本文主要研究片上網(wǎng)絡(luò)低功耗，片上網(wǎng)絡(luò)中基于合成負載的模擬實驗是一般性的研究方法,我們用不同流量模式的綜合負載進行實驗評測.實驗結(jié)果表明：休眠核比例分別為18,14,12，在注入率低于0.12時，3種不同的流量模式下關(guān)閉虛通道增加的網(wǎng)絡(luò)延遲基本都低于2%，片上網(wǎng)絡(luò)總功耗分別降低8.7%，13.4%，28.2%.對于緩存消耗功耗比例較大的片上網(wǎng)絡(luò)路由器，能夠得到可觀的能效收益，相對來說網(wǎng)絡(luò)性能的降低并不明顯.

參考文獻

[1]Intel Corporation. Teraflops Research Chip[EBOL]. 2007 [2016-03-01]. https:www.intel.com

[2]Kim J S, Taylor M B, Miller J, et al. Energy characterization of a tiled architecture processor with on-chip networks[C]Proc of the ISLPED’03. New York: ACM, 2003: 424-427

[3]IDC. Future of Virtualization[EBOL]. 2007 [2016-03-01]. http:www.vmware.comfilespdfanalystsFuture-of-virtuali-zationIDC.pdf

[4]Gowan M K, Biro L, Jackson D. Power considerations in the design of the Alpha 21264 microprocessor[C]Proc of the 35th Design Automation Conf (DAC). New York: ACM, 2003: 726-731

[5]Samih A, Ren W, Krishna A, et al. Energy-efficient interconnect via router parking[C]Proc of the 19th Int Symp on High Performance Computer Architecture (HPCA). Los Alamitos, CA: IEEE Computer Society, 2013: 8-19

[6]Gómez C, Gómez M E, López P, et al. Reducing packet dropping in a bufferless NoC[C]Proc of the 14th Int Euro-Par Conf on Parallel Processing. Berlin: Springer, 2008: 899-909

[7]Moscibroda T, Mutlu O. A case for bufferless routing in on-chip networks[C]Proc of the 36th Annual Int Symp on Computer Architecture. New York: ACM, 2003: 424-427

[8]Jiang N, Becker D U, Michelogiannakis G, et al. A detailed and flexible cycle-accurate network-on-chip simulator[C]Proc of Performance Analysis of Systems and Software. New York: ACM, 2013: 86-96

[9]Dally W, Towles B. Principles and Practices of Inter-connection Networks[M]. San Francisco: Morgan Kaufmann, 2003

[10]Shang L, Peh L, Jha N K. Dynamic voltage scaling with links for power optimization of interconnection networks[C]Proc of the 9th Int Symp on High Performance Computer-Architecture (HPCA). Los Alamitos, CA: IEEE Computer Society, 2003: 91-102

[11]Borkar S. Thousand core chips: A technology perspective[C]Proc of the 44th Design Automation Conf (DAC). New York: ACM, 2007: 746-749

[12]Soteriou V, Peh L S. Exploring the design space of selfregulating power-aware onoff interconnection networks[J]. IEEE Trans on Parallel and Distributed Systems, 2007,18(3): 393-408

[13]Kim G, Kim J, Yoo S. Flexibuffer: Reducing leakage power in on-chip network routers[C]Proc of the 48th Design Automation Conf (DAC). New York: ACM, 2011: 936-941

[14]Moscibroda T, Mutlu O. A case for bufferless routing in on-chip networks[C]Proc of ISCA’09. New York: ACM, 2009: 8-19

[15]Matsutani H, Koibuchi M, Wang D, et al. Adding slowsilent virtual channels for low-power on-chip networks[C]Proc of NOC’09. New York: ACM, 2009: 23-32

[16]Krishna T, Chen C-H O, Kwon W C, et al. Breaking the on-chip latency barrier using SMART[C]Proc of the 19th Int Symp on High Performance Computer Architecture (HPCA). Los Alamitos, CA: IEEE Computer Society, 2013: 378-389

Li Bin, born in 1990. MS candidate. His main research interests include high performance interconnection network.

Dong Dezun, born in 1980. PhD, associate professor. Senior member of China Computer Federation. His main reseach interests include high performance inter-connection network.

Wu Ji, born in 1988. PhD candidate. His main reseach interests include high performance interconnection network.

Xia Jun, born in 1976. PhD, associate professor. Senior member of China Computer Federation. His main reseach interests include high parallel and distributed computing,and high performance computer systems.

收稿日期：2016-03-11；修回日期：2016-05-16

基金項目：國家自然科學(xué)基金項目(61272482)；全國百篇優(yōu)秀博士論文基金項目(201450)；教育部高等學(xué)校博士學(xué)科點專項科研基金項目(20124307120026)

通信作者：董德尊(dong@nudt.edu.cn)

中圖法分類號TP393

P-SMART: An Energy-Efficient NoC Router Based on SMART

Li Bin, Dong Dezun, Wu Ji, and Xia Jun

(CollegeofComputer,NationalUniversityofDefenseTechnology,Changsha410073)

AbstractAs the number of on-chip cores in chip multiprocessors (CMPs) increase, size of network-on-chips (NoCs) and network latency increase. NoCs consume an increasing fraction of the chip power as technology and voltage continue to scale down, and static power consumes a larger fraction of the total power. Currently, processor designers strive to send under-utilized cores into deep sleep states in order to improve overall energy efficiency. However, even in state-of-the-art CMP designs, when a core going to sleep the router attached to it remains active in order to continue packet forwarding. The router attached to a sleeping core has low traffic load, due to no packets to or from sleeping core. An on-chip network called SMART (single-cycle multi-hop asynchronous repeated traversal) that aims to present a single-cycle data-path all the way from the source to the destination. This paper, we propose reducing the VC(virtual channel) of router that is attached to sleeping core, based on SMART NoC, reducing power consumption and bringing little performance penalty. We evaluate our network using synthetic traffics. Our evaluation results show that VC power gating increases network latency less than 2% when the workload is low, and compared with no bypass path network, the power is reduced about 13.4%.

Key wordsnetwork-on-chip (NoC); power consumption; bypass path; latency; virtual channel

This work was supported by the National Natural Science Foundation of China (61272482), the Foundation for the Author of National Excellent Doctoral Dissertation of China (201450), and the Specialized Research Fund for the Doctoral Program of Higher Education of China (20124307120026).