張凌嘉, 覃志東, 肖芳雄

(1.東華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 201620； 2.金陵科技學(xué)院 軟件工程學(xué)院， 江蘇 南京 211169)

0 引 言

目前，基于納米工藝的眾核處理器受生產(chǎn)缺陷和工藝偏差的影響較大，其成品率很低，工程中常采用核級冗余機(jī)制來提高成品率[1].為發(fā)揮此類處理器眾多核心的并行計(jì)算能力，業(yè)內(nèi)將大量資源投入到眾核軟件的綜合技術(shù)研究中，如MIT的Streamit項(xiàng)目、Stanford的StreamC項(xiàng)目與UC Berkeley的Ptolemy項(xiàng)目等.但這些研究主要聚焦于如何提高眾核系統(tǒng)的吞吐率，而對保障系統(tǒng)可靠性的成果還比較缺乏.對此，科研人員已對眾核軟件的綜合技術(shù)做了相關(guān)分析發(fā)現(xiàn)，已分配調(diào)度好的任務(wù)集合的負(fù)載量具有不均勻性，導(dǎo)致所綁定的處理器核心發(fā)熱不均衡，加之核心的空間分布影響其散熱效果，使得各個核心的溫度不一樣，老化速度不一樣，最終影響整個處理器平臺的可靠性[2-4].基于此，本研究以眾核流程序?yàn)檐浖Ｐ停?D-Mesh結(jié)構(gòu)為處理器拓?fù)浣Y(jié)構(gòu)模型，建立眾核處理器可靠性模型，并針對不同的流程序任務(wù)分配及綁定方式對眾核處理器的可靠性進(jìn)行了探討.

1 眾核系統(tǒng)模型

眾核處理器各核心由片上網(wǎng)絡(luò)連接，其拓?fù)浣Y(jié)構(gòu)有二維網(wǎng)格(2D-Mesh)、二維環(huán)繞(2D-Torus)和超立方(Hypercube)等等，而眾核軟件又分為流水執(zhí)行型和并行執(zhí)行型軟件.眾核軟件綜合到眾核處理器上，處理器的時(shí)間性能與可靠性既決定于本身的拓?fù)浣Y(jié)構(gòu)又受軟件及綜合方式影響.軟硬件的不同架構(gòu)，其可靠性建模方式不一樣，因此本研究選擇2D-Mesh眾核處理器和流水執(zhí)行型眾核軟件為研究對象.

1.1 基于2D-Mesh拓?fù)浣Y(jié)構(gòu)眾核處理器模型

2D-Mesh結(jié)構(gòu)由于其拓?fù)浣Y(jié)構(gòu)高效、易于實(shí)現(xiàn)和擴(kuò)展，目前已被廣泛研究和使用.本研究基于2D-Mesh結(jié)構(gòu)的眾核處理器模型主要由路由器、IP核、雙向通道和網(wǎng)絡(luò)接口組成.為了方便說明，假設(shè)要生產(chǎn)一款9核處理器芯片，拓?fù)浣Y(jié)構(gòu)是3×3的2D-Mesh結(jié)構(gòu)，為了提高芯片成品率，則提供一列冗余核(#4、#8、#12)作為備份單元，具體如圖1所示.

圖1 3×4 2D-Mesh結(jié)構(gòu)的眾核處理器模型示意圖

1.2 眾核軟件的SDF模型

流水執(zhí)行型的眾核軟件常用同步數(shù)據(jù)流圖(Synchronous data flow，SDF)表示.為了簡單直觀，以圖2所示的單鏈SDF圖為例加以說明.

圖2單鏈結(jié)構(gòu)SDF圖

圖2中，節(jié)點(diǎn)表示任務(wù)模塊；有向邊表示任務(wù)之間存在輸入輸出的資源依賴關(guān)系，即節(jié)點(diǎn)之間的數(shù)據(jù)流關(guān)系.例如，對于任務(wù)B輸出數(shù)量1表示任務(wù)B在執(zhí)行一次產(chǎn)生1單位的數(shù)據(jù)資源；同理，輸入數(shù)量3表示任務(wù)B執(zhí)行一次所消耗的數(shù)據(jù)資源量.顯然，各任務(wù)模塊執(zhí)行一次產(chǎn)生和消耗的數(shù)據(jù)資源不盡相同，從而需要對這些任務(wù)模塊的執(zhí)行進(jìn)行調(diào)度，使得其滿足SDF圖所示的數(shù)據(jù)資源消耗和依賴關(guān)系[5].

而現(xiàn)實(shí)的眾核軟件大多如圖3所示的多鏈SDF圖表示.對調(diào)度好的眾核軟件中的任務(wù)模塊進(jìn)行劃分并封裝，再分配并綁定到不同的眾核處理器核心上執(zhí)行.這樣，處理器核心間具有數(shù)據(jù)資源依賴關(guān)系的任務(wù)集合的執(zhí)行，就形成了處理器核心執(zhí)行流水線.

圖3多鏈結(jié)構(gòu)SDF圖

2 系統(tǒng)可靠性建模

2.1 目標(biāo)系統(tǒng)與問題定義

本研究的硬件目標(biāo)平臺采用核級冗余機(jī)制，即便處理器有失效核，但有足夠數(shù)量的正常處理器核可供選擇使用(見圖4).眾核軟件模塊被分配成4個不均勻任務(wù)模塊，分別綁定到可執(zhí)行核上，按流水線執(zhí)行.為了簡化系統(tǒng)，圖4中省略了路由器link，并使用-1表示失效核，0表示閑置核.

圖4 3×4 2D-Mesh結(jié)構(gòu)的眾核處理器模型示意圖

除了圖4中這種綁定方式，由排列組合可知，有很多其他的選擇方式可以構(gòu)建目標(biāo)系統(tǒng).隨著眾核系統(tǒng)不斷增大，以及故障核數(shù)量和分布的變化，不同的流程序任務(wù)分配及綁定方式對眾核處理器的可靠性有著不同的影響.

2.2 可靠性建模

2.2.1 EM失效下的可靠性函數(shù).

在元件故障分析的過程中，考慮到眾核系統(tǒng)故障率隨時(shí)間遞增的特點(diǎn)，本研究選取威布爾分布(Weibull)進(jìn)行可靠性建模.對于單核來講，某個時(shí)刻t的可靠性可由式(1)所示，

(1)

式中，T表示當(dāng)前的溫度；β為形狀參數(shù)，反映處理器結(jié)構(gòu)特性，對于眾核同構(gòu)平臺，其值惟一確定；θ為尺寸參數(shù)，也稱特征壽命，反映不同的操作電壓與溫度.

通常情況下，使用平均故障前時(shí)間(Mean time to failure,MTTF)來評估眾核平臺的可靠性，其定義為，

(2)

將式(1)代入，結(jié)合伽馬函數(shù)，通過變式可得，

(3)

由MTTF和電遷移(Electromigration，EM)失效機(jī)制[6]的關(guān)系，式(3)進(jìn)一步衍生為式(4)，

(4)

式中，A0是金屬材質(zhì)常數(shù)，Ea為電子遷移的激活能，T為開氏溫度，K為玻爾茲曼常數(shù)，J為電流密度.

2.2.2 考慮溫度變化的可靠性建模.

在眾核系統(tǒng)的一個執(zhí)行周期中，對于核心存在執(zhí)行和閑置的時(shí)間段，溫度在這2種情況下是不同的.再者，自身溫度也會受到鄰居核的影響而變化.考慮到以上因素，本研究針對溫度變化的情況對眾核平臺進(jìn)行可靠性建模.

首先，根據(jù)流程序周期內(nèi)的執(zhí)行規(guī)律，將一個單核的壽命時(shí)間t，切分成若干互不相等的時(shí)間槽slot.坐標(biāo)記為，0=t0

R(t,T)|t=t0=1

(5)

對于第1個slot[t0,t1)，恒定溫度為T0，則有，

(6)

第1個slot結(jié)束時(shí)，即坐標(biāo)t1時(shí)刻，其可靠性為，

(7)

而t1時(shí)刻又可以表示為第2個slot開始，這里，使用c來表示第1個slot的老化效應(yīng)，其可靠性為，

(8)

(9)

對于每個時(shí)刻，都存在，

(10)

類比第1個slot的情況，對于第(l+1)個slot內(nèi)某時(shí)刻的可靠性為，

(11)

式中，

(12)

由于流程序周而復(fù)始地執(zhí)行著周期任務(wù)，假設(shè)在時(shí)刻完成一個周期任務(wù)，代入式(11)、式(12)，化簡得到：當(dāng)一個周期執(zhí)行完成時(shí)，單核的可靠性為，

(13)

則在第m個周期末尾時(shí)，其可靠性為，

(14)

(15)

由于MTTF?tp，可以將式(2)這個連續(xù)的函數(shù)，以流程序周期為單位轉(zhuǎn)換為離散函數(shù)，其表達(dá)式為，

(16)

到這里，本研究構(gòu)建出了單核考慮溫度變化的可靠性模型.

假設(shè)一個9核流程序系統(tǒng)，其綁定任務(wù)之后的物理拓?fù)浣Y(jié)構(gòu)如圖5所示(-1表示故障核；0表示閑置核；1～4綁定任務(wù)編號).

圖5 9核4任務(wù)拓?fù)浣Y(jié)構(gòu)示意圖

對于同構(gòu)眾核流程序系統(tǒng)，在每個處理器核心頻率相同的前提下，執(zhí)行時(shí)間越長，其功耗越大.

圖6展示了系統(tǒng)穩(wěn)定運(yùn)行下流程序的流水執(zhí)行過程.為了提高效率且盡量避免不同核心同時(shí)休息同時(shí)工作的情況，假設(shè)一旦有任務(wù)待消耗，核心就開始執(zhí)行.由此可知，流程序的周期是由綁定最大任務(wù)模塊的執(zhí)行核所決定的， 圖中虛線之間的部分即一

圖6任務(wù)流水線執(zhí)行過程示意圖

個周期(tp=t4).根據(jù)時(shí)間槽slot的概念，按照系統(tǒng)穩(wěn)定狀態(tài)(在穩(wěn)定狀態(tài)下，所有的核狀態(tài)不會發(fā)生改變)，將圖6中的一個任務(wù)周期分成4個slot.每個slot的時(shí)間記為Δti(Δt0=t1-t0)，溫度記為Ti.根據(jù)式(15)，可以計(jì)算綁定task1的core1一個周期內(nèi)的老化效應(yīng)Acore1為，

(17)

此外，可以通過HotSpot溫度仿真工具[7]來模擬每個slot內(nèi)core1動態(tài)均衡后的穩(wěn)態(tài)溫度.而通過提供給HotSpot的布局文件以及功耗追蹤文件保證穩(wěn)態(tài)溫度能很好地遵循散熱機(jī)制.類似地，可以計(jì)算出core7、core3與core9在一個周期內(nèi)的老化效應(yīng)，分別記為Acore7、Acore3與Acore9.

對于一個綁定任務(wù)并映射完成的眾核流程序系統(tǒng)，在不考慮動態(tài)重構(gòu)的情況下，當(dāng)一個核心失效時(shí)，則整個平臺就失效了.為了更好地模擬整個平臺的MTTFsys，選取老化效應(yīng)最大的核心作為一個周期的老化效應(yīng)，

Amax=max{Acore1，Acore3，Acore7，Acore9}

(18)

通過式(4)、式(16)、式(17)與式(18),可以得到整個系統(tǒng)的MTTFsys為，

(19)

3 實(shí)驗(yàn)仿真與分析

本仿真實(shí)驗(yàn)基于(2×2)4核系統(tǒng)，(3×3)9核系統(tǒng)與(4×4)16核系統(tǒng)，使用HotSpot溫度仿真工具.結(jié)合本研究提出的可靠性模型，對不同任務(wù)模塊以及不同綁定方式的目標(biāo)系統(tǒng)進(jìn)行可靠性分析.實(shí)驗(yàn)基于EM失效模型，其對應(yīng)的參數(shù)主要包括：導(dǎo)線的橫截面積Ac=6.4×108，電流密度J=1.5×106，電子遷移的激活能Ea=0.48，玻爾茲曼常數(shù)K=1.3806505×10-23，經(jīng)驗(yàn)參數(shù)n=2.0，則得到9核系統(tǒng)的布局情況，如表1所示.

表1 9核系統(tǒng)簡化布局

3.1 任務(wù)及核心數(shù)量對老化效應(yīng)的影響

為了更好地研究眾核流程序系統(tǒng)的任務(wù)分配模型，將流程序的一個任務(wù)模塊按2的冪次方進(jìn)行切分.假設(shè)不考慮失效核的存在，任務(wù)模塊數(shù)量應(yīng)小于等于平臺核心數(shù)A.本實(shí)驗(yàn)統(tǒng)計(jì)了一個周期內(nèi)的最大老化效應(yīng)，以此來比較任務(wù)模塊數(shù)對老化效應(yīng)的影響(見表2).其中，拓?fù)浣Y(jié)構(gòu)按照“2.1”項(xiàng)提出的目標(biāo)系統(tǒng)，根據(jù)核心順序給出綁定的任務(wù)編號(0表示未綁定任務(wù)).任務(wù)數(shù)及核心數(shù)差異下的老化效應(yīng)如圖7所示.

表2 不同任務(wù)數(shù)不同核心數(shù)下的周期老化效應(yīng)

圖7任務(wù)數(shù)及核心數(shù)差異下的老化效應(yīng)比較

分析表2與圖7可以發(fā)現(xiàn)：在核心數(shù)足夠多的情況下，不斷地切分任務(wù)模塊(使用的核心數(shù)目越多)，使得執(zhí)行的周期越短，工作效率、時(shí)間性能都有了顯著的提高；在核心數(shù)相同的前提下，每一次切分任務(wù)都會使得一個周期的處理器核心老化效應(yīng)上升，例如表2中2、3行，當(dāng)任務(wù)數(shù)量變成原來的2倍，周期時(shí)間縮短成原來的1/2(500 ms變?yōu)?50 ms)，理論上周期老化效應(yīng)縮減為原來的1/2.但從表2可知，實(shí)際老化效應(yīng)0.64046>1.27003/2，這恰恰體現(xiàn)了由于散熱機(jī)制，附近的執(zhí)行核對當(dāng)前核的溫度產(chǎn)生了影響，使得當(dāng)前核的老化效應(yīng)增大了.

此外，觀察不同核心數(shù)執(zhí)行相同的任務(wù)數(shù)量(圖7中4核、9核、16核平臺下執(zhí)行4task/130 ms流程序)可以發(fā)現(xiàn)，執(zhí)行相同任務(wù)模塊數(shù)的不同平臺的最大老化效應(yīng)較為接近.但隨著平臺的核心數(shù)目的增多，其最大老化效應(yīng)逐漸遞減.這是因?yàn)殡S著核心數(shù)目的增多，綁定任務(wù)的核的距離更遠(yuǎn)，任務(wù)分布更為稀疏，受到鄰居核溫度的影響更小，其規(guī)律如圖8所示.

圖8老化效應(yīng)變化規(guī)律

圖8中的4個圖均展示了相同任務(wù)數(shù)在不同核心數(shù)上的最大老化效應(yīng)的變化規(guī)律.隨著核心數(shù)目的增多且任務(wù)數(shù)量不變的情況下，老化效應(yīng)將趨于平行.同時(shí)，還可以發(fā)現(xiàn)，任務(wù)數(shù)目越少，老化效應(yīng)達(dá)到平衡時(shí)所需平臺核心數(shù)越少.

3.2 固定平臺任務(wù)評估MTTF

眾核流程序系統(tǒng)的可靠性最終將體現(xiàn)在MTTF上.對于已知物理拓?fù)?，需要將流程序的任?wù)綁定到相應(yīng)的核心上，再通過MTTF評估模型，計(jì)算得到平臺的可靠性.為了研究如何綁定能夠使得流程序系統(tǒng)擁有更高的可靠性，本研究比較了不同重構(gòu)情況下的MTTF.

固定核心數(shù)和任務(wù)數(shù)，表3對重構(gòu)后的9核4任務(wù)系統(tǒng)進(jìn)行了可靠性分析，表4對重構(gòu)后的16核8任務(wù)系統(tǒng)進(jìn)行了可靠性分析.其中，拓?fù)浣Y(jié)構(gòu)描繪了任務(wù)綁定的真實(shí)情況，并通過不同數(shù)量的故障核場景分別進(jìn)行分析仿真.仿真實(shí)驗(yàn)采用了文獻(xiàn)[8]提出的失效成團(tuán)現(xiàn)象來進(jìn)行故障核模擬.

表3重構(gòu)后9核系統(tǒng)MTTF分析

表4重構(gòu)后16核系統(tǒng)MTTF分析

表3、4記錄了一些不同任務(wù)綁定的MTTF情況，每組實(shí)驗(yàn)的編號6都是該組MTTF最大值.從表中數(shù)據(jù)可以發(fā)現(xiàn)：對于固定核心固定任務(wù)的眾核流程序平臺，要想使得MTTF盡量大，必須在現(xiàn)有的有效核中選出和任務(wù)數(shù)一樣的核心，這些核心應(yīng)盡量分散，使得綁定的任務(wù)也盡量分散；在同構(gòu)平臺下，當(dāng)執(zhí)行核心沒法更好地分散時(shí)，應(yīng)使得執(zhí)行時(shí)間長且任務(wù)量大的幾個核心與其他核心的距離盡量遠(yuǎn)，例如，task1任務(wù)量最大，需要避免它和其他核相鄰，盡量讓它的周圍是閑置核和故障核.

4 結(jié) 論

本研究在建立眾核處理器可靠性評估模型的基礎(chǔ)上，通過模擬仿真的方式，研究了多種眾核流程序向眾核處理器核心綁定方式下對系統(tǒng)時(shí)間性能和處理器可靠性的影響.研究發(fā)現(xiàn)，基于眾核平臺的流程序有著更好的并行性，當(dāng)任務(wù)分塊越多時(shí)，任務(wù)周期體現(xiàn)的時(shí)間性能提高了，單個任務(wù)周期內(nèi)的老化效應(yīng)也升高了.另外，當(dāng)被綁定核心的數(shù)量一定時(shí)，核心在處理器上的位置越分散，核心的老化效應(yīng)越低.總之，本研究的分析方法和成果有利于設(shè)計(jì)出高效的空間搜索算法與高可靠眾核系統(tǒng).