陳 穎, 宋炎侃, 黃少偉, 于智同, 魏 巍

(1. 清華大學(xué)電機(jī)工程與應(yīng)用電子技術(shù)系, 北京市 100084; 2. 國網(wǎng)四川省電力公司電力科學(xué)研究院, 四川省成都市 610072)

基于GPU的大規(guī)模配電網(wǎng)電磁暫態(tài)并行仿真技術(shù)

陳 穎1, 宋炎侃1, 黃少偉1, 于智同1, 魏 巍2

(1. 清華大學(xué)電機(jī)工程與應(yīng)用電子技術(shù)系, 北京市 100084; 2. 國網(wǎng)四川省電力公司電力科學(xué)研究院, 四川省成都市 610072)

隨著分布式電源等復(fù)雜設(shè)備的接入,針對配電網(wǎng)暫態(tài)過程的分析逐步依賴詳細(xì)建模和電磁暫態(tài)仿真。圖形處理器(GPU)等細(xì)粒度并行計(jì)算設(shè)備可顯著提升配電網(wǎng)的電磁暫態(tài)仿真效率。提出了一種基于GPU的并行仿真技術(shù),在GPU中加速了對大規(guī)模配電網(wǎng)系統(tǒng)的電磁暫態(tài)仿真。首先,將配電網(wǎng)電磁暫態(tài)仿真的計(jì)算過程分為異構(gòu)計(jì)算、同構(gòu)計(jì)算和網(wǎng)絡(luò)求解三部分,并分別建立了細(xì)粒度并行計(jì)算模型。其次,針對上述三種計(jì)算模型,分別設(shè)計(jì)了基于分層有向圖的異構(gòu)計(jì)算核函數(shù),基于積和熔加計(jì)算的同構(gòu)計(jì)算核函數(shù)以及基于矩陣運(yùn)算的網(wǎng)絡(luò)求解核函數(shù),最終實(shí)現(xiàn)了完全基于GPU的配電網(wǎng)電磁暫態(tài)仿真。對大規(guī)模配電網(wǎng)算例的仿真結(jié)果表明,所提出的細(xì)粒度計(jì)算模型和仿真算法可在保證仿真精度的前提下,提升在GPU中進(jìn)行大規(guī)模配電網(wǎng)仿真的效率。

配電網(wǎng); 電磁暫態(tài)仿真; 細(xì)粒度并行; 圖形處理器

0 引言

隨著分布式電源、電動汽車、柔性負(fù)荷等設(shè)備的大量接入,配電網(wǎng)從傳統(tǒng)的無源網(wǎng)絡(luò)逐步變?yōu)橛性吹闹鲃优潆娋W(wǎng)[1-2],而其中雙向潮流、三相不平衡、諧波污染和電壓越限等暫態(tài)問題日益突出。此類復(fù)雜暫態(tài)過程直接影響負(fù)荷的供電可靠性和電能質(zhì)量,因此有必要對配電網(wǎng)詳細(xì)建模,并對其復(fù)雜動態(tài)過程進(jìn)行電磁暫態(tài)仿真分析。然而,配電網(wǎng)結(jié)構(gòu)復(fù)雜,規(guī)模龐大,設(shè)備種類眾多,非線性強(qiáng)。其電磁暫態(tài)仿真過程計(jì)算量龐大。故采用傳統(tǒng)商業(yè)軟件(如PSCAD,PowerFactory等)進(jìn)行分析時(shí),仿真耗時(shí)巨大,不僅分析效率低,且難以提供實(shí)時(shí)在環(huán)測試環(huán)境。

針對大規(guī)模復(fù)雜配電網(wǎng)電磁暫態(tài)仿真效率低下的問題,相關(guān)研究主要集中在簡化配電網(wǎng)建模[3]和并行加速[4-7]兩方面。本文著重討論并行加速方面的工作。其中,文獻(xiàn)[4-5]分別利用延時(shí)解耦和長導(dǎo)線解耦的方式實(shí)現(xiàn)了復(fù)雜配電網(wǎng)的并行仿真加速。為進(jìn)一步提升計(jì)算效率,文獻(xiàn)[6-7]選用現(xiàn)場可編程門陣列(FPGA)作為加速計(jì)算設(shè)備,實(shí)現(xiàn)了配電網(wǎng)暫態(tài)的實(shí)時(shí)仿真。然而,考慮成本因素,FPGA目前主要面向?qū)崟r(shí)仿真需求。其仍無法滿足日益增長的配電網(wǎng)仿真規(guī)模及快速離線仿真需求。

近年來,基于眾核架構(gòu)的圖形處理器(graphics processing unit, GPU)逐漸發(fā)展,并成為加速計(jì)算的研究熱點(diǎn)。由于兼具高計(jì)算效率和低設(shè)備成本的優(yōu)點(diǎn),GPU已被廣泛應(yīng)用于眾多科學(xué)計(jì)算領(lǐng)域。

在電力系統(tǒng)研究領(lǐng)域,GPU在潮流計(jì)算[8]、穩(wěn)定計(jì)算[9]、電磁暫態(tài)仿真[10-15]等多場合均取得了顯著加速效果。在電磁暫態(tài)仿真加速方面,大部分工作主要集中在對傳統(tǒng)電力系統(tǒng)的加速仿真。其中,文獻(xiàn)[12]在GPU中設(shè)計(jì)了傳輸線、電機(jī)等輸電網(wǎng)關(guān)鍵設(shè)備的仿真計(jì)算模塊,在GPU中實(shí)現(xiàn)了傳統(tǒng)輸電網(wǎng)的電磁暫態(tài)仿真。文獻(xiàn)[13-14]設(shè)計(jì)了完全基于GPU的電磁暫態(tài)仿真算法,并可對含變流器的網(wǎng)絡(luò)進(jìn)行加速仿真。文獻(xiàn)[15]則主要面向復(fù)雜控制系統(tǒng),設(shè)計(jì)了基于GPU的并行仿真算法。然而,配電網(wǎng)中除了含有傳統(tǒng)電氣設(shè)備外,還含有分布式電源、可控負(fù)荷等各類設(shè)備。其設(shè)備種類多,模型差異性強(qiáng),故無法為每一配電網(wǎng)設(shè)備模型設(shè)計(jì)單獨(dú)的加速計(jì)算模塊。因此,上述工作仍無法完全兼容配電網(wǎng)的電磁暫態(tài)仿真。

針對配電網(wǎng)的上述特性,結(jié)合GPU的細(xì)粒度并行特點(diǎn),本文從重構(gòu)電磁暫態(tài)細(xì)粒度并行計(jì)算模型的角度入手,將配電網(wǎng)電磁暫態(tài)計(jì)算分為異構(gòu)計(jì)算、同構(gòu)計(jì)算和網(wǎng)絡(luò)方程求解三部分,并分別在GPU中設(shè)計(jì)了基于分層有向圖(layered directed acyclic graph,LDAG)的異構(gòu)計(jì)算核函數(shù)、基于積和熔加(fused-multiply-add,FMA)運(yùn)算的同構(gòu)計(jì)算核函數(shù)以及基于矩陣運(yùn)算的網(wǎng)絡(luò)方程求解核函數(shù),構(gòu)建一套完全基于GPU的配電網(wǎng)電磁暫態(tài)仿真平臺。測試結(jié)果顯示,本文算法在保證仿真精度的前提下,對大規(guī)模配電網(wǎng)電磁暫態(tài)仿真具有良好的加速效果。

1 配電網(wǎng)電磁暫態(tài)細(xì)粒度并行計(jì)算模型

1.1 GPU細(xì)粒度并行計(jì)算模型

GPU是一類由大量計(jì)算核心、少量邏輯處理單元構(gòu)成的眾核(Many-Core)架構(gòu)處理器。其適合處理數(shù)據(jù)密集型、細(xì)粒度并行的計(jì)算任務(wù)[16]。

統(tǒng)一計(jì)算設(shè)備架構(gòu)(compute unified device architecture,CUDA)是NVIDIA推出的通用并行計(jì)算架構(gòu),它利用GPU的強(qiáng)大計(jì)算能力解決復(fù)雜計(jì)算問題,顯著提高計(jì)算性能。圖1給出了NVIDIA CUDA下的GPU細(xì)粒度并行計(jì)算模型。其中,GPU程序被組織為一系列核函數(shù)(Kernels)。每一個核函數(shù)包含大量計(jì)算線程,并由CPU程序調(diào)用執(zhí)行。大量線程在GPU中被組織為層狀結(jié)構(gòu),并有序地映射到GPU中的每個計(jì)算核心。其中,連續(xù)排列的32個線程構(gòu)成一個線程束(Warp)。其中計(jì)算指令相同的線程通過單指令多線程(single-instruction-multi-threads,SIMT)并行機(jī)制實(shí)現(xiàn)計(jì)算任務(wù)的細(xì)粒度并行。通常情況下,為提升算法的并行程度,有必要根據(jù)計(jì)算特點(diǎn)設(shè)計(jì)線程結(jié)構(gòu),以保證每個線程束中的線程可完全實(shí)現(xiàn)SIMT并行,達(dá)到最高計(jì)算效率[17]。

圖1 CUDA架構(gòu)下的GPU計(jì)算模型Fig.1 Computational model of CUDA-based GPU

1.2 配電網(wǎng)電磁暫態(tài)仿真的細(xì)粒度并行計(jì)算模型

在節(jié)點(diǎn)分析法電磁暫態(tài)仿真框架下,配電網(wǎng)電氣元件的暫態(tài)過程通常被建模為諾頓等值方程[18]的形式。因此,一個m端口的電氣元件計(jì)算公式如下:

I(t)=GU(t)+Ine(t)

(1)

Ine(t)=PI(t-Δt)+QU(t-Δt)+Ic(t)

(2)

式中:t為時(shí)間;I和U分別為元件端口電流和電壓向量;G為元件的諾頓等值電導(dǎo)矩陣;Ine為諾頓等值電流向量;P和Q為系數(shù)矩陣;Ic為額外注入電流向量。

需要注意的是,式(1)和式(2)對包含非線性特性或復(fù)雜控制器的任意電氣元件均適用。對諸如電機(jī)、可再生能源電源以及飽和變壓器等設(shè)備,其非線性特性可通過分段線性化或等效電流源注入的方法引入。此外,控制系統(tǒng)對電氣系統(tǒng)的影響也可通過系統(tǒng)拓?fù)浜蛥?shù)的變化來體現(xiàn)。因此,配電網(wǎng)電磁暫態(tài)仿真中所涉及的非線性特性和復(fù)雜控制器均可建模為式(1)和式(2)中G,P,Q和Ic的變化。

綜上,仿真過程每一時(shí)步主要包含3個計(jì)算任務(wù):①根據(jù)非線性特性和控制系統(tǒng)指令,更新每個電氣元件的G,P,Q和Ic;②更新電氣元件諾頓等值電路(歷史電流項(xiàng)和諾頓等值電導(dǎo))并形成節(jié)點(diǎn)注入電流;③計(jì)算節(jié)點(diǎn)電壓方程GnUn=In。根據(jù)計(jì)算特點(diǎn),上述步驟在GPU上相應(yīng)地被分為3類計(jì)算,分別為異構(gòu)計(jì)算、同構(gòu)計(jì)算和網(wǎng)絡(luò)方程求解。其中,網(wǎng)絡(luò)方程求解部分為基本的矩陣計(jì)算,相關(guān)研究較多,在此僅介紹異構(gòu)計(jì)算和同構(gòu)計(jì)算部分。

1.2.1 基于LDAG模型的異構(gòu)計(jì)算

針對控制系統(tǒng)、電氣元件中的非線性特性的求解,由于不同電氣元件或控制器計(jì)算指令各不相同,本文將該類計(jì)算歸結(jié)為細(xì)粒度電磁暫態(tài)仿真中的異構(gòu)計(jì)算。為利用大量線程在GPU中完成此類計(jì)算,可將計(jì)算流程進(jìn)一步轉(zhuǎn)化為由一系列基礎(chǔ)運(yùn)算指令構(gòu)成的有向圖形式?；A(chǔ)運(yùn)算指令為被單個線程執(zhí)行的一組不宜再分的計(jì)算指令。在本文測試算例中,基礎(chǔ)運(yùn)算指令包含加法器、乘法器、比較器、比例—積分—微分控制器、限幅器、選擇器以及基礎(chǔ)數(shù)學(xué)函數(shù)等。

一般地,任何異構(gòu)計(jì)算均可轉(zhuǎn)化為由基礎(chǔ)運(yùn)算組成的有向圖G=(V,E)形式。其中,頂點(diǎn)集V代表基礎(chǔ)運(yùn)算,邊集E代表數(shù)據(jù)流方向。以光伏電池光生電流的部分計(jì)算為例,計(jì)算公式可首先拆分為乘法、指數(shù)運(yùn)算、加法、除法等簡單計(jì)算,進(jìn)一步,根據(jù)計(jì)算過程中的數(shù)據(jù)依賴關(guān)系可將上述運(yùn)算連接成有向圖(詳見附錄A圖A1)。

然而,針對部分含有非線性反饋環(huán)節(jié)的控制系統(tǒng),有向圖中存在代數(shù)環(huán)見圖2(a)。此時(shí)需在反饋回路中添加一個步長的延時(shí)以解開代數(shù)環(huán),形成如圖2(b)所示的有向無環(huán)圖(directed acyclic graph,DAG)。相比電磁暫態(tài)過程,控制系統(tǒng)動態(tài)通常較慢,延時(shí)誤差對暫態(tài)仿真的數(shù)值穩(wěn)定性和精度影響較小。且配電網(wǎng)中所涉及的控制器大多為數(shù)字控制器,反饋的實(shí)現(xiàn)通常依賴采樣,因此反饋環(huán)上的延時(shí)天然存在[18]。若需進(jìn)一步提升仿真精度,可通過減小補(bǔ)償、線性外插補(bǔ)償或原地迭代的方式消除[19]。

圖2 異構(gòu)計(jì)算LDAG的形成Fig.2 Formation of LDAG for heterogeneous computations

可見,在DAG中,無因果關(guān)系的運(yùn)算之間具備完全并行的特性,可通過并發(fā)大量線程完成,而具備因果關(guān)系的運(yùn)算則必須串行完成。因此,為最大化DAG計(jì)算的并行程度,本文通過頂點(diǎn)分層算法構(gòu)造LDAG,使分層后位于同一層中的頂點(diǎn)(運(yùn)算)可以并行計(jì)算。分層算法步驟如下[15,20-21]。

步驟4:重復(fù)步驟3,直到?L(v)

通過上述算法可產(chǎn)生分層L={L1,L2,…,Lh),其總層數(shù)h為異構(gòu)計(jì)算有向圖的最長路徑,即計(jì)算過程中,需要h次層間同步以保證計(jì)算過程中的數(shù)據(jù)流正確。

1.2.2 基于FMA運(yùn)算的同構(gòu)計(jì)算

在基于LDAG異構(gòu)計(jì)算更新好G,P,Q和Ic后,針對電氣元件諾頓等值電流的更新計(jì)算僅為小規(guī)模矩陣向量的乘法,如式(1)和式(2)所示。因此,該部分計(jì)算同構(gòu)性程度高,并行程度高。

針對m端口的電氣元件,通常可分配m個線程進(jìn)行計(jì)算,其中每個線程計(jì)算公式如下:

(3)

qlrur(t-Δt)+ic,l(t)

(4)

式中:il(t)和ine,l(t)分別為I和Ine中的第l個元素;glr,plr，qlr分別為G,P,Q的第l行、第r列元素；il,ine,l,ic,l分別為電流向量I,Ine,Ic的第l個元素；ur為端口電壓向量U的第r個元素。

可以看出,每個線程的計(jì)算均為簡單的FMA運(yùn)算。該類計(jì)算為圖像處理過程中的常用計(jì)算形式,在GPU中具備最高的計(jì)算效率。

2 面向配電網(wǎng)電磁暫態(tài)仿真的電磁暫態(tài)細(xì)粒度并行仿真算法

為盡可能減少計(jì)算過程中CPU與GPU的通信時(shí)間,本文通過設(shè)計(jì)3個核函數(shù),分別完成上述3類計(jì)算。

2.1 基于LDAG的異構(gòu)計(jì)算核函數(shù)

該核函數(shù)面向控制系統(tǒng)和非線性電氣元件的處理,其作用是更新電氣元件計(jì)算所需的參數(shù)矩陣G,P,Q和Ic。在完成對該部分異構(gòu)計(jì)算DAG分層后,通過并發(fā)大量線程,對同層中同類計(jì)算采用SIMT的細(xì)粒度并行計(jì)算形式在GPU上求解。每層的不同類別元件可分至不同的組,實(shí)現(xiàn)分組SIMT并行。每一層元件計(jì)算完畢后,進(jìn)行一次層間同步,保證下一層所需的數(shù)據(jù)已準(zhǔn)備完畢。相關(guān)計(jì)算流程詳見附錄A圖A2。

取計(jì)算過程中的第Li層為例進(jìn)行說明。對于第Li層的全部ni個運(yùn)算,首先根據(jù)運(yùn)算種類的不同分為gi個組。其中,第j組包含mij個相同元件。通過并發(fā)ni個線程完成計(jì)算。每個線程計(jì)算結(jié)束后,將結(jié)果寫入緩存區(qū),供下一層(Li+1層)計(jì)算調(diào)用。最后,通過一次線程同步過程,可保證同層計(jì)算全部計(jì)算結(jié)束,并開始第Li+1層的運(yùn)算。

2.2 基于FMA的同構(gòu)計(jì)算核函數(shù)

該核函數(shù)面向電氣元件諾頓等值電流的更新和節(jié)點(diǎn)注入電流的形成。該核函數(shù)在每時(shí)步LDAG核函數(shù)計(jì)算完成后觸發(fā)。計(jì)算流程與LDAG核函數(shù)相比,僅含有FMA一種類型的計(jì)算。但由于不同元件端口數(shù)目不同,故每個線程計(jì)算過程中FMA計(jì)算的數(shù)目不同。因此,可根據(jù)元件端口數(shù)目進(jìn)行分組,同樣實(shí)現(xiàn)不同電氣元件的分組SIMT計(jì)算。計(jì)算流程詳見附錄A圖A3。

計(jì)算過程分為兩部分。第1部分是不同電氣元件諾頓等值電流的計(jì)算。該部分計(jì)算根據(jù)端口數(shù)的不同分為m個組,每組每個線程順序完成式(3)和式(4)的計(jì)算。該部分計(jì)算結(jié)束得到元件端口諾頓等值電流。第2部分為節(jié)點(diǎn)注入電流形成部分。每條線程得到諾頓等值電流后,通過GPU提供的原子操作函數(shù)將其累加到相應(yīng)的節(jié)點(diǎn)上。該累加過程由原子操作自帶的加鎖特性保證最終節(jié)點(diǎn)注入電流計(jì)算的正確性。在全部計(jì)算完成后,進(jìn)行一次同步操作,以保證全部節(jié)點(diǎn)注入電流計(jì)算完畢。

2.3 網(wǎng)絡(luò)方程求解核函數(shù)

在FMA核函數(shù)計(jì)算完成后,網(wǎng)絡(luò)方程求解核函數(shù)啟動。該核函數(shù)可采用任意GPU加速的線性代數(shù)庫求解節(jié)點(diǎn)電壓方程GnUn=In。

對大規(guī)模系統(tǒng)級電磁暫態(tài)仿真,通過選取合適的模型可以避免系統(tǒng)矩陣的頻繁更新。因此,在求解前,通過對系統(tǒng)節(jié)點(diǎn)電導(dǎo)矩陣Gn求逆,得到系統(tǒng)的節(jié)點(diǎn)電阻矩陣,并將其預(yù)存在GPU全局內(nèi)存中。在仿真過程中,若Gn不變,則節(jié)點(diǎn)電壓方程的求解可簡化為矩陣向量乘法。以本文算例測試所用程序?yàn)槔?其網(wǎng)絡(luò)方程求解核函數(shù)為CUBLAS稠密矩陣求解器。

最終,基于GPU的配電網(wǎng)電磁暫態(tài)仿真計(jì)算流程如圖3所示,即每一時(shí)步順序處理LDAG和FMA及網(wǎng)絡(luò)方程求解核函數(shù)。

圖3 基于GPU的電磁暫態(tài)計(jì)算流程Fig.3 Flow chart of electromagnetic transient simulation on GPU

3 算例測試

3.1 測試環(huán)境

為對比所設(shè)計(jì)的計(jì)算模型和細(xì)粒度并行算法的有效性,選取一臺異構(gòu)并行計(jì)算機(jī)作為測試平臺。主要參數(shù)如下:操縱系統(tǒng)為Windows Server 2008;CPU為Intel Xeon E5-2620;內(nèi)存為32 GB,內(nèi)存頻率為1.6 GHz;GPU型號為NVIDIA Kepler K20x。

3.2 測試算例

選取IEEE 123節(jié)點(diǎn)配電網(wǎng)系統(tǒng)[22]作為基本測試算例,見附錄A圖A4。其中,分布式電源接入配電網(wǎng)中部分節(jié)點(diǎn)。在正確性和效率測試中,分布式電源采用光伏并網(wǎng)模型。其中,光伏電池模型選用受控電源模型[23],光伏逆變器采用平均模型[24],逆變器控制為雙閉環(huán)V-Q控制,直流側(cè)電壓參考信號由光伏電源最大功率跟蹤控制給定。其中,光伏電源非線性光伏電流的計(jì)算、逆變器控制系統(tǒng)、最大功率跟蹤控制系統(tǒng)均為異構(gòu)計(jì)算部分;電氣元件諾頓等值電流的更新為同構(gòu)計(jì)算部分。

3.3 測試結(jié)果

3.3.1 正確性測試

在基本測試算例的節(jié)點(diǎn)47設(shè)置三相短路故障,持續(xù)時(shí)間為0.05 s。采用相同初始斷面,在以下3個平臺上進(jìn)行仿真:平臺1采用PSCAD進(jìn)行仿真;平臺2采用Intel MKL加速的CPU仿真程序;平臺3采用本文算法在GPU上進(jìn)行細(xì)粒度并行仿真。仿真過程中節(jié)點(diǎn)48電壓、電流波形如圖4所示,最大相對誤差對比如表1所示。

圖4 正確性測試Fig.4 Accuracy tests

表1 誤差對比Table 1 Comparison of numerical error

由圖4和表1可以看出,暫態(tài)過程中3個平臺的仿真結(jié)果高度吻合。其中,CPU與GPU之間的誤差主要是數(shù)值誤差。而與PSCAD相比,在采用完全相同模型時(shí),本文所提的細(xì)粒度并行算法誤差亦在可接受范圍內(nèi)。

3.3.2 不同分布式電源測試

針對不同分布式電源的仿真,其計(jì)算模型差異性主要體現(xiàn)在異構(gòu)計(jì)算Kernel上。根據(jù)LDAG核函數(shù)的求解流程,不同分布式電源的計(jì)算耗時(shí)與所形成的DAG結(jié)構(gòu)及層數(shù)密切相關(guān)。表2列出了完成直驅(qū)風(fēng)機(jī)、儲能等不同分布式電源仿真所需的DAG數(shù)量、層數(shù),以及采用單個和50個block時(shí)的計(jì)算耗時(shí)。表中MPPT表示最大功率點(diǎn)跟蹤。

表2 不同分布式電源測試結(jié)果Table 2 Test results of different DGs

由表2可見,不同分布式電源仿真所需的獨(dú)立DAG數(shù)量不同。影響計(jì)算耗時(shí)的因素主要有DAG層數(shù)和DAG中基本指令類型兩方面。單個DAG的計(jì)算耗時(shí)可以由式(5)來評估。

(5)

式中:h為DAG的層數(shù);ti,max為DAG第i層計(jì)算指令的最大耗時(shí);tsync為層間同步耗時(shí)。

表2中,不同分布式電源網(wǎng)側(cè)變流器控制的計(jì)算DAG結(jié)構(gòu)大致相同,因此計(jì)算耗時(shí)相近。而對于直驅(qū)風(fēng)機(jī)這類復(fù)雜的分布式電源,由于電機(jī)參數(shù)的更新涉及大量三角函數(shù)操作,因此,該部分計(jì)算的DAG層數(shù)雖少于變流器控制計(jì)算的DAG,但其單層計(jì)算耗時(shí)ti,max較高,故整體計(jì)算耗時(shí)遠(yuǎn)高于變流器控制部分。

由于本文采用GPU為K20x,其中含有14個流式多處理器。由于共享內(nèi)存的使用,每個block只能在單個流式多處理器中執(zhí)行。因此,最多可有14個block同時(shí)執(zhí)行。從表2可以看出,當(dāng)block數(shù)目從1增加到50時(shí),耗時(shí)大致為原來的3～4倍,其原因是GPU計(jì)算資源已經(jīng)飽和,這與硬件資源的分配模式相吻合。

3.3.3 整體效率測試

為測試更大規(guī)模系統(tǒng)仿真下細(xì)粒度并行算法的計(jì)算效率,本文通過復(fù)制多個基本配電網(wǎng)算例,并在節(jié)點(diǎn)150處通過π形傳輸線連接至同一電壓源,以構(gòu)造不同規(guī)模的輻射狀配電網(wǎng)。分別利用平臺2和平臺3仿真不同規(guī)模的配電網(wǎng),利用NVIDIA Profiler測得單步長計(jì)算耗時(shí)如表3所示。表3中三類計(jì)算利用GPU進(jìn)行細(xì)粒度并行的加速比曲線如圖5所示。

表3 耗時(shí)測試結(jié)果Table 3 Time-cost results

圖5 加速比曲線Fig.5 Speedup curves

由表3和圖5可以看出,隨著系統(tǒng)規(guī)模的擴(kuò)大,加速比逐步提高。其中,同構(gòu)計(jì)算部分由于僅執(zhí)行FMA運(yùn)算,其加速比在大規(guī)模系統(tǒng)下超過50,效果明顯優(yōu)于其他兩類計(jì)算。而異構(gòu)計(jì)算部分和網(wǎng)絡(luò)求解部分的最大加速比均在10左右。

從上述結(jié)果中可看出,一方面,針對大規(guī)模配電網(wǎng)系統(tǒng),通過所設(shè)計(jì)的細(xì)粒度并行算法在GPU上可取得10倍的加速比(相對CPU)。然而,由于本文僅采用單塊GPU進(jìn)行測試,其計(jì)算資源有限,系統(tǒng)規(guī)模達(dá)到一定程度后,并行計(jì)算核心數(shù)已無法滿足完全的細(xì)粒度并行,故加速比呈現(xiàn)飽和特性,不再增長。另一方面,從絕對耗時(shí)的結(jié)果來看,針對大規(guī)模系統(tǒng),網(wǎng)絡(luò)方程求解的耗時(shí)占據(jù)總耗時(shí)的絕大部分比例。

本文所設(shè)計(jì)的網(wǎng)絡(luò)方程求解模塊僅采用GPU上成熟的BLAS庫,并未根據(jù)配電網(wǎng)特殊網(wǎng)架進(jìn)行優(yōu)化,也未考慮網(wǎng)絡(luò)分塊等粗粒度并行策略,僅依賴細(xì)粒度并行特性加速網(wǎng)絡(luò)方程求解。若采用多塊GPU進(jìn)行仿真,并結(jié)合網(wǎng)絡(luò)分塊,設(shè)計(jì)針對配電網(wǎng)特殊網(wǎng)架結(jié)構(gòu)的網(wǎng)絡(luò)方程求解算法,針對大規(guī)模系統(tǒng)的仿真耗時(shí)還可進(jìn)一步下降。

4 結(jié)語

本文針對配電網(wǎng)電磁暫態(tài)仿真特點(diǎn),結(jié)合GPU的細(xì)粒度并行計(jì)算特性,建立了面向GPU的配電網(wǎng)電磁暫態(tài)細(xì)粒度并行計(jì)算模型,并根據(jù)電氣、控制系統(tǒng)不同計(jì)算特點(diǎn)，設(shè)計(jì)了相應(yīng)的細(xì)粒度并行仿真算法。本文提供的算例測試表明,本文所設(shè)計(jì)的計(jì)算模型和算法可在保證仿真精度的前提下,有效加速大規(guī)模配電網(wǎng)控制系統(tǒng)、電氣元件的計(jì)算。在網(wǎng)絡(luò)方程求解部分,所提算法由于僅采用單塊GPU的細(xì)粒度并行特性,加速效果有限。后續(xù)工作中,有必要針對配電網(wǎng)特殊網(wǎng)架結(jié)構(gòu)進(jìn)行優(yōu)化,結(jié)合多GPU和網(wǎng)絡(luò)分塊,進(jìn)一步提升網(wǎng)絡(luò)方程計(jì)算效率。

附錄見本刊網(wǎng)絡(luò)版(http://www.aeps-info.com/aeps/ch/index.aspx)。

[1] 范明天,張祖平,蘇傲雪,等.主動配電系統(tǒng)可行技術(shù)的研究[J].中國電機(jī)工程學(xué)報(bào),2013,33(22):12-18.

FAN Mingtian, ZHANG Zuping, SU Aoxue, et al. Enabling technologies for active distribution systems[J]. Proceedings of the CSEE, 2013, 33(22): 12-18.

[2] 趙波,王財(cái)勝,周金輝,等.主動配電網(wǎng)現(xiàn)狀與未來發(fā)展[J].電力系統(tǒng)自動化,2014,38(18):125-135.DOI:10.7500/AEPS20131218007.

ZHAO Bo, WANG Caisheng, ZHOU Jinhui, et al. Present and future development trend of active distribution network[J]. Automation of Electric Power Systems, 2014, 38(18): 125-135. DOI: 10.7500/AEPS20131218007.

[3] 于浩.有源配電網(wǎng)電磁暫態(tài)仿真模型降維化簡方法研究[D].天津:天津大學(xué),2015.

[4] 張達(dá).直流配電網(wǎng)電磁暫態(tài)仿真算法研究[D].杭州:浙江大學(xué),2014.

[5] 羅學(xué)禮,穆世霞,周年榮,等.一種區(qū)域配電網(wǎng)電磁暫態(tài)實(shí)時(shí)仿真方法的研究[J].陜西電力,2014,42(11):99-102.

LUO Xueli, MU Shixia, ZHOU Nianrong, et al. Study on electromagnetic transient real time simulation of regional distribution network[J]. Shaanxi Electric Power, 2014, 42(11): 99-102.

[6] 王成山,丁承第,李鵬,等.基于FPGA的配電網(wǎng)暫態(tài)實(shí)時(shí)仿真研究(一):功能模塊實(shí)現(xiàn)[J].中國電機(jī)工程學(xué)報(bào),2014,34(1):161-167.

WANG Chengshan, DING Chengdi, LI Peng, et al. Real-time transient simulation for distribution systems based on FPGA: Part Ⅰ module realization[J]. Proceedings of the CSEE, 2014, 34(1): 161-167.

[7] 王成山,丁承第,李鵬,等.基于FPGA的配電網(wǎng)暫態(tài)實(shí)時(shí)仿真研究(二):系統(tǒng)架構(gòu)與算例驗(yàn)證[J].中國電機(jī)工程學(xué)報(bào),2014,34(4):628-634.

WANG Chengshan, DING Chengdi, LI Peng, et al. Real-time transient simulation for distribution systems based on FPGA: Part Ⅱ system architecture and algorithm verification[J]. Proceedings of the CSEE, 2014, 34(4): 628-634.

[8] 陳德?lián)P,李亞樓,江涵,等.基于道路樹分層的大電網(wǎng)潮流并行算法及其GPU優(yōu)化實(shí)現(xiàn)[J].電力系統(tǒng)自動化,2014,38(22):63-69.DOI:10.7500/AEPS20131014009.

CHEN Deyang, LI Yalou, JIANG Han, et al. A parallel power flow algorithm for large-scale grid based on stratified path trees and its implementation on GPU[J]. Automation of Electric Power Systems, 2014, 38(22): 63-69. DOI: 10.7500/AEPS20131014009.

[9] JALILI-MARANDI V, DINAVAHI V. SIMD-based large-scale transient stability simulation on the graphics processing unit[J]. IEEE Trans on Power Systems, 2010, 25(3): 1589-1599.

[10] DEBNATH J K, FUNG W-K, GOLE A M, et al. Simulation of large-scale electrical power networks on graphics processing units[C]// 2011 IEEE Electrical Power and Energy Conference (EPEC), October 3-5, 2011, Winnipeg, MB, Canada: 199-204.

[11] 陳來軍,陳穎,許寅,等.基于GPU的電磁暫態(tài)仿真可行性研究[J].電力系統(tǒng)保護(hù)與控制,2013,41(2):107-112.

CHEN Laijun, CHEN Ying, XU Yin, et al. Feasibility study of GPU based electromagnetic transient simulation[J]. Power System Protection and Control, 2013, 41(2): 107-112.

[12] ZHOU Z, DINAVAHI V. Parallel massive-thread electromagnetic transient simulation on GPU[J]. IEEE Trans on Power Delivery, 2014, 29(3): 1045-1053.

[13] 高海翔,陳穎,于智同,等.基于平均化理論的PWM變流器電磁暫態(tài)快速仿真方法:(三)適用于圖像處理器的改進(jìn)EMTP并行仿真算法[J].電力系統(tǒng)自動化,2014,38(6):43-48.DOI:10.7500/AEPS20130724001.

GAO Haixiang, CHEN Ying, YU Zhitong, et al. Fast electromagnetic transient simulation method for PWM converters based on averaging theory: Part three improved EMTP parallel algorithm for graphic processing unit[J]. Automation of Electric Power Systems, 2014, 38(6): 43-48. DOI: 10.7500/AEPS20130724001.

[14] SONG Y, CHEN Y, YU Z, et al. A fine-grained parallel EMTP algorithm compatible to graphic processing units[C]// 2014 IEEE PES General Meeting | Conference Exposition, July 27-31, 2014, National Harbor, MD, USA: 1-6.

[15] 宋炎侃,黃少偉,陳穎,等.應(yīng)用有向圖分層的控制系統(tǒng)暫態(tài)仿真并行算法及其GPU實(shí)現(xiàn)[J].電力系統(tǒng)自動化,2016,40(12):137-143.DOI:10.7500/AEPS20151127002.

SONG Yankan, HUANG Shaowei, CHEN Ying, et al. Layered directed acyclic graph based parallel algorithm for control system transient simulation and its GPU realization[J]. Automation of Electric Power Systems, 2016, 40(12): 137-143. DOI: 10.7500/AEPS20151127002.

[16] NVIDIA. CUDA Toolkit Documentation v5.5[EB/OL]. [2017-03-20]. http://docs.nvidia.com/cuda/index.html.

[17] CHENG J, GROSSMAN M, MCKERCHER T. Professional CUDA C programming[M]. USA: John Wiley & Sons, 2014.

[18] WATSON N, ARRILLAGA J. Power systems electromagnetic transients simulation[M]. UK: IET, 2003.

[19] YU Zhitong, CHEN Ying, SONG Yankan, et al. Comparison of parallel implementations of controls on GPU for transient simulation of power system[C]// IEEE Chinese Control Conference (CCC), July 27-29, 2016, Chengdu, China: 9996-10001.

[20] EADES P, XUEMIN L. How to draw a directed graph[C]// IEEE Workshop on Visual Languages, October 4-6, 1989, Rome, Italy: 13-17.

[21] WARSHALL S. A Theorem on Boolean matrices[J]. Journal of the ACM, 1962, 9(1): 11-12.

[22] KERSTING W H. Radial distribution test feeders[J]. IEEE Trans on Power Systems, 1991, 6(3): 975-985.

[23] 李鵬.分布式發(fā)電微網(wǎng)系統(tǒng)暫態(tài)仿真方法研究[D].天津:天津大學(xué),2010.

[24] CHINIFOROOSH S, JATSKEVICH J, YAZDANI A, et al. Definitions and applications of dynamic average models for analysis of power systems[J]. IEEE Trans on Power Delivery, 2010, 25(4): 2655-2669.

GPU-based Techniques of Parallel Electromagnetic Transient Simulation for Large-scale Distribution Network

CHENYing1,SONGYankan1,HUANGShaowei1,YUZhitong1,WEIWei2

(1. Department of Electrical Engineering, Tsinghua University, Beijing 100084, China; 2. Electric Power Research Institute of State Grid Sichuan Electric Power Company, Chengdu 610072, China)

With the integration of distributed generators and other complex devices, analyses of the transient state process for distribution systems and electromagnetic simulation are gradually becoming dependent on detailed modeling and electromagnetic transient (EMT) simulation. As EMT simulation can be appreciably accelerated by fine-grained parallel devices, such as the graphics processing unit (GPU). GPU-based parallel electromagnetic transient simulation techniques for large-scale distribution system are proposed. First, the computational models are formulated by categorizing the overall computations during simulation into three parts, that is, heterogeneous, homogeneous and network solution part. Then, each part of computation is accelerated using fine-grained parallel strategy on the GPU. The heterogeneous part is processed in a layered-directed-acyclic-graph based kernel, the homogeneous part is handled in a fused multiply-add kernel, and the network solution part is done by linear algebraic solvers on the GPU. Finally, large-scale cases are provided for tests. Simulation results indicate that the proposed techniques can significantly accelerate EMT simulation for distribution networks.

This work is supported by National Natural Science Foundation of China (No. 51477081).

distribution network; electromagnetic transient simulation; fine-grained parallel; graphics processing units (GPUs)

2017-01-09;

2017-04-13。

上網(wǎng)日期: 2017-06-14。

國家自然科學(xué)基金資助項(xiàng)目(51477081)。

陳 穎(1979—),男,博士,副教授,主要研究方向:電力系統(tǒng)動態(tài)仿真、并行和分布式計(jì)算。E-mail： chen_ying@tsinghua.edu.cn

宋炎侃(1991—),男,博士研究生,主要研究方向:電力系統(tǒng)仿真與分析。E-mail: syfmlrc@163.com

黃少偉(1985—),男,通信作者,博士,助理研究員,主要研究方向:電力系統(tǒng)分布式計(jì)算。E-mail: huangsw@mail.tsinghua.edu.cn

(編輯 孔麗蓓)