王 瀟，張炳達，陳 雄

（天津大學智能電網教育部重點實驗室，天津 300072）

電力系統(tǒng)實時仿真中細粒度并行實現

王 瀟，張炳達，陳 雄

（天津大學智能電網教育部重點實驗室，天津 300072）

為充分利用FPGA的高度并行特性，設計了一種可實現加減乘除混合運算的變結構運算組件.從實用性和擴展性角度出發(fā)，用控制指令描述對運算組件的操作，用有向無環(huán)圖描述計算任務之間的依賴關系，提出了一種新的基于FPGA的仿真程序設計方法.在此基礎上，以30,μs仿真步長在一塊5SGSMD5芯片上實現了IEEE-14電力系統(tǒng)的實時仿真，其實驗結果與PSCAD仿真結果相吻合.

實時仿真；細粒度；現場可編程門陣列；變結構運算組件

在新能源變革形勢下，智能電網已成為承擔電網新使命的新一代電網.在推進智能電網的建設中，復雜控制設備的在環(huán)測試對實時數字仿真器的仿真規(guī)模和仿真步長提出了更高的要求.

傳統(tǒng)的實時數字仿真通常將計算任務分解成許多子任務，由多個處理器協(xié)同完成［1］.然后，在集群環(huán)境中，全局共享數據必須依靠機器間的通信來搬遷［2］；在多核環(huán)境中，全局共享數據需要采用鎖保護［3］. 正由于這一特點，常采用粗粒度并行處理技術對計算任務進行分解.文獻［4］將多區(qū)戴維南等值方法用于電氣網絡的并行計算，且設法減少數據同步過程的時間開銷.文獻［5］靈活應用節(jié)點分裂法、分布參數線路解耦法，提出了一種交直流分割并行算法.文獻［6］提出了一種元件級并行和網絡級并行相結合的并行求解算法，有效地提高了并行計算的總體效率.文獻［7-8］在保證求解穩(wěn)定性的基礎上，分別利用顯隱式混合積分法和異步替代法使網絡解耦，提高了分網的靈活性.但是，經分解的計算任務在單個處理器內部仍需串行執(zhí)行.

現場可編程門陣列（field programmable gate array，FPGA）擁有并行硬件結構，可實現高度并行的數值計算［9］.近年來，FPGA逐漸在電力系統(tǒng)領域展示出高度并行的數值計算能力［10］.文獻［11］提出了一種基于FPGA的電磁暫態(tài)實時仿真器，在一片FPGA上仿真了含有15條傳輸線模型的電力系統(tǒng).文獻［12］針對有源配電網提出了基于FPGA的暫態(tài)實時仿真器的計算求解框架，并給出多個關鍵功能模塊的硬件實現方式.文獻［13-14］分別針對交流電機和變壓器實時仿真提出了基于FPGA的并行實現方法. 文獻［15］針對大規(guī)模電磁暫態(tài)實時仿真研究了多FPGA的仿真方案.這些文獻都采用了功能化的設計思想，將發(fā)電機模型、稀疏矩陣求解模型、注入電流源求解模型等分別建立了并行化的硬件電路，其優(yōu)點在于方便搭建新的應用，但是其硬件的資源利用率較低.

本文旨在硬件資源有限的前提下對實時仿真系統(tǒng)細粒度并行（運算級并行）的實現方法進行探索.為解決FPGA硬件資源有限，借助緩沖通道對運算器的輸入輸出口進行有效控制，使運算組件中的運算器位置不再固定，可方便地實現各種加減乘除混合運算.同時，用控制指令描述運算器輸入輸出端口的數據變遷，用有向無環(huán)圖（directed acyclic graph，DAG）［16］描述計算任務之間的關系，通過表調度方法實現資源約束條件下的任務安排優(yōu)化，提高了整個運算組件的工作效率.在此基礎上，通過數據交換站使各運算組件協(xié)同工作，在一塊5SGSMD5芯片上實現了IEEE-14電力系統(tǒng)實時仿真.

1　細粒度并行計算

仿真計算過程中存在著大量的可并行執(zhí)行的運算表達式，如節(jié)點注入電流向量、right-looking并行LU分解、坐標變換等.同時，運算表達式中一般存在可并行執(zhí)行的加減乘除基本運算.

以求解發(fā)電機端口方程的等效導納矩陣Yabc為例來描述細粒度并行過程.由機械系統(tǒng)得到的轉子轉速ω可算出在dq坐標系下等效導納矩陣Ydq0，其非零元素的計算公式為

再經派克變換便可得到Yabc，即

式（1）中存在4個可并行執(zhí)行的計算表達式，各表達式中某些乘法和加法運算可并行執(zhí)行，其中Ydq和Yq的計算可用如圖1（a）和1（b）所示的邏輯電路來實現.式（2）中存在9個可并行執(zhí)行的計算表達式，各表達式中的乘法可并行執(zhí)行，其中Yab的計算可用如圖1（c）所示的邏輯電路來實現.

圖1　計算部分參數的邏輯電路Fig.1 Logic circuits of calculating partial parameters

為每個計算表達式配備獨特的邏輯電路可實現理想的細粒度并行，但這種方法受到FPGA片上資源的限制.這些計算表達式的邏輯電路具有相似性，可采用復用技術減輕對硬件資源的需求.如采用圖2所示的運算組件可分別計算Ydq、Yq和Yab，但需對數據的輸入口和輸出口進行有效控制.

圖2中的緩沖通道由多個寄存器串接而成，通過對寄存器的控制使數據從緩沖通道的一端移向另一端.放置這些緩沖通道的目的是保證運算組件的時序正確性.在圖2中，假定乘法器的流水線長度短于加法器的流水線長度.

圖2　計算Ydq、Yq和Yab的運算組件Fig.2 Processing unit of calculating Ydq，Yqand Yab

2　變結構運算組件

由于圖2中運算器的連接關系固定不變，在計算Yab時2/3的運算器處于無意義的工作狀態(tài)，且流水線的長度比圖1（c）有大幅度的增加.若組件中運算器能夠根據不同的計算表達式來改變連接關系即位置可變，則可避免不必要的計算等待，從而提高仿真的計算速度.

為使組件中運算器的連接關系可變，為運算器的每個輸入口配備一個輸入口控制器，為運算器的每個輸出口配備一個輸出口控制器和一條由寄存器級聯組成且任意位置可讀寫的緩沖通道，如圖3所示.緩沖通道的首端連接運算器的輸出口，末端懸空.輸入口控制器負責從數據存儲區(qū)或緩沖通道到運算器輸入口的數據流控制，輸出口控制器負責從緩沖通道到數據存儲區(qū)的數據流控制.

圖3　變結構運算組件的示意Fig.3 Sketch map of variable-structure processing unit

當某個運算器的兩個輸入數據來自同一數據塊時，需要多花費一個時鐘節(jié)拍來傳送輸入數據，這導致運算器的工作效率下降.如果允許數據存儲區(qū)的數據流向緩沖通道，則可事先把其中的一個數據安放在緩沖通道上，需要時把它傳送到運算器的輸入口.因此，在圖3中增加了以虛線箭頭表示的從數據存儲區(qū)到緩沖通道的數據流.這樣，也解決了數組之間的數據流動問題.

對于圖3所示的變結構運算組件，其核心是輸入口控制器和輸出口控制器.為使這些控制器具有通用性，把控制器細分成存儲一系列控制指令的代碼存儲區(qū)、讀取代碼和解析代碼的指令解碼器、執(zhí)行指令的多路開關.由于變結構運算組件中各個運算器均需要控制指令，故它比固定結構的運算組件需要更多的FPGA存儲資源和邏輯資源.

為了縮短代碼存儲區(qū)的長度，一是采用短指令，二是對有規(guī)律的指令串用塊指令替代.塊指令包括停止、重復、地址遞增、地址遞減等.本文規(guī)定輸入口指令的長度為16位，其格式如表1所示；輸出口指令的長度為24位，其格式如表2所示.

表1　輸入口控制指令格式Tab.1 Instruction format of input controller

表2　輸出口控制指令格式Tab.2 Instruction format of output controller

組件中運算器的增加意味著緩沖通道和數組的增加.過多的緩沖通道和數組會使控制器的多路開關變得復雜，很難保證多路開關在較高頻率下運行.因此，在表1和表2中規(guī)定了緩沖通道個數和長度不超過16和32，數據存儲區(qū)的數組個數和長度不超過48和1,024.

實時模仿一個具有一定規(guī)模的電力系統(tǒng)通常需要幾十個變結構運算組件.組件之間的數據交互通過交換站來完成.交換站由一組寄存器和若干個輸出口控制器組成，其控制器負責交換站寄存器與某個組件的數據存儲區(qū)之間的數據流控制.指令格式與表2一致，但需把通道變成交換站.當交換站所涉及的運算組件分散在不同FPGA芯片時，可通過具有控制光接口功能的輸出口控制器完成芯片級的數據通信.由于芯片級數據通信有較長的時延，盡量不要把同一粗粒下的仿真計算分散到不同芯片中.

3　指令流的優(yōu)化生成

合理安排控制器指令流是實現細粒度并行計算的關鍵.由高級語言的仿真程序生成控制器指令流的基本過程如圖4所示.其中，任務生成算法將高級語言的仿真程序變成操作任務及其依賴關系的DAG，任務調度算法實現資源約束條件下對任務安排的優(yōu)化，并給出具體的控制器指令流.

圖4　指令流生成的基本過程Fig.4 Process of instruction stream generation

在任務生成算法中，將仿真程序中各運算表達式拆分為具體的操作任務T（其中，用T1表示運算任務，T2表示讀RAM任務，T3表示寫RAM任務）.在按照運算符優(yōu)先級確定運算任務依賴關系的基礎上，優(yōu)先安排等待時間最短的運算數據.由于運算數據可能是原始數據（由T2而來），也可能是中間數據（由T1而來），同優(yōu)先級的運算任務之間也有依賴關系.

在任務調度算法中，用A（ti）表示任務ti∈T2∪T3的數據來源，用s（ti）表示任務ti開始執(zhí)行時間，用p（ti）表示任務ti所用資源.其中，這里將加、乘、除運算器記為C類資源，將讀、寫RAM數據操作記為M類資源.用s1（ti）和s2（ti）表示任務ti的理想最早啟動時間和理想最晚啟動時間，即

式中：l（x）為任務x所用資源的流水線長度；p（x）和q（x）分別為任務x的前驅任務和后繼任務；E（T）和F（T）分別為所有入口任務（無前驅）和出口任務（無后繼）.

由于M類資源與RAM有固定的匹配關系，讀寫任務能否安排取決于相應的M類資源的占用情況.而運算任務除了考慮相應的C類資源的占用情況外，還要優(yōu)先選用前驅任務所安排的變結構運算組件內的資源.

對ti∈T且p（ti）∈C，p（ti）的輸入口控制器指令流＜it，ip＞（it為時間序號，ip為操作源地址）和輸出口控制器指令流＜ot，op，oq＞（ot為時間序號，op為操作源地址，oq為操作目標地址）可表示為

式中：B（x）表示與資源x對應的緩沖通道基地址；tj∈p（ti）；tk∈q（ti）.

具體的任務調度算法如下.

步驟 1 計算DAG各任務的s1和s2，置b3為零，并將所有任務放入未調度任務列表，計時器c置零.

步驟2 按照任務優(yōu)先級原則對未調度任務列表排序.

步驟,,,3 當未調度任務列表空時轉至步驟10.

步驟4 從未調度任務列表取出首任務ti.若s1（ti）＞c，清理資源已占用標記.將滿足b3（ti，tj）＞h的所有tj∈p（ti）記為Tj，若Tj為非空轉至步驟8.

步驟5 為任務ti從未占用資源中選取資源.若找不到可用資源轉至步驟7.

步驟6 為任務ti所用資源打上已占用標記，把任務ti增添到已調度任務列表中去，c=s1（ti），轉至步驟9.

步驟7 任務ti放回未調度任務列表.將與任務ti和 tj∈p（ti）有關的s1（ti）和b1（ti，tj）增1，計算相應的b2（tj）和b3（ti，tj），轉至步驟9.

步驟8 Tj及其之后放入已調度任務列表的任務放回未調度任務列表.將與任務tj∈Tj和 tk∈p（tj）有關的s1（tj）和b1（tj，tk）增1，計算b2（tk）和b3（tj，tk），c=min｛s1（tj）｝.清理資源已占用標記，并將已調度任務列表中最近執(zhí)行任務所占用的資源打上標記.

步驟9 重新計算未調度任務列表中各任務的s1和s2，轉至步驟2.

步驟10 由式（5）和式（6）生成控制器的指令流＜it，ip＞或＜ot，op，oq＞，并按表1和表2指令格式進一步處理指令流.

4　仿真實例

搭建的硬件在環(huán)仿真系統(tǒng)的電力系統(tǒng)如圖5所示，在發(fā)電機、變壓器、母線、傳輸線之間設有斷路器，在變壓器出口、母線、傳輸線末端放置短路故障模型.同時，為發(fā)電機配備調速系統(tǒng)和勵磁控制系統(tǒng)，為發(fā)電機、變壓器、母線、傳輸線配備相應的保護.斷路器狀態(tài)、短路故障有無、保護投切（包括真實保護）通過人機界面來設置.

圖5　IEEE-14電力系統(tǒng)Fig.5 IEEE-14 power system

本文選擇Altera公司的DSP Stratix V官方開發(fā)板，如圖6所示.開發(fā)板配有Stratix V系列FPGA 5SGSMD5，該芯片包含457,000個邏輯單元、172,600個自適應邏輯模塊、39,Mbit嵌入式存儲資源、3,180個18×18硬件乘法器和24個鎖相環(huán)資源等.

圖6　DSP Stratix V FPGA開發(fā)板Fig.6 DSP development kit，Stratix V FPGA

為模仿圖5所示電力系統(tǒng)，在5SGSMD5芯片上創(chuàng)建了16個變結構運算組件和5個交換站.每個組件配有2個除法器、6個乘法器和8個加法器，緩沖通道長度為32.每個交換站配有16個控制器，緩沖通道長度為128.除運算組件和交換站之外，還搭建了時鐘鎖相環(huán)、電流過零檢測、網絡參數更改等硬件電路，并添加了Quartus II提供的邏輯分析儀Signaltap II模塊以驗證仿真結果.

雙精度浮點數除法、乘法、加法運算器和讀寫RAM操作的流水線長度設計為7、5、10和2，經Quartus II提供的軟件TimeQuest進行時序約束，將仿真運算的最高工作時鐘頻率定為184,MHz.通過表調度形成的仿真程序在一個步長內執(zhí)行時間為27.1,μs.

當圖5中線路a的保護采用真實的繼電保護設備（南瑞繼保公司的線路保護裝置PCS-931GM-D）時，形成信號級硬件在環(huán)實時仿真系統(tǒng).為驗證仿真的準確性，記錄短路故障和保護裝置動作時間，用PSCAD仿真軟件模擬同樣的故障和保護.圖7和圖8分別給出了線路a發(fā)生三相接地故障后母線13的三相電壓，發(fā)電機4的功角與勵磁電壓.

圖7　母線13的三相電壓Fig.7 Three-phase voltage of Bus 13

圖8　發(fā)電機4的功角和勵磁電壓Fig.8 Power angle and excitation voltage of G4

由圖7和圖8所見，FPGA實時仿真平臺與PSCAD的仿真波形基本一致，誤差在5%,以內.

為驗證所提仿真實現方法的高效性，本文與傳統(tǒng)的FPGA編程的仿真實現方法［11-15］相對比.后者根據文獻［15］，針對圖5的電力系統(tǒng)在5SGSMD5芯片中分別搭建發(fā)電機模型、注入電流源模型、開關模型以及線性網絡求解模型的硬件電路，并由模型間電氣量的連接關系編寫狀態(tài)機.在FPGA編程中，選擇與本文方法相同的除法、乘法、加法運算器，并同樣以184,MHz的工作時鐘頻率驅動時序電路，一個仿真步長的計算時間為42.9,μs，是本文方法的1.6倍.兩種實現方法的資源消耗情況和運算器利用率如表3和表4所示.

表3　兩種實現方法的FPGA資源消耗情況Tab.3FPGA resources utilized by two implementing methods

表4　兩種實現方法的運算器利用率Tab.4Arithmetic unit utilization of two implementing methods %,

可見，在傳統(tǒng)FPGA編程的實現方法中，使用的邏輯資源和硬件乘法器已接近90%,，其原因是模塊間運算器相互獨立且無法復用，運算器的利用率很低.而指令流優(yōu)化生成方法能夠對運算器作統(tǒng)一調度，提高了運算器的利用率，從而減少了對FPGA運算資源的需求.

考慮時序約束，5SGSMD5芯片中最多可創(chuàng)建24個變結構運算單元.經測試，它們完成2個圖5所示仿真系統(tǒng)（共470個節(jié)點和10臺發(fā)電機）的計算時間為45,μs，完全可實現仿真步長為50,μs的實時仿真.若使用RTDS仿真，同樣的仿真規(guī)模至少需10個GPC卡（1個GPC卡可以處理66個節(jié)點或5個發(fā)電機模型）.

5　結　論

（1）基于緩沖通道的變結構運算組件可靈活進行較大規(guī)模的加減乘除混合運算，提高了計算速度和資源利用率.

（2）采用任務生成算法和任務調度算法可將高級語言的仿真程序變成控制器指令流，在定制模式下用戶不涉及FPGA編程.

（3）采用多FPGA的聯合仿真可實現較大規(guī)模的電力系統(tǒng)實時仿真，并具有成本優(yōu)勢.

［1］ 周保榮，房大中，Laurence A S，等. 全數字實時仿真器：HYPERSIM［J］. 電力系統(tǒng)自動化，2003，27（19）：79-82. Zhou Baorong，Fang Dazhong，Laurence A S，et al. The fully digital real-time simulator：HYPERSIM［J］. Automation of Electric Power Systems，2003，27（19）：79-82（in Chinese）.

［2］ 徐 箭，陳允平. 基于改進通信算法的暫態(tài)穩(wěn)定并行仿真［J］. 中國電機工程學報，2006，26（15）：12-18. Xu Jian，Chen Yunping. Parallel simulation for transient stability based on improved communication algorithm in cluster environment［J］. Proceedings of the CSEE，2006，26（15）：12-18（in Chinese）.

［3］ 熊 瑋，夏文龍，余曉鴻，等. 多核并行計算技術在電力系統(tǒng)短路計算中的應用［J］. 電力系統(tǒng)自動化，2011，35（8）：49-53. Xiong Wei，Xia Wenlong，Yu Xiaohong，et al. Multicore parallel computation technique for power system short-circuit faults analysis［J］. Automation of Electric Power Systems，2011，35（8）：49-53（in Chinese）.

［4］ 陳來軍，陳 穎，梅生偉. 一種隱式同步策略及其在電磁暫態(tài)并行計算中的應用［J］. 電工電能新技術，2010，29（2）：9-12，52. Chen Laijun，Chen Ying，Mei Shengwei. An implicit synchronization approach and its application in parallel computation of electro-magnetic transient［J］. Advanced Technology of Electrical Engineering and Energy，2010，29（2）：9-12，52（in Chinese）.

［5］ 周孝信，田 芳. 交直流電力系統(tǒng)分割并行電磁暫態(tài)數字仿真方法［J］. 中國電機工程學報，2011，31（22）：1-7. Zhou Xiaoxin，Tian Fang. Partition and parallel method for digital electromagnetic transient simulation of AC/DC power system［J］. Proceedings of the CSEE，2011，31（22）：1-7（in Chinese）.

［6］ 陳來軍，陳 穎，梅生偉，等. 一種混合并行算法及其在多相交直流混合電力系統(tǒng)中的應用［J］. 中國電機工程學報，2010，30（28）：39-45. Chen Laijun，Chen Ying，Mei Shengwei，et al. A hybrid parallel computation algorithm and its application to multiphase hybrid AC/DC power systems［J］. Proceedings of the CSEE，2010，30（28）：39-45（in Chinese）.

［7］ Toshiji K，Kaoru I，Takayuki F，et al. Multirate analysis method for a power electronic system by circuit partitioning［J］. IEEE Transactions on Power Electronic，2009，24：2791-2802.

［8］ 劉 東，張炳達. 一種適合并行計算的仿真變電站一次系統(tǒng)模型［J］. 電力系統(tǒng)自動化，2010，34（20）：71-76. Liu Dong，Zhang Bingda. A primary system model of simulation substation suitable for parallel computing［J］. Automation of Electric Power System，2010，34（20）：71-76（in Chinese）.

［9］ Nechma T，Zwolinski M. Parallel sparse matrix solution for circuit simulation on FPGAs［J］. IEEE Transactions on Computers，2015，64（4）：1090-1103.

［10］ Cardenas A，Guzman C，Agbossou K. Development of a FPGA based real-time power analysis and control for distributed generation interface［J］. IEEE Transactions on Power Systems，2012，27（3）：1343-1353.

［11］ Chen Y，Dinavahi V. FPGA-based real-time EMTP［J］. IEEE Transactions on Power Delivery，2009，24（2）：892-902.

［12］ 王成山，丁承第，李 鵬，等. 基于FPGA的配電網暫態(tài)實時仿真研究（一）：功能模塊實現［J］. 中國電機工程學報，2014，34（1）：161-167. Wang Chengshan，Ding Chengdi，Li Peng，et al. Realtime transient simulation for distribution systems based on FPGA（part,Ⅰ）：Module realization［J］. Proceedings of the CSEE，2014，34（1）：161-167（in Chinese）.

［13］ Matar M，Iravani R. Massively parallel implementation of AC machine models for FPGA-based real-time simulation of electromagnetic transients［J］. IEEE Transactions on Power Delivery，2011，26（2）：830-840.

［14］ Liu J D，Dinavahi V. A real-time nonlinear hysteretic power transformer transient model on FPGA［J］. IEEE Transactions on Industrial Electronics，2014，61（7）：3587-3597.

［15］ Chen Y，Dinavahi V. Multi-FPGA digital hardware design for detailed large-scale real-time electromagnetic transient simulation of power systems［J］. IET Generation，Transmission & Distribution，2013，7（5）：451-463.

［16］ Cho S，Elhourani T，Ramasubramanian S. Independent directed acyclic graphs for resilient multipath routing［J］. IEEE Transactions on Networking，2012，20（1）：153-162.

（責任編輯：孫立華）

Implementation of Fine Granularity Parallelization in Power System Real-Time Simulation

Wang Xiao，Zhang Bingda，Chen Xiong
（Key Laboratory of Smart Grid of Ministry of Education，Tianjin University，Tianjin 300072，China）

In order to make full use of highly parallel characteristic of FPGA，a variable-structure processing unit was designed to achieve arithmetic with the mixed operation of addition，subtraction，multiplication and division.From the perspective of practicability and extensibility，applying the control instruction to describing the operation of processing unit and the directed acyclic graph to describing the process of parallel computing，a new simulation program design method based on FPGA was proposed.On this basis，a real-time simulation of IEEE-14 bus power system has been realized on a 5SGSMD5 chip with 30 μs time-step，and the experimental results are consistent with the PSCAD simulation results.

real-time simulation；fine granularity；field programmable gate array（FPGA）；variable-structure processing unit

TM744

A

0493-2137（2016）05-0513-07

10.11784/tdxbz201506073

2015-06-21；

2015-10-10.

國家自然科學基金資助項目（51477114）；天津市科技計劃資助項目（13TXSYJC40400）.

王 瀟（1987—），男，博士研究生，wangxiao@tju.edu.cn.

張炳達，bdzhang@tju.edu.cn.

網絡出版時間：2015-11-11. 網絡出版地址：http://www.cnki.net/kcms/detail/12.1127.N.20151111.1759.006.html.