李文輝，簡獻(xiàn)忠，肖兒良

(上海理工大學(xué) 光電信息與計算機工程學(xué)院，上海 200093)

變電站實時監(jiān)控系統(tǒng)中的千兆以太網(wǎng)傳輸設(shè)計

李文輝，簡獻(xiàn)忠，肖兒良

(上海理工大學(xué) 光電信息與計算機工程學(xué)院，上海 200093)

針對變電站實時監(jiān)控系統(tǒng)需要傳輸?shù)臄?shù)據(jù)量大和傳統(tǒng)的百兆網(wǎng)絡(luò)已無法滿足傳輸總帶寬需求的問題，文中設(shè)計了嵌入式千兆以太網(wǎng)視頻傳輸系統(tǒng)。該系統(tǒng)選用Xilinx公司Artix-7系列的FPGA芯片為主控制器，完成數(shù)據(jù)的采集、處理和傳輸控制。使用UDP/IP協(xié)議幀通過千兆以太網(wǎng)向遠(yuǎn)程監(jiān)控系統(tǒng)傳輸圖像數(shù)據(jù)時，丟包率僅為0.001 25%。在對變電站高壓設(shè)備進(jìn)行監(jiān)控傳輸測試時，穩(wěn)定傳輸視頻圖像的最高幀頻可達(dá)150 frame·s-1。

變電站;千兆以太網(wǎng);FPGA; UDP/IP

為了保證電力系統(tǒng)的安全穩(wěn)定地運行，建設(shè)和推行智能變電站越來越受到了重視。變電站作為供電系統(tǒng)的中心環(huán)節(jié)，是電網(wǎng)中的監(jiān)控重點，所以保證變電站的安全運行對供電系統(tǒng)的穩(wěn)定性具有重要作用。而變電站中故障的發(fā)生多由站內(nèi)高壓設(shè)備的熱效應(yīng)引起的，因此必須實時地對變電站內(nèi)高壓設(shè)備的溫度進(jìn)行遠(yuǎn)程在線監(jiān)控，以及時發(fā)現(xiàn)和維護(hù)出現(xiàn)故障的高壓設(shè)備，保證電力系統(tǒng)的正常運行。而變電站中高壓設(shè)備眾多，導(dǎo)致實時在線監(jiān)控系統(tǒng)需要傳輸大量的視頻圖像數(shù)據(jù)，并且傳統(tǒng)的百兆網(wǎng)絡(luò)帶寬已經(jīng)滿足不了多個變電站對總的傳輸帶寬的需求，因此有必要使用千兆以太網(wǎng)提高網(wǎng)絡(luò)傳輸帶寬[1-4]。

近年來，由于FPGA運行速度快，容易實現(xiàn)大規(guī)模系統(tǒng)，使得其在通信領(lǐng)域中的應(yīng)用越來越廣泛，并且隨著電子技術(shù)的發(fā)展，高速數(shù)據(jù)傳輸系統(tǒng)在現(xiàn)代電子系統(tǒng)中起著重要的作用[5]。計算機與FPGA之間，主要通過以太網(wǎng)接口、UART和USB等通用接口相連接。由于傳統(tǒng)的串口(UART或USB等)傳輸速度慢，難以實現(xiàn)高速數(shù)據(jù)傳輸，而且不能進(jìn)行遠(yuǎn)程數(shù)據(jù)傳輸，需要FPGA和計算機必需在同一地點，這就限制了高速數(shù)據(jù)傳輸系統(tǒng)在使用時的靈活性以及在特殊場合(比如無人監(jiān)控變電站)中的應(yīng)用。千兆以太網(wǎng)相比百兆以太網(wǎng)，其傳輸速率更高、傳輸距離更遠(yuǎn)，滿足智能變電站對網(wǎng)絡(luò)傳輸帶寬的需求[6-9]。

千兆以太網(wǎng)技術(shù)屬于以太技術(shù)，兼容10/100 M的以太網(wǎng)系統(tǒng)。將10/100 M以太網(wǎng)升級到千兆以太網(wǎng)，不必改變PC端的網(wǎng)絡(luò)應(yīng)用程序和操作系統(tǒng)，這對原有的電力監(jiān)控的網(wǎng)絡(luò)建設(shè)來說節(jié)約了成本。

1 系統(tǒng)總體設(shè)計

視頻數(shù)據(jù)傳輸平臺中關(guān)于千兆以太網(wǎng)部分的實現(xiàn)，是基于Xilinx的Tri-Mode Ethernet MAC IP實現(xiàn)的[10]。FPGA與遠(yuǎn)端PC之間的通訊以ARP協(xié)議和UDP/IP協(xié)議為主，使用ARP協(xié)議和UDP/IP協(xié)議是為了使FPGA動態(tài)地獲得訪問它的PC的IP地址、MAC地址和PC應(yīng)用程序的端口號，并將其存儲在設(shè)定的寄存器數(shù)組中，用在向PC傳輸?shù)腢DP/IP協(xié)議視頻數(shù)據(jù)幀的相關(guān)字段中。實現(xiàn)視頻傳輸平臺與監(jiān)控中心之間的千兆以太網(wǎng)絡(luò)通信的詳細(xì)設(shè)計如圖1所示。

(1)發(fā)送過程：接收的圖像數(shù)據(jù)經(jīng)過視頻傳輸平臺接收并轉(zhuǎn)換成UDP/IP幀格式，轉(zhuǎn)換后的數(shù)據(jù)通過TEMAC IP封裝成標(biāo)準(zhǔn)的Ethernet II以太網(wǎng)幀，接著通過物理層芯片88E1111和網(wǎng)線傳至千兆交換機，最后通過千兆交換機的級聯(lián)將監(jiān)控圖像數(shù)據(jù)傳至遠(yuǎn)端監(jiān)控PC；

(2)接收過程：遠(yuǎn)端PC傳至視頻傳輸平臺的指令幀，經(jīng)過PHY芯片和TEMAC IP封裝模塊處理后由接收模塊解析出指令數(shù)據(jù)；

圖1 千兆以太網(wǎng)絡(luò)的實現(xiàn)框圖

2 UDP/IP硬件協(xié)議棧設(shè)計

在能夠使用常用的網(wǎng)絡(luò)通信協(xié)議(比如UDP協(xié)議、ARP協(xié)議)的前提下，參照TCP/IP參考協(xié)議，并對OSI參考模型進(jìn)行精簡，設(shè)計本系統(tǒng)千兆以太網(wǎng)使用的UDP/IP硬件協(xié)議棧結(jié)構(gòu)[11-12]，簡化方式如圖2所示。

圖2 簡化協(xié)議模型

在設(shè)計的簡化模型中：應(yīng)用層負(fù)責(zé)圖像數(shù)據(jù)的相關(guān)處理，包括圖像數(shù)據(jù)的讀取與存儲；傳輸層使用UDP協(xié)議實現(xiàn)，主要負(fù)責(zé)UDP報頭的添加、驗證和解析；網(wǎng)絡(luò)層使用IP協(xié)議實現(xiàn)，用于實現(xiàn)IP報頭的添加、解析，以及校驗和的發(fā)送計算和接收驗證功能；數(shù)據(jù)鏈路層使用ARP和MAC協(xié)議實現(xiàn)，負(fù)責(zé)地址解析、幀檢查序列的添加與驗證、濾除錯誤幀等；物理層則使用88E1111芯片實現(xiàn)，可以兼容十兆、百兆和千兆的以太網(wǎng)絡(luò)[13-14]。

UDP協(xié)議位于簡化的協(xié)議模型中的傳輸層。使用UDP協(xié)議傳輸數(shù)據(jù)時，無需像TCP協(xié)議一樣先建立連接才能傳輸數(shù)據(jù)，同時不保留數(shù)據(jù)備份，因此具有不可靠性，允許一定的丟包率。但是UDP協(xié)議具有TCP協(xié)議望塵莫及的速度優(yōu)勢，提供了基本低延時的高效數(shù)據(jù)報傳輸和面向非鏈接的傳輸特性，可以有效解決網(wǎng)絡(luò)中數(shù)據(jù)的實時傳輸問題。千兆以太網(wǎng)的數(shù)據(jù)傳輸速度快，而且是全雙工傳輸。通過環(huán)路測試，在千兆以太網(wǎng)環(huán)境下測試，使用UDP通信的數(shù)據(jù)速度可達(dá)900 Mbit·s-1以上。因此，UDP協(xié)議適合高速數(shù)據(jù)傳輸?shù)膱龊希热缫曨l圖像傳輸、高速數(shù)據(jù)采集和網(wǎng)絡(luò)監(jiān)控數(shù)據(jù)交換等對數(shù)據(jù)傳輸速度要求比較高的場合[15]。

3 千兆以太網(wǎng)傳輸設(shè)計

3.1 GMII硬件接口設(shè)計

在硬件選擇上，F(xiàn)PGA芯片已定，PHY層芯片選擇Marvell公司的88E1111(128-Pin PQFP Package)作為千兆以太網(wǎng)物理層芯片，支持10/100/1 000 Mbit·s-13種速率的以太網(wǎng)傳輸。設(shè)計采用GMII(Gigabit Medium Independent Interface，千兆媒體獨立接口)作為FPGA與88E1111之間的接口，電路設(shè)計如圖3所示。

圖3 以太網(wǎng)GMII接口電路

3.2 TEMAC IP定制

使用ISE14.4組件下的Core Generate tool來實現(xiàn)對TEMAC IP相關(guān)屬性的配置，在生成IP后，相應(yīng)的ip_core目錄下生成了以VHDL描述的IP內(nèi)部功能模塊文件以及Xilinx提供的實現(xiàn)例程。該示例設(shè)計包括的功能有：TEMAC實現(xiàn)方案；時鐘管理，包括MMCM和全局時鐘緩沖器模塊；GMII接口邏輯，包括IOB模塊和DDR寄存器模塊；統(tǒng)計向量解碼邏輯部分；使用AXI4-Stream接口的用戶傳輸和接收FIFO模塊；用戶基本模擬幀產(chǎn)生模塊，包括一個幀產(chǎn)生模塊和一個幀接收校驗?zāi)K，同時提供回環(huán)測試邏輯；使用一個簡單的狀態(tài)機復(fù)位和配置PHY層芯片，準(zhǔn)備MAC用于以太網(wǎng)幀的收發(fā)；以太網(wǎng)包收發(fā)緩存FIFO模塊。

然而在進(jìn)行應(yīng)用設(shè)計時，必須對示例進(jìn)行如下修改才能用于用戶設(shè)計實現(xiàn)：修改Clock Generation模塊，將差分時鐘緩沖器模塊移到TEMAC封裝模塊外部實現(xiàn)；移除基本模擬幀發(fā)生器模塊；添加頂層封裝所需的IO接口(AXI4-Stream接口)。修改后的TEMAC IP封裝模塊的原理圖符號如圖4所示。

圖4 TEMAC IP封裝模塊原理圖符號

在TMEAC IP工作于1 000 Mbit·s-1波特率時，與用戶邏輯相關(guān)的重要時鐘信號有：發(fā)送時鐘GTXCLK，該時鐘是由FPGA芯片外部差分晶振產(chǎn)生的差分時鐘經(jīng)過FPGA內(nèi)部的差分時鐘緩沖模塊后產(chǎn)生，頻率為125 MHz；接收時鐘RXCLK，該時鐘由PHY芯片從接收的以太網(wǎng)幀解析出來后經(jīng)FPGA內(nèi)的時鐘緩沖模塊獲得，頻率同樣為125 MHz。由于TEMAC封裝中使用了收發(fā)FIFO模塊，發(fā)送FIFO模塊的寫時鐘和接收數(shù)據(jù)FIFO的讀時鐘使用了同一個時鐘信號，將其定義為USER_SIDE_CLK，頻率為125 MHz，將其用于TEMAC封裝的數(shù)據(jù)收發(fā)控制時鐘。

3.3 基于TEMAC的收發(fā)模塊設(shè)計

在FPGA向網(wǎng)絡(luò)中傳輸監(jiān)控視頻數(shù)據(jù)時，由發(fā)送模塊完成，其邏輯實現(xiàn)由以下兩部分組成。

(1)ARP響應(yīng)部分。當(dāng)遠(yuǎn)端PC訪問FPGA，使用UDP/IP協(xié)議幀發(fā)出指令要求FPGA向其傳輸視頻數(shù)據(jù)時，首先會檢查本機ARP緩存表，如果緩存表內(nèi)沒有該FPGA相應(yīng)的IP-MAC地址映射信息，就會向網(wǎng)絡(luò)中發(fā)送ARP廣播請求，用以獲知FPGA所處網(wǎng)絡(luò)節(jié)點的MAC地址(MAC地址信息在FPGA內(nèi)部配置，其信息固定)。FPGA收到ARP請求后，如果目的IP地址(即FPGA處IP地址)信息正確，則由ARP響應(yīng)負(fù)責(zé)向PC回復(fù)一個ARP應(yīng)答包；

ARP響應(yīng)邏輯中，傳給TEMAC封裝模塊的ARP應(yīng)答信息分組內(nèi)容如表1所示。其中Destination內(nèi)容為FC-AA-14-A4-A6-D9，即測試時使用的PC的MAC地址；Sender MAC Address為00-0A-35-01-02-03，即FPGA網(wǎng)絡(luò)節(jié)點的MAC地址，其中00-0A-35為網(wǎng)絡(luò)設(shè)備號，代表Xilinx公司，后3個Byte由設(shè)計者自定義；Sender IP Address為設(shè)計者自定義的IP地址，一般與PC設(shè)置在同一網(wǎng)關(guān)內(nèi)。TEMAC封裝模塊會在ARP應(yīng)答信息前面加上8個Byte的幀前導(dǎo)字符，在其后面加上18個Byte的PAD字符和4個Byte的FCS字符，最后通過GMII接口傳給PHY芯片；

表1 ARP應(yīng)答信息分組

(2)UDP封裝部分。該部分邏輯是將緩存在兩塊FIFO中的圖像數(shù)據(jù)以乒乓的形式讀出，并且將其封裝，即在一行圖像數(shù)據(jù)的前面依次加上以太網(wǎng)幀頭信息字段(14 Byte，由目的MAC地址、源MAC地址、IP類型字段組成)、IP報頭首部字段(20 Byte)和UDP報頭首部字段(8 Byte)，然后將封裝的TEMAC數(shù)據(jù)包傳給TEMAC封裝模塊進(jìn)行最后的封裝傳至PHY芯片。UDP/IP協(xié)議的數(shù)據(jù)傳輸實現(xiàn)可以分為兩個部分：一是從上層到下層的封裝過程；二是由下層至上層的拆分過程。UDP/IP以太網(wǎng)幀數(shù)據(jù)封裝流程如圖5所示。

圖5 UDP/IP以太網(wǎng)幀數(shù)據(jù)封裝流程框圖

在PC通過網(wǎng)絡(luò)向FPGA傳輸指令時，F(xiàn)PGA內(nèi)接收和解析協(xié)議幀的功能由TEMAC接收模塊完成。TEMAC接收硬件功能模塊實現(xiàn)流程如圖6所示。其邏輯實現(xiàn)分為兩部分：一是解析幀，判斷數(shù)據(jù)包是否是ARP請求包，如果是，則將數(shù)據(jù)包中的PC的MAC地址、IP地址信息存儲在設(shè)定的寄存器數(shù)組中，如果不是，則返回起始狀態(tài)繼續(xù)等待；二是判斷數(shù)據(jù)包是否是UDP包，如果是，則接收保存PC應(yīng)用程序的端口號和用戶數(shù)據(jù)部分，否則返回起始狀態(tài)繼續(xù)等待下一幀的到來。

圖6 TEMAC接收模塊實現(xiàn)流程圖

4 設(shè)計驗證

UDP幀的測試可以通過FPGA向PC發(fā)送一定量的數(shù)據(jù)包，在PC端查看接收到的UDP包的個數(shù)以及UDP包內(nèi)數(shù)據(jù)部分是否正確。試驗中對不同數(shù)量的數(shù)據(jù)包進(jìn)行測試，其統(tǒng)計結(jié)果如表2所示，丟包率極低，對高幀頻的監(jiān)控視頻圖像來說，幾乎沒有影響。使用千兆以太網(wǎng)和UPD協(xié)議傳輸視頻圖像數(shù)據(jù)，既滿足了高速傳輸?shù)男枨螅直ＷC了傳輸?shù)恼_率。

表2 UDP包測試結(jié)果統(tǒng)計

使用Wireshark查看其中一個UDP/IP協(xié)議以太網(wǎng)幀，如圖7所示。其協(xié)議字段如下：Ethernet II字段共14 Byte，包括目標(biāo)MAC地址、源MAC地址和幀類型；Internet Protocol字段共20 Byte，其中IP報頭檢查和校驗正確，說明PC接收的包正確，沒有出現(xiàn)錯位的現(xiàn)象；User Datagram Protocol字段為8 Byte，可以看到源端口號和目標(biāo)端口號以及長度字段；Data字段為傳輸?shù)囊恍袌D像數(shù)據(jù)，共有1 280 Byte。通過分析各個字段內(nèi)容，可以看到各個字段與所設(shè)計的FPGA內(nèi)的發(fā)送幀完全符合。

圖7 Wireshark查看一幀數(shù)據(jù)包

將紅外攝像頭采集到的變電站三相高壓接觸頭的監(jiān)控數(shù)據(jù)經(jīng)視頻傳輸平臺傳輸至PC機端進(jìn)行顯示。PC端測試程序使用VC++實現(xiàn)，發(fā)送指令表示向FPGA端發(fā)送短的UDP報文數(shù)據(jù)包，清除FIFO中緩存數(shù)據(jù)；顯示紅外視頻圖像如圖8所示。

圖8 高壓三相電觸頭溫度監(jiān)控顯示

5 結(jié)束語

本文采用單片高性能FPGA實現(xiàn)了基于TEMAC IP的千兆以太網(wǎng)圖像傳輸系統(tǒng)，實現(xiàn)了變電站內(nèi)圖像傳輸平臺與遠(yuǎn)端監(jiān)控主機之間的高速、連續(xù)、穩(wěn)定、可靠的數(shù)據(jù)傳輸。測試證明，千兆網(wǎng)系統(tǒng)的邏輯設(shè)計思想正確，并且傳輸速率完全達(dá)到要求。該系統(tǒng)在實時監(jiān)控和高速網(wǎng)絡(luò)通信等領(lǐng)域，有著良好的應(yīng)用前景。

[1] 龍俊飛.紅外熱成像技術(shù)及其在智能視頻監(jiān)控中的應(yīng)用[J].企業(yè)技術(shù)開發(fā),2015(2):48-48.

[2] 趙振兵,高強,李然,等.紅外測溫在變電站遠(yuǎn)程圖像監(jiān)控系統(tǒng)中的實現(xiàn)[J].電力系統(tǒng)通信,2005,26(4):27-28.

[3] 胡俊.基于以太網(wǎng)的變電站智能監(jiān)視監(jiān)控系統(tǒng)研究[D].西安:西安石油大學(xué),2014.

[4] 陳偉,郝曉弘,張帆.變電站嵌入式以太網(wǎng)通信平臺的設(shè)計與實現(xiàn)[J].電氣自動化,2010,32(3):60-63.

[5] 何宇航,黃鵬,井實.基于FPGA的智能變電站網(wǎng)絡(luò)報文處理裝置設(shè)計[J].工業(yè)控制計算機,2016,29(5):1-3.

[6] 楊貴,王文龍,熊慕文,等.千兆交換機在智能變電站的應(yīng)用探討[J].電氣技術(shù),2010(8):129-132.

[7] 陳喆,顧國華.基于千兆以太網(wǎng)的紅外熱像儀數(shù)據(jù)傳輸[J].激光與紅外,2012,42(1):41-44.

[8] 丁紹峰.千兆交換機在智能變電站中的應(yīng)用[J]. 南方農(nóng)機,2015,46(12):83-84.

[9] 石金成,張小輝,黃玉剛,等.基于FPGA的兩路千兆以太網(wǎng)光纖傳輸系統(tǒng)[J].光通信技術(shù),2013,37(7):15-17.

[10] Xilinx Inc.LogiCORE IP tri-mode ethernet MAC V5.5 porduct guide[M].USA:Xilinx Inc,2012.

[11] 崔鶴,劉云清,盛家進(jìn).基于FPGA的UDP/IP協(xié)議棧的研究與實現(xiàn)[J].長春理工大學(xué)學(xué)報:自然科學(xué)版,2014(2):133-137.

[12] 史鵬騰.基于千兆網(wǎng)的FPGA多通道數(shù)據(jù)采集系統(tǒng)設(shè)計[J].電子科技,2015,28(2):123-126.

[13] 韋宏,付友濤,孔凡鵬,等.基于FPGA的千兆以太網(wǎng)設(shè)計[J].現(xiàn)代電子技術(shù),2012,35(18):56-59.

[14] 趙文達(dá),趙建,曲鋒,等.嵌入式千兆網(wǎng)高清視頻傳輸系統(tǒng)設(shè)計[J].液晶與顯示,2014,29(3):383-388.

[15] 張誠,羅豐.基于千兆以太網(wǎng)的高速數(shù)據(jù)傳輸系統(tǒng)設(shè)計[J].電子科技,2011,24(1):44-46.

The Design of Gigabit Ethernet Transmission System Based on FPGA in Real Time Monitoring System of Substation

LI Wenhui，JIAN Xianzhong，XIAO Erliang

(School of Optical-Electrical and Computer Engineering,University of Shanghai for Science and Technology,Shanghai 200093,China)

For the problem of large amount of transmitting data in substation real-time monitoring system and the traditional transmission network has been unable to meet the demand of the total transmission bandwidth, the embedded Gigabit Ethernet video transmission system has been designed. The system uses the Artix-7 series FPGA chip of Xilinx company as the main controller to complete the data acquisition, processing and transmission control. When using the UDP/IP protocol frame to transmit the image data to remote monitoring system through the gigabit Ethernet, the packet loss rate is only 0.00125%. In the monitoring transmission test on high voltage equipment in substation, the maximum frame rate of stable video image transmission is up to 150 frames per second.

substation; gigabit ethernet; FPGA; UDP/IP

2017- 03- 09

中國科學(xué)院項目(30133020001)

李文輝(1990-)，男，碩士研究生。研究方向：嵌入式系統(tǒng)。簡獻(xiàn)忠(1969-)，男，博士。研究方向：新能源、嵌入式技術(shù)應(yīng)用等。肖兒良(1969-)，男，博士。研究方向：嵌入式系統(tǒng)等。

TN911

A

1007-7820(2018)01-016-04