杜慧敏， 王涌鋼， 李 濤

(西安郵電大學(xué) 電子信息工程學(xué)院， 陜西 西安 710121)

集成螢火蟲(chóng)2號(hào)GPU的片上系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)

杜慧敏， 王涌鋼， 李 濤

(西安郵電大學(xué) 電子信息工程學(xué)院， 陜西 西安 710121)

設(shè)計(jì)一個(gè)用于圖形處理的片上系統(tǒng)。該系統(tǒng)將LEON3處理器和螢火蟲(chóng)2號(hào)圖形處理器相結(jié)合，通過(guò)AHB總線互聯(lián)而成。主模塊LEON3處理器通過(guò)訪問(wèn)分配給各個(gè)從模塊地址空間，實(shí)現(xiàn)對(duì)從模塊的控制和主從模塊之間的數(shù)據(jù)通信。以O(shè)penVX內(nèi)核函數(shù)為測(cè)試用例，進(jìn)行功能驗(yàn)證和現(xiàn)場(chǎng)可編程邏輯陣列的驗(yàn)證。結(jié)果表明，該系統(tǒng)能夠正確讀寫(xiě)數(shù)據(jù)，快速實(shí)現(xiàn)圖像處理。

圖形圖像處理器；處理器；片上系統(tǒng)；現(xiàn)場(chǎng)可編程邏輯陣列;OpenVX

隨著各個(gè)領(lǐng)域?qū)D形處理性能要求的不斷提高，單純由微控制器對(duì)圖形處理的嵌入式系統(tǒng)已經(jīng)不能滿足人們的要求。

目前圖形處理主要通過(guò)軟件或者在圖形處理過(guò)程中對(duì)部分處理階段采用硬件加速來(lái)實(shí)現(xiàn)。文獻(xiàn)[1-2]通過(guò)軟件在ARM處理器對(duì)圖像壓縮編碼、圖像畸變校正、圖像平滑銳化、以及邊緣檢測(cè)等圖像算法進(jìn)行實(shí)現(xiàn)，該實(shí)現(xiàn)針對(duì)性較強(qiáng)，處理速度慢；文獻(xiàn)[3-5]通過(guò)軟件對(duì)圖形處理器進(jìn)行了功能建模，實(shí)現(xiàn)了圖形處理器的各個(gè)圖形管線階段的功能，其處理速度較慢；文獻(xiàn)[6-8]通過(guò)硬件實(shí)現(xiàn)了圖形處理器中三角形光柵化、圖形管線中幾何階段的剪裁、以及傳統(tǒng)固定流水線結(jié)構(gòu)的圖形處理器，但只是對(duì)圖像處理中某些階段進(jìn)行加速，整個(gè)圖形處理器的處理速度較慢，而且應(yīng)用范圍較窄。在嵌入式系統(tǒng)中加入專門的嵌入式圖形處理器芯片或是利用具備圖形加速引擎的片上系統(tǒng)(System on Chip,SoC)芯片來(lái)提高圖形繪制速度是研究的主要問(wèn)題之一[3]。

為了實(shí)現(xiàn)對(duì)圖形的快速處理，本文設(shè)計(jì)一個(gè)SoC系統(tǒng)，將LEON3[9-10]處理器和FireFly2圖形處理器[11-12]相結(jié)合，完成簇控制器以及與AHB總線接口轉(zhuǎn)化模塊的設(shè)計(jì)與實(shí)現(xiàn)。利用Modelsim完成功能仿真，并通過(guò)Vivado綜合實(shí)現(xiàn)，在包含Xilinx V7-2000t器件的FPGA開(kāi)發(fā)板上完成SoC系統(tǒng)的FPGA驗(yàn)證。

1 FireFly2 圖形處理器的結(jié)構(gòu)

FireFly2是一種新型的多態(tài)并行陣列結(jié)構(gòu)的圖形處理器，可以進(jìn)行線程級(jí)并行、數(shù)據(jù)級(jí)并行和操作級(jí)并行運(yùn)算，能高效實(shí)現(xiàn)圖形、圖像和數(shù)字信號(hào)處理任務(wù)[13-15]。它是由16個(gè)處理單元(Processing Element, PE)互聯(lián)構(gòu)成一個(gè)4×4的二維陣列簇(Cluster)。

簇的結(jié)構(gòu)如圖1所示，這種簇的結(jié)構(gòu)可以以平面結(jié)構(gòu)展開(kāi)，也可以構(gòu)成分層次(Hierarchical)結(jié)構(gòu)。

圖1 FireFly2的簇結(jié)構(gòu)

該結(jié)構(gòu)包含簇控制器、行列控制器、處理單元、路由器和線程管理器，各模塊具體實(shí)現(xiàn)功能如下。

(1)簇控制器(Cluster controller)：實(shí)現(xiàn)整個(gè)簇與外部的通信即實(shí)現(xiàn)數(shù)據(jù)和指令的初始化，數(shù)據(jù)回收；并協(xié)調(diào)實(shí)現(xiàn)整個(gè)簇實(shí)現(xiàn)單指令多數(shù)據(jù)(Single Instruction Multiple Data，SIMD)與多指令多數(shù)據(jù)(Multiple Instruction Multiple Data，MIMD)處理模式。

(2)行控制器(Row controller,RCi)：為每一行PE設(shè)計(jì)了一個(gè)行控制器，用來(lái)實(shí)現(xiàn)一行PE的SIMD運(yùn)算，線程管理的信息配置，PE的數(shù)據(jù)和指令初始化。

(3)列控制器(Column controller,CCi)：用來(lái)管理整個(gè)簇的存儲(chǔ)，實(shí)現(xiàn)數(shù)據(jù)的動(dòng)態(tài)加載和數(shù)據(jù)的回收。

(4)處理單元(processing element,PE)：該P(yáng)E具有以下特點(diǎn)：精簡(jiǎn)指令集(Reduced Instruction Set Computing，RISC)、四級(jí)流水線結(jié)構(gòu)、具有浮點(diǎn)運(yùn)算單元(Float Point Unit，F(xiàn)PU)、獨(dú)立的指令和數(shù)據(jù)cache(哈佛結(jié)構(gòu))、沒(méi)有寄存器操作，操作數(shù)的存取直接訪問(wèn)數(shù)據(jù)存儲(chǔ)等。

(5)路由器(Router)：實(shí)現(xiàn)路由通信。通過(guò)路由器(Router)和處理單元(PE)互聯(lián)組成一個(gè)4×4陣列，如圖1中虛線所示。其中還有一種通信為近鄰?fù)ㄐ?，各個(gè)PE之間進(jìn)行通信，如圖1中PE間的實(shí)線互聯(lián)。

(6)線程管理(Thread management)：實(shí)現(xiàn)線程間的切換，一個(gè)PE最多有8個(gè)活躍的線程，當(dāng)一個(gè)線程阻塞時(shí)，可以切換到其他線程去運(yùn)行，充分利用了處理單元的資源。

該結(jié)構(gòu)能夠?qū)崿F(xiàn)4種運(yùn)行模式，分別為SIMD運(yùn)行模式、MIMD運(yùn)行模式、分布式指令并行模式及流處理運(yùn)行模式，可以實(shí)現(xiàn)多種任務(wù)的混合計(jì)算，提高系統(tǒng)性能。

2 SoC系統(tǒng)整體結(jié)構(gòu)

SoC系統(tǒng)結(jié)構(gòu)主要包括LEON3處理器(主模塊)，F(xiàn)ireFly2 GPU(從模塊)，AHB/APB片上總線(總線兼容AMBA2.0[16]標(biāo)準(zhǔn))，串口調(diào)試模塊(RS232，Serial Dbg link)，JTAG調(diào)試模塊(主模塊)，存儲(chǔ)模塊(DDR3)以及顯示模塊(VGA，從模塊)等。整個(gè)SoC系統(tǒng)通過(guò)AHB/APB總線互聯(lián)而成。SoC系統(tǒng)整體結(jié)構(gòu)設(shè)計(jì)如圖2所示。

圖2 SoC系統(tǒng)結(jié)構(gòu)

該系統(tǒng)通過(guò)LEON3控制整個(gè)系統(tǒng)有序運(yùn)行，DDR3存儲(chǔ)LEON3的運(yùn)行程序和數(shù)據(jù)；JTAG和RS232 DBG將程序和數(shù)據(jù)加載到SoC系統(tǒng)中，同時(shí)可在系統(tǒng)運(yùn)行時(shí)進(jìn)行調(diào)試；VGA顯示處理后的圖像結(jié)果；AHB控制器模塊實(shí)現(xiàn)SoC系統(tǒng)高速設(shè)備的管理；APB控制器實(shí)現(xiàn)SoC系統(tǒng)低速設(shè)備的管理。

3 SoC系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

在SoC系統(tǒng)中，AHB總線和APB總線具有即插即用的特性。FireFly2在SoC系統(tǒng)主要實(shí)現(xiàn)數(shù)據(jù)的快速處理，將其定義為從模塊，LEON3作為主模塊來(lái)控制數(shù)據(jù)的讀寫(xiě)。

3.1 FireFly2中簇控制器的設(shè)計(jì)與實(shí)現(xiàn)

FireFly2簇的輸入輸出數(shù)據(jù)通道控制由簇控制器實(shí)現(xiàn)，其結(jié)構(gòu)如圖3所示。

圖3 簇控制器結(jié)構(gòu)

由圖3可知，簇控制器主要由1個(gè)數(shù)據(jù)接收控制模塊(RECV_CTRL)和1個(gè)數(shù)據(jù)發(fā)送控制模塊(SEND_CTRL)，4個(gè)FIFO(First Input First Output)和1個(gè)RAM存儲(chǔ)組成。

RECV_CTRL首先檢測(cè)FIFO0是否為空，如果不空，則讀取FIFO0中的數(shù)據(jù)并解析，如果是給簇控制器內(nèi)部發(fā)送數(shù)據(jù)，則將數(shù)據(jù)寫(xiě)入FIFO1,并由SEND_CTRL來(lái)控制下發(fā)；如果是SIMD指令，則將數(shù)據(jù)寫(xiě)到RAM存儲(chǔ)中；當(dāng)RECV_CTRL檢測(cè)到FIFO2不空時(shí)，則將FIFO2中的數(shù)據(jù)傳送到FIFO3中，并由上位機(jī)讀取FIFO3中的數(shù)據(jù)。

3.2 FireFly2與AHB總線接口設(shè)計(jì)與實(shí)現(xiàn)

FireFly2的數(shù)據(jù)讀寫(xiě)接口與AHB總線接口的轉(zhuǎn)化，由IO_Convert模塊實(shí)現(xiàn)。其接口框圖如圖4所示。

圖4 接口轉(zhuǎn)換模塊接口

LEON3通過(guò)32bit的地址去訪問(wèn)從設(shè)備,并由AHB controller解析地址來(lái)產(chǎn)生hsel_s信號(hào)，表示是否命中該設(shè)備；htrans信號(hào)表示主模塊的傳輸狀態(tài)，SoC系統(tǒng)中AHB總線使用的是NONSEQ非連續(xù)狀，表示單數(shù)據(jù)發(fā)送或者突發(fā)傳送的第一個(gè)數(shù)據(jù)傳送，此時(shí)，與之前發(fā)送的地址和數(shù)據(jù)無(wú)關(guān)；hburst信號(hào)表示批量傳送狀態(tài)，SoC系統(tǒng)中AHB總線使用的單數(shù)據(jù)傳送；hsize信號(hào)表示傳送數(shù)據(jù)的大小，用字節(jié)表示，由于FireFly2處理的數(shù)據(jù)都是32bit的數(shù)據(jù)，選擇4個(gè)字節(jié)的數(shù)據(jù)大小傳送。

圖5描述了AHB到FireFly2的接口轉(zhuǎn)換狀態(tài)轉(zhuǎn)移。

圖5 接口轉(zhuǎn)換狀態(tài)圖

在空閑(IDLE)狀態(tài)下，檢測(cè)讀寫(xiě)相關(guān)的信號(hào)，如果讀有效且fifo3_almost_empty_o為低，則轉(zhuǎn)到讀數(shù)據(jù)(RD)狀態(tài)進(jìn)行操作；如果檢測(cè)寫(xiě)信號(hào)有效且fifo0_almost_full_o為低，則轉(zhuǎn)換到寫(xiě)數(shù)據(jù)(WR)狀態(tài)進(jìn)行操作。否則，繼續(xù)轉(zhuǎn)到IDLE狀態(tài)。

在RD狀態(tài)下，通過(guò)讀地址和讀相關(guān)信號(hào)，讀取數(shù)據(jù)，讀取成功后返回okay信號(hào)，表示操作結(jié)束；讀取錯(cuò)誤時(shí)返回error給LEON3進(jìn)行處理。如果返回的是retry信號(hào)，則保持RD狀態(tài)等待重新發(fā)送讀操作的相關(guān)信息。

在WR狀態(tài)下，通過(guò)寫(xiě)地址和相關(guān)信號(hào)進(jìn)行寫(xiě)數(shù)據(jù)，寫(xiě)結(jié)束后返回okay信號(hào)，表示操作結(jié)束；寫(xiě)錯(cuò)誤時(shí)返回error給LEON3進(jìn)行處理。如果返回的是retry信號(hào)，則保持WR狀態(tài)等待重新發(fā)送寫(xiě)操作的相關(guān)信息。

通過(guò)簇控制器和IO_Convert模塊，可使FireFly2 GPU連接到AHB總線，與其他部件通過(guò)AHB總線互聯(lián)，形成SoC系統(tǒng)。

4 SoC系統(tǒng)測(cè)試與性能分析

利用OpenVX[17]內(nèi)核函數(shù)的測(cè)試用例，對(duì)設(shè)計(jì)的SoC系統(tǒng)進(jìn)行功能驗(yàn)證和FPGA驗(yàn)證。

4.1 Modelsim 功能仿真

通過(guò)接口轉(zhuǎn)化模塊，可將LEON3發(fā)送的寫(xiě)數(shù)據(jù)和讀數(shù)據(jù)命令發(fā)給FireFly2模塊。由FireFly2的簇控制器將數(shù)據(jù)初始化到其內(nèi)部各個(gè)部件或者從各部件中讀取。圖6是接口轉(zhuǎn)化模塊的功能仿真。

圖6 接口轉(zhuǎn)化模塊的仿真

由圖6可知，在hsel_s信號(hào)為高，hwrite_s信號(hào)為高，將數(shù)據(jù)寫(xiě)到相關(guān)的存儲(chǔ)地址下，其地址對(duì)應(yīng)的是FIFO0；同樣在讀數(shù)據(jù)時(shí)hsel_s信號(hào)為高，hwrite_s信號(hào)為低，將數(shù)據(jù)從相關(guān)存儲(chǔ)地址讀出，其地址對(duì)應(yīng)的是FIFO3，仿真結(jié)果顯示，能夠正確的給FireFly2中寫(xiě)數(shù)據(jù)，以及對(duì)該模塊的數(shù)據(jù)讀取。

4.2 FPGA驗(yàn)證

整個(gè)SoC硬件系統(tǒng)如圖7所示。

圖7 SoC系統(tǒng)

該系統(tǒng)包括上位機(jī)主要進(jìn)行程序的配置和加載；FPGA開(kāi)發(fā)板實(shí)現(xiàn)了SoC的硬件系統(tǒng)；顯示器完成了SoC系統(tǒng)計(jì)算結(jié)果的顯示。通過(guò)EMU[18](Emulation Platform Controller)加載LEON3mp.bit文件，同時(shí)用GRMON2[19]加載編譯過(guò)的OpenVX測(cè)試?yán)印?/p>

選擇測(cè)試用例中的圖像增強(qiáng)(accumulate_squared)和通道提取(channel_extracted)兩個(gè)內(nèi)核函數(shù)實(shí)現(xiàn)的圖像處理例子，在FPGA上進(jìn)行驗(yàn)證。FPGA驗(yàn)證結(jié)果如圖8和圖9所示。

(a) 原圖(b) 圖像增強(qiáng)結(jié)果

圖8 圖像增強(qiáng)的FPGA處理結(jié)果

(a) 原圖(b) 紅色通道

(c) 綠色通道 (d) 藍(lán)色通道

圖9 通道提取的FPGA處理結(jié)果

由圖8可以看出，圖8(b)比圖8(a)變亮。圖像增強(qiáng)主要實(shí)現(xiàn)了原始圖像數(shù)據(jù)與它本身數(shù)據(jù)平方的累加，屬于迭代算法，對(duì)原始圖像進(jìn)行增強(qiáng)處理。由圖9可見(jiàn)，通道提取主要實(shí)現(xiàn)圖像的顏色提取，由此可知系統(tǒng)對(duì)圖像處理的結(jié)果正確。

4.3 性能分析

通過(guò)FPGA綜合實(shí)現(xiàn)后資源占用情況如表1所示。

表1 資源占用情況

表1中塊RAM的資源占用率為49%，占用塊RAM的資源相對(duì)較多，而其他資源占用相對(duì)較少，這是由于Firefly2的一個(gè)主要特征是所用的存儲(chǔ)單元統(tǒng)一為片上存儲(chǔ)，對(duì)于FPGA片上存儲(chǔ)資源占用較多。資源占用滿足FPGA資源要求，系統(tǒng)的工作頻率為100MHz，可快速進(jìn)行圖形處理。

5 結(jié)束語(yǔ)

設(shè)計(jì)了集成LEON3和FireFly2的SoC系統(tǒng)，對(duì)FireFly2的簇控制器以及與AHB接口轉(zhuǎn)化模塊進(jìn)行了設(shè)計(jì)和實(shí)現(xiàn)。通過(guò)Modelsim功能仿真和FPGA驗(yàn)證，結(jié)果表明，接口轉(zhuǎn)化模塊的功能仿真與設(shè)計(jì)相符合，SoC系統(tǒng)處理圖像的結(jié)果正確。整個(gè)系統(tǒng)頻率為100MHz,資源占用率中塊RAM資源占用率為49%，其余資源占用較少，滿足FPGA器件對(duì)資源占用的要求，可快速進(jìn)行圖形處理。

[1] 蔣立豐.嵌入式圖像處理系統(tǒng)的設(shè)計(jì)與研究[D].上海：東華大學(xué),2013:30-42.

[2] 王學(xué)賓.基于ARM的嵌入式圖像處理技術(shù)的研究[D].天津：河北工業(yè)大學(xué),2013:28-40.

[3] 楊國(guó)東.嵌入式圖形處理器的研究與實(shí)現(xiàn)[D].濟(jì)南：山東大學(xué)，2010：29-41.

[4] 饒志恒.圖形處理器的圖形管線研究與實(shí)現(xiàn)[D].長(zhǎng)沙：湖南大學(xué),2011:34-43.

[5] 黃偉鈿.面向移動(dòng)平臺(tái)的3D圖形處理器的設(shè)計(jì)[D].廣州：華南理工大學(xué),2011:35-47.

[6] 黃銳.實(shí)時(shí)嵌入式圖形系統(tǒng)的三角光柵化研究與設(shè)計(jì)[D].上海：上海交通大學(xué),2008:33-45.

[7] 田兵.嵌入式圖形處理器裁剪引擎的設(shè)計(jì)[J].計(jì)算機(jī)與數(shù)字工程.2011,39(10):161-165.

[8] 譚顯強(qiáng).基于FPGA的3D圖形處理器IP核的設(shè)計(jì)與實(shí)現(xiàn)[D].南京：南京航空航天大學(xué),2010:30-50.

[9] Gaisler A. IP Library User’s Manual 1.3.7-B4144[S]. USA：Aeroflex Gaisler，2014.

[10] Gaisler A. IP Core User’s Manual 1.3.7-B4144[S]. USA:Aeroflex Gaisler, 2014.

[11] 韓俊剛.圖形處理器的歷史現(xiàn)狀和發(fā)展趨勢(shì)[J].西安郵電學(xué)院學(xué)報(bào)，2011，16(3):61-63.

[12] 李濤,楊婷,易學(xué)淵.螢火蟲(chóng)2:一種多態(tài)并行機(jī)的硬件體系結(jié)構(gòu)[J].計(jì)算機(jī)工程與科學(xué)，2014，12(2): 191-200.

[13] 李濤，肖靈芝.面向圖形和圖像處理的輕核陣列機(jī)結(jié)構(gòu)[J]. 西安郵電學(xué)院學(xué)報(bào)，2012，17(3): 41-47.

[14] 韓俊剛，姚靜，李濤，等.多態(tài)并行機(jī)上的3D圖形渲染[J].西安郵電大學(xué)學(xué)報(bào)，2015,20(2):1-6.

[15] 李濤，孫建，王鵬博.基于PAAG的OpenVX核心庫(kù)函數(shù)并行化實(shí)現(xiàn)[J].西安郵電大學(xué)學(xué)報(bào)，2015,20(2):7-10.

[16] ARM.AMBA Specification(Rev 2.0) [S]. United Kingdom: ARM,1999.

[17] Susheel Gautam, Erik Rainey. The OpenVx Specification1.0[S]. USA:Khronos Group,2014.

[18] DINI GROUP.EMU Software Manual[S]. USA:DINI GROUP,2011.

[19] Gaisler A.GRMON2 User’s Manual Version2.0.55 [S]. USA :Aeroflex Gaisler, 2014.

[責(zé)任編輯:祝劍]

An SoC design and implement which integrates Fire-fly2 GPU

DU Huimin, WANG Yonggang, LI Tao

(School of Electronic Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

A system on chip is designed in this paper for graphics processing. The system integrates FireFly2 GPU with LEON3 processors, and interconnects through AHB system bus. The master module LEON3 processor can access to each slave module by assigning address space, and control each slave module and data traffic among the main module and slave modules. OpenVX kernel is used as an assembly language in the test case to carry out functional simulation and FPGA verification. Results show that the system can correctly read and write data and quickly realize image processing.

GPU, CPU, SoC, FPGA, OpenVX

2014-12-01

國(guó)家自然科學(xué)基金重大項(xiàng)目(61136002);教育部科學(xué)研究計(jì)劃重點(diǎn)項(xiàng)目(2111180)

杜慧敏(1966-)，女，博士，教授，從事計(jì)算機(jī)體系結(jié)構(gòu)、計(jì)算機(jī)圖形、大規(guī)模集成電路的研究。E-mail: 228660529 @qq.com 王涌鋼(1988-) ，男，碩士研究生，研究方向?yàn)橛?jì)算機(jī)體系結(jié)構(gòu)、計(jì)算機(jī)圖形。E-mail:leopardwyg@163.com

10.13682/j.issn.2095-6533.2015.03.006

TN492

A

2095-6533(2015)03-0039-05