李金鳳，施慧彬，楊定定

（南京航空航天大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，南京 210016）

引 言

隨著時(shí)代的發(fā)展，單核片上可編程系統(tǒng)SOPC（System On a Programmable Chip）解決復(fù)雜問(wèn)題的能力與處理速度已很難滿足用戶的需求，面向多處理器SOPC系統(tǒng)的設(shè)計(jì)成為片上系統(tǒng)發(fā)展的必然趨勢(shì)[1]。具有高密度、大容量邏輯的FPGA（Field Programmable Gate Array）的出現(xiàn)使得高性能片上多處理器的設(shè)計(jì)成為現(xiàn)實(shí)。目前，片上多核系統(tǒng)的設(shè)計(jì)已有一定發(fā)展，但在處理器間通信和中斷方面仍需進(jìn)一步的研究。本文在處理器間通信和中斷控制方面進(jìn)行了深入的研究。

MicroBlaze是一個(gè)被優(yōu)化過(guò)的可以在Xilinx公司FPGA中運(yùn)行的軟核處理器，可以和其他外設(shè)IP核一起完成可編程系統(tǒng)芯片的設(shè)計(jì)。它具有運(yùn)行速度快、占用資源少、可配置性強(qiáng)等優(yōu)點(diǎn)，廣泛應(yīng)用于通信、高端消費(fèi)市場(chǎng)等領(lǐng)域[2]。MicroBlaze處理器采用 RISC（Reduced Instruction Set Computer）指令集結(jié)構(gòu)和哈佛存儲(chǔ)結(jié)構(gòu)，指令、數(shù)據(jù)總線位寬均為32位。本文MicroBlaze處理器采用面積優(yōu)化，流水線分為3級(jí)，即取指、譯碼和執(zhí)行，減少了硬件開銷[3]。

1 系統(tǒng)設(shè)計(jì)

1.1 雙MicroBlaze SOPC系統(tǒng)結(jié)構(gòu)

雙MicroBlaze SOPC系統(tǒng)結(jié)構(gòu)圖如圖1所示。從圖1中可知，整個(gè)SOPC系統(tǒng)可以分為兩個(gè)處理器子系統(tǒng)。系統(tǒng)采用兩個(gè)PLB（Processor Local Bus）v46總線作為系統(tǒng)的通信結(jié)構(gòu)，所有的模塊都是直接或間接地連接到這兩個(gè)總線上[4]。兩個(gè)總線上均掛有用于處理器間通信和同步的核，即 Mailbox和Mutex，因此兩個(gè)處理器并不是完全獨(dú)立的。表1列出了SOPC系統(tǒng)包含的主要模塊。

表1中的BRAM有兩種用途：一是作為單個(gè)處理器的私有存儲(chǔ)器用來(lái)存儲(chǔ)指令和數(shù)據(jù)，它通過(guò)存儲(chǔ)器局部總線LMB與處理器相連；二是作為兩個(gè)處理器之間的共享存儲(chǔ)器（Shared Memory）用作通信模塊進(jìn)行數(shù)據(jù)傳輸。它所傳輸?shù)臄?shù)據(jù)量比Mailbox大很多，特別是在傳輸信息量大于千字節(jié)時(shí)，共享存儲(chǔ)器是最常用的通信模塊[5]。

圖1 雙MicroBlaze SOPC系統(tǒng)結(jié)構(gòu)圖

表1 SOPC系統(tǒng)的主要模塊

1.2 硬件設(shè)計(jì)

1.2.1 硬件結(jié)構(gòu)

圖1所示的SOPC系統(tǒng)的整體結(jié)構(gòu)不僅和處理器的數(shù)目有關(guān)，還和系統(tǒng)中模塊的配置及功能有關(guān)，外部存儲(chǔ)器和外圍設(shè)備的不同配置都會(huì)影響系統(tǒng)的結(jié)構(gòu)和功能[1]。具體如下：

①SOPC系統(tǒng)通過(guò)各自獨(dú)立的PLBv46總線隔離兩處理器子系統(tǒng)，可以確保兩個(gè)處理器系統(tǒng)在執(zhí)行各自的處理器事務(wù)時(shí)不會(huì)相互干擾。

② 共享模塊（例如MPMC），采用多端口結(jié)構(gòu)，這些多端口模塊使多個(gè)處理器在訪問(wèn)共享模塊時(shí)可以并行進(jìn)行。

③ 兩個(gè)獨(dú)立的 MicroBlaze處理器Mb＿0和 Mb＿1，通過(guò)共享部件連接在一起，這些共享部件使得兩個(gè) Micro－Blaze處理器之間以各種方式通信。

④此SOPC系統(tǒng)中有兩個(gè)MicroBlaze處理器軟核，其中任何一個(gè)MicroBlaze都可以靈活地被其他類型的處理器所代替，比如PowerPC，因此處理器的選擇是非常靈活的。

⑤兩個(gè)處理器可以共享互斥訪問(wèn)設(shè)備，比如串口UART、串行外設(shè)接口 SPI（Serial Periphieral Interface）等，這種情況需要在沒(méi)有直接連接此外設(shè)的總線和直接連接此外設(shè)的總線之間提供一個(gè)系統(tǒng)總線橋[6]。

⑥ 關(guān)鍵的外圍設(shè)備是外部存儲(chǔ)控制器MPMC，它最多提供8個(gè)端口，可以通過(guò)XCL（Xilinx Cache Link）連接處理器局部存儲(chǔ)器（BRAM），通過(guò)PLBv46總線連接到系統(tǒng)中，因此，可以將1～4個(gè)處理器同時(shí)連接到MPMC控制器上。

⑦ 兩個(gè)處理器之間的Mailbox和Mutex有簡(jiǎn)單通信的功能，主要體現(xiàn)在處理器之間的通信和同步上。

1.2.2 存儲(chǔ)器映像

當(dāng)程序沒(méi)有被加載或者運(yùn)行的時(shí)候，它以文件的形式存放在硬盤上。當(dāng)它被下載到MPMC內(nèi)存中的時(shí)候，系統(tǒng)會(huì)自動(dòng)從MPMC內(nèi)存中劃分出一段區(qū)域，用來(lái)將這個(gè)磁盤上的文件映射到內(nèi)存相應(yīng)的位置上。此時(shí)這塊內(nèi)存中的數(shù)據(jù)就是磁盤文件的一個(gè)拷貝。存儲(chǔ)器映像就是指和被加載的磁盤文件相對(duì)應(yīng)的一塊內(nèi)存區(qū)域。由于MPMC存儲(chǔ)器和外圍設(shè)備是統(tǒng)一編址的，兩者的地址范圍不可能重疊，因此直接或者間接連接到處理器上的外圍設(shè)備地址的分配決定了外部存儲(chǔ)器的地址空間[7]。

一般而言，當(dāng)多個(gè)處理器共用一條總線時(shí)，存儲(chǔ)器、外圍設(shè)備和共享元素是密不可分的，在本文設(shè)計(jì)的處理器系統(tǒng)中，每一個(gè)處理器都有自己獨(dú)立的系統(tǒng)總線，因此，所有的存儲(chǔ)器和外圍設(shè)備與共享元素都是分開的。也就是說(shuō)，不同總線上的相同外圍設(shè)備可以有相同的地址范圍。在每一個(gè)處理器子系統(tǒng)中，為了能夠運(yùn)行可執(zhí)行文件，對(duì)存儲(chǔ)器映像有一些要求。每個(gè)處理器都必須將自己的可執(zhí)行文件加載到各自私有的MPMC地址空間中，可執(zhí)行文件加載地址不能重疊。在私有存儲(chǔ)器里必須有各自的復(fù)位和中斷存儲(chǔ)器映像，這種私有存儲(chǔ)器可以通過(guò)本地存儲(chǔ)器接口（XCL）或者PLBv46總線接口連接起來(lái)。一旦私有存儲(chǔ)器與其他總線連接完畢，XPS的地址發(fā)生器會(huì)為每一個(gè)MicroBlaze處理器子系統(tǒng)（包括外圍設(shè)備和存儲(chǔ)器）生成適當(dāng)?shù)刂贩秶拇鎯?chǔ)器映像。

1.2.3 處理器之間的通信與同步

在Xilinx SOPC系統(tǒng)設(shè)計(jì)中，常用的處理器之間的通信模塊是Shared Memory和 Mailbox，同步控制模塊是Mutex，調(diào)試模塊是 MDM[7]。

Shared Memory共有兩個(gè)通信端口，它通過(guò)存儲(chǔ)器控制端口分別連接到系統(tǒng)的兩條PLBv46總線上。系統(tǒng)通過(guò)處理器對(duì)Shared Memory模塊進(jìn)行讀寫操作完成通信。Shared Memory可以由片上本地存儲(chǔ)器或者外部存儲(chǔ)器構(gòu)成。當(dāng)信息傳輸量比較大時(shí)，Shared Memory的異步傳輸效率比較高，它支持零拷貝或者原狀信息隊(duì)列拷貝。

利用Mailbox也可以進(jìn)行處理器之間的通信[8]。關(guān)于Mailbox，有如下一些特征描述：

① Mailbox可以認(rèn)為是處理器之間的類似于TCP／IP的一個(gè)簡(jiǎn)單的通信協(xié)議。

② 處理器之間通過(guò)Mailbox通信有同步和異步之分：同步主要體現(xiàn)在處理器之間的通信上，接收者實(shí)時(shí)地讀取Mailbox中的數(shù)據(jù)；異步主要體現(xiàn)在處理器之間的中斷上，發(fā)送者通過(guò)Mailbox發(fā)送中斷信息給接收者，接收者收到中斷后反饋給發(fā)送者。

③ 每一個(gè)Mailbox核都有一個(gè)FIFO和一個(gè)雙端隊(duì)列，分別用來(lái)發(fā)送和接收信息，用戶可以根據(jù)自己的需要對(duì)它們的深度進(jìn)行配置，主要通過(guò)分布式的RAM或者BRAM來(lái)實(shí)現(xiàn)。

④ Mailbox共有兩個(gè)端口分別連接到系統(tǒng)的兩個(gè)總線上來(lái)實(shí)現(xiàn)處理器之間的通信。

⑤ Mailbox軟核比較適合傳輸信息量小于100字節(jié)的信息，發(fā)送者需要從本地或者外部存儲(chǔ)器拷貝整個(gè)信息到FIFO，然后，接收者同步地拷貝整個(gè)信息到自己的存儲(chǔ)器中，因此，Mailbox不適合傳輸信息量較大的信息，這些將會(huì)耗費(fèi)掉處理器的一些時(shí)鐘周期。

⑥ 處理器間的中斷是指一個(gè)處理器去中斷另一個(gè)處理器的行為，通過(guò)Mailbox的異步通信來(lái)實(shí)現(xiàn)，處理器發(fā)送中斷就是往Mailbox里寫入一個(gè)信息，然后Mailbox通過(guò)中斷控制器對(duì)接收者產(chǎn)生一個(gè)中斷，接收者收到中斷以后會(huì)反饋給發(fā)送者，當(dāng)Mailbox中沒(méi)有新的信息時(shí)，中斷為無(wú)效狀態(tài)。

本文在SOPC系統(tǒng)設(shè)計(jì)中，用到的同步控制模塊是Mutex[7]。此模塊主要有以下特點(diǎn)：

① 存儲(chǔ)器映像以后，Mutex寄存器的數(shù)量可配置這些寄存器中有分別存儲(chǔ)數(shù)據(jù)和處理器ID的區(qū)域，Mutex寄存器中的數(shù)據(jù)和ID分別通過(guò)Mutex進(jìn)行測(cè)試和設(shè)置。

② 復(fù)位時(shí)，Mutex的值變?yōu)?，它表示Mutex處于開鎖狀態(tài)（UNLOCK），并且其中的處理器ID號(hào)沒(méi)有賦值，當(dāng)Mutex處于鎖定狀態(tài)（LOCK）時(shí)，其中的值保持不變。

③ 處理器通過(guò)軟件賦值的方式將各自的處理器ID號(hào)寫入到相應(yīng)的Mutex寄存器中，從而獲得Mutex的使用權(quán)，當(dāng)兩個(gè)處理器同步訪問(wèn)Mutex寄存器時(shí)，每個(gè)處理器都會(huì)讀取Mutex寄存器中的值，然后和自己的ID號(hào)進(jìn)行比較，比較匹配的處理器才可訪問(wèn)Mutex寄存器，修改其中的數(shù)據(jù)。

MicroBlaze核通過(guò)處理器調(diào)試口與MDM（Microprocessor Debug Module）調(diào)試模塊相連[4]。調(diào)試模塊 MDM可以調(diào)試系統(tǒng)中的每一個(gè)處理器。MDM的特點(diǎn)如下：

① MDM的調(diào)試端口數(shù)目是可配置的，最多可以達(dá)到8個(gè)。

② MDM提供一個(gè)JTAG UART接口通向系統(tǒng)中的某個(gè)處理器，這個(gè)UART接口是通過(guò)PLBv46總線接口連接到處理器上的。

③ MDM不會(huì)自動(dòng)地調(diào)試每個(gè)處理器，用戶必須通過(guò)輸入調(diào)試命令來(lái)進(jìn)行選擇性的調(diào)試。

1.3 軟件設(shè)計(jì)

1.3.1 存儲(chǔ)器映像

為了保證每個(gè)處理器在執(zhí)行軟件部分時(shí)不發(fā)生沖突，必須對(duì)其存儲(chǔ)器進(jìn)行存儲(chǔ)器映像[8]。圖2是存儲(chǔ)器映像圖。

圖2 處理器的存儲(chǔ)器映像圖

從圖2中可以看出，用戶可以靈活地為兩個(gè)ELF文件分配適當(dāng)大小的存儲(chǔ)器空間作為ELF文件的映射地址范圍。由于boot（引導(dǎo)）存儲(chǔ)器不可以共享，所以ELF文件的boot部分（.vectors＊）被映射到私有存儲(chǔ)器中，它可以實(shí)現(xiàn)MicroBlaze處理器隨時(shí)調(diào)用，也可以引導(dǎo)ELF文件加載到DDR中。Heap和stack的范圍表示ELF文件在DDR中映像的存儲(chǔ)器大小。boot存儲(chǔ)器的大小表示boot部分所能引導(dǎo)的DDR的范圍。ELF文件的位置和輸出鏈接腳本的位置可以根據(jù)用戶的需求選擇。每個(gè)可執(zhí)行文件的存儲(chǔ)器映像地址都是通過(guò)編譯器來(lái)實(shí)現(xiàn)的，實(shí)現(xiàn)以后被傳到鏈接器，生成鏈接腳本[9]。

1.3.2 通信與同步

利用Shared Memory模塊通信是處理器之間最常用的通信方式。其通信接口函數(shù)如下：

利用Mailbox模塊可以實(shí)現(xiàn)處理器之間的信息傳遞和中斷。這在軟件設(shè)計(jì)中主要體現(xiàn)在以下代碼行中：

在軟件應(yīng)用設(shè)計(jì)中，兩個(gè)處理器之間的同步是通過(guò)Mutex Locks實(shí)現(xiàn)的，它的狀態(tài)有LOCK和 UNLOCK之分。Mutex狀態(tài)的操作主要體現(xiàn)在以下命令行中：

軟件的調(diào)試（debug）需要手工地選擇處理器，兩個(gè)處理器不可以同時(shí)調(diào)試[10]。在XMD Console中的調(diào)試命令主要有：

2 實(shí)驗(yàn)結(jié)果

本設(shè)計(jì)采用調(diào)試模塊分別對(duì)兩個(gè)處理器進(jìn)行調(diào)試，通過(guò)超級(jí)終端輸出測(cè)試結(jié)果。

2.1 Mailbox的測(cè)試結(jié)果

通過(guò)Mailbox可以實(shí)現(xiàn)處理器之間的中斷和通信。兩處理器首先通過(guò)交換字符串“helo BOY”的形式匯合（rendezvous），以此來(lái)證明兩個(gè)處理器的連接情況。在這里，每次發(fā)送的數(shù)據(jù)包為2 044字節(jié)，共發(fā)送了3個(gè)數(shù)據(jù)包，都能成功地發(fā)送。經(jīng)驗(yàn)證，每次發(fā)送的信息量最大為4 096字節(jié)，可以重復(fù)發(fā)送。

2.2 Mutex的測(cè)試結(jié)果

通過(guò)Mutex可以實(shí)現(xiàn)兩處理器的同步。當(dāng)兩個(gè)MicroBlaze處理器訪問(wèn)共享資源時(shí)，可以用Mutex核修改臨界區(qū)域里共享資源的值。臨界區(qū)域里的值是隨著處理器的訪問(wèn)而更新的。在沒(méi)有輸出時(shí)處理器會(huì)鎖定 Mutex核，有輸出時(shí)解鎖 Mutex核。同步使得控制臺(tái)的輸出結(jié)果正確可用，不會(huì)出現(xiàn)混亂的狀態(tài)。

2.3 Shared Memory的測(cè)試結(jié)果

通過(guò)Shared Memory實(shí)現(xiàn)處理器之間的通信。處理器0首先向共享存儲(chǔ)器中寫入一個(gè)32位的數(shù)據(jù)并設(shè)置一個(gè)共享flag表明數(shù)據(jù)可用，等待處理器1讀取這個(gè)數(shù)據(jù)。然后，處理器1從共享存儲(chǔ)器中讀取處理器0寫入的數(shù)據(jù)并設(shè)置一個(gè)共享flag表明它已經(jīng)讀取了這個(gè)數(shù)據(jù)。雙處理器會(huì)重復(fù)這樣的過(guò)程，直到達(dá)到所設(shè)置的最大數(shù)目12[8]。

編者注：實(shí)驗(yàn)測(cè)試結(jié)果圖略。

結(jié) 語(yǔ)

本文以MicroBlaze軟核為基礎(chǔ)，利用XPS作平臺(tái)來(lái)設(shè)計(jì)雙MicroBlaze處理器片上系統(tǒng)，此片上系統(tǒng)可以很好地實(shí)現(xiàn)兩軟核處理器間的通信和中斷功能，該系統(tǒng)在Xilinx公司的XUPV5－LX110T開發(fā)板上得到實(shí)現(xiàn)，在超級(jí)終端中得到驗(yàn)證。本設(shè)計(jì)的優(yōu)點(diǎn)是把處理器核之間的通信、中斷、同步放在了同一系統(tǒng)中進(jìn)行研究，深入研究了處理器之間的中斷控制。下一步要做的工作是更多核的片上系統(tǒng)設(shè)計(jì)和操作系統(tǒng)移植。

編者注：本文為期刊縮略版，全文見本刊網(wǎng)站www.mesnet.com.cn。

[1] Wayne Wolf.FPGA－Based System Design[M].北京：中國(guó)機(jī)械出版社，2004：5－13.

[2] Takeshi Kodaka，Keiji Kimura，Hironori Kasahara.Multigrain Parallel Processing for JPEG Encoding on a Single Chip Multiprocessor[C]／／International workshop on Innovative Architecture for Future Generation High－Performance，2002：57－63.

[3] Hristo Nikolov，Todor Stefanov，Ed deprettere.Efficient External Memory interface for Multiprocessor Platforms Realized on FPGA Chips[C]／／Field Programmable Logic and Applications International Conference，Amsterdam，2007：580－584.

[4] Jerraya A，A Franza，O Levy.Envisioning the Future for Multiprocessor SoC[J].Design ＆Test of Computers，2007，24（2）：174－183.

[5] Ravindran N，Satish Y.Jin K.An FPGA－based Soft Multiprocessor System for IPv4Packet Forwarding[C]／／International Conference on Field Programmable Logic and Applications（FPL），2005.8：487－492.

[6] Chris Rowen，Tensilica Inc.Fundamental Change in MPSoCs：A fifteen year outlook.MPSOC'03Workshop Proceedings[C]／／International Seminar on Application－Specific Multi－Processor SoC，2003：45－46.

[7] Paulin PG，Pilkington C，Langevin M.Parallel programming models for a multiprocessor SoC platform applied to networking and multimedia[J].IEEE Transactions on Very Large Scale Integration（VLSI）Systems，2006，14（7）：667－680.

[8] Ravindran K，Satish N，Yujia Jin.An FPGA－based soft multiprocessor system for IPv4packet forwarding[C]／／Field Programmable Logic and Applications，New York，2005.487－492.

[9] 趙鋒，馬迪銘，孫煒，等.FPGA上的嵌入式系統(tǒng)設(shè)計(jì)實(shí)例[M].西安：西安電子科技大學(xué)出版社，2008.

[10] 陳渝，韓超，康爍，等.嵌入式系統(tǒng)實(shí)踐教程[M].北京：機(jī)械工業(yè)出版社，2008：49－71.