李紅兵

(中國電子科技集團公司第十研究所, 成都 610036)

0　引　言

目前，國內(nèi)二次雷達系統(tǒng)的顯控終端通常采用X86架構(gòu)CPU為核心的硬件平臺，對外數(shù)據(jù)交互通過千兆以太網(wǎng)或者PCIE接口，以完成雷達系統(tǒng)的控制、狀態(tài)顯示和人機交互等功能。[1]千兆以太網(wǎng)存在速率低、包開銷大、對處理器有特定要求等問題。PCIE總線形成樹形層級架構(gòu)，適合點對點通信，不支持多設(shè)備間數(shù)據(jù)交換功能。為了滿足二次雷達系統(tǒng)高速通信的需求，使用新的總線來替代原有的通信接口。

RapidIO總線是當(dāng)前廣泛應(yīng)用的一種嵌入式系統(tǒng)內(nèi)部互聯(lián)架構(gòu)，具有高帶寬、低延遲、支持多處理器等特征。它比千兆以太網(wǎng)提供更高的傳輸速率，比PCIE更適合組建平行通信網(wǎng)絡(luò)，能滿足當(dāng)前二次雷達系統(tǒng)中的數(shù)據(jù)傳輸需求。

本文在某型二次雷達系統(tǒng)的工程研制中設(shè)計并實現(xiàn)了Linux操作系統(tǒng)下PCIE to RapidIO橋芯片Tsi721的驅(qū)動程序，將RapidIO總線技術(shù)成功應(yīng)用于顯控終端，使得整個二次雷達系統(tǒng)形成基于RapidIO網(wǎng)絡(luò)的高速互聯(lián)架構(gòu)，提高了該雷達系統(tǒng)的作戰(zhàn)性能。

1　Tsi721橋芯片介紹

Tsi721是美國IDT公司生產(chǎn)的PCIE to RapidIO橋接芯片。它提供了在PCIE與RapidIO總線間進行協(xié)議無縫轉(zhuǎn)換的硬件解決方案。Tsi721芯片能夠?qū)?shù)據(jù)傳輸從PCIE總線轉(zhuǎn)換到RapidIO總線，或者相反從RapidIO總線轉(zhuǎn)換到PCIE總線，并保證數(shù)據(jù)傳輸在轉(zhuǎn)換過程中的高效性和可靠性。[2]通過Tsi721，可以設(shè)計一個系統(tǒng)以提供基于RapidIO的網(wǎng)絡(luò)連接性能，同時使用只有PCIE能夠支持的處理器結(jié)構(gòu)。圖1為Tsi721的功能框圖。

該芯片具有以下硬件特性：

◆ PCIE接口兼容PCIE 2.1規(guī)范，速率支持5/2.5Gbps，物理鏈路支持x4/x2/x1連接，12KB輸入輸出阻塞/非阻塞TLP緩存；

◆ RapidIO接口兼容RapidIO串行協(xié)議2.1規(guī)范，速率支持5/3.125/2.5/1.25Gbps，物理鏈路支持x4/x2/x1連接；

◆ 集成映射引擎，實現(xiàn)PCIE到RapidIO地址轉(zhuǎn)換(PC2SR)和RapidIO到PCIE地址轉(zhuǎn)換(SR2PC)；

◆ 集成消息引擎，實現(xiàn)PCIE接口與RapidIO接口之間的消息通信，包含8路輸出消息DMA通道和8路輸入消息DMA通道，消息中傳送的數(shù)據(jù)最大可達4 KB；

◆ 集成BDMA引擎，支持塊DMA傳輸，每個BDMA通道均以鏈?zhǔn)矫枋龇姆绞焦ぷ?，用于?shù)據(jù)包或維護包的讀寫訪問。

顯控終端使用Tsi721芯片實現(xiàn)RapidIO接口功能，使得顯控終端能通過RapidIO接口連接到圖2所示的二次雷達系統(tǒng)中。

該雷達系統(tǒng)以交換模塊為核心，顯控終端、信號處理、信息處理、綜控等各個模塊通過交換模塊連接在一起。每個模塊與交換模塊之間都存在一條單獨的x1 RapidIO通道。模塊通過唯一的節(jié)點ID來定位。節(jié)點間數(shù)據(jù)包傳輸采用RapidIO協(xié)議中的Nwrite和Nread命令。數(shù)據(jù)傳輸可以是點對點、廣播或者組播的形式。相比以太網(wǎng)或者PCIE總線的樹形架構(gòu)，該系統(tǒng)內(nèi)部通信方式更靈活，性能更高。

2　Tsi721驅(qū)動設(shè)計與實現(xiàn)

Linux內(nèi)核集成的RapidIO子系統(tǒng)驅(qū)動在內(nèi)核中形成了全局層、總線層和設(shè)備層共3層數(shù)據(jù)結(jié)構(gòu)，用于維護、管理RapidIO網(wǎng)絡(luò)中各節(jié)點的枚舉、地址分配、路由表建立、節(jié)點動態(tài)入網(wǎng)出網(wǎng)等。[3]內(nèi)核把Tsi721芯片虛擬為一個以太網(wǎng)設(shè)備，驅(qū)動通過RapidIO的message機制通信。這就要求RapidIO網(wǎng)絡(luò)上其他設(shè)備節(jié)點也通過message機制和Tsi721芯片通信。本文的二次雷達系統(tǒng)要求RapidIO網(wǎng)絡(luò)中各節(jié)點間采用Nwrite命令和Nread命令通信，這就不能滿足系統(tǒng)要求。因此本文借助Linux字符設(shè)備的驅(qū)動框架，將Tsi721芯片實現(xiàn)的RapidIO節(jié)點設(shè)計成為一個字符設(shè)備，對應(yīng)用層提供字符設(shè)備的讀寫訪問方式，驅(qū)動采用全局共享存儲器的方式實現(xiàn)Nwrite命令和Nread命令。[4]

Tsi721橋芯片驅(qū)動由PCIE設(shè)備驅(qū)動、Tsi721及RapidIO子系統(tǒng)配置及字符設(shè)備驅(qū)動部分組成。

2.1　Tsi721的PCIE設(shè)備驅(qū)動

PCIE總線是一種即插即用的總線，在Linux內(nèi)核的支持下，當(dāng)探測到設(shè)備以后能夠確定其總線號、設(shè)備號和功能號[5]，然后自動地為設(shè)備分配所需要的IO端口、內(nèi)存資源和中斷號。

如圖3所示，驅(qū)動作為模塊加載以后，tsi721_probe函數(shù)先根據(jù)Tsi721芯片的設(shè)備標(biāo)識Device ID(0x80A)和供應(yīng)商標(biāo)識Vendor ID(0x111D)遍歷內(nèi)核中PCIE設(shè)備鏈表，一一進行匹配。匹配之后，從pci_device結(jié)構(gòu)中獲取內(nèi)核分配給Tsi721芯片設(shè)備的資源。然后，調(diào)用函數(shù)pci_enable_device把Tsi721配置空間的Command域的bit 0和bit 1置成1，從而達到開啟該PCIE設(shè)備的目的，再調(diào)用函數(shù)pci_request_regions通知內(nèi)核該設(shè)備對應(yīng)的IO端口和內(nèi)存資源已經(jīng)使用。其他的PCIE設(shè)備不能再使用這個區(qū)域。調(diào)用pci_ioremap_bar把剛剛申請到得物理內(nèi)存映射成為虛擬內(nèi)存以供驅(qū)動訪問。再根據(jù)分配的中斷號調(diào)用函數(shù)reques_irq掛載中斷服務(wù)程序，中斷服務(wù)程序處理BDMA中斷、doorbell中斷和message中斷等。

2.2　Tsi721及RapidIO子系統(tǒng)配置

Tsi721作為PCIE設(shè)備初始化完成以后，驅(qū)動就可以通過PCIE的配置空間訪問Tsi721芯片內(nèi)部的寄存器，以完成芯片的其他初始化工作。如圖4所示，函數(shù)tsi721_init_pc2sr_mapping和tsi721_init_sr2pc_mappin實現(xiàn)PC2SR和SR2PC引擎的初始化，逐一配置8個輸出、輸入窗口。然后，驅(qū)動調(diào)用tsi721_bdma_maint_init初始化塊DMA通道，申請DMA緩存為每個通道建立鏈?zhǔn)矫枋龇糜诰S護包的讀寫訪問。tsi721_doorbell_init函數(shù)使能輸入doorbell的接收，建立doorbell接收緩存隊列。函數(shù)tsi721_messages_init配置消息請求和相應(yīng)的超時時間，清除上電中斷標(biāo)志位及狀態(tài)位。tsi721_setup_mport函數(shù)向RapidIO子系統(tǒng)注冊Tsi721作為RapidIO網(wǎng)絡(luò)的管理端口。函數(shù)rio_request_inb_dbell注冊doorbell的回調(diào)函數(shù)，用于收到doorbell之后的處理。驅(qū)動最后調(diào)用函數(shù)rio_map_inb_region映射dma_alloc_coherent申請的DMA緩存區(qū)到RapidIO子系統(tǒng)，用于全局共享存儲器的方式實現(xiàn)Nwrite命令和Nread命令。

2.3　Tsi721字符設(shè)備驅(qū)動

Linux系統(tǒng)字符設(shè)備是能夠像字節(jié)流一樣被訪問的設(shè)備，即對數(shù)據(jù)的讀寫是以字節(jié)為單位的，應(yīng)用程序通過字符設(shè)備文件(比如/dev/xyz)來訪問對應(yīng)的硬件設(shè)備。[6]Tsi721字符設(shè)備驅(qū)動設(shè)計包括字符設(shè)備初始化及文件操作函數(shù)(open、close、read、write 等標(biāo)準(zhǔn)系統(tǒng)調(diào)用)的實現(xiàn)。

Tsi721字符設(shè)備的初始化步驟如5所示。先調(diào)用cdev_init函數(shù)初始化一個字符設(shè)備tsi721_cdev，并注冊其操作函數(shù)結(jié)構(gòu)體tsi721_file_operations，然后調(diào)用alloc_chrdev_region為該字符設(shè)備動態(tài)分配“主設(shè)備號”和“次設(shè)備號”，再調(diào)用cdev_add函數(shù)向內(nèi)核中增加該字符設(shè)備tsi721_cdev，驅(qū)動最后調(diào)用class_create( )函數(shù)和device_create( )函數(shù)，在sysfs中注冊該字符設(shè)備自己的class以及在/dev目錄下創(chuàng)建一個tsi721的設(shè)備文件，當(dāng)系統(tǒng)啟動時udev能自動產(chǎn)生相應(yīng)的設(shè)備節(jié)點/dev/tsi721_rio。驅(qū)動中實現(xiàn)的字符設(shè)備文件操作函數(shù)如圖6所示。

(1) tsi721_dev_read讀函數(shù)

static ssize_t tsi721_dev_read(struct file *filp, char __user *buf, size_t size, loff_t *ppos)

當(dāng)二次雷達系統(tǒng)中信號處理模塊、信息處理模塊或綜控模塊通過RapidIO寫入數(shù)據(jù)到顯控終端的內(nèi)存中后，通過“門鈴”消息機制通知顯控終端，驅(qū)動程序從本地內(nèi)存中讀取數(shù)據(jù)，然后調(diào)用copy_to_user( )將size個內(nèi)核數(shù)據(jù)復(fù)制到用戶空間buf中。

(2) tsi721_dev_write讀函數(shù)

static ssize_t tsi721_dev_write(struct file *filp, const char __user *buf, size_t size, loff_t *ppos)

驅(qū)動程序調(diào)用copy_from_user( )從用戶空間buf中將size個數(shù)據(jù)拷貝到內(nèi)核地址空間，然后調(diào)用tsi721_nwrite( )函數(shù)啟動BDMA向其他RapidIO節(jié)點的內(nèi)存中寫入數(shù)據(jù)。

(3) tsi721_dev_open函數(shù)

static int tsi721_dev_open(struct inode *inode, struct file *filp)

設(shè)備打開函數(shù)，該函數(shù)主要實現(xiàn)獲取設(shè)備資源信息。

(4) tsi721_dev_ioctl函數(shù)

static long tsi721_dev_ioctl(struct file *filp, unsigned int cmd, unsigned long arg)

該函數(shù)提供設(shè)備相關(guān)控制命令的實現(xiàn)，如命令RIO_LC_WRITE(本地配置寫Tsi721寄存器)、RIO_LC_READ(本地配置讀Tsi721寄存器)、RIO_DBELL_TX(門鈴發(fā)送)、RIO_DBELL_RX(門鈴接收)、RIO_LOCAL_ID_SET(本地RapidO節(jié)點ID設(shè)置)。

(5) tsi721_dev_release函數(shù)

static int tsi721_dev_release(struct inode *inode, struct file *filp)

設(shè)備釋放函數(shù)，該函數(shù)釋放注冊的中斷資源等。

(6) 驅(qū)動測試

Tsi721驅(qū)動以內(nèi)核模塊的形式編譯及加載[7]，以方便對驅(qū)動程序的修改和測試，最后為該驅(qū)動程序編寫1個簡單的Makefile文件：

obj-m=tsi721.o

KVERSION=$(shell uname-r)

all:

make-C/lib/modules/$(KVERSION)/build M=$(PWD) modules

clean:

make-C/lib/modules/$(KVERSION)/build M=$(PWD) clean

在控制臺窗口使用insmod tsi721.ko命令將裝載該驅(qū)動。

3　驅(qū)動性能測試

測試平臺見圖2。RapidIO網(wǎng)絡(luò)的速率為2.5 GHz，物理連接方式為x1。顯控終端分別安裝windows 7操作系統(tǒng)和基于Linux內(nèi)核的Centos 7操作系統(tǒng)。windows平臺下Tsi721的驅(qū)動由芯片廠家IDT公司提供。Centos平臺下驅(qū)動由自己開發(fā)，分別測試在不同操作系統(tǒng)平臺下RapidIO網(wǎng)絡(luò)的通信速率。

模塊間通信速率主要取決于Tsi721芯片的BDMA傳輸速度及內(nèi)存讀寫速度，二者均受到硬件條件限制。測試用數(shù)據(jù)包大小分別設(shè)置為4、8、16、32、64、128、256、512 KB和1 MB。測試流程如圖7所示。顯控終端使用Nwrite命令類型發(fā)送數(shù)據(jù)，經(jīng)過交換模塊寫入綜控模塊的內(nèi)存中。寫入數(shù)據(jù)前后分別記錄當(dāng)前的系統(tǒng)時間，然后根據(jù)時間和數(shù)據(jù)包大小計算出寫速率。使用Nread命令類型從綜控模塊的內(nèi)存中讀取數(shù)據(jù)，讀取數(shù)據(jù)前后分別記錄當(dāng)前的系統(tǒng)時間，然后根據(jù)時間和數(shù)據(jù)包大小計算出讀速率。測試結(jié)果見表1。從表1可以看出，基于Linux內(nèi)核的顯控終端通信速率遠(yuǎn)高于基于windows系統(tǒng)的顯控終端。

表1　通信速率對比結(jié)果　(MByte/s)

4　結(jié)束語

經(jīng)過測試，基于Linux系統(tǒng)開發(fā)的Tsi721橋芯片驅(qū)動程序?qū)崿F(xiàn)了RapidIO通信的主要功能，通信速率相比windows系統(tǒng)下有明顯提升。該驅(qū)動程序已經(jīng)成功應(yīng)用于某型號二次雷達顯示終端中，取得了良好的經(jīng)濟、社會效益。X86+Linux的構(gòu)架為各種嵌入式顯示應(yīng)用提供了一個友好的開發(fā)平臺。本文基于模塊化開發(fā)的驅(qū)動程序可以廣泛應(yīng)用于其他基于Linux內(nèi)核的X86平臺上。