崔炳喆 ， 楊士義

（1.中國空空導彈研究院 河南 洛陽 471009；2.航空制導武器航空科技重點實驗室，河南 洛陽 471009；3.駐中國空空導彈研究院軍事代表室，河南 洛陽 471009）

雷達成像信號處理的特點是運算復雜，數(shù)據(jù)量大，要求系統(tǒng)在進行快速運算的同時能進行大數(shù)據(jù)量的快速傳輸和存儲[1]。I/O技術在高性能計算的發(fā)展過程中始終是一個十分關鍵的技術。

PCI Express總線基于串行總線高速互連，比普通并行I/O技術有著更為領先的帶寬優(yōu)勢，被廣泛地認為是一項革命性的總線技術，其重要性可以滿足不同使用者的需求。本文將詳細討論基于PCIE總線的信號處理板卡的數(shù)據(jù)傳輸設計，主要包括DSP互連，DSP與FPGA通信，PCIE接口設計以及總線驅(qū)動程序的開發(fā)。

1 基于PCIE總線的數(shù)字信號處理機介紹

本系統(tǒng)是一個通用的基于PCIE總線的雷達成像數(shù)字處理機，板卡功能框圖如圖1所示 。4片DSP之間通過高速鏈路口實現(xiàn)點對點互連，實現(xiàn)1GB/s的全雙工帶寬。同時每個DSP又分別通過鏈路口與FPGA互連，構成一個分布式系統(tǒng)。系統(tǒng)采用4片ADI公司生產(chǎn)的TS201芯片進行主要的數(shù)據(jù)處理工作，配以高性能的 Xilinx Virtex-5芯片（XC5VLX110T），實現(xiàn)對數(shù)據(jù)的高速預處理。每片DSP配備容量為256MB的SDRAM。系統(tǒng)通過FPGA芯片內(nèi)嵌的PCIE IPcore實現(xiàn)與主機的通信。

圖1 板卡功能框圖Fig.1 Function diagram of board

2 DSP與FPGA互連接口設計

2.1 互連及數(shù)據(jù)通信方法

首先，采用DSP高速鏈路口實現(xiàn)DSP點對點連接，TS201芯片采用全雙工模式，當處理器內(nèi)核工作在500 MHz時，鏈路口最高也可工作在500 MHz，每個鏈路口的雙向吞吐率可以達到1 GB/s，實現(xiàn)了點對點的高速傳輸。任意兩片DSP之間都通過鏈路口連接，使得DSP之間傳遞數(shù)據(jù)變得靈活，使程序設計變得簡單。另外，每塊DSP通過一個鏈路口與FPGA互連，在數(shù)據(jù)傳輸不沖突的情況下，F(xiàn)PGA可以同時與多片DSP通信，實現(xiàn)FPGA和DSP的高速數(shù)據(jù)交換。

2.2 接口設計原理與實現(xiàn)

由于系統(tǒng)中DSP之間實現(xiàn)了點對點互連，接口的設計主要涉及到DSP和FPGA之間的時序電路開發(fā)。TS201有4個鏈路口，鏈路口采用全雙工模式，每個鏈路口有兩個獨立的DMA通道可以同時進行通信[2]。每個通道用LxCLKOUTP/N，LxACKI，LxCLKINP/N和LxACKO控制數(shù)據(jù)傳輸，LxBCMPI和LxBCMP用于指示現(xiàn)行緩沖器發(fā)送是否完成。利用鏈路口傳輸數(shù)據(jù)時，數(shù)據(jù)幀的開始是由時鐘的上升沿來指示的，在時鐘上升沿和下降沿分別傳送數(shù)據(jù)[3-4]。由于鏈路口具有收發(fā)兩個模塊，所以FPGA需要在內(nèi)部實現(xiàn)收發(fā)兩個模塊來與DSP的兩個模塊相對應。

依照鏈路口通信協(xié)議，F(xiàn)PGA向DSP發(fā)送數(shù)據(jù)時的鏈路口發(fā)送時鐘是由內(nèi)部鎖相環(huán)產(chǎn)生的，接收DSP傳送的數(shù)據(jù)時的接收時鐘由DSP的隨路時鐘提供。鏈路口時鐘、數(shù)據(jù)信號線均使用LVDS電平標準進行連接，ACK和BCMP信號則采用單端的方式連接至FPGA。

FPGA內(nèi)部邏輯主要包括接收/發(fā)送模塊和接收/發(fā)送緩沖。接收模塊與DSP的鏈路口發(fā)送端連接，發(fā)送模塊與DSP的接收端連接，在FPGA和DSP通信時這兩個模塊可以對數(shù)據(jù)分別進行打包和拆包處理。接收/發(fā)送緩沖則用來配合接收/發(fā)送模塊，在傳輸數(shù)據(jù)時用來緩沖數(shù)據(jù)。

FPGA與DSP之間傳輸數(shù)據(jù)時發(fā)送方先要將數(shù)據(jù)傳送給鏈路口發(fā)送模塊緩沖（一個異步FIFO），接收方控制模塊檢測到LxACKI為高并且FIFO內(nèi)至少有一個4字數(shù)據(jù)塊的數(shù)據(jù)時，雙方握手完成，啟動數(shù)據(jù)傳輸，否則繼續(xù)等待。一個數(shù)據(jù)移位控制模塊使數(shù)據(jù)按照鏈路口通信協(xié)議的標準進行排列后傳送給DDIO模塊產(chǎn)生DDR數(shù)據(jù)，另一個DDIO宏單元則是用來產(chǎn)生同步的時鐘。發(fā)送模塊的仿真波形如圖2所示。

3 PCIE 驅(qū)動程序開發(fā)

3.1 WDM 驅(qū)動程序的開發(fā)介紹

WDM是微軟全力推出的一種設備驅(qū)動程序模型，相對于 KDM （Kernel Driver Model），WDM 增加了對即插即用（pnp）、電源管理等新的硬件標準的支持。

WDM的分層結構有利于系統(tǒng)的設計、擴展和驅(qū)動程序的開發(fā)。采用DriverStudio來開發(fā)運行在Windows XP下的WDM模式PCIE設備驅(qū)動程序（用DriverWorks編寫代碼，用DriverMonitor和SoftICE調(diào)試驅(qū)動[5]。DriverWorks對Windows DDK的類進行了很好的封裝，因此在開發(fā)WDM驅(qū)動程序時，DriverWorks向?qū)Мa(chǎn)生驅(qū)動框架，開發(fā)人員只需選擇合適的例程即可，因此可以在較短的時間內(nèi)開發(fā)出效率較高的驅(qū)動程序。

一個WDM驅(qū)動程序的功能模塊一般由初始化、創(chuàng)建和刪除設備、即插即用處理、訪問硬件、處理Win32 I/O及控制請求、調(diào)用其他驅(qū)動程序等組成。

3.2 應用程序和驅(qū)動程序的通信方法

應用程序可以用標準的Win32API函數(shù)與驅(qū)動程序建立通信。在應用程序中首先用設備GUID接口或符號鏈接名打開設備，實際上應用程序調(diào)用了Win32API函數(shù)CreateFile。若成功打開將返回設備的有效句柄，應用程序獲得有效句柄后就可以和驅(qū)動程序交換數(shù)據(jù)。打開設備后應用程序可以用函數(shù)DeviceIoControl與驅(qū)動程序通信，這個函數(shù)包括從驅(qū)動程序讀數(shù)據(jù)和寫數(shù)據(jù)。完成硬件操作后用CloseHandle函數(shù)關閉該設備。

圖2 鏈路口發(fā)送端仿真波形Fig.2 Simulation waveform on the sender of link port

3.3 PCI Express總線介紹

PCIE總線是Intel公司提出的第3代I/O總線。PCIE總線采用雙工串行傳輸模式，速度快，低功耗，擴展靈活，軟件層與PCI兼容，具有數(shù)據(jù)包和層協(xié)議架構[6]。

PCI Express協(xié)議定義了4層結構：物理層，數(shù)據(jù)鏈路層和事務處理層，軟件層[7]。PCI Express系統(tǒng)體系結構如圖3所示。每個層次按照協(xié)議中規(guī)定的內(nèi)容，完成相應的數(shù)據(jù)處理功能。PCIE軟件層保持與PCI總線兼容，軟件兼容包括器件的初始化、自動配置和器件的運行。事務處理層接收來自軟件層或應用層的讀寫請求，并構造響應數(shù)據(jù)包并傳給數(shù)據(jù)鏈路層。數(shù)據(jù)鏈路層的主要作用是確保數(shù)據(jù)鏈路包在數(shù)據(jù)鏈路層上的可靠傳送。物理層負責接口和設備間的連接，它在兩個PCI Express模塊之間的鏈路層間傳輸數(shù)據(jù)包。

3.4 驅(qū)動開發(fā)實例

3.4.1 PCIE接口模塊

圖3 PCIExpress體系結構Fig.3 Architecture of PCI Express

PCI Express接口模塊通過調(diào)用IP核技術實現(xiàn)，它接口模塊的結構[8]如圖4所示。PCI Express通信協(xié)議以及DMA的實現(xiàn)等是在FPGA內(nèi)實現(xiàn)的，整個模塊用到了Hard IP核和DMA IP核。

圖4 PCI Express接口模塊整體結構Fig.4 Overall Architecture of interface module of PCI Express

Hard IP核用來處理PCI Express協(xié)議相關的事務；DMA IP核用作DMA控制器；DMA控制器通過控制與DMA相關的寄存器，設定讀寫操作的地址范圍和大小，來完成DMA數(shù)據(jù)讀寫操作。DMA管理模塊控制兩個獨立的DMA通道，分別用來從主機內(nèi)存讀取數(shù)據(jù)和將數(shù)據(jù)寫入主機內(nèi)存。

3.4.2 DMA模式讀寫過程

為提高主機和板卡之間的數(shù)據(jù)傳輸速率，并保證數(shù)據(jù)的不丟失，采用DMA傳輸?shù)姆绞?。DMA方式的工作原理圖5所示。

圖5 DMA方式的工作原理Fig.5 Working principle of DMA mode

板卡的FPGA芯片中有DMA控制器。它提供了2個獨立的DMA通道用于從主機到設備和從設備到主機的數(shù)據(jù)傳輸。

DMA寫操作，即設備將數(shù)據(jù)向上傳輸?shù)街鳈C中，當數(shù)據(jù)到來的時候，它將FIFO中的數(shù)據(jù)直接寫到服務器的內(nèi)存空間，并產(chǎn)生一個DMA中斷通知驅(qū)動程序，驅(qū)動程序收到中斷后調(diào)用中斷響應函數(shù)來處理內(nèi)存空間的數(shù)據(jù).。

DMA讀操作，即主機將數(shù)據(jù)向下傳輸?shù)皆O備中，傳輸卡直接從服務器的內(nèi)存空間將數(shù)據(jù)讀取到FIFO中。服務器中用于DMA讀寫的內(nèi)存空間由驅(qū)動程序初始化DMA操作時分配，PCI Express驅(qū)動程序利用這段內(nèi)存空間直接與傳輸卡進行DMA通信。

4 結束語

開發(fā)的多DSP雷達信號處理板卡傳輸效率高、擴展靈活。用DriverStudio所開發(fā)的DMA模式PCIE驅(qū)動程序通用性好，并且驅(qū)動運行穩(wěn)定，保證了主機應用程序與硬件板卡上各DSP數(shù)據(jù)的快速存取。

[1]全英匯，王宏現(xiàn)，邢孟道.分布式多DSP系統(tǒng)的CPCI總線接口設計和驅(qū)動開發(fā) [J].現(xiàn)代電子技術，2006，20（235）：91-93.QUAN Ying-hui，WANG Hong-xian，XING Meng-dao.Bus interface design of distributed multi-DSP system and driver development[J].Modern Electronics Technique，2006，20（235）:91-93.

[2]Analog Devices，Inc.ADSP-TS20ISdata sheet[EB/OL].（2006）http://www.analog.com/stic/imported/data_sheets/ADSP_TS201S.pdf.

[3]龔翠玲，吳超，龔麗芳，等.TS201高速通信接口設計及實現(xiàn)[J].現(xiàn)代電子技術，2008，3（266）：40-43.GONG Cui-ling，WU Chao，GONG Li-fang，et al.Design and realization of TS201 high speed communication interface[J].Modern Electronics Technique，2008，3（266）:40-43.

[4]楊子元，包啟亮，王旭.基于PCIE/104總線的高速數(shù)據(jù)接口設計[J].現(xiàn)代電子技術，2011（14）：75-78.YANG Zi-yuan，BAO Qi-liang，WANG Xu.Design of highspeed data interface based on PCIE/104 bus[J].Modern Electronic Technique，2011（14）：75-78.

[5]武安河，邰銘，于洪濤.Windows 2000/XPWDM設備驅(qū)動程序開發(fā)[M].北京:電子工業(yè)出版社，2003.

[6]田玉敏，王崧，張波.PCIExpress系統(tǒng)體系結構標準教材[M].北京:電子工業(yè)出版社，2005.

[7]梁國龍，何昕，魏仲慧，等.PCIE數(shù)據(jù)采集系統(tǒng)的驅(qū)動程序開發(fā)[J].計算機工程與應用，2009，45（31）：63-65.LIANG Guo-long，HE Xin，WEI Zhong-hui，et al.Driver development of PCIE data acquisition card[J].Computer Engineering and Applications，2009，45（31）:63-65.

[8]李國光，羅豐.一種64位高速PCI總線接口的設計與實現(xiàn)[J].電子科技，2011（2）：57-59.LI Guo-guang，LUO Feng.Design and realization of a 64bit high-speed PCIbus interface[J].Electronic Science and Technology，2011（2）：57-59.