周紹祥，鄒玉蓮，趙琴琴

（1．研祥智能科技股份有限公司，廣東 深圳 518107；2．國家特種計算機工程技術(shù)研究中心，廣東 深圳 518107）

0 引言

近年來，物聯(lián)網(wǎng)的技術(shù)發(fā)展越來越完善，物聯(lián)網(wǎng)得到越來越廣泛的普及，從而催生出更多需要大量信息的處理和計算的應用的場景[1]。未來，隨著信息化產(chǎn)業(yè)的進一步發(fā)展和擴大，需要高計算能力和高可靠性要求，維護簡單，易于升級的工控服務器需求必定越來越多。在此環(huán)境下，傳統(tǒng)的服務器漸漸無法滿足需求,一種新的能滿足以上需求的服務器方式將應運而生，這種方式就是刀片式工控服務器[2-4]。刀片式工控服務器可以根據(jù)現(xiàn)場需求拓展服務器的計算節(jié)點，工控節(jié)點，以及電源節(jié)點，管理模塊節(jié)點等，集交換設(shè)備、路由、直通等通訊設(shè)備于一身，計算能力強，集成度高，拓展性強，維護簡便，為大數(shù)據(jù)時代下的物聯(lián)網(wǎng)的發(fā)展提供新的方向和實現(xiàn)的可能。

刀片工控服務器由刀片機箱、刀片模塊和背板共同組成。各個刀片模塊通過跨接多個模塊的集成線路板即背板相銜接。除了獨立的各個刀片模塊和連接各模塊總線的背板，還需要刀片機箱才能組裝成完整的刀片工控服務器[5]。刀片工控服務器通過PCIE總線，LAN MDI千兆以太網(wǎng)，SMBUS總線，LPC總線等進行模塊間的數(shù)據(jù)交互以及實現(xiàn)拓展功能,PCIE傳輸速率高；千兆以太網(wǎng)可以進行遠距離傳輸，滿足大量高速信息遠距離傳輸需求[6]；SMBUS、LPC總線等控制總線用于實現(xiàn)系統(tǒng)對外部設(shè)備的管理和控制。

1 刀片工控服務器計算節(jié)點設(shè)計

計算節(jié)點可以為物聯(lián)網(wǎng)的信息提供強大的高密度計算力，具有超大的內(nèi)存容量。為了滿足計算能力要求，在刀片機箱上可以插入多個計算節(jié)點。各計算節(jié)點可根據(jù)公司的產(chǎn)品特點，市場需求進行配置，基于不通的處理器平臺，通過管理模塊進行集中管理，以滿足各種業(yè)務場景的不同需求。計算節(jié)點主要由CPU、MEZZ模塊、PCH模塊、DIMM、背板連接器、電源模塊組成。計算節(jié)點邏輯如下圖1所示。

圖1 計算節(jié)點邏輯圖

計算節(jié)點CPU之間通過20LANE的UPI總線連接，RXTX高速差分起到數(shù)據(jù)與信息交換，速率高達10.4GT/S；MEZZ網(wǎng)卡及千兆網(wǎng)卡，通過PCIE總線與CPU連接，一路通向直通模塊，數(shù)據(jù)信息可與其他工控設(shè)備接入；另一路通向刀片交換模塊，實現(xiàn)各計算節(jié)點的數(shù)據(jù)交互；DIMM條：為CPU提供內(nèi)存空間，臨時存儲CPU輸出的寄存器地址信息和數(shù)據(jù)信息；HDD/SSD硬盤：可掉電存儲，可由于存放操作系統(tǒng)、軟件或者采集的數(shù)據(jù)等；RAID卡：硬盤陣列，為數(shù)據(jù)存儲提供冗余技術(shù)，保證信息的安全程度；PCH：南橋通過DMI總線與CPU相連，可以很好的拓展出外部低速接口；USB：方便計算節(jié)點配置和調(diào)試、裝機，用于外接鼠標鍵盤或者其他設(shè)備；顯示接口：提供HDMI、VGA等圖像傳輸；COME以及POWER連接到背板。

2 刀片工控服務器數(shù)據(jù)采集模塊設(shè)計

數(shù)據(jù)采集模塊主要負責連接外部設(shè)備，采集外部設(shè)備的參數(shù)、狀態(tài)等信息的作用，用于與外部設(shè)備數(shù)據(jù)的交換與控制，實現(xiàn)與工控設(shè)備的連接。工控模塊針對不同的應用場合提供不同的解決方案。它可以集成多種多樣的總線設(shè)備如485總線，232總線，CNA，傳感器接口等。同時，為了滿足高容量的需求，工控模塊可以插入多個相同功能或者不同功能的模塊，也可以插入混合型模塊。

數(shù)據(jù)采集模塊主要由BMC模塊，ROM，SDRAM，外部IO接口等組成，通過背板連接器與其他刀片設(shè)備連接。工控模塊的邏輯框如圖2所示。工控模塊主要核心是BMC，負責采集外部傳感器，模擬信號，RS232總線信號，串口等信號；ROM高速存儲器，存儲需要快速讀寫的信息資源；SD CARD：可臨時存儲容量較大的日志文件；SDRAM：為BMC處理器提供內(nèi)存空間；COME、POWER CN從背板提供總線連接和電源輸入。

圖2 數(shù)據(jù)采集模塊邏輯框圖

3 刀片工控服務器通信模塊設(shè)計

通信模塊主要包括直通模塊、交換模塊、路由模塊、管理模塊以及背板模塊。

直通模塊：直通模塊為給每個計算節(jié)點提供獨立的千兆網(wǎng)口，用于外接其他設(shè)備，一個刀片直通模塊可集成多路外接千兆網(wǎng)口和光口。直通模塊主要是為計算節(jié)點提供外出的接口，實現(xiàn)計算節(jié)點網(wǎng)卡端口直出，與外部網(wǎng)絡(luò)通信。直通模塊主要由CPU模塊，CPLD模塊，PHY模塊，外置接口模塊四個模塊組成。直通模塊邏輯如圖3所示。CPU負責處理和協(xié)調(diào)管理每一路的信息資源；PHY SOC以太網(wǎng)數(shù)據(jù)收發(fā)器，應用于物理層接口，它可以包含多個子層的物理層，如MII子層，PCS子層，PMA子層PMD子層，以及MDI子層等。除此之外它還集成了MAC功能；SDRAM：為CPU處理器提供內(nèi)存空間；CPLD：復雜編程邏輯陣列CPLD可以管理和檢測直通模塊的設(shè)備的運行監(jiān)測和保護；外置接口提供RJ45，SFP+以太網(wǎng)接口和USB接口。

圖3 直通模塊邏輯框圖

交換模塊：交換模塊是服務器的交換控制單元，為整個系統(tǒng)內(nèi)部提供數(shù)據(jù)交換功能，通過背板與計算節(jié)點，管理模塊互聯(lián)，實現(xiàn)內(nèi)部數(shù)據(jù)報文和控制管理報文的交換，提供高速數(shù)據(jù)傳輸。由于需要使用多個計算節(jié)點，因此需要交換模塊提供數(shù)據(jù)交換業(yè)務，除了內(nèi)部數(shù)據(jù)相互交換功能外還應提供多路與外部設(shè)備數(shù)據(jù)交換的千兆網(wǎng)口和光口。交換模塊主要由CPU模塊，CPLD模塊，SWITCH SOC模塊、SDRAM等組成。交換模塊邏輯如下圖4所示。CPU負責處理和交互計算節(jié)點傳輸過來的信息資源；SWITCH SOC模塊：交換模組提供三層轉(zhuǎn)發(fā)、組播，生成轉(zhuǎn)發(fā)表、路由表等，提供給其他設(shè)備或者計算節(jié)點接入；SDRAM：為CPU處理器提供內(nèi)存空間；復雜編程邏輯陣列CPLD可以管理和檢測交換模塊的設(shè)備的運行監(jiān)測和保護；外置接口提供RJ45,SFP+以太網(wǎng)接口和USB接口。

圖4 交換模塊邏輯框圖

路由模塊：路由模塊用于自動分配各模塊的IP，包括各計算節(jié)點IP,交換模塊IP,直通模IP，還有其他模塊IP，以便組網(wǎng)，撥號。路由模塊用于連接兩個或以上的網(wǎng)絡(luò)設(shè)備，自動分配內(nèi)部網(wǎng)絡(luò)IP地址，傳輸信息到所需的各個端口。路由器網(wǎng)關(guān)可以對標準以太網(wǎng)或者工業(yè)以太網(wǎng)，無線，有線網(wǎng)，現(xiàn)場總線協(xié)議進行轉(zhuǎn)換，實現(xiàn)數(shù)據(jù)透明傳輸和路由功能。路由模塊主要由CPU、路由模塊、SDRAM以及各外置接口組成。路由模塊邏輯如圖5所示。包括：①CPU負責處理和交互計算節(jié)點傳輸過來的信息資源；②路由模組引擎提供路由和轉(zhuǎn)發(fā)業(yè)務，提供給其他設(shè)備或者計算節(jié)點接入，可分為物理層，數(shù)據(jù)鏈路層以及網(wǎng)絡(luò)層；③SDRAM：為CPU處理器提供內(nèi)存空間；④復雜編程邏輯陣列CPLD可以管理和檢測路由模塊的設(shè)備的運行監(jiān)測和保護；⑤外置接口提供RJ45,SFP+以太網(wǎng)接口和USB接口，以及2.4G和5.8G頻段WiFi。

圖5 路由模塊邏輯框圖

管理模塊：管理模塊用于檢測刀片服務器的運行情況。管理設(shè)備啟動和停機，協(xié)調(diào)主從設(shè)備的切換，維護數(shù)據(jù)信息安全等功能。管理模塊的作用是管理服務器的各硬件設(shè)備，主要由CPU，BMC模塊，SRDRAM，PHY SOC模塊以及COME背板連接器等組成。管理模塊邏輯如圖6所示。其中BMC模塊管理散熱系統(tǒng)、ATX電源、各計算節(jié)點、工控節(jié)點的工作情況，通過PG,FAN,PWM,AD,SMBUS,PS_ON-等信號控制，復位鍵和開機鍵控制系統(tǒng)的復位和開停機；CPU通過BMC負責服務器系統(tǒng)的控制和切換，通過以太網(wǎng)實現(xiàn)所有聯(lián)網(wǎng)刀片的檢測和主從切換和協(xié)調(diào)。

圖6 管理模塊邏輯框圖

背板模塊：背板是負責進行CPU和機架上的各個信號模塊和功能模塊之間的數(shù)據(jù)交換的單板，各個模塊通過背板連接器將刀片單板和背板連接起來，實現(xiàn)數(shù)據(jù)交換。背板模塊用于連接每個刀片模塊的功能，利用高速連接器對各模塊的信號進行連接和分離，有利于設(shè)備的維護和升級。背板和連接器的應用極大的簡化單板設(shè)備的連線，服務器內(nèi)各刀片模塊的信號可以全部利用PCB走線引出，后只需要用以太網(wǎng)等總線連接至外部設(shè)備。背板邏輯圖如圖7所示，刀片服務器的背板主要是針對刀片式的服務器，背板為系統(tǒng)插槽之間的電氣連接提供基礎(chǔ)。通過背板連接各計算節(jié)點、工控模塊，管理模塊、電源模塊等各模塊，實現(xiàn)各個模塊間的數(shù)據(jù)傳輸和交換。

圖7 背板邏輯框圖

4 刀片工控服務器散熱模塊設(shè)計

刀片機箱的散熱系統(tǒng)由風扇模塊組成。在各刀片模塊之間預留散熱通道，冷空氣從各模塊的網(wǎng)格面板吸入后帶走刀片模塊熱量，后從散熱系統(tǒng)的排風口處排出。散熱系統(tǒng)使用強迫式風冷方式給機箱進行散熱。散熱系統(tǒng)邏輯如圖8所示，散熱系統(tǒng)主要由散熱模塊組成，散熱控制芯片通過對刀片機箱的溫度檢測結(jié)果，控制風扇的風扇數(shù)量、風速等參數(shù)，對刀片服務器的機箱進行散熱。

圖8 散熱系統(tǒng)邏輯框圖

5 結(jié)論

本文通過對服務器的計算節(jié)點、數(shù)據(jù)采集模塊、通信模塊以及散熱模塊等方面的設(shè)計，開發(fā)了一種基于工業(yè)控制的刀片式服務器。該服務器集成多個不同的刀片單元，按需進行不同的組裝，是一種可實現(xiàn)的定制化設(shè)計。刀片模塊化設(shè)計，設(shè)備維護簡便，易于升級和更新?lián)Q代，成本可控，市場適應性強，同時的兼容傳統(tǒng)工控服務器，是集多種功能于一身的工業(yè)控制服務器。