引言： 本文簡要介紹了FCoE的應(yīng)用背景,同時介紹了FCoE協(xié)議的封裝、映射關(guān)系、融合型增強以太網(wǎng)。重點以實例介紹聚合網(wǎng)絡(luò)適配卡（CNA）和具有FCoE硬件卸載引擎的10Gb以太網(wǎng)卡在Linux下的具體部署設(shè)置。

FCoE（Fibre Channel over Ethernet）以太網(wǎng)光纖通道的出現(xiàn)，解決了LAN和SAN的融合問題，F(xiàn)CoE技術(shù)標(biāo)準(zhǔn)可以將光纖通道映射到以太網(wǎng)，可以將光纖通道信息插入以太網(wǎng)信息包內(nèi)，從而讓服務(wù)器-SAN存儲設(shè)備的光纖通道請求和數(shù)據(jù)可以通過以太網(wǎng)連接來傳輸，而無需專門的光纖通道結(jié)構(gòu)。

FCoE的部署

FCoE可以只部署在服務(wù)器網(wǎng)絡(luò)接入層。目的是實現(xiàn)服務(wù)器I/O整合，簡化服務(wù)器網(wǎng)絡(luò)接入層的線纜設(shè)施。服務(wù)器安裝支持FCoE的網(wǎng)卡，并連接到接入層FCoE交換機，接入層交換機再分別通過10GE鏈路和FC鏈路連接到現(xiàn)有的LAN和SAN；FCoE也可以整網(wǎng)端到端（接入—匯聚—核心）部署。FCoE技術(shù)的應(yīng)用范圍擴大到整網(wǎng)，除接入層交換機外，匯聚核心層交換機也支持FCoE功能；除服務(wù)器外，存儲設(shè)備也需支持FCoE接口。由此實現(xiàn)了LAN與SAN的融合，簡化了整網(wǎng)基礎(chǔ)設(shè)施。雖然目前原生支持FCoE的存儲設(shè)備很少，但除了連接原生FCoE存儲設(shè)備外，用戶仍可通過DCB/CEE交換機與FC交換機連接，讓FCoE服務(wù)器端存取傳統(tǒng)的FC存儲設(shè)備，且能沿用原有的FC管理模式。

在FCoE的服務(wù)器端，適配卡可以有三種選擇。

1）聚合網(wǎng)絡(luò)適配卡（CNA）。CNA卡大都屬于Emulex、Qlogic、Brocade等傳統(tǒng)光纖通道廠商的產(chǎn)品，擁有完整的硬件卸載（Offload）引擎，既可處理封裝在TCP/IP協(xié)議封包，也可處理FCoE幀（封裝了FCP封包的以太網(wǎng)幀）。CNA卡的運用更具彈性，而且憑借完整的硬件卸載引擎，耗用的主機運算資源相對較少。

2）具有FCoE硬件卸載引擎的10Gb以太網(wǎng)卡。這類網(wǎng)卡是由傳統(tǒng)的NIC廠商推出，具有不同程度的FCoE卸載功能，可以減輕主機處理FCoE的運算負(fù)擔(dān)，但卸載功能不如CNA卡那樣完整，仍須配合Initiator軟件支持。

3）一般的10Gb以太網(wǎng)卡。僅具備一般LAN網(wǎng)絡(luò)傳輸用的TCP卸載引擎，但不具備FCoE卸載功能，相關(guān)運算工作必須通過Initiator軟件交由主機承擔(dān)。

FCoE適配卡在Linux下配置

在Linux下使用使用不完全FCoE硬件卸載功能FCoE適配器主要用到三個組件：lldpad、dcbtool和fcoeadm，而具有完全的FCoE硬件卸載功能CNA卡主要使用fcoeadm配置工具。

下面針對具有完整FCoE硬件卸載功能和部分卸載功能的網(wǎng)卡的使用分別加以說明：

1、聚合網(wǎng)絡(luò)適配卡（CNA）使用與配置

下面以Broadcom的CNA卡，操作系統(tǒng)為RHEL 6.4為例，介紹聚合網(wǎng)絡(luò)適配卡（CNA）使用與配置（所有操作需要root用戶權(quán)限）：

1)在服務(wù)器PCIe插槽正確安裝CNA卡，并確保CNA卡BIOS中啟用FCoE完全卸載功能。安裝Broadcom的Red Hat Enterprise Linux 6的多功能驅(qū)動程序。

2）在控制臺使用ethtool命令識別出驅(qū)動好的網(wǎng)卡，本例中是eth2，其命令形式為：

#ethtool eth2

該命令會顯示網(wǎng)卡的速率、端口類型等信息。

3）安裝FCoE相關(guān)工具包，如果在安裝操作系統(tǒng)時沒有安裝，可以在Redhat安裝介質(zhì)的packages文件夾中找到并手動安裝，在RHEL 6.4 及以下，包的名字是fcoe，在 RHEL 6.5中變?yōu)閒coe-util，同時找到lldpad（鏈路層發(fā)現(xiàn)協(xié)議代理守護程序），使用rpm命令手動安裝。

4）創(chuàng)建該網(wǎng)絡(luò)適配器的FCoE 配置文件

#cp /etc/fcoe/cfgethx/etc/fcoe/cfg-eth2

將默認(rèn)的 FCoE 配置文件復(fù)制到 /etc/fcoe/cfgeth2。這里網(wǎng)卡是處理FCoE的網(wǎng)卡，其編號會根據(jù)具體情況有所不同。

5)修改文件/etc/fcoe/cfg-eth2中"DCB_REQUIRED"為 "NO"。 由于CNA卡擁有完整的硬件卸載（Offload）引擎，不需要DCB服務(wù)，因而需要手動禁止。

如果需要啟動時自動加載可以在相應(yīng)配置文件，在相應(yīng)配置文件中修改”O(jiān)NBOOT=yes” 本例中的配置文件為/etc/sysconfig/networkscripts/ifcfg-eth2 .配置好IP和掩碼等信息，當(dāng)然這一步驟工作也可以通過終端和GUI下配置工具完成而無需手工修改配置文件。

6)手動禁止CNA接口上的 lldpad 守護進程

#lldptool set-lldp -i eth2 adminStatus=disabled

由于CNA卡擁有完整的硬件卸載（Offload）引擎，需要把Broadcom CNA卡上的lldpd關(guān)閉，以讓其使用Broadcom的FCoE offload。

7)確保/var/lib/lldpad/lldpad.conf 文件中對應(yīng)eth2的 "adminStatus"設(shè)置為 "0".

8)啟動 LLDP 服務(wù)和FCoE

#service lldpad restart

#service fcoe restart

使用chkconfig 命令使lldpad和FCoE兩個服務(wù)配置為啟動時就自動開啟

#chkconfig lldpad on

#chkconfig fcoe on

9）驗證所有FCoE連接

#fcoeadm -i

10）設(shè)置 FCoE 發(fā)起程序磁盤的分區(qū)，磁盤上創(chuàng)建文件系統(tǒng)

使用 fdisk命令為FCoE 發(fā)起程序磁盤設(shè)置分區(qū)。

#fdisk /dev/sdc

使用mkfs命令在FCoE 發(fā)起程序磁盤上創(chuàng)建文件系統(tǒng)。

#mkfs /dev/sdc

2、FCoE硬件卸載引擎的10Gb以太網(wǎng)卡配置與使用

下面以RHEL 6.4和Intel Ethernet Converged Network Adapter X520 系列網(wǎng)卡為例，說明具有FCoE硬件卸載引擎的10Gb以太網(wǎng)卡配置與使用。

1）驗證網(wǎng)卡驅(qū)動。以root用戶的身份登錄服務(wù)器。RHEL 6中已經(jīng)包含了大部分10Gb以太網(wǎng)卡驅(qū)動，Intel 82599 10GbE網(wǎng)絡(luò)控制芯片已經(jīng)可以直接內(nèi)置驅(qū)動，在控制臺使用 ethtool命令識別網(wǎng)卡，本例中是eth2，其命令形式為：

#ethtool eth2

該命令會顯示網(wǎng)卡的速率、端口類型等信息。

2）安裝FCoE相關(guān)工具包，如果在安裝操作系統(tǒng)是沒有安裝，可以在Redhat安裝介質(zhì)的packages文件夾中找到手動安裝，在RHEL 6.4 及以下，包的名字是fcoe，在 RHEL 6.5 中變?yōu)閒coe-util，同時找到lldpad（鏈路層發(fā)現(xiàn)協(xié)議代理守護程序），使用rpm命令手動安裝。

3）將默認(rèn)的 FCoE 配置文件復(fù)制到 /etc/fcoe/cfg-eth2。

#cp /etc/fcoe/cfgethx/etc/fcoe/cfg-eth2

同時腳本里有一些重要配置選項需要加以確認(rèn):

fcoe_enable=yes//指示該端口運行FCoE服務(wù)

dcb_required=yes //指示該端口需要DCB服務(wù)

auto_vlan=yes//指示fcoemon處理被發(fā)現(xiàn)的VLAN信息

4）如果需要啟動時自動加載可以在相應(yīng)配置文件，在相應(yīng)配置文件中修改”O(jiān)NBOOT=yes”本例中的配置文件為/etc/sysconfig/networkscripts/ifcfg-eth2 .配置好IP和掩碼等信息，

ONBOOT=yes//啟動時自動加載配置

當(dāng)然這一步驟工作也可以通過終端和GUI下配置工具完成而無需手工修改配置文件。

5）使用chkconfig 命令使lldpad和FCoE 兩個服務(wù)配置為啟動時就自動開啟

#chkconfig lldpad on

# chkconfig fcoe on

啟動服務(wù)：

#service fcoe start

開啟LLDP服務(wù)，因為DCBX協(xié)商需要LLDP協(xié)議的支持，有些網(wǎng)卡會因為DCBX協(xié)商失敗，就無法進行FCOE登錄。

#service lldpd start

6）用 dcbtool sc 命令在指定的FCoE CNA卡上啟用數(shù)據(jù)中心橋接，。

#dcbtool sc eth2 dcb on

系統(tǒng)將返回類似以下信息：

7）在指定的FCoE 適配卡啟用數(shù)據(jù)中心橋接，以接受交換機的 FCoE 優(yōu)先級設(shè)置。

“app”子類型參數(shù)可以是0或fcoe.其他的可選子類型如下：

8）（可選）啟用并設(shè)置數(shù)據(jù)中心橋接的優(yōu)先級流量控制 (PFC) 設(shè)置。

控制功能啟用，a:<0|1>控制是否通過數(shù)據(jù)中心橋接交換協(xié)議向?qū)Φ润w推廣功能。

w:<0|1>控制功能是否希望根據(jù)從對等體接收到的反饋來更改其操作配置。

9）驗證配置。可以用如下命令驗證配置是否正確：

在驗證交換機和存儲配置前，進行驗證以確認(rèn)FCoE 服務(wù)運行。注意：當(dāng)使用創(chuàng)建了VLAN標(biāo)記Intel網(wǎng)卡時，它會讀到和使用交換機上的FCoE VLAN（110）。

#service fcoe status

系統(tǒng)將返回類似以下信息：

檢 查FCOE狀 態(tài)，檢查FCOE狀態(tài)主要使用fcoeadm 工具，fcoeadm 實用程序通過套接字接口將命令發(fā)送給正在運行的fcoemon 進程。其它功能請參見fcoemon手冊頁。

查看 FCoE 發(fā)起程序狀態(tài)以獲取 FC-ID 節(jié)點/端口號：

#fcoeadm -i eth2.110

系統(tǒng)將返回類似以下信息：

在這里可以看到WWN信息和狀態(tài)信息，WWN信息會在設(shè)置存儲設(shè)備時用到。通過 lldptool -tni eth2 可以查詢到接收的交換機端口信息，包括交換機名和端口信息等:

查看 FCoE 目標(biāo)以獲取FC-ID 節(jié)點/端口號：

#fcoeadm -t eth2.110

系統(tǒng)將返回類似以下信息：

11）設(shè)置 FCoE 發(fā)起程序磁盤的分區(qū)，磁盤上創(chuàng)建文件系統(tǒng)。使用 fdisk命令為 FCoE 發(fā)起程序磁盤設(shè)置分區(qū)，用 mkfs命令在FCoE 發(fā)起程序磁盤上創(chuàng)建文件系統(tǒng)。

這樣REDHAT下FCOE配置就完成了。這里要注意的是以上配置是OPEN-FCOE提供的。CNA網(wǎng)卡產(chǎn)商也會提供相應(yīng)的FCOE查看工具。

FCoE交換機配置

雖然FCoE的物理層采用了10Gb以太網(wǎng)，但它實現(xiàn)上是基于CEE（Convergence Enhanced Ethernet）/DCB（Data Center Bridging）增強型以太網(wǎng)，而非一般IEEE 802.3ae 10Gb以太網(wǎng)。要解析封裝在FCoE中的光纖通道協(xié)議（FCP）封包，仍須通過可支持FCoE的網(wǎng)絡(luò)設(shè)備，而不能使用一般10GbE網(wǎng)絡(luò)設(shè)備。在網(wǎng)絡(luò)端，必須搭配支持FCoE與CEE/DCB的10Gb交換機，如Brocade的8000系列交換機、Cisco的Nexus 5000系列交換機，H3C 12000系列等。

交換機的FCoE端口上承載三類VLAN：服務(wù)器VLAN（承載普通以太網(wǎng) 報文）、存儲 VLAN（承載 FCoE數(shù)據(jù)報文）、FIP VLAN（承載FCoE初始化協(xié)議報文）。服務(wù)器到FCoE交換機的報文中，F(xiàn)CoE數(shù)據(jù)報文采用TAG方式，F(xiàn)IP報文和普通以太網(wǎng)報文采用UNTAG方式。FCoE數(shù)據(jù)報文對應(yīng)的VLAN ID，由FIP協(xié)議與FCoE交換機協(xié)商獲得。在部署時，應(yīng)將交換機的FCoE端口配置成Hybrid類型，允許存儲VLAN報文以TAG方式通過，服務(wù)器VLAN報文和FIP報文以UNTAG方式通過，并將該端口的PVID設(shè)置為服務(wù)器VLAN的VID。當(dāng)該端口收到除FIP協(xié)議以外的其它UNTAG報文時，將在服務(wù)器VLAN內(nèi)轉(zhuǎn)發(fā)該報文。這里將FIP VLAN配置成“協(xié)議VLAN模式”，是為保證服務(wù)器在獲取存儲VLAN的VID前，F(xiàn)IP協(xié)議能夠通過“協(xié)議VLAN”完成FCoE初始化過程。接入層FCoE交換機在正常轉(zhuǎn)發(fā)時，來自服務(wù)器的FCoE數(shù)據(jù)報文，通過存儲VLAN（TAG方式）轉(zhuǎn)發(fā)到交換機FC端口上行到FC SAN。而來自服務(wù)器的普通以太網(wǎng)報文則按正常流程轉(zhuǎn)發(fā)，就接入層FCoE交換機而言，主要功能是將從服務(wù)器端接收的報文進行LAN業(yè)務(wù)與SAN業(yè)務(wù)分離。

對于Cisco Nexus 5000系列交換機平臺，需要把虛擬的vfc端口綁定到特定以太網(wǎng)端口是實現(xiàn)FC轉(zhuǎn)發(fā)。其配置樣例如下：

vsandatabase//在vsan數(shù)據(jù)庫中將相應(yīng)的vfc接口關(guān)聯(lián)到vsan3中，這里要注意服務(wù)器要獲取到存儲分配的lun，就需要把存儲的接口也關(guān)聯(lián)到這個vsan下。

zone default-zone permit vsan3//劃分zone信息，vsan3內(nèi)的信息要轉(zhuǎn)發(fā)就需要劃到相應(yīng)的zone中。

通過sh fcns database detail 命令，在表項中可以看到CNA網(wǎng)卡的具體產(chǎn)商和一些注冊信息。當(dāng)然對于更為復(fù)雜的拓?fù)浣Y(jié)構(gòu)，還需要進一步配置，上述樣例僅提供了最基本的配置思路，在實踐中更細(xì)節(jié)的配置請參見交換機的說明文檔。