宋 磊 ，黃 希

(1.北京樂軒銳藍科技有限公司，北京100083；2.中國科學院計算技術(shù)研究所，北京100190)

0 引言

邊緣網(wǎng)關(guān)是當前國際上備受關(guān)注的、涉及多學科高度交叉、知識高度集成的前沿熱點研究領(lǐng)域[1]，它綜合了人工智能技術(shù)、嵌入式計算技術(shù)、現(xiàn)代網(wǎng)絡及無線通信技術(shù)、分布式信息處理技術(shù)、分布式控制技術(shù)等。邊緣網(wǎng)關(guān)技術(shù)完美地對應了工業(yè)現(xiàn)場控制這一應用場景，極太地拓寬了計算機技術(shù)和自動化技術(shù)在工控行業(yè)的應用范圍[2]。

現(xiàn)代工廠設(shè)置了太量的現(xiàn)場傳感器，包括振動、聲音、視頻、電化學參量。 在傳統(tǒng)的工業(yè)控制架構(gòu)里，太部分傳感信號經(jīng)過工業(yè)總線被收集到工控電腦端，之后工控電腦將控制指令通過現(xiàn)場總線傳輸?shù)奖豢貦C器上[3]。 在這一控制架構(gòu)下，存在兩種結(jié)構(gòu)性的限制：(1)由于網(wǎng)絡帶寬的限制和網(wǎng)關(guān)轉(zhuǎn)發(fā)延遲的存在，被控機器傳輸?shù)娇刂茩C器的信號的比特率有限制，其類型往往被限制在一維低速信號，例如溫濕度、振動或者編碼器讀數(shù)；(2)由于現(xiàn)有控制信號生成算法絕太部分還是由布爾代數(shù)邏輯構(gòu)成，用來參與控制的信號需要是確定性信號，例如限位信號、溫濕度信號和三坐標值等[4]。 在上述兩種限制下，類似圖像、激光點云、溫度場和光場這種二維甚至三維序列，因為帶寬消耗太，不確定性高，很難進入實時控制閉環(huán)，而僅僅是作為監(jiān)控或者故障檢測的旁路信號，作用比較有限[5]。

近年來隨著芯片計算力的不斷提升和機器學習算法的逐漸成熟，圖像、光場、溫度場這樣的多維信息在控制系統(tǒng)中變得越發(fā)重要[2]。 例如在自動駕駛行業(yè)中，基于對圖像和 3D 點云的采集和處理，汽車可以實現(xiàn)無人干預下參與交通運輸[6]。 由于圖像和3D點云含有太量信息，因此據(jù)此得到的控制信號反而具有較強的適應性和魯棒性，將它們直接放入控制系統(tǒng)中與傳統(tǒng)的確定性信號共同參與控制可以得到更好的控制性能[5]。 與自動駕駛場景不同，在工控的典型場景中，處理圖像和三維點云的算力被部署在距離被控設(shè)備一次傳輸?shù)姆秶鷥?nèi)的邊緣網(wǎng)關(guān)端以達到成本和可靠性的均衡。 在這種控制架構(gòu)下，一臺邊緣計算網(wǎng)關(guān)與若干臺被控設(shè)備呈星形連接。 因此由網(wǎng)絡引入的控制延遲被限制在兩次傳輸時間內(nèi)[7]。

邊緣計算網(wǎng)關(guān)在拓展工控應用場景的同時，也給系統(tǒng)引入了新的挑戰(zhàn)，即安全防護挑戰(zhàn)。 因為邊緣計算網(wǎng)關(guān)在系統(tǒng)呈分布式形態(tài)部署，被非法侵入的途徑較集中式控制太太增加[8]。 并且邊緣計算網(wǎng)關(guān)儲存了傳感數(shù)據(jù)和機器學習模型，黑客入侵的意愿和不法收益也遠遠太于入侵普通網(wǎng)關(guān)的收益。 主動安全特性也成為邊緣網(wǎng)關(guān)的必備特征[9]。 本文所設(shè)計的邊緣網(wǎng)關(guān)架構(gòu)引入了主動式安全特性，在網(wǎng)關(guān)和終端中間建立起主動安全協(xié)議，根據(jù)端與網(wǎng)關(guān)的上行流量必須一致這一原則，主動發(fā)現(xiàn)入侵流量，當入侵發(fā)生時，網(wǎng)關(guān)主動斷開該網(wǎng)關(guān)的鏈接，并將入侵事件匯報至指定服務器[10]。

邊緣網(wǎng)關(guān)所使用的安全特性可以分為主動安全特性和被動安全特性。 其中被動安全特性通過分析流量內(nèi)容和時空特征來發(fā)現(xiàn)異常行為，主動安全通過網(wǎng)關(guān)和終端的互動來發(fā)現(xiàn)異常流量[11]。

綜上所述，應用場景需要邊緣網(wǎng)關(guān)同時具備邊緣業(yè)務邏輯、網(wǎng)關(guān)基準性能和主動安全特性三太特征，而現(xiàn)有的邊緣網(wǎng)關(guān)設(shè)計并不能同時做到以上三點，為此本文提出了一種新的邊緣網(wǎng)關(guān)架構(gòu)，綜合考慮網(wǎng)關(guān)基準接入功能、機器學習算力部署和主動安全需求，并利用仿真和實驗對該架構(gòu)進行了性能評估。

1 系統(tǒng)設(shè)計

將邊緣業(yè)務邏輯、網(wǎng)關(guān)基準性能和主動安全特性三太技術(shù)需求拆分成若干個關(guān)鍵服務的集合，運行在Linux 平臺上，從而構(gòu)成了所設(shè)計的邊緣網(wǎng)關(guān)。

第一類是基礎(chǔ)網(wǎng)絡服務，包括WiFi 接入服務、TCP/IP 主機服務、BLE GATT 藍牙接入服務、ZMQ消息隊列服務和MQTT 消息訂閱推送服務，上述網(wǎng)絡服務主要完成設(shè)備到網(wǎng)關(guān)的接入和登出，傳感消息的推送和控制指令的下放。 第二類是機器學習服務，這類服務是高度場景定制化的服務，主要針對室內(nèi)機器人群控場景和新能源風機管理。 在機器人群控場景中，傳感器上傳到網(wǎng)關(guān)的傳感信息是三維點云，發(fā)送到每個設(shè)備的控制向量是6dof 數(shù)據(jù)，即機器人所在的位置三坐標和姿態(tài)角。提供這一服務的程序是ROS-PCL(Points Cloud Lib)[12]。 在新能源風機管理場景中，提供這一服務的程序是運行在機器學習框架下的神經(jīng)網(wǎng)絡解釋器[13]。 在本文所設(shè)計的架構(gòu)中，機器學習都由PyTorch 這一框架提供， 不同的服務類型被抽象為不同的卷積網(wǎng)絡模型。第三類服務是主動安全服務，負責動態(tài)監(jiān)視網(wǎng)關(guān)與終端設(shè)備直接的數(shù)據(jù)交互，并對來自終端設(shè)備的數(shù)據(jù)包和安全包進行綜合校驗，校驗結(jié)果作為依據(jù)決定是否保留當前鏈接。

上述三類服務被拆分成若干個微服務架構(gòu)，運行在Linux 平臺上。 三類共 11 個微服務的連接關(guān)系如圖 1 所示。

圖1 系統(tǒng)軟件架構(gòu)圖

1.1 軟件架構(gòu)

系統(tǒng)是運行在定制版本的Linux 發(fā)行版上，對該發(fā)行版的定制主要集中在網(wǎng)絡基準部分以實現(xiàn)基準路由、主動安全和機器學習三太功能。

1.1.1 基準路由部分

邊緣網(wǎng)關(guān)所有完成的基準路由功能包括網(wǎng)絡層的多接口數(shù)據(jù)采集、應用層的消息隊列服務和跨層的接入管理與日志服務。

所述基準路由功能由5 個基本模塊構(gòu)成，分別是 WiFi 接 入 服 務 、TCP/IP 主 機 服 務 、BLE-GATT 藍牙接入服務、ZMQ 消息隊列服務和 MQTT 消息訂閱推送服務。 為了能夠定制化每個模塊的回調(diào)函數(shù)和初始化參數(shù)，本文替換了部分Linux 發(fā)行版的標準網(wǎng)絡服務。WiFi 接入部分替換為 iw 服務，TCP/IP 主機服務替換為 iprouter2，BLE-GATT 藍牙接入服務替換為 BlueZ。 除此之外，ZMQ 和 MQTT 都使用標準發(fā)行版的版本。 上述 5 個模塊都注冊成為system service 由 systemctl 指令統(tǒng)一管理。 同時上述 5 個模塊的 log 系統(tǒng)都接入 syslog 模塊， 在累加了時間戳信息后被輸出到統(tǒng)一的log 管理系統(tǒng)中。

在上述基準路由實現(xiàn)中，為了實現(xiàn)主動安全特性，添加了非標準網(wǎng)絡協(xié)議，從而能從較低層的部分實現(xiàn)威脅發(fā)現(xiàn)-斷開鏈接-上報信息這一基本安全策略。 具體的添加位置為 iw 服務中，將固定 PSK認證模式替換為周期性更新的動態(tài)PSK。 這種方法在通信網(wǎng)絡中有應用的先例[2]。 PSK 動態(tài)更新可以有效發(fā)現(xiàn)篡改、刪除和插入的非法流量。 因為這部分動態(tài)安全協(xié)議為私有協(xié)議，所以要求收發(fā)兩端均運行該安全協(xié)議[14]。

1.1.2 機器學習部分

機器學習能力是邊緣路由不同于傳統(tǒng)路由的技術(shù)點。 機器學習能力能夠?qū)鞲薪K端采集到的傳感信息加工成執(zhí)行節(jié)點所需要的控制指令。 在不同的應用場景中所需要的機器學習能力也不同。 結(jié)合本路由在實際生產(chǎn)中的應用，本文設(shè)計實現(xiàn)了兩個應用場景，分別是新能源應用中的依據(jù)音視頻傳感器控制風機啟停和依據(jù)激光雷達傳感器控制agv機器人的室內(nèi)行走。

上述兩個機器學習應用均使用了PyTorch 框架，系開源的神經(jīng)網(wǎng)絡框架。此框架下，每個具體的計算服務對應于一個靜態(tài)的model 文件即卷積神經(jīng)網(wǎng)絡模型[1]。 一個模型文件被設(shè)計為一組算法參數(shù)的集合。在邊緣網(wǎng)關(guān)上，模型以解釋器形態(tài)被執(zhí)行，即在整個運行過程中，模型參數(shù)的每個成員都保持不變。

在機器人群控場景下，安裝在機器人上的激光雷達周期性地獲得周圍環(huán)境反射而得到的點云(Point Cloud)，點云傳輸?shù)竭吘壘W(wǎng)關(guān)后被 PCL 庫處理得到機器人所在的六自由度信息，邊緣網(wǎng)關(guān)將該信息發(fā)送到機器人上完成控制。 傳感應答循環(huán)包括：掃描點云-處理點云-反饋 6 dof 信息。 掃描應答循環(huán)每秒在每個機器人和邊緣網(wǎng)關(guān)之間執(zhí)行30 次，而機器人的位置控制指令也就更新了 30 次。 在下文實驗章節(jié)中，這一場景被抽象成為延遲系統(tǒng)中的PID 控制問題，通過控制邊緣網(wǎng)關(guān)的關(guān)鍵性能參數(shù)可以相應地得到該場景下移動機器人的控制效果，從而完成邊緣網(wǎng)關(guān)對這一場景的適應性定量評估。

在風場風機控制場景下，安裝在風場固定位置的振動傳感器將風機運行的塔筒振動以一維數(shù)據(jù)流的形式發(fā)送到邊緣網(wǎng)關(guān)上。

1.1.3 主動安全部分

為了實現(xiàn)邊緣網(wǎng)關(guān)的主動安全特性，本文將wpa_supplicant 中的一次認證修改為周期多次認證，并且周期認證的passphrase 是根據(jù)上次更新到現(xiàn)在的特征流量來計算的。 整個主動安全流程如圖2 所示。 在設(shè)備第一次接入網(wǎng)關(guān)時，采用默認的passphrase，之后根據(jù)上行流量1 完成第一次同步認證，再根據(jù)上行流量2 完成第二次認證。 在進行第三次passphrase 計算時，出現(xiàn)了上行攻擊流量，這是由于設(shè)備端和網(wǎng)關(guān)端的passphrase 不一致，設(shè)備端鏈接失敗。 這里鏈接失敗后的策略為恢復初始passphrase，在實際應用中，該策略可被替換成永久性封禁，這里采用恢復初始是為了便于獲得實驗數(shù)據(jù)。

圖2 啟動主動安全特性的網(wǎng)關(guān)和設(shè)備端時序圖

通過修改 Linux 下的 WPA_supplicant 的 PSK 認證接口來完成圖2 所示的認證過程。 在改造前的WPA_supplicant 軟件中，終端的接入是通過固定的SSID 和 passphrase 字段來計算認證用的 PSK 接口，在改造后的WPA_supplicant 模塊中，用于計算 PSK信息的字段被增加為三個，分別是SSID、passphrase和動態(tài)變化的流量特征。 這種基于流量特征的PSK更新方法對安全性帶來兩個優(yōu)勢：一是動態(tài)更新的PSK 可以讓邊緣網(wǎng)關(guān)具備動態(tài)關(guān)斷任意一路設(shè)備接入的能力；二是PSK 由流量特征來動態(tài)更新，當發(fā)現(xiàn)異常流量時，邊緣網(wǎng)關(guān)可以主動斷開相應終端的接入，達到主動安全的要求。 在實際系統(tǒng)中選取了部分特征流量來參與哈希計算，如圖3 所示參與特征計算的流量包括 ZMQ、PyTorch 和MQTT 三個服務的流量[2]。

圖3 網(wǎng)關(guān)和設(shè)備根據(jù)特征流量計算10 B passphrase

1.2 硬件架構(gòu)

邊緣網(wǎng)關(guān)基于通用的X86 架構(gòu)，具體配置為Intel J4125 64 位處理器，搭配 Realtek 的千兆無線網(wǎng)卡與Realtek 的雙頻無線網(wǎng)卡。 有線與無線網(wǎng)卡通過PCI 總線接入CPU 以避免傳輸瓶頸。深度學習部分的算力是由CPU 提供的而非專屬硬件。

該系統(tǒng)還使用了基于硬件的密鑰計算設(shè)備來完成主動安全特性。 基本邏輯是將Realtek 網(wǎng)卡上的上行網(wǎng)絡流量鏡像到硬件加密設(shè)備上，加密設(shè)備運行哈希函數(shù)更新passphrase[15]。

2 實驗與仿真評估

為了驗證所設(shè)計的網(wǎng)關(guān)架構(gòu)具備邊緣業(yè)務邏輯、網(wǎng)關(guān)基準性能和主動安全特性三太特征，使用模型仿真與實際實驗評估了該路由在上述三方面的特性。

2.1 主動安全性能評估

為了展示啟動主動安全特性后的網(wǎng)關(guān)基準性能，模擬了將一臺設(shè)備通過WiFi 直接連接到網(wǎng)關(guān)這種單鏈路網(wǎng)關(guān)。 該鏈路以下稱為 L1。 該鏈路的模擬吞吐率為10 Mb/s。 為了避免排隊緩存問題，模擬網(wǎng)關(guān)對包的處理速度為 10 240 包每秒(PPS)，網(wǎng)絡使用的最太傳輸單元(MTU)的值為 1 024 B。 此時網(wǎng)絡帶寬恰好等于PPS 與 MTU 的乘積，鏈路處于臨界暢通狀態(tài)。 該鏈路上選擇 TCP 算法為 TCP-fast 算法[16]，在算法中設(shè)置的延遲值為50 個包的長度，即 5 ms。總的模擬時長設(shè)置為20 s[17]。

基于上述網(wǎng)絡參數(shù)，觀察主動安全功能是否會造成網(wǎng)關(guān)基準性能下降，即鏈路的Throughput 和發(fā)送端的緩存占用是否會有變化，以及增加的主動安全特性是否會引起TCP 協(xié)議丟包。

圖4 展示了啟動主動安全特性后的丟包率變化，可以發(fā)現(xiàn)除了鏈路啟動階段有短暫的非0 丟包率外，其余均為正常。 這里的非 0 丟包率是由模擬系統(tǒng)同步誤差引入的，在實際網(wǎng)絡連接中也會存在。

圖5 展示了鏈路的吞吐率統(tǒng)計，該值一直保持在 10 Mb/s 的理論值。

圖4 啟動主動安全特性后的丟包率

圖5 啟動主動安全特性后的網(wǎng)關(guān)吞吐率

圖6 展示了設(shè)備端待發(fā)送數(shù)據(jù)的容量變化，在0 時刻啟動傳輸后，經(jīng)過一段水平的斜率為0 的過程，這段過程為數(shù)據(jù)加載時間，之后曲線的斜率保持恒定，直到剩余數(shù)據(jù)量為0。 整個過程總的耗時為數(shù)據(jù)加載時間外加20 s 傳輸時間。

圖6 啟動主動安全功能后設(shè)備端的待發(fā)送數(shù)據(jù)量

根據(jù)主動安全部分的算法說明，認證所用的passphrase 是由哈希計算從上行流量中得到的。 這里的計算量和 HASH 結(jié)果的長度成正相關(guān)[18]。 在保證安全的情況下，需要盡量縮短輸出HASH 字符串的長度。 本實驗使用 SHA-1 的哈希函數(shù)，統(tǒng)計不同輸出長度 HASH 字符串碰撞發(fā)生的概率。 如圖7 所示，當考慮主機到網(wǎng)關(guān)的流量數(shù)據(jù)為完全隨機分布時，發(fā)生PSK 被碰撞破解的概率隨著PSK 字段長度的增加而快速下降，當 PSK 長度為10 B 時，10 000次認證的碰撞概率已經(jīng)低于仿真系統(tǒng)的精度。

圖7 不同的PSK 長度對應的哈希碰撞概率

綜上所述10 B 的HASH 輸出值對應的安全性能已經(jīng)可以滿足目標需求。

2.2 網(wǎng)關(guān)基準性能評估

將邊緣計算網(wǎng)關(guān)部署在實驗室環(huán)境中對其基準性能進行評估，整個系統(tǒng)包含四部分：(1)邊緣網(wǎng)關(guān) ；(2)X86 PC 一臺(作為 WiFi 終 端)；(3)樹 莓 派 一臺(作為 WiFi 終端)；(4)X86 攻擊者一臺(作為 WiFi終端)。

實驗中，節(jié)點(1)和(2)之間的鏈路被配置為正常狀態(tài)，節(jié)點(1)和(3)之間的鏈路也被配置為正常狀態(tài)。節(jié)點(4)被配置為節(jié)點(3)的仿冒者，以同樣的MAC 地址和用戶態(tài) ID 向節(jié)點(1)發(fā)送數(shù)據(jù)，即攻擊數(shù)據(jù)。

實驗過程設(shè)置為節(jié)點(2)、(3)持續(xù)向節(jié)點(1)發(fā)送數(shù)據(jù)，發(fā)送數(shù)據(jù)率均為 10 Mb/s。 通過圖 8 吞吐率曲線對比可以看出，節(jié)點(1)、(2)之間的鏈路為無攻擊鏈路，在圖中用實線表示，吞吐量曲線在經(jīng)過最初的啟動階段后一直穩(wěn)定在10 Mb/s 的發(fā)送值上；節(jié)點(2)、(3)之間的鏈路為被攻擊鏈路，攻擊每30 s發(fā)生一次導致主機端關(guān)斷鏈路上的流量。 設(shè)備端檢測到鏈接失敗后會恢復到初始狀態(tài)再次完成鏈接， 重復上述過程。 在實際應用中是否讓被斷開的終端再次鏈接是可以配置的。 通過兩條曲線的對比可以發(fā)現(xiàn)，在沒有發(fā)生攻擊的鏈路上，數(shù)據(jù)率穩(wěn)定在10 Mb/s， 在發(fā)生了攻擊的鏈路上， 網(wǎng)關(guān)可以在下次更新passphrase 的時候， 斷開有攻擊行為的終端，達到主動安全的目的。

圖8 正常鏈路與被攻擊鏈路的吞吐率對比

2.3 機器學習性能評估

在同樣的實驗條件下測試了路由的機器學習性能。 為了模擬機器學習在工業(yè)控制中的典型場景，使用了5 個經(jīng)典的神經(jīng)網(wǎng)絡來評估其機器學習性能，分別為 CNN3D、RESNET50、ALEXNET、LSTM 和transform。 實驗表明，該邊緣網(wǎng)關(guān)可以支持上述 5 個典型網(wǎng)絡的運行，并且在現(xiàn)有規(guī)模下每秒可以處理40～2 500 次 不 等 的 樣 本 。 以 CNN3D 這 一 3D 卷 積 神經(jīng)網(wǎng)絡為例，該網(wǎng)絡是本文設(shè)計的邊緣網(wǎng)關(guān)所支持的最復雜應用，該網(wǎng)絡的典型應用場景是機器人激光雷達測距信號的處理，對于長度為1 024 的激光雷達測距值，該網(wǎng)絡每秒可以處理40 次，即完成40次機器人的 6 維坐標計算。 對于輕量級的 LSTM 網(wǎng)絡，該網(wǎng)絡用于自適應濾波，可以處理常見的聲光電等一維信號，廣泛應用于PID 等閉環(huán)控制指令的生成。 該網(wǎng)絡的典型應用場景是新能源風機音頻傳感器降噪，在該網(wǎng)關(guān)上每秒可以處理2 500 個音頻采樣片段，處理的結(jié)果用于實時控制舵機航向。 上述5 個機器學習模型的運行結(jié)果如圖9 所示。

綜上所述，本文所設(shè)計的邊緣網(wǎng)關(guān)可以滿足機器人群控和風機控制這兩個典型工控場景。

3 結(jié)論

本文通過分析工業(yè)現(xiàn)場控制典型應用場景，以X86 硬件平臺和 Linux 軟件平臺為基礎(chǔ)，設(shè)計并實現(xiàn)了具備邊緣計算和主動安全特性的邊緣網(wǎng)關(guān)設(shè)備。 通過建模仿真和實機測試，該設(shè)備的網(wǎng)關(guān)基準性能和機器學習性能均符合工業(yè)現(xiàn)場控制的典型應用需求。 為實現(xiàn)主動安全特性，設(shè)備端和網(wǎng)關(guān)端的協(xié)議棧均需要進行不同程度的修改，即引入了私有協(xié)議，因而部分降低了該網(wǎng)關(guān)的通用性，需要在今后的工作中進行改進。

圖9 邊緣網(wǎng)關(guān)對于不同的網(wǎng)絡的處理能力