白宇晨 雷隱隱

【摘 要】隨著我國(guó)民用航空業(yè)的迅速發(fā)展，近年來(lái)航班量迅速增加?？展芟到y(tǒng)做為航班飛行指揮的重要環(huán)節(jié)之一，業(yè)務(wù)量也在不斷的增加。在數(shù)字化方面主要體現(xiàn)在空管各類業(yè)務(wù)系統(tǒng)的增加和各系統(tǒng)數(shù)據(jù)量的增加。本文將通過(guò)研究開(kāi)源Nginx的能力，在保證業(yè)務(wù)連續(xù)性與安全性的同時(shí)，利用Nginx解決空管數(shù)據(jù)中各類協(xié)議的轉(zhuǎn)換與不同數(shù)據(jù)協(xié)議引接上云的問(wèn)題。

【關(guān)鍵詞】Nginx;UDP;TCP/IP;反向代理;集群;負(fù)載均衡

一、研究背景

民航西北空管局為響應(yīng)高質(zhì)量發(fā)展的要求，大力推進(jìn)“強(qiáng)安全、強(qiáng)效率、強(qiáng)智慧、強(qiáng)協(xié)同”的現(xiàn)代化空管體系建設(shè)。其中強(qiáng)智慧”要將空管指揮與云計(jì)算、大數(shù)據(jù)、人工智能等通用技術(shù)融合，助力西北空管局實(shí)現(xiàn)智能感知、泛在互聯(lián)、融合運(yùn)行、智慧決策、智敏服務(wù)。因此，西北空管局進(jìn)來(lái)年全面開(kāi)展數(shù)字化轉(zhuǎn)型工作，著手設(shè)計(jì)與建設(shè)西北空管生產(chǎn)運(yùn)行數(shù)據(jù)平臺(tái)（私有云）。在此數(shù)字化進(jìn)程中，數(shù)據(jù)上云的設(shè)計(jì)與實(shí)現(xiàn)成為做好私有云建設(shè)的第一步。西北空管局?jǐn)?shù)字化轉(zhuǎn)型團(tuán)隊(duì)通過(guò)租用公有云的形式搭建數(shù)據(jù)實(shí)驗(yàn)平臺(tái)，對(duì)西北空管局生產(chǎn)運(yùn)行數(shù)據(jù)平臺(tái)（私有云）建設(shè)方案進(jìn)行驗(yàn)證測(cè)試。在此期間，團(tuán)隊(duì)發(fā)現(xiàn)西北空管業(yè)務(wù)系統(tǒng)種類繁多，數(shù)據(jù)信號(hào)格式各異，直接引接數(shù)據(jù)上云難度較大，主要存在以下幾項(xiàng)技術(shù)問(wèn)題：1）業(yè)務(wù)數(shù)據(jù)輸出協(xié)議包括TCP/IP協(xié)議、UDP組播、UDP單播等不同種類的協(xié)議。2）TCP/IP協(xié)議下，某些系統(tǒng)存在未設(shè)置TTL值的情況，無(wú)法配置多跳路由上云。3）業(yè)務(wù)系統(tǒng)單個(gè)數(shù)據(jù)包過(guò)大，MTU值超過(guò)1472 Bytes，經(jīng)路由之后存在丟失數(shù)據(jù)現(xiàn)象。4）業(yè)務(wù)系統(tǒng)與公有云之間需要保證網(wǎng)絡(luò)安全。

針對(duì)存在的問(wèn)題，設(shè)計(jì)采用Nginx對(duì)數(shù)據(jù)信號(hào)進(jìn)行反向代理。

二、Nginx總體介紹

Nginx是一款基于Linux的、開(kāi)源的、高性能的HTTP服務(wù)器和反向代理服務(wù)器，同時(shí)支持IMAP/POP3/SMTP代理服務(wù)。Nginx模塊分為核心模塊，基礎(chǔ)模塊和第三方模塊。核心模塊包括HTTP模塊、事件模塊、MAIL模塊等?；A(chǔ)模塊包括HTTP Access模塊、HTTP FastCGI模塊、HTTP Proxy模塊、HTTP Rewrite模塊等。第三方模塊：HTTP Upstream Request Hash模塊、Notice模塊、HTTP Access Key模塊等。Nginx能夠快速高效代理與反向代理，同時(shí)在負(fù)載均衡方面有出色表現(xiàn)。支持多并發(fā)的連接，并在大并發(fā)時(shí)占用很低內(nèi)存，支持熱備，啟動(dòng)迅速。

三、Nginx反向代理TCP與UDP協(xié)議

Nginx并不直接提供 TCP/UDP 的應(yīng)用響應(yīng)，Nginx Stream 模塊的核心功能是將客戶端的 TCP/UDP 連接反向代理給后端的被代理服務(wù)器。使用的配置指令應(yīng)在stream與server指令域內(nèi)。

針對(duì)UDP的反向代理，因?yàn)閁DP協(xié)議為一種無(wú)連接的協(xié)議，發(fā)送與接收兩端并不需要建立連接，也不需要維持連接狀態(tài)與收發(fā)狀態(tài)，根據(jù)UDP單波、UDP組播、UDP廣播的不同，一個(gè)發(fā)送端發(fā)出的UDP包可以被組內(nèi)的多個(gè)接收端接收，同時(shí)UDP協(xié)議自身并沒(méi)有會(huì)話保持機(jī)制。針對(duì)UDP協(xié)議，Nginx定義了一個(gè)維持的機(jī)制，可以通過(guò)配置實(shí)現(xiàn)當(dāng)發(fā)送端發(fā)出一個(gè)UDP包時(shí)，等待接收回包，以保持會(huì)話。根據(jù)對(duì)proxy_responses配置值的不同，決定了此次回話的最長(zhǎng)等待時(shí)間，規(guī)定時(shí)間內(nèi)沒(méi)有響應(yīng)則斷開(kāi)會(huì)話。Nginx反向代理UDP配置示例如圖

Nginx 負(fù)載均衡是由代理模塊和上游（upstream）模塊共同實(shí)現(xiàn)的，Nginx 通過(guò)代理模塊的反向代理功能將用戶請(qǐng)求轉(zhuǎn)發(fā)到上游服務(wù)器組，上游模塊通過(guò)指定的負(fù)載均衡策略及相關(guān)的參數(shù)配置將用戶請(qǐng)求轉(zhuǎn)發(fā)到目標(biāo)服務(wù)器上。上游模塊可以與 Nginx 的代理指令（proxy_pass）、FastCGI 協(xié)議指令（fastcgi_pass）、uWSGI 協(xié)議指令（uwsgi_pass）、SCGI 協(xié)議指令（scgi_pass）、memcached 指令（memcached_pass）及 gRPC 協(xié)議指令（grpc_pass）實(shí)現(xiàn)多種協(xié)議后端服務(wù)器的負(fù)載均衡。

四、Nginx集群搭建與負(fù)載均衡

如果想實(shí)現(xiàn)TCP和UDP的反向代理，必須選擇Nginx的Linux版本，Linux版本的Nginx集群負(fù)載是使用LVS做為傳輸層的負(fù)載均衡設(shè)備，將客戶端請(qǐng)求從傳輸層負(fù)載到后端的Nginx集群，并由Nginx集群實(shí)現(xiàn)應(yīng)用層負(fù)載均衡處理的多層負(fù)載均衡網(wǎng)絡(luò)架構(gòu)。LVS作為傳輸層負(fù)載均衡與接入路由對(duì)接，負(fù)責(zé)把數(shù)據(jù)包轉(zhuǎn)發(fā)給后端的Nginx服務(wù)器。LVS選用DR轉(zhuǎn)發(fā)模式，網(wǎng)絡(luò)數(shù)據(jù)包在傳輸層被分發(fā)到Nginx服務(wù)器，并由Nginx經(jīng)過(guò)本地路由返回給客戶端。Nginx集群負(fù)載部署圖如下圖所示。

Nginx負(fù)載均衡是由代理模塊和upstream模塊共同實(shí)現(xiàn)的，Nginx通過(guò)代理模塊的反向代理功能將用戶請(qǐng)求轉(zhuǎn)發(fā)到上游服務(wù)器組，upstream模塊通過(guò)相負(fù)載均衡策略及參數(shù)配置將用戶請(qǐng)求轉(zhuǎn)發(fā)到目標(biāo)服務(wù)器上。upstream模塊可以與Nginx的代理指令、FastCGI協(xié)議指令、uWSGI協(xié)議指令、SCGI協(xié)議指令、memcached指令及gRPC協(xié)議指令實(shí)現(xiàn)多種協(xié)議后端服務(wù)器的負(fù)載均衡。

五、Nginx日志管理與監(jiān)控

Nginx的日志分為訪問(wèn)日志和錯(cuò)誤日志兩種。訪問(wèn)日志中記錄了用戶IP、瀏覽器信息、響應(yīng)狀態(tài)等，通過(guò)Nginx的access_log指令更改所需信息并輸出到訪問(wèn)日志中。通過(guò)查看訪問(wèn)日志，可以了解系統(tǒng)的安全性、性能、可用性等信息。錯(cuò)誤日志會(huì)記錄Nginx加載配置時(shí)檢查出的異常、運(yùn)行時(shí)請(qǐng)求處理的異常和服務(wù)器調(diào)試信息等。通過(guò)error_log指令可以對(duì)錯(cuò)誤日志進(jìn)行配置。查看錯(cuò)誤日志可以幫助排查Nginx運(yùn)行問(wèn)題、調(diào)整Nginx配置參數(shù)、優(yōu)化系統(tǒng)性能。

六、西北空管局基于Nginx集群的設(shè)計(jì)思路

通過(guò)搭建Nginx代理服務(wù)器集群，配置集群間的負(fù)載均衡，利用Nginx反向代理功能，將西北空管局業(yè)務(wù)系統(tǒng)視為客戶端，公有云端視為服務(wù)端，將客戶端不同的數(shù)據(jù)協(xié)議轉(zhuǎn)換為TCP/IP協(xié)議并代理至服務(wù)端。通過(guò)集群和負(fù)載均衡的技術(shù)手段，保障業(yè)務(wù)連續(xù)性，確保因單條鏈路或者單獨(dú)服務(wù)器故障時(shí)數(shù)據(jù)不中斷，云上數(shù)據(jù)完整。同時(shí)通過(guò)nginx反向代理隱藏真實(shí)服務(wù)端，隔離數(shù)據(jù)源業(yè)務(wù)系統(tǒng)和公有云以保證安全，不對(duì)外暴露內(nèi)網(wǎng)業(yè)務(wù)系統(tǒng)，安全可靠的實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)上云。通過(guò)配置Nginx日志，存儲(chǔ)訪問(wèn)和錯(cuò)誤日志，提供良好的可觀測(cè)性和可維護(hù)性。

針對(duì)前文中提出的業(yè)務(wù)數(shù)據(jù)輸出類型包括TCP/IP協(xié)議、UDP組播、UDP單播等各類協(xié)議的問(wèn)題。TCP/IP協(xié)議數(shù)據(jù)可以在nginx中進(jìn)行路由配置進(jìn)行反向代理，將內(nèi)部業(yè)務(wù)系統(tǒng)數(shù)據(jù)代理輸出轉(zhuǎn)發(fā)，同時(shí)配置負(fù)載均衡進(jìn)行負(fù)載均攤，保證業(yè)務(wù)連續(xù)性。UDP組播協(xié)議數(shù)據(jù)由于網(wǎng)絡(luò)協(xié)議上的限制，無(wú)法通過(guò)三層路由設(shè)備，nginx的代理轉(zhuǎn)發(fā)也基于三層路由，所以需要在服務(wù)器上部署組播接收程序及解析程序，接收到組播數(shù)據(jù)后，通過(guò)解析程序，將數(shù)據(jù)包內(nèi)容解析成XML或Json格式數(shù)據(jù)，再將并XML或Json格式文本數(shù)據(jù)以TCP/IP協(xié)議發(fā)送至nginx相應(yīng)代理端口，最后由nginx向后端服務(wù)器轉(zhuǎn)發(fā)數(shù)據(jù)。UDP單播協(xié)議數(shù)據(jù)可以通過(guò)nginx直接接收，由nginx向后端服務(wù)器轉(zhuǎn)發(fā)數(shù)據(jù)。針對(duì)TCP/IP協(xié)議下，某些系統(tǒng)存在未設(shè)置TTL值的情況，無(wú)法直接配置多跳路由上云的問(wèn)題。在代理轉(zhuǎn)發(fā)前，采用透?jìng)鞯姆绞街链矸?wù)器，確保中間無(wú)路由環(huán)節(jié)，再使用nginx反向代理上云。針對(duì)業(yè)務(wù)系統(tǒng)單個(gè)UDP數(shù)據(jù)包過(guò)大，MTU值超過(guò)1472 Bytes，經(jīng)公網(wǎng)路由之后存在丟失數(shù)據(jù)現(xiàn)象。修改代理服務(wù)器對(duì)應(yīng)內(nèi)網(wǎng)網(wǎng)卡MTU至9000（巨型幀上限），同時(shí)將原本在云上CCE部署的解析程序前置，部署在代理服務(wù)器上，先接收UDP數(shù)據(jù)包，通過(guò)解析模塊解析處理成XML或Json格式數(shù)據(jù)后，原本的數(shù)據(jù)包內(nèi)數(shù)據(jù)將變成文本格式數(shù)據(jù)，數(shù)據(jù)包大小將大幅減小，之后使用TCP協(xié)議發(fā)送解析后數(shù)據(jù)至公有云。下圖為UDP協(xié)議數(shù)據(jù)及TCP/IP協(xié)議數(shù)據(jù)經(jīng)過(guò)Ngnix代理中轉(zhuǎn)后的數(shù)據(jù)抓包實(shí)例，與原數(shù)據(jù)進(jìn)行對(duì)比后證實(shí)代理前后數(shù)據(jù)內(nèi)容一致，Ngnix可順利完成代理功能。

七、結(jié)論

利用Nginx服務(wù)集群可以較好的解決空管行業(yè)系統(tǒng)間數(shù)據(jù)引接，業(yè)務(wù)數(shù)據(jù)上云過(guò)程中的問(wèn)題，不僅能夠以TCP/IP方式統(tǒng)一提供對(duì)外數(shù)據(jù)，并且通過(guò)Nginx服務(wù)集群分布式部署能夠極大的保障業(yè)務(wù)連續(xù)性，同時(shí)在安全性方面也有一定的保障，所有數(shù)據(jù)交互均通過(guò)安全代理服務(wù)器，可以在代理服務(wù)器上配置相應(yīng)的安全規(guī)則，以過(guò)濾非授權(quán)的訪問(wèn)。而且針對(duì)私有云或數(shù)據(jù)中心的建設(shè)，因?yàn)閿?shù)據(jù)種類較多同時(shí)對(duì)外也會(huì)提供大量數(shù)據(jù)服務(wù)，使用Nginx代理能夠節(jié)省大量的IP資源。使用Nginx服務(wù)集群代理轉(zhuǎn)發(fā)空管業(yè)務(wù)數(shù)據(jù)是一種有效、安全、可行的方法。

參考文獻(xiàn)：

[1]郭大偉，張偉，姜曉艷.一種基于Nginx的UDP反向代理服務(wù)器數(shù)據(jù)轉(zhuǎn)發(fā)策略[J].北京信息科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，34（06）：87-91.

[2]吳寶花. 基于Nginx的服務(wù)器集群負(fù)載均衡策略研究與優(yōu)化[D].南昌大學(xué)，2020.

[3]趙凱.一種基于Nginx反向代理機(jī)制的微服務(wù)負(fù)載均衡方法分析[J].無(wú)線互聯(lián)科技，2020，17（16）：140-141.

[4]李萌，汪賢浩.Linux下基于Nginx的配網(wǎng)數(shù)據(jù)采集高并發(fā)處理設(shè)計(jì)與實(shí)現(xiàn)[J].電子技術(shù)與軟件工程，2019（22）：26-27.

[5]王利萍. 基于Nginx服務(wù)器集群負(fù)載均衡技術(shù)的研究與改進(jìn)[D].山東大學(xué)，2015.

[6]王小東. Nginx應(yīng)用與運(yùn)維實(shí)戰(zhàn)[M].機(jī)械工業(yè)出版社，2020，8.

（作者單位：中國(guó)民用航空西北地區(qū)空中交通管理局）