王亞民，潘碩華，錢一斌

上海國(guó)際機(jī)場(chǎng)股份有限公司浦東國(guó)際機(jī)場(chǎng)，上海，201207

0 引言

近年來(lái)，為提升機(jī)場(chǎng)運(yùn)行效率和服務(wù)能力，民航局推出機(jī)場(chǎng)協(xié)同決策系統(tǒng)建設(shè)規(guī)范，因受制于信息共享機(jī)制和信息采集條件，協(xié)同決策所需的航班地面保障節(jié)點(diǎn)數(shù)據(jù)在及時(shí)性、完整性等方面仍存在問(wèn)題。根據(jù)2022年國(guó)際數(shù)據(jù)公司（IDC）對(duì)企業(yè)人工智能技術(shù)應(yīng)用現(xiàn)狀的調(diào)研結(jié)果，計(jì)算機(jī)視覺(jué)目前為最主要的應(yīng)用技術(shù)類型[1]。隨著機(jī)器視覺(jué)技術(shù)以及大量AI視頻圖像分析應(yīng)用的興起，視頻智能分析為節(jié)點(diǎn)數(shù)據(jù)采集提供了可能。

1 業(yè)務(wù)現(xiàn)狀分析

1.1 航班地面保障業(yè)務(wù)簡(jiǎn)介

航班地面保障服務(wù)是指在航空運(yùn)輸過(guò)程中，在機(jī)場(chǎng)范圍內(nèi)為航班提供支持和保障的一系列服務(wù)。這些服務(wù)通常由地面服務(wù)提供商或航空公司的地面服務(wù)團(tuán)隊(duì)提供，旨在確保航班安全高效運(yùn)行。航班地面保障服務(wù)涵蓋多個(gè)環(huán)節(jié)，保障里程碑是指從航班起飛到落地，完成過(guò)站到再次起飛，其間涉及45個(gè)地面保障節(jié)點(diǎn)。

1.2 航班地面保障視頻分析智能化現(xiàn)狀

浦東機(jī)場(chǎng)曾在2017年上線基于視頻分析的飛機(jī)入離位節(jié)點(diǎn)采集系統(tǒng)，它具備輸出標(biāo)準(zhǔn)結(jié)構(gòu)化數(shù)據(jù)的能力，可通過(guò)客戶端展現(xiàn)機(jī)位的占用情況，但該系統(tǒng)使用上一代機(jī)器視覺(jué)技術(shù)，采集精度（綜合準(zhǔn)確率約90%）和采集節(jié)點(diǎn)（僅支持入離位2個(gè)節(jié)點(diǎn)）都無(wú)法滿足目前的業(yè)務(wù)需求。

1.3 民航行業(yè)標(biāo)準(zhǔn)的要求

為實(shí)現(xiàn)機(jī)場(chǎng)協(xié)同決策、優(yōu)化地面資源配置、管控運(yùn)行保障節(jié)點(diǎn)等目標(biāo)，民航局在2022年發(fā)布的民用航空行業(yè)標(biāo)準(zhǔn)《機(jī)場(chǎng)協(xié)同決策系統(tǒng)技術(shù)規(guī)范》（MHT6125—2022）提出：數(shù)據(jù)自動(dòng)化采集應(yīng)采用人工智能機(jī)器學(xué)習(xí)技術(shù)，通過(guò)對(duì)地面保障節(jié)點(diǎn)的視頻數(shù)據(jù)進(jìn)行分析，實(shí)現(xiàn)保障節(jié)點(diǎn)時(shí)間數(shù)據(jù)的自動(dòng)提取、錄入和推送。

1.4 視頻智能化自動(dòng)采集的現(xiàn)實(shí)意義

1.4.1 降低人工錄入差錯(cuò)率

當(dāng)前航班地面保障數(shù)據(jù)主要來(lái)源于航司、地服等單位，地勤人員通過(guò)移動(dòng)APP或?qū)χv機(jī)報(bào)備調(diào)度室錄入部分節(jié)點(diǎn)，產(chǎn)生的數(shù)據(jù)存儲(chǔ)于各自系統(tǒng)，單位間的數(shù)據(jù)共享通過(guò)企業(yè)服務(wù)總線實(shí)現(xiàn)，但仍然存在數(shù)據(jù)不完整、數(shù)據(jù)誤差和上傳不及時(shí)等問(wèn)題[2]。通過(guò)視頻自動(dòng)采集可以降低人工錄入的數(shù)據(jù)質(zhì)量問(wèn)題。

1.4.2 優(yōu)化業(yè)務(wù)流程

航司、地服等單位可分析地勤人員的操作時(shí)間和行為，識(shí)別出異常事件，如航班計(jì)劃時(shí)刻沖突、航班保障資源分配沖突、航班計(jì)劃過(guò)站時(shí)間不合理等信息，進(jìn)而調(diào)整作業(yè)流程。

1.4.3 提升航班正點(diǎn)率

運(yùn)行指揮中心通過(guò)數(shù)據(jù)分析保障過(guò)程的深層次問(wèn)題，通過(guò)航班運(yùn)行信息的整合與計(jì)算，結(jié)合歷史數(shù)據(jù)及條件約束，預(yù)測(cè)航班的保障完成時(shí)間，完善航班保障業(yè)務(wù)規(guī)則庫(kù)，更好地對(duì)關(guān)鍵環(huán)節(jié)采取監(jiān)控和延誤預(yù)警，提高機(jī)場(chǎng)保障效率[3]。

2 局部驗(yàn)證性研究與測(cè)試

2.1 概念驗(yàn)證測(cè)試

為充分驗(yàn)證視頻分析技術(shù)采集地面保障節(jié)點(diǎn)的可行性，先期開(kāi)展概念驗(yàn)證測(cè)試。選取航站樓、衛(wèi)星廳、遠(yuǎn)機(jī)位中具有代表性的5個(gè)機(jī)位，對(duì)若干關(guān)鍵節(jié)點(diǎn)進(jìn)行驗(yàn)證測(cè)試。驗(yàn)證階段共有10家廠商參與，包括頭部互聯(lián)網(wǎng)企業(yè)、AI獨(dú)角獸以及傳統(tǒng)安防廠商。測(cè)試規(guī)定了必須實(shí)現(xiàn)的8個(gè)基礎(chǔ)節(jié)點(diǎn)如表1所示，允許各家廠商根據(jù)獨(dú)特的能力，開(kāi)展全要素保障節(jié)點(diǎn)的測(cè)試，主要評(píng)估數(shù)據(jù)精確率（Precision）和召回率（Recall）兩項(xiàng)指標(biāo)。

表1 測(cè)試節(jié)點(diǎn)及定義

2.2 測(cè)試結(jié)果

驗(yàn)證測(cè)試期為2021年6月至12月，其間受到疫情影響和一些客觀條件限制，總體符合測(cè)試預(yù)期。各家均完成最低8個(gè)節(jié)點(diǎn)要求，除了難度較大的開(kāi)關(guān)貨艙門等2個(gè)節(jié)點(diǎn)，各家對(duì)其他6個(gè)節(jié)點(diǎn)的數(shù)據(jù)綜合精確率都超過(guò)98%，對(duì)航空器入離位等拍攝目標(biāo)較大的節(jié)點(diǎn)，有6家的精確率為100%。此外，3家廠商完成了貨郵行李裝卸、加油、配餐等更多節(jié)點(diǎn)的測(cè)試，總計(jì)19個(gè)節(jié)點(diǎn)高于95%的精確率。

2.3 項(xiàng)目難點(diǎn)分析

基于概念驗(yàn)證測(cè)試獲取的經(jīng)驗(yàn)，總結(jié)視頻分析項(xiàng)目存在的主要技術(shù)和管理難點(diǎn)，需在后續(xù)正式項(xiàng)目中統(tǒng)籌考慮并解決。

2.3.1 視頻采集的困難

視頻智能化技術(shù)高度依賴視頻前端采集的畫面質(zhì)量，視頻采集會(huì)面臨目標(biāo)物被遮擋、自然強(qiáng)光干擾、人造強(qiáng)光干擾、攝像機(jī)畫面偏移等問(wèn)題。

2.3.2 復(fù)雜場(chǎng)景的挑戰(zhàn)

視頻智能化技術(shù)要應(yīng)對(duì)各種復(fù)雜業(yè)務(wù)場(chǎng)景的挑戰(zhàn)，系統(tǒng)需設(shè)計(jì)對(duì)航班拖曳、航班維護(hù)、多次靠橋、多次配餐等特殊業(yè)務(wù)場(chǎng)景的處理邏輯。

2.3.3 算力資源的壓力

視頻分析技術(shù)普遍采用的深度學(xué)習(xí)算法，對(duì)基礎(chǔ)算力尤其是GPU的算力需求較高，比如在航站樓出發(fā)大廳人群較為密集的場(chǎng)景下識(shí)別人員體貌特征，每塊NVIDIA T4 GPU顯卡最多只能處理8路1080P高清視頻。

2.3.4 運(yùn)維工作的優(yōu)化

視頻智能化系統(tǒng)的建成，將對(duì)保障團(tuán)隊(duì)提出更高的要求。例如對(duì)于前端攝像機(jī)的維護(hù)，原先只要做到拍攝清晰，但智能化以后，即使攝像機(jī)采集出現(xiàn)超過(guò)1°視角偏差，都會(huì)影響后臺(tái)分析運(yùn)算結(jié)果。后端軟件平臺(tái)和智能算法提升了視頻平臺(tái)的規(guī)模和復(fù)雜度，原有視頻監(jiān)控的維護(hù)模式需要調(diào)整，包括提升維護(hù)人員的技術(shù)能力、升級(jí)運(yùn)維工具等。

3 整體設(shè)計(jì)方案

3.1 總體范圍與項(xiàng)目目標(biāo)

根據(jù)局部驗(yàn)證中對(duì)于技術(shù)可行性的驗(yàn)證結(jié)果，以及實(shí)際業(yè)務(wù)需求，系統(tǒng)建設(shè)目標(biāo)為安裝及調(diào)優(yōu)990路攝像頭全量采集浦東機(jī)場(chǎng)所有在用290個(gè)機(jī)位的19個(gè)主要保障節(jié)點(diǎn)數(shù)據(jù)，并將采集的數(shù)據(jù)融合航班數(shù)據(jù)以后上傳至企業(yè)服務(wù)總線。且滿足航班保障節(jié)點(diǎn)采集算法識(shí)別率在白天且良好天氣場(chǎng)景下精確率和召回率分別不低于98%，在夜晚或惡劣天氣且滿足肉眼可見(jiàn)場(chǎng)景下精確率和召回率分別不低于95%，航班匹配精確率不低于99.5%。

3.2 系統(tǒng)整體架構(gòu)

系統(tǒng)邏輯架構(gòu)圖如圖1所示。其中物理層為系統(tǒng)的各類攝像機(jī)等前端采集設(shè)備，以及服務(wù)器GPU、服務(wù)器CPU等計(jì)算資源；圖像算法層主要是計(jì)算機(jī)視覺(jué)技術(shù)，主要包括飛機(jī)識(shí)別、飛機(jī)部位識(shí)別、保障車輛識(shí)別、地服人員識(shí)別、運(yùn)動(dòng)目標(biāo)檢測(cè)等圖像算法，以及從視頻和圖像中提取結(jié)構(gòu)化的數(shù)據(jù)；業(yè)務(wù)邏輯層根據(jù)航班生產(chǎn)的業(yè)務(wù)邏輯，配置生成各個(gè)保障節(jié)點(diǎn)采集、行為和事件發(fā)生的判定規(guī)則算法，并對(duì)視頻結(jié)構(gòu)化數(shù)據(jù)進(jìn)行進(jìn)一步處理，得到各個(gè)保障節(jié)點(diǎn)采集、行為和事件。應(yīng)用層主要實(shí)現(xiàn)最終對(duì)用戶展示的各項(xiàng)功能，包括行為與事件的監(jiān)管人機(jī)交互、機(jī)場(chǎng)協(xié)同決策系統(tǒng)的各項(xiàng)子功能。

圖1 系統(tǒng)邏輯架構(gòu)圖

系統(tǒng)功能模塊圖如圖2所示，由四個(gè)部分組成：前端圖像采集包括前端攝像機(jī)及視頻流媒體平臺(tái)，流媒體平臺(tái)通過(guò)平臺(tái)SDK方式提供視頻或者圖片流[4]；視頻分析算法模塊是系統(tǒng)的核心功能，獲取視頻或者圖片流并完成圖像解析處理后，經(jīng)過(guò)深度學(xué)習(xí)推理，獲取航班地面保障時(shí)間節(jié)點(diǎn)，并生成動(dòng)圖集中存儲(chǔ)；節(jié)點(diǎn)數(shù)據(jù)融合模塊實(shí)現(xiàn)原始節(jié)點(diǎn)數(shù)據(jù)與航班動(dòng)態(tài)數(shù)據(jù)的智能融合，再次生成航班保障節(jié)點(diǎn)數(shù)據(jù)，同時(shí)在模塊中實(shí)現(xiàn)數(shù)據(jù)治理功能，對(duì)重復(fù)上報(bào)、不符合航班保障邏輯的節(jié)點(diǎn)進(jìn)行自動(dòng)剔除或覆蓋，并完成與ESB對(duì)接；管理及運(yùn)維平臺(tái)實(shí)現(xiàn)用戶管理、運(yùn)維管理、數(shù)據(jù)核驗(yàn)、統(tǒng)計(jì)報(bào)表、日志模塊等管理功能。

圖2 系統(tǒng)功能模塊圖

3.3 攝像機(jī)部署方案

現(xiàn)有機(jī)位視頻監(jiān)控主要采用200萬(wàn)像素高清攝像機(jī)，為提升視頻算法精度，最理想方案是將所有機(jī)位更新至4K攝像機(jī)，且根據(jù)現(xiàn)場(chǎng)條件調(diào)整安裝位置和照射角度（攝像機(jī)架設(shè)建議如圖3所示）。為遵循“降本增效”原則，需在實(shí)用性和經(jīng)濟(jì)性之間取得一個(gè)平衡。因畫面捕捉目標(biāo)主要集中在飛機(jī)右邊引擎一側(cè)（即圖3所示點(diǎn)位1），因此前端方案主要確保該側(cè)攝像機(jī)按照4K標(biāo)準(zhǔn)更新，其余方向攝像機(jī)根據(jù)使用年限更新或者利舊。

圖3 攝像機(jī)架設(shè)建議示意圖

3.4 外部數(shù)據(jù)輔助

獲取機(jī)坪設(shè)計(jì)圖、機(jī)位設(shè)計(jì)圖、機(jī)型設(shè)計(jì)圖等靜態(tài)信息。通過(guò)ESB接入航班動(dòng)態(tài)、機(jī)位分配等系統(tǒng)的動(dòng)態(tài)數(shù)據(jù)，對(duì)航班號(hào)、機(jī)型、機(jī)位、計(jì)劃到達(dá)時(shí)間、計(jì)劃起飛時(shí)間、實(shí)際到達(dá)時(shí)間、實(shí)際起飛時(shí)間等數(shù)據(jù)融合處理，優(yōu)化模型訓(xùn)練和數(shù)據(jù)融合，提高節(jié)點(diǎn)采集精確率。

3.5 綜合算力測(cè)算

根據(jù)前期測(cè)試結(jié)果，可以估算GPU算力資源總體需求。在不降低視頻算法精度的前提下，通過(guò)兩種方法節(jié)省算力資源。一是根據(jù)航班動(dòng)態(tài)分配算力資源，即當(dāng)機(jī)位上有飛機(jī)正在執(zhí)行保障任務(wù)的過(guò)程中才啟用算力。二是通過(guò)減少視頻流解析來(lái)減少算力資源，即在前端采集時(shí)獲取可以直接用于分析的圖片流。

3.6 視頻算法概述

視頻分析算法總體分為訓(xùn)練階段和推理階段。在訓(xùn)練階段，通過(guò)采集停機(jī)位的圖像，使用深度學(xué)習(xí)模型對(duì)海量的圖像進(jìn)行訓(xùn)練，得到圖像檢測(cè)和圖像分類的模型參數(shù)；根據(jù)航班保障的業(yè)務(wù)邏輯，產(chǎn)生各個(gè)保障節(jié)點(diǎn)的位置、時(shí)序等生成邏輯。在推理階段，算法通過(guò)神經(jīng)網(wǎng)絡(luò)得到航空器、參與航班地面保障的車輛、人員的種類、位置、置信度等信息，按照保障節(jié)點(diǎn)的生成邏輯，生成各個(gè)保障節(jié)點(diǎn)。

3.7 數(shù)據(jù)治理與服務(wù)

290個(gè)機(jī)位每天產(chǎn)生的保障節(jié)點(diǎn)數(shù)據(jù)巨大，驗(yàn)證每個(gè)節(jié)點(diǎn)的數(shù)據(jù)質(zhì)量遠(yuǎn)超人力統(tǒng)計(jì)核驗(yàn)的能力范圍。在實(shí)際保障過(guò)程中，很多保障任務(wù)是串行或者并行發(fā)生的，有著一定的制約關(guān)系[5]，設(shè)計(jì)一套邏輯校驗(yàn)、采集率統(tǒng)計(jì)、風(fēng)險(xiǎn)因素分析、局部核驗(yàn)、多個(gè)維度統(tǒng)計(jì)、多方參與的方式，實(shí)現(xiàn)自動(dòng)和人力相結(jié)合，在有限人力的投入下，提高保障節(jié)點(diǎn)數(shù)據(jù)質(zhì)量監(jiān)控的公信力。在數(shù)據(jù)質(zhì)量監(jiān)控過(guò)程中，對(duì)錯(cuò)誤節(jié)點(diǎn)數(shù)據(jù)進(jìn)一步補(bǔ)充采集，并導(dǎo)入算法模型訓(xùn)練，使保障節(jié)點(diǎn)的精確率不斷提升。系統(tǒng)在企業(yè)服務(wù)總線設(shè)計(jì)發(fā)布2個(gè)服務(wù)，實(shí)現(xiàn)保障節(jié)點(diǎn)實(shí)時(shí)和歷史數(shù)據(jù)的共享。浦東機(jī)場(chǎng)、機(jī)場(chǎng)集團(tuán)各系統(tǒng)可通過(guò)ESB快速獲取保障節(jié)點(diǎn)的結(jié)構(gòu)化數(shù)據(jù)、縮略圖、快照等。

4 項(xiàng)目實(shí)施成果

4.1 健全節(jié)點(diǎn)

4.1.1 提供標(biāo)準(zhǔn)化數(shù)據(jù)接口

在遵循企業(yè)服務(wù)總線接入開(kāi)發(fā)規(guī)范進(jìn)行適配后，系統(tǒng)支持推送保障作業(yè)節(jié)點(diǎn)信息，包括但不限于節(jié)點(diǎn)類型編碼、節(jié)點(diǎn)類型描述、航班進(jìn)出港標(biāo)識(shí)、航班編號(hào)、停機(jī)位編碼、保障批次、計(jì)劃保障時(shí)間、識(shí)別保障時(shí)間等。同時(shí)系統(tǒng)支持提供保障節(jié)點(diǎn)信息的動(dòng)圖，通過(guò)URL地址的形式提供動(dòng)圖調(diào)閱服務(wù)。

4.1.2 數(shù)據(jù)質(zhì)量評(píng)估

通過(guò)抽樣方式采集100個(gè)機(jī)位在2023年4月14日-4月20日期間的節(jié)點(diǎn)數(shù)據(jù)，包含了晝夜晴雨等多種場(chǎng)景，總計(jì)采樣數(shù)量為9977個(gè)。經(jīng)綜合統(tǒng)計(jì)，精確率、召回率均大于99%，符合項(xiàng)目預(yù)期。數(shù)據(jù)質(zhì)量抽樣評(píng)估表如表2所示。

表2 數(shù)據(jù)質(zhì)量抽樣評(píng)估表

4.2 優(yōu)化算法

按照原設(shè)計(jì)，系統(tǒng)配置了8套GPU服務(wù)器（每套服務(wù)器含4塊NVIDIA的T4 GPU）。通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，選用新型神經(jīng)網(wǎng)絡(luò)并進(jìn)行合理裁剪，在保持模型精度的前提下，大幅提高推理吞吐量。同時(shí)，使用TensorRT通過(guò)剪枝、量化、融合等技術(shù)來(lái)減小模型規(guī)模和計(jì)算復(fù)雜度，從而顯著提高深度學(xué)習(xí)模型在GPU上的推理速度。算法優(yōu)化后，實(shí)際減少至5套GPU服務(wù)器，且按照150個(gè)機(jī)位同時(shí)保障的峰值計(jì)算，平均占用率不高于25%，最高占用率不高于50%，完全符合運(yùn)行要求。

4.3 賦能業(yè)務(wù)

4.3.1 提升管控能力

通過(guò)精準(zhǔn)的航班保障節(jié)點(diǎn)數(shù)據(jù)，運(yùn)行指揮中心可查看各機(jī)位的保障進(jìn)度，實(shí)現(xiàn)航班的精確指揮；機(jī)組可清晰掌握航班的保障進(jìn)程；地勤人員可通過(guò)移動(dòng)應(yīng)用實(shí)時(shí)了解各項(xiàng)任務(wù)時(shí)間和航班推出目標(biāo)時(shí)間。

4.3.2 提高安全裕度

保障節(jié)點(diǎn)可以結(jié)合機(jī)位容量、機(jī)位調(diào)配、整體航班量等數(shù)據(jù)實(shí)現(xiàn)可視化分析，支持機(jī)位容量不足、機(jī)位沖突、機(jī)位機(jī)型不匹配等情況時(shí)的報(bào)警功能，為機(jī)場(chǎng)資源管理、運(yùn)營(yíng)效率提升提供數(shù)據(jù)決策依據(jù)。

4.3.3 推動(dòng)數(shù)據(jù)共享

機(jī)場(chǎng)掌控高質(zhì)量的實(shí)時(shí)數(shù)據(jù)，提升了與空管、航司之間數(shù)據(jù)交換、數(shù)據(jù)融合的話語(yǔ)權(quán)。這不僅可以促進(jìn)行業(yè)內(nèi)數(shù)據(jù)治理的良性循環(huán)，也可以探索對(duì)外提供有償數(shù)據(jù)服務(wù)，產(chǎn)生可觀的經(jīng)濟(jì)價(jià)值。

5 展望

以機(jī)坪作為業(yè)務(wù)場(chǎng)景，未來(lái)可以采集更多更細(xì)顆粒度的目標(biāo)物，可從靜態(tài)的采集升級(jí)為采集動(dòng)態(tài)矢量信息，例如采集人員、車輛、行李的動(dòng)態(tài)信息，研究實(shí)現(xiàn)繞機(jī)生產(chǎn)作業(yè)標(biāo)準(zhǔn)化、規(guī)范化檢測(cè)，研究實(shí)現(xiàn)違規(guī)人員進(jìn)入機(jī)位、違規(guī)接近航空器以及粗暴行李作業(yè)等預(yù)警功能。