廉佳 方政澎

（1.海軍裝備部 四川成都 610073；2.航空工業(yè)一飛院 陜西西安 710089）

軍事航空貨運是實施航空戰(zhàn)略投送的核心力量，對裝卸高效性和飛行安全性都有著極高的要求。不同于普通航空貨運，軍事航空運載具有強異類型物資多、物資屬性復雜、物資歸屬復雜、物資安全保證困難的特點，對安全性穩(wěn)定性具有更高要求，對于物資擺放方法與特殊隔離都有更多限制，因此更加難以規(guī)劃與管理［1］。此外，由于軍事貨運執(zhí)行的作戰(zhàn)任務的特殊性，使得物資類型、飛機型號與飛行路徑無法固定，因此還需要考慮是否能夠使用集裝器與轉(zhuǎn)場物資的問題［2］。上述問題對于保障人員的規(guī)劃裝卸方案、實施裝卸過程在精力與體力上都是一種挑戰(zhàn)，極大地制約了執(zhí)行作戰(zhàn)任務的效率。

對于航空貨運規(guī)劃問題，現(xiàn)在有很多研究通過將其抽象為一維、二維、三維裝箱問題［3］，利用啟發(fā)式算法，如模擬退火［4］、蟻群算法［5］、遺傳算法［6］、粒子群算法［7］、禁忌搜索算法［8］，及其組合［3，9］來解決航空裝載優(yōu)化問題，取得了較好的效果。然而這些研究生成的裝載方案，主要考慮優(yōu)化裝載方案，生成以紙質(zhì)、電子的裝載艙單為主［3，10-11］。由于軍事貨運的特殊性，執(zhí)行組板、裝載與拆卸時，主要仍然依靠保障人員執(zhí)行裝卸任務，保障人員在裝卸空運轉(zhuǎn)場對照裝載艙單進行裝載作業(yè)時易發(fā)生錯漏與混淆，裝載效率較低，裝卸過程難以管理。

針對這一問題，有些研究聚焦于裝載過程的可視化與管理。張長勇［12］等人通過可視化裝載來直觀顯示物資碼放位置與方式，然而此結(jié)果只作為方案評審使用，沒有考慮對現(xiàn)場保障人員拆卸過程的引導。史永勝［13］等人針對物資可裝載性問題，通過對DELMIA軟件二次開發(fā)，實現(xiàn)裝載可視化仿真，然而對于保障人員可視化方式不夠直觀。王策［14-15］建立了貨機物資裝載進程可視化系統(tǒng)，實現(xiàn)了保障人員模擬裝載培訓與遠程裝載進程可視化顯示，提高了貨機裝載管理效率，但是此系統(tǒng)主要用于管理半自動裝卸過程，不適用于人工裝配的情況，且忽略了對物資信息的采集與智能規(guī)劃。

數(shù)字孿生技術(shù)［16］與物聯(lián)網(wǎng)［17］可以實現(xiàn)物理世界和信息世界的交互、融合、智能化，已被廣泛應用于智能制造［18］及物流管理［19］等?；旌犀F(xiàn)實（Mixed Reality，MR）技術(shù)［20］則可以將真實世界與虛擬世界無縫交融，實現(xiàn)過程信息與真實物理環(huán)境的匹配，已廣泛應用于工業(yè)［21］、醫(yī)療［22］的過程引導。目前，還沒有基于數(shù)字孿生與物聯(lián)網(wǎng)技術(shù)構(gòu)建的航空貨運裝載管理系統(tǒng)，以及基于MR的可視化裝卸引導的相關(guān)研究。本文設計了一套基于MR 的軍事航空物資裝載智能管理系統(tǒng)，通過引入物聯(lián)網(wǎng)與數(shù)字孿生技術(shù)，根據(jù)軍事航空物資裝載特點，建立基于MR 的軍事航空物資裝載智能管理系統(tǒng)框架，在此基礎上設計了物資實體數(shù)據(jù)的實時獲取、裝載方案智能規(guī)劃、軍事航空物資裝載作業(yè)中組板、裝載與拆卸等進程的MR引導方案，實現(xiàn)對軍事航空物資裝卸過程的管理，提高軍事航空裝載過程的效率與安全性。

1 基于數(shù)字孿生的軍事航空物資裝卸智能管理系統(tǒng)框架

本文提出的基于MR的軍事航空物資裝卸智能管理系統(tǒng)框架如圖1所示，參考陶飛［18，23］等數(shù)字管理系統(tǒng)的理論構(gòu)架，系統(tǒng)由四大層級構(gòu)成，分為物理世界層、孿生模型層、數(shù)據(jù)管理層、功能應用層組成。

圖1 基于數(shù)字孿生的軍事航空物資裝卸智能管理系統(tǒng)框架

1.1 物理世界層

物理世界是裝卸過程發(fā)生的物理主體，是裝卸現(xiàn)場需要管理的各種客觀實體的集合，具體包括，航空貨倉、待運物資、各種航空集裝器（Unit Loading，ULD）、動力驅(qū)動單元PDU（Power Control Unit）、裝卸設備如物資裝載車或升降平臺車等。除此之外，還有構(gòu)建物聯(lián)網(wǎng)的相關(guān)感知設備如射頻識別（Radio Frequency Identification，RFID）讀寫器、RGBD 深度相機、ULD 位置檢測傳感器、PDU 熱傳感器、接近傳感器等，這些實體有機結(jié)合，承擔了它們本身的功能及數(shù)據(jù)收集的管理活動。

1.2 孿生模型層

孿生模型層是物理世界層的虛擬映射，具有所有需要管理的各種客觀實體的數(shù)字對應，管理對象的物理實體正在進行的各種行為，及其位置、狀態(tài)、屬性都可以通過整個孿生模型層中的數(shù)字模型相互關(guān)聯(lián)、協(xié)作來實時反映。而裝載過程主要關(guān)注物資、ULD、航空貨倉的實時狀態(tài)，因此這部分實體的數(shù)字映射是系統(tǒng)主要聚焦的部分。

1.3 數(shù)據(jù)管理層

數(shù)據(jù)管理層是航空裝載管理數(shù)據(jù)存儲、交互、傳輸?shù)闹行?。一方面，面向?qū)崟r采集數(shù)據(jù)，針對物資、ULD、航空貨倉建立實時數(shù)據(jù)庫，對采集物資屬性與實時的位置與狀態(tài)進行存儲。另一方面，包含物資裝卸管理所需的非實時數(shù)據(jù)，如數(shù)字模型庫、機艙型號庫、ULD型號庫等，裝載優(yōu)化算法庫、物資單等。信息管理層管理的裝載過程實時數(shù)據(jù)具有多源異構(gòu)、多樣、大量的特點，依靠數(shù)據(jù)管理層的分析與處理，數(shù)據(jù)會轉(zhuǎn)化為有意義的數(shù)據(jù)，完成孿生模擬層的數(shù)字模型狀態(tài)實時更新，并提供管理裝載過程的決策依據(jù)。

1.4 功能應用層

功能應用層主要實現(xiàn)航空裝載所需要的管理功能。保障人員通過觀察孿生模型的實時狀態(tài)，即可實現(xiàn)對軍事航空物資裝卸過程的監(jiān)控。通過數(shù)據(jù)管理層可對實時數(shù)據(jù)的采集與分析，實現(xiàn)ULD、貨倉實時狀態(tài)信息集中可視化展示。結(jié)合待裝載物資數(shù)據(jù)，通過人機交互方式設置保證人員與貨運載物特殊需求［1］（物資安全需求、優(yōu)先卸載需求、建制完整性需求）、通常約束［12］（體積約束、質(zhì)量約束、穩(wěn)定性約束、方向約束、重心約束、不重疊約束、承重約束）與優(yōu)化目標［24］（如載重利用率、容積利用率、利潤最大化、裝卸效率等）、航空裝載優(yōu)化算法（遺傳算法［6，12］、蟻群算法［5］、模擬退火［4］、粒子群算法［7］、禁忌搜索算法［8］，及混合算法［3，9］）的完成組板、ULD裝載方案智能生成與優(yōu)化等，提高軍事航空物資裝載過程的智能化決策與管理水平。

上述基于數(shù)字孿生的軍事航空物資裝卸智能管理系統(tǒng)框架，可以實現(xiàn)對軍事航空物資裝卸過程中物資、ULD、貨倉環(huán)境實現(xiàn)虛擬化與互聯(lián)化的數(shù)字孿生集成，這種新的軍事航空物資裝卸過程管理模式為保障人員提供了高效的監(jiān)督、決策、交互途徑。

2 裝卸現(xiàn)場物理實體實時數(shù)據(jù)獲取

2.1 多源異構(gòu)數(shù)據(jù)采集網(wǎng)絡

裝卸現(xiàn)場數(shù)據(jù)采集傳感器種類繁多，數(shù)據(jù)類型各不相同，接口協(xié)議也不盡相同。為解決多源異構(gòu)的數(shù)據(jù)采集帶來的數(shù)據(jù)融合困難，系統(tǒng)采用OPCUA Server作為基于數(shù)字孿生的軍事航空物資裝卸智能管理系統(tǒng)的數(shù)據(jù)通信網(wǎng)絡的框架。OPCUA Server是一種支持跨平臺的，具有的統(tǒng)一地址空間和服務的數(shù)據(jù)采集結(jié)構(gòu)，被廣泛應用于數(shù)字孿生相關(guān)的系統(tǒng)設計中［25-26］。對于裝卸現(xiàn)場接入的各類傳感器，如ULD位置檢測傳感器、PDU 熱傳感器、接近傳感器，通過飛機貨倉總線匯總，再通過TCP/IP 協(xié)議以無線網(wǎng)絡傳遞至服務器。對于射頻識別（Radio Frequency Identification，RFID）讀寫器、RGBD 深度相機等，則直接通過TCP/IP 協(xié)議，以無線網(wǎng)絡傳遞至服務器。

2.2 實體實時數(shù)據(jù)采集

管理航空物資裝卸的目標對象主要是物資、ULD、航空貨倉，因此系統(tǒng)主要針對這些實體進行采集。

2.2.1 物資信息采集

軍用物資具有種類繁多、數(shù)量大、屬性復雜、專用性強等特點，滲透進軍事戰(zhàn)斗、工作生活的方方面面。由于大部分物資是不規(guī)則形態(tài)，因此確定其屬性信息，如尺寸、重量、重心等數(shù)據(jù)，對于實現(xiàn)拆卸過程管理與裝卸方案規(guī)劃都有重要意義。

物資屬性信息來源主要分為兩部分，一部分物資具有標準的參數(shù)信息，如標準的零部件、彈藥箱、軍用車輛等，這些物資的屬性信息可以通過電子物資屬性清單（包含物資尺寸、重量、重心等）上傳至系統(tǒng)；另一部分物資不具有標準的參數(shù)信息，如緊急需要運送的特殊物品，則這些貨物的參數(shù)則需要通過測量獲取其幾何尺寸與質(zhì)量，并估算其重心。多視角3D 重建技術(shù)［27-28］是解決物資幾何尺寸檢測與估計的一個解決方案，通過多RGBD 相機同時在多個觀察視角采集待測物資點云，重建物資3D模型，并求取其包圍盒，完成對其幾何尺寸的估算，具有重建精度高、速度快、操作簡單的特點。

對于物資實時狀態(tài)信息，主要包括其所在的ULD及其在ULD 內(nèi)的位置。對于普通物資，張貼二維碼標簽，在每件物資組板前通過掃描標簽，確定物資所在ULD 即可。對于具有特殊要求的物資，如危險物資與重要物資，為保證安全與裝卸效率的需要，不但物資需要確認所在的ULD，還需要確認其在ULD 中的位置。目前物聯(lián)網(wǎng)領(lǐng)域常用的定位方法有兩種，基于射頻識別RFID（Radio Frequency Identification，RFID）的方法與基于超寬帶（Ultra Wide Band，UWB）的方法?；赨WB 的定位方法通過精確測量無線脈沖在空間中的傳播時間，測量UWB 標簽與UWB 基站之間的絕對距離來實現(xiàn)定位，精度較高，可達0.1m 級，但是UWB 標簽目前造價較高。而RFID 定位技術(shù)［29］通過計算信號源到監(jiān)測器的時間差或信號強度來完成定位，精度雖然只能達到1m級，但是能夠基本滿足飛機貨運裝載過程中的定位需求，并且具有定位范圍廣，造價低廉的特點，因此被廣泛地應用在物聯(lián)網(wǎng)與數(shù)字孿生應用中。本文系統(tǒng)同樣選用RFID 定位器實現(xiàn)對物資相對于ULD 位姿估計。對于重要物資，需在張貼二維碼標簽的同時，同時張貼RFID 標簽，通過在航空貨倉上安裝的多個RFID 檢測器，完成對RFID 標簽的定位，結(jié)合ULD定位位置，即可確定重要物資在ULD中的位置。

2.2.2 ULD信息采集

ULD 屬性信息由所在軍用機場數(shù)據(jù)庫中獲取，主要包括其型號、形狀、尺寸等信息。ULD實時定位信息則根據(jù)精度需求不同，選用RFID定位技術(shù)（低精度，低成本）或者UWB［30］定位技術(shù)（高精度，高成本）實現(xiàn)。其他狀態(tài)如是否到位、溫度、相對距離，則由ULD位置檢測傳感器、PDU熱傳感器、接近傳感器獲取。

2.2.3 航空貨倉信息采集

航空貨艙屬性信息由軍用貨機數(shù)據(jù)庫中獲取，主要包括飛機型號、貨艙門尺寸、貨艙橫截面尺寸與長度、飛機最大載重能力等。

綜上所述，本文通過OPCUA Server 創(chuàng)建多源異構(gòu)數(shù)據(jù)采集網(wǎng)絡，并從物資信息采集采集、ULD信息采集采集、航空貨艙信息采集3 個部分實現(xiàn)了基于數(shù)字孿生的軍事航空物資裝卸智能管理系統(tǒng)框架的相關(guān)數(shù)據(jù)的實時獲取。

3 裝載方案智能規(guī)劃

軍事航空運載由于其面向的作戰(zhàn)任務的特殊性，使得運載任務具有較大的不確定性。如完成運載任務的貨運飛機型號不定，物資種類繁多且具有特殊需求，ULD 形式不確定。并且針對作戰(zhàn)任務的不同目標，裝卸任務也具有不同的優(yōu)化目標與相應的優(yōu)先級。然而現(xiàn)有的優(yōu)化算法往往建立在規(guī)則長方體、無特殊要求、任意放置的條件下，約束條件只有往往只有體積、尺寸、質(zhì)量、重心因素，優(yōu)化目標常見為載重利用率、空間利用率，沒有考慮根據(jù)不同作戰(zhàn)任務而改變，因此無法適用于軍事航空運載的所有情況［3-4，6-7，9-10，12，24］。

軍事航空運載任務裝載優(yōu)化相關(guān)因素的總結(jié)如表1所示，在不同的物資、貨運飛機、ULD的運載條件下，針對不同的優(yōu)化目標與約束，使用不同的優(yōu)化算法可以得到不同需求的運載、裝卸方案。因此，本文系統(tǒng)支持保障人員針對當前的軍事作戰(zhàn)任務、運載條件、優(yōu)化目標與約束限制，通過人機交互選擇合適的優(yōu)化算法生成裝卸方案。

表1 軍事航空運載任務裝載優(yōu)化相關(guān)因素

4 基于MR的軍事航空貨物裝卸引導

在生成了航空運載裝卸方案之后，需要保障人員按照裝卸方案執(zhí)行物資的裝卸過程，由于軍事貨運的特殊性，執(zhí)行組板、裝載與拆卸過程仍然離不開保障人員。現(xiàn)有研究生成的裝載方案，以紙質(zhì)或電子的裝載艙單與可視化的配載圖表為主，保障人員在裝卸空運轉(zhuǎn)場對照裝載艙單與配載圖表進行裝載時，一方面，形式不夠直觀自然直觀，給保障人員帶來較大的體力與精力負荷；另一方面，保障人員需要頻繁在裝載艙單與配載圖表與物資實物上轉(zhuǎn)移注意力，因此易發(fā)生錯漏與混淆，裝卸效率較低。

為解決這一問題，本文系統(tǒng)引入MR技術(shù)，通過將物資虛擬、ULD虛擬模型疊加于真實世界上，實現(xiàn)對裝卸過程的MR 引導。保障人員通過佩戴MR 頭戴式顯示裝置（Helmet Mounted Display，HMD），實現(xiàn)虛實融合。而實現(xiàn)將虛擬資產(chǎn)準確地疊加于真實場景之上，最重要的是完成虛擬場景與真實場景的坐標系統(tǒng)一。二維碼作為一種人工標記，具有大量穩(wěn)定的視覺特征，是一種良好的定位基準，并且二維碼標記物可以在不破壞貨倉機構(gòu)的基礎上，隨意安裝或取下，具有使用靈活的特點，因此本文選用二維碼標記作為虛實融合的定位基準。通過使用MR HMD 上的相機掃描二維碼，可以獲得MR HMD 與人工標記的相對位姿，即實現(xiàn)初始定位，然后再通過其他MR HMD 的連續(xù)空間定位功能，即可實現(xiàn)虛擬場景與現(xiàn)實場景的連續(xù)注冊。在組板過程中，保障人員首先使用MR HMD 上的攝像機掃描ULD 上的二維碼標記完成初始定位，統(tǒng)一虛實坐標系，使虛擬貨物模型按照裝載方案疊加于真實ULD上實現(xiàn)虛實注冊，并顯示貨物ID 與屬性信息，然后保障人員按照疊加的虛擬模型，一步一步完成組板；在ULD裝載過程中，保障人員通過MR HMD 上的攝像機掃描機艙上的二維碼標記完成初始定位，統(tǒng)一虛實坐標系，實現(xiàn)虛擬ULD與航空貨倉的虛擬注冊，并顯示ULD ID與屬性信息，引導保證人員完成對ULD 的裝載；在物資拆卸過程中，在完成初始定位之后，對于需要優(yōu)先拆卸或者查找的物資，保證人員通過交互的方式輸入查找的對象的ID，對象虛擬模型即顯示在航空貨艙與ULD 的相應空間位置中，引導保障人員完成物資的拆卸。如圖2所示為基于MR 的軍事航空貨物裝卸引導示意圖。

圖2 基于MR 的軍事航空貨物裝卸引導示意圖

5 結(jié)語

本文設計了基于數(shù)字孿生的軍事航空物資裝卸智能管理系統(tǒng)框架，并制定了裝卸現(xiàn)場物理實體實時數(shù)據(jù)獲取、裝載方案優(yōu)化與制定、基于MR的軍事航空貨物裝卸引導等三部分具體方案，實現(xiàn)了軍事航空物資裝卸過程的數(shù)據(jù)獲取、裝載方案智能規(guī)劃、MR 可視化裝卸引導等目標，為數(shù)字孿生技術(shù)、物聯(lián)網(wǎng)及MR技術(shù)在軍事航空物資裝卸領(lǐng)域的應用提供了思路，對提高軍事航空物資裝卸過程的高效性和安全性具有一定的參考意義與工程應用價值。