吳立珍，牛軼峰，王 菖，方 斌

（1. 國防科技大學智能科學學院，長沙410073；2. 湖南警察學院交通管理系，長沙410138）

1 引 言

隨著無人機系統(tǒng)技術的迅猛發(fā)展，其應用范疇不斷拓展，應用樣式呈現(xiàn)出由獨立執(zhí)行任務向多無人機協(xié)同、有人機/無人機協(xié)同加速發(fā)展的趨勢，對多機指揮控制提出新的挑戰(zhàn)［1］。一方面，隨著傳感器和數(shù)據(jù)鏈性能的不斷提升，多機協(xié)同帶來的海量信息疊加顯示和融合處理難度不斷增大，與操作員有限的信息關注能力形成矛盾；另一方面，多樣化協(xié)同控制需求使操作員操作難度增大，需要將更多的精力用于處理多機沖突消解和任務協(xié)調。在這種情況下，傳統(tǒng)的人在回路中（Man-in-the-loop）的交互控制方式顯然已不能適應，極易出現(xiàn)操作員誤判和誤操作，從而導致事故發(fā)生［2］。

監(jiān)督控制（Supervisory Control）作為一種人在回路上（Man-on-the-loop）的控制方式［3］，能夠支持操作員通過自主代理的方法實現(xiàn)上層操作員對底層多無人機平臺的監(jiān)督與管理，其核心是面向人機智能融合，根據(jù)多任務動態(tài)分配原則［4］，通過操作員和自主系統(tǒng)二者決策等級的適時變化，實現(xiàn)人機之間的主動混合，達到少量操作員控制更多無人機的目標。本文在深入研究監(jiān)督控制技術發(fā)展的基礎上，設計和實現(xiàn)了一種基于多傳感器測量和多模態(tài)交互的多無人機監(jiān)督控制系統(tǒng)，并通過多機協(xié)同探測任務仿真試驗驗證了系統(tǒng)的有效性。

2 多無人機監(jiān)督控制技術研究現(xiàn)狀

隨著無人機自主能力的提高，操作員對無人機的控制由低級的基于行為的控制轉變?yōu)楦呒壍幕谥R的控制，這種基于知識的控制就是監(jiān)督控制。在監(jiān)督控制中，無人機的飛行控制基本由無人機系統(tǒng)自主完成，操作員主要負責高層的載荷管理和任務控制。監(jiān)督控制使得單個操作員控制多架無人機成為可能，一方面平臺自動化程度的提高為這種轉變提供了技術支持，另一方面協(xié)同任務帶來的交互需求為這種轉變提供了動力。

監(jiān)督控制技術的研究主要源于多無人機分布式作戰(zhàn)的指揮控制需求。自2004年 起，Ruff［5］、Dixon［6］、Dunlap［7］等研究初步建立了監(jiān)督控制的基本概念和體系架構，客觀分析了自動化組件在監(jiān)督控制中的作用以及對整體系統(tǒng)性能的影響。麻省理工學院的Cummings等［8-9］深入研究了單操作員能夠控制無人機的最大數(shù)量問題，分析了制約操作員監(jiān)督控制性能的關鍵因素。國內相關研究尚處于概念探索階段，人（地面站操作員或位于有人機上的飛行員）在協(xié)同系統(tǒng)中的重要性及其同無人機之間的協(xié)作交互關系未得到足夠重視。國防科技大學提出一種多無人機監(jiān)督控制系統(tǒng)的混合三層結構［10］，即可變自主級別控制器、任務管理系統(tǒng)、智能人-系統(tǒng)接口模塊，用于降低地面站指揮控制無人機的人機比；同時，面向有人機/無人機協(xié)同任務控制設計了基于自然語言的交互接口［11］?？哲姽こ檀髮W的黃長強等［12］提出人機協(xié)同感知-決策-執(zhí)行的半自主式武器控制思想，并設計了基于人機協(xié)同的無人攻擊機武器控制系統(tǒng)框架。浙江大學［13］提出人機共商決策方法，將人的智慧與機器的智能融合一體，提高決策的可靠性，具有很好的借鑒價值。

在監(jiān)督控制技術驗證方面，美、歐等軍事強國競相開展了一系列試驗項目，尤其在近年來呈現(xiàn)出加速發(fā)展的態(tài)勢。按照監(jiān)督控制系統(tǒng)部署方式的不同，大致可以分為基于地面站的監(jiān)督控制以及基于有人機的監(jiān)督控制兩類。

（1）基于地面站的監(jiān)督控制技術驗證

早期驗證項目主要聚焦于概念演示和技術探索，代表性的項目包括：波音公司開展的單操作員控制多架X-45A 無人作戰(zhàn)飛機項目以及單操作員同時管理3 架掃描鷹無人作戰(zhàn)飛機項目；諾斯羅普·格魯門公司完成的航母空域內同時控制4架X-47B無人作戰(zhàn)飛機模擬演練項目；洛克希德·馬丁公司基于沙漠鷹III 型無人機演示的單操作員管理多無人系統(tǒng)項目；雷錫恩公司推出的能同時控制8 架無人機的通用控制系統(tǒng)（UCS）等［14］。

近年來，監(jiān)督控制技術驗證不斷深化，最具影響力的是北約HFM-170 項目［15］。該項目由多個國家參與的15 個演示驗證項目組成，旨在針對多無人系統(tǒng)監(jiān)督控制框架下的一系列核心技術分別展開技術驗證，具體項目情況如表1所示。

（2）基于有人機的監(jiān)督控制技術驗證

有人機/無人機協(xié)同是監(jiān)督控制技術應用的重要載體和方向。英國QinetiQ 公司在2007年進行的狂風戰(zhàn)斗機飛行員監(jiān)督控制4 架無人機的飛行試驗是典型的基于有人機的監(jiān)督控制技術驗證，該項目成功實現(xiàn)了操作員高層決策與無人機系統(tǒng)自主執(zhí)行戰(zhàn)術任務的有機結合。

德國慕尼黑國防軍大學于2007—2011年間聯(lián)合德國航空航天中心等開展了有人/無人編隊（MUMT）項目［16］，旨在利用無人機提高有人機態(tài)勢感知能力、縮短任務完成時間、降低有人機風險。

值得關注的是，該項目在設計操作員輔助系統(tǒng)時采用了協(xié)同控制和監(jiān)督控制兩種模式，提出一種雙模式認知自動化方法，以替代傳統(tǒng)的自動化方法（圖1），使得操作員輔助系統(tǒng)具備了復雜任務決策能力。同時，設計了無人機人工認知單元（ACU），使無人機具備根據(jù)自身感知態(tài)勢理解有人機指派的目標或任務能力。該項目實現(xiàn)了人-機器（無人機操作員輔助系統(tǒng)）、機器（ACU）-機器（ACU）之間的有效協(xié)同，通過雙座模擬器（圖2）完成了協(xié)同偵察/運輸、協(xié)同防空壓制/打擊等典型任務的仿真研究。

表1 HFM-170項目情況Table 1 HFM-170 project

圖1 雙模式認知自動化方法Fig.1 Dual-mode cognitive automation

圖2 德國MUM-T項目仿真環(huán)境Fig.2 Simulation environment for MUM-T

近年來，有人機/無人機協(xié)同作戰(zhàn)模式的蓬勃發(fā)展進一步推動了監(jiān)督控制技術的進步。美國通用原子公司提出了16 架捕食者C 復仇者（Avenger）無人機集群在2 架F-22 戰(zhàn)斗機指揮下協(xié)同作戰(zhàn)概念（圖3），涉及的關鍵技術主要包括開放式的監(jiān)督控制體系結構、人機交互以及多機集群控制等。

圖3 捕食者C復仇者與F-22協(xié)同作戰(zhàn)Fig.3 Cooperation between Avenger and F-22

在監(jiān)督控制的技術框架下，2017年，美空軍忠誠僚機項目開展了基于無人化F-16 戰(zhàn)斗機的有人機/無人機編組技術演示，驗證了有人/無人協(xié)同開放式系統(tǒng)架構、僚機自主規(guī)劃并適應對地打擊任務、以及意外事件處置等能力。2018年，美軍拒止環(huán)境下無人機協(xié)同作戰(zhàn)項目基于RQ-23 虎鯊無人機，開展了單操作員指揮無人機編隊執(zhí)行戰(zhàn)術偵察、壓制/摧毀敵防空系統(tǒng)等任務的技術驗證［17］。2019年2月，完成了6 架虎鯊無人機和14 架仿真機的飛行試驗驗證。2019年5月，美國國防預先研究計劃局（DARPA）為了實現(xiàn)其新型作戰(zhàn)概念——馬賽克戰(zhàn)，而啟動了空戰(zhàn)演進（ACE）項目。該項目旨在通過建立操作員與無人系統(tǒng)之間可信任的互動，加速飛行員從操作員到任務指揮官的轉變。

應當指出，國內外目前在監(jiān)督控制方面取得了一定的研究成果，但主要是基于相對安全的空域或弱對抗條件。有人機/無人機在對抗空域協(xié)同執(zhí)行作戰(zhàn)任務，飛行員將面臨更復雜的問題，比如：工作量大幅增加，環(huán)境壓迫性和任務復雜度顯著提升等。在這種復雜快變的戰(zhàn)場環(huán)境中同時實現(xiàn)多無人機控制，現(xiàn)有的方法可能失效，需要深入研究如何能夠充分發(fā)揮人和自主系統(tǒng)的各自優(yōu)勢，盡可能降低人的底層操作負擔，實現(xiàn)基于人機認知模型的高效協(xié)同。

3 系統(tǒng)設計

本文設計的監(jiān)督控制系統(tǒng)主要由無人機操作員狀態(tài)監(jiān)視模塊和多無人機混合主動控制模塊組成。前者主要用于實時評估操作員的工作狀態(tài)，獲取操作員當前適合的決策等級，并避免“人不在回路”事件的發(fā)生。后者則以操縱員狀態(tài)為依據(jù)，實現(xiàn)人機多種權限的混合主動控制。

3.1 無人機操作員狀態(tài)監(jiān)視模塊

現(xiàn)有操作員狀態(tài)監(jiān)視的研究主要集中在操作員生理特征方面，大多采用腦電圖和心電圖分析的方式。為了減少對操作員的干擾，減少接觸式傳感器的使用，本文設計了一種基于多傳感器融合的無人機操作員狀態(tài)監(jiān)視模塊。

該模塊主要采集的數(shù)據(jù)包括：姿態(tài)特征、面部表情、眼睛疲勞度、心率和體溫特征等。通過對這些數(shù)據(jù)的實時測量和融合可分析得出操作員當前的狀態(tài)、行為和注意力，輸出操作員工作狀態(tài)評估結果，最后給出人機交互中操作員的決策等級，為后續(xù)的監(jiān)督控制提供依據(jù)。模塊框架和信息流程如圖4所示。

圖4 操作員狀態(tài)監(jiān)視模塊框架Fig.4 Framework of state monitoring module for the UAS operator

（1）姿態(tài)特征檢測

姿態(tài)特征主要采集面部以外身體其他部位（如手勢、軀干、頭部）的狀態(tài)，可通過交互式傳感器獲取的深度圖像進行檢測（圖5）。測量姿態(tài)特征的目的，主要是通過分析姿態(tài)動作的各種特性（如行為動作的方式、力度、頻率等），判斷操作員的工作狀態(tài)。比如，當操作員疲勞的時候，頭部的擺動頻率會增加。同時，手勢等特征也可用于交互控制。

圖5 姿態(tài)特征檢測Fig.5 Attitude feature detection

以頭部姿態(tài)檢測為例，可以假設頭部位置為Head(x，y，z)，脖子的位置為Neck(x，y，z)，則計算頭部水平姿態(tài)為

頭部俯仰姿態(tài)為

對于無人機操作員，如果頭部位置超過設定閾值則判斷操作員離開了視場中心位置；如果頭部俯仰姿態(tài)超過設定閾值，即βH＞Tmax或者βH＜Tmin，則認為操作員可能低頭或者抬頭幅度過大。系統(tǒng)根據(jù)一段時間的頻率數(shù)據(jù)分析，可用于判斷操作員的疲勞度。

（2）面部表情識別

面部表情主要通過可見光圖像進行檢測識別。不同的表情會帶來五官或者五官之間相對位置的變化，進而導致特征點連接形成的幾何拓撲形狀、大小、間距等發(fā)生相應變化。例如，當人驚恐的時候，嘴巴上的特征點會張開，眼睛上的特征點也會向上移動。識別出相應特征并依據(jù)人類情緒的相關模式進行歸類分析，就可以基本實現(xiàn)情緒的把握。檢測效果如圖6所示。

圖6 面部表情識別Fig.6 Facial expression recognition

（3）眼睛疲勞度檢測

系統(tǒng)通過眼動儀實現(xiàn)操作員的眼睛疲勞度檢測。該設備的原理是采用近紅外光源在眼睛和角膜上產生圖像，進而進行檢測識別和定位。眼睛疲勞度檢測采用PERCLOS 指標，即單位時間內眼睛閉合的次數(shù)。相關研究指出，該指標是公認的疲勞檢測的視覺參數(shù)，它反映了緩慢的眼皮閉合，可以有效表達精神疲勞程度。圖7 給出了PERCLOS 檢測示意。

圖7 PERCLOS眼睛狀態(tài)檢測Fig.7 Eye state detection using PERCLOS

（4）心率和體溫特征檢測

心率變異性（Heart Rate Variability，HRV）與人的負荷水平、疲勞程度有關，主要用心率傳感器進行測量［18］。通過一段時間內心率值的低頻和高頻數(shù)據(jù)的比值，可以估計操作員當前的身體狀態(tài)。圖8 為獲取的操作員心率數(shù)據(jù)，其中上圖為原始心率值，下圖為心率低頻高頻的比值，可以明顯看出操作員心率特征變化。

體溫特征與操作員心情狀態(tài)也存在相關性。相關研究表明，不同情緒下身體的熱量分布存在一定的模式，比如憤怒時，頭部和胸部的溫度會升高；沮喪時全身體溫會降低。根據(jù)測量身體多個部位的溫度值，與相關模式對比分析，可用于估計操作員當前的身體狀態(tài)和心情。

圖8 心率檢測Fig.8 Heart rate detection

（5）基于神經網(wǎng)絡學習的操作員狀態(tài)融合評估

采用基于神經網(wǎng)絡學習的操作員狀態(tài)融合評估方法，結構如圖9所示。

圖9 基于神經網(wǎng)絡學習的狀態(tài)評估Fig.9 State evaluation based on neural network learning

主要步驟如下：

①根據(jù)傳感器信息構建多維特征空間樣本庫。確定操作員狀態(tài)特征輸入矢量X（姿態(tài)、表情、眼動跟蹤、心率、體溫），目標矢量T（關注度、心情、肢體行為、疲勞度）。輸入輸出之間存在一定對應關系。

②設計神經網(wǎng)絡訓練學習感知器［19］。

③根據(jù)不同的操作員樣本，進行訓練，建立傳感器特征與語義之間的映射關系。

首先，對狀態(tài)模型進行語義量化，選擇多對形容詞用于建立操作員狀態(tài)模型形容詞集（表2），對每個形容詞對進行多等級量化，并分別設定邊界條件。如“疲勞的-平靜的”，其評價可以是重度疲勞、輕微疲勞、良好、非常好。

表2 操作員狀態(tài)模型形容詞集Table 2 The adjective set of operator state model

其次，建立狀態(tài)空間。按上述量化方法，獲得操作員某一狀態(tài)m的第n對形容詞的評價量化值，得到一維矩陣按照下式標準化得到Xm，其中

設E為公共因子矩陣，Z為載荷矩陣，其中E的第m行em= (em1，em2，...，emn)對應操作員狀態(tài)m在狀態(tài)空間的坐標，載荷矩陣Z的第n行Zn=(Zn1，Zn2，...，Znk)對應形容詞n在K維空間的坐標。

設U為獨特因子，D作為獨特因子的權值，對獲得的矩陣Xm做因子分析：

通過以上步驟，將原先的N維狀態(tài)空間降至K維，建立形容詞與操作員向量的映射。

④建立語義組合構建的樹形結構，采用D-S證據(jù)決策操作員的狀態(tài)為：

其中，Ti為目標矢量T的分量，λi為各種狀態(tài)的權值系數(shù)。

3.2 多無人機混合主動控制模塊

混合主動控制是實現(xiàn)監(jiān)督控制的核心。它通過綜合考慮操作員實時狀態(tài)（適合的決策等級）、無人機的自主能力、環(huán)境和任務的復雜程度等因素，實現(xiàn)人機之間多等級的、權限適時可變的控制模態(tài)。在上一節(jié)的基礎上，本節(jié)建立了一種基于多模態(tài)交互的多無人機混合主動控制系統(tǒng)。

為了實現(xiàn)多無人機的同時控制，操作員必須以簡單、直觀的方式與無人機交互，將認知精力集中于關鍵活動和關鍵環(huán)節(jié)上，如目視確認、打擊決策等。對此，設計了語音、眼動、手勢、操縱桿、觸摸屏等多模態(tài)的自然交互控制接口。不同的交互模態(tài)帶來的操作員負荷不同，適應于不同的操作員狀態(tài)和決策等級，并支持任務層、導航層、底層等多種控制模式。

其中，語音控制模態(tài)用于控制無人機執(zhí)行特定任務指令，眼動控制模態(tài)用于控制無人機實現(xiàn)目標鎖定，二者都屬于任務層控制；手勢控制模態(tài)（如指向信號等）用于無人機飛行方向引導、編隊避碰、編隊變換等，屬于導航層控制；操縱桿控制模態(tài)一般用于操縱無人機底層飛行控制。此外，操作員還可以利用觸摸屏獲取無人機狀態(tài)、當前任務、操作狀態(tài)反饋等信息，并進行載荷控制、路徑規(guī)劃、航點導航等任務。圖10 展示了一種多模態(tài)控制過程。假設無人機當前從A 點到B 點運動，并執(zhí)行沿途目標搜索任務。根據(jù)任務需求，Ⅰ和Ⅱ可以分別通過語音或者手勢指令實現(xiàn)無人機進入?yún)^(qū)域搜索模式和平行搜索模式。當無人機需要進入指定區(qū)域的時候，可以采用操作桿進行精準控制。Ⅲ為目標發(fā)現(xiàn)后，可以利用眼動跟蹤實現(xiàn)對目標的鎖定。

圖10 多模態(tài)控制過程Fig.10 Multimode control process

為了實現(xiàn)可變的自主權限控制，設計了無人機的四層控制模式：（1）自主控制模式：無人機不需要人的介入，自主完成任務，這種模式適用于簡單任務，并且對無人機自主能力提出了很高的要求；（2）半自主模式：無人機具備一定程度的機載任務控制能力，可以在人給定抽象任務條件下自主完成復雜任務規(guī)劃；（3）自主飛行模式：無人機在人給定導航目標、編隊控制指令、飛行路徑（由控制站完成重規(guī)劃）等前提下，自主進行路徑跟蹤和飛行控制。（4）手動模式：人可以直接對無人機和傳感器進行操縱，對操作員精力要求較高。四種控制模式根據(jù)監(jiān)督控制需求動態(tài)切換。

結合不同的操作員控制權限和平臺控制權限，同時考慮實際面臨的環(huán)境/任務復雜度等因素，可以通過模糊認知圖等方法實現(xiàn)人機控制權限的實時調節(jié)，進而實現(xiàn)人機混合主動控制（圖11）。例如在目標檢測時，系統(tǒng)可根據(jù)圖像中的目標數(shù)量以及當前操作員狀態(tài)等信息，自主提示用戶可以采用什么樣的控制模式，以最大化發(fā)揮人和機器的優(yōu)勢。

圖11 混合主動控制模塊框架Fig.11 Framework of mixed initiative control module

4 仿真結果及分析

4.1 實驗環(huán)境

系統(tǒng)實驗裝置如圖12 所示，采用了體感設備、眼動儀、心率和體溫傳感器等，所有傳感器通過有線或無線的途徑輸入到計算機中。其中，體感設備采用了微軟Kinect2，眼動儀采用Tobii eye X。

圖12 監(jiān)督控制系統(tǒng)實驗裝置Fig.12 Experimental devices of supervisory control system

實驗任務設定為多無人機對地面多目標的協(xié)同搜索。任務區(qū)域如圖13所示，其中C為待搜索區(qū)域的地圖；A、B 分別為兩架無人機機載傳感器實時采集的可見光圖像。圖14 為多機協(xié)同路徑規(guī)劃獲得的飛行航線，采用了凸多邊形區(qū)域的無人機覆蓋航跡規(guī)劃算法［20］，A、B 代表不同的無人機的飛行路徑。

圖13 多無人機協(xié)同目標檢測場景Fig.13 The scene of multi UAS cooperative target detection

圖14 區(qū)域搜索航線規(guī)劃Fig.14 Path planning for regional search

4.2 仿真結果

實驗一：開展長時間工作情形下操作員狀態(tài)的監(jiān)視實驗。設定姿態(tài)和表情檢測頻率為5Hz，眼動儀檢測頻率為20Hz，心率和體溫檢測頻率為10Hz，通過融合評估，繪制出操作員狀態(tài)隨時間變化曲線，如圖15 所示。其中，左圖為關注度（注意力）、心情、頭部動作頻率等信息，右圖為眼睛閉合PERCLOS 值、心率低頻高頻比等信息。可以看出，操作員隨時間的變化，關注度會逐漸降低，心情變的厭惡和憤怒，頭部的運動頻率也相應的增加，反映了疲勞度的持續(xù)增加。

圖15 操作員狀態(tài)隨時間變化的趨勢圖Fig.15 Operator status over time

表3為操作員狀態(tài)與適合的決策等級隨時間變化的情況。決策等級采用前文提出的四層劃分。根據(jù)實驗結果，在操作員連續(xù)緊張工作的情況下，工作能力會隨著時間的變化而降低，決策等級也需要相應調整，以降低工作負荷。

表3 操作員狀態(tài)與決策等級Table 3 Operator status and decision level

實驗二：開展多目標協(xié)同探測實驗。采用的傳感器探測模型［21］如圖16 所示。左圖為無人機對地面目標探測的數(shù)學建模，其中傳感器安裝角度為斜向下30°；右圖為無人機在不同高度探測目標的成功概率，橫坐標0 點為目標位置，不同顏色曲線代表不同的飛行高度。無人機越靠近目標，目的探測概率越大；無人機飛行高度增加，目標探測概率減小。

基于上述探測概率模型，分別采用全自主控制探測以及混合主動控制探測展開實驗比較，結果如圖17 所示，不同顏色的方框代表目標點被探測的次數(shù)及探測位置。圖17（b）中的藍線和紅線為無人機的飛行軌跡，其中藍線為自動飛行軌跡，紅線為手動飛行軌跡。M 區(qū)域為語音/手勢指令控制的盤旋探測，N 區(qū)域為搖桿控制的目標探測。圖17（c）中標示的Q區(qū)域對應圖12任務環(huán)境的水域，不存在需要探測的目標，通過任務環(huán)境分析采用了繞行的方式提高整體效能。

圖16 無人機地面目標探測概率模型Fig.16 Probability model for UAV ground target detection

針對特定目標P 和目標N 的探測結果如圖18所示。其中，上圖為目標P 的探測概率，下圖為目標N 的探測概率，紅色為混合主動控制的探測概率，藍色為全自主控制的探測概率?？梢钥闯?，當P目標探測概率較低的時候，可以采用混合主動控制提高探測概率，針對N 目標探測概率較大的情形，自主探測效果更好，操作員可以給予系統(tǒng)足夠的信任。

圖18 特定目標的探測概率Fig.18 Detection probability of specific targets

5 結束語

本文針對無人機控制站操作員在操作控制多無人機時面臨的工作負擔過大、操作性能下降的問題，詳細研究了多無人機監(jiān)督控制系統(tǒng)的發(fā)展現(xiàn)狀。從操作員狀態(tài)評估和多模態(tài)自然交互出發(fā)，設計了一種基于多傳感器的多無人機監(jiān)督控制系統(tǒng)。系統(tǒng)通過傳感器測量獲取操作員相關狀態(tài)數(shù)據(jù)，并利用神經網(wǎng)絡方法實時評估操作員狀態(tài)，獲得當前人機交互輔助決策等級。根據(jù)該決策等級和多任務動態(tài)分配原則切換人的控制權限和無人機的控制權限，實現(xiàn)操作員對多無人機的混合主動控制。結果表明，該系統(tǒng)可實時評估操作員狀態(tài)，并有效實現(xiàn)了多無人機的監(jiān)督控制，相比于單純自主控制能夠有效提升人機協(xié)同系統(tǒng)的整體效能。

應當指出，多無人機監(jiān)督控制在實際應用中仍然面臨很大挑戰(zhàn)：

（1）本文探索的基于多傳感器測量的操作員狀態(tài)評估受到監(jiān)督控制系統(tǒng)部署環(huán)境的制約，嘈雜背景、復雜光照、以及有限空間等對語音、眼動、手勢等交互手段形成干擾，測量存在不可預期的誤差，需要進一步研究特定應用背景下的交互信息處理方法以提高測量結果的可信度。

（2）操作員狀態(tài)的外在表現(xiàn)存在個性因素，也會伴隨工作環(huán)境和工作壓力的變化，呈現(xiàn)一定的差異。因此，傳感器統(tǒng)計數(shù)據(jù)難以作為狀態(tài)判斷唯一的衡量標準，需要在應用環(huán)境中針對不同的操作員開展長時間適應性的學習和訓練。

（3）復雜背景下多無人機監(jiān)督控制面臨高度的復雜性和不確定性，需要在混合主動控制框架下充分考慮各類動態(tài)意外事件，進一步深化研究控制權限的分配策略，既有限制的最大化自主系統(tǒng)的能力范圍，又確保核心權限掌握在人類操作員手中。

（4）多無人機監(jiān)督控制需要解決操作員對自主系統(tǒng)的信任問題。一方面要研究增強無人機自主系統(tǒng)的決策透明性、可解釋性和可干預性，另一方面還要研究構建操作員對自主系統(tǒng)信任程度的模擬和度量手段，通過可量化的信任度建立和擴展人機互信，促進人機高效協(xié)同。