李家偉，張洪欣，徐瑞林

北京郵電大學(xué)，北京 100088

近年來(lái)，隨著科技的進(jìn)步，人們對(duì)于大腦認(rèn)知的渴望伴隨計(jì)算機(jī)硬件計(jì)算速度的飛速提升催生出一種新興的人機(jī)交互技術(shù)——腦機(jī)接口（brain-computer interface，BCI）。腦機(jī)接口將人腦或動(dòng)物腦與外部設(shè)備之間直接建立起一座通信橋梁，實(shí)現(xiàn)了大腦將意念信息直接傳遞給外部設(shè)備，打破了人們對(duì)于“意念控物”只存在于科幻電影中的認(rèn)知。

腦機(jī)接口系統(tǒng)通常分為侵入式[1]和非侵入式兩類。侵入式腦機(jī)接口需要將電極植入顱骨來(lái)采集神經(jīng)信號(hào)，通常具有較高的信噪比，但是存在手術(shù)風(fēng)險(xiǎn)；非侵入式腦機(jī)接口無(wú)需手術(shù)，可以通過(guò)電信號(hào)采集設(shè)備直接采集頭皮腦電（EEG）。

穩(wěn)態(tài)視覺誘發(fā)電位（SSVEP）是指人在注視一個(gè)以固定頻率閃爍的目標(biāo)時(shí)，大腦視覺皮層可以產(chǎn)生一個(gè)相同頻率的混合基頻及倍頻響應(yīng)信號(hào)[2]。目前，SSVEP 的相關(guān)技術(shù)已經(jīng)十分成熟，很多相關(guān)算法都可以在無(wú)訓(xùn)練或較少訓(xùn)練的條件下實(shí)現(xiàn)較高的準(zhǔn)確率和信息傳輸速率。也是因?yàn)檫@些特性，通過(guò)SSVEP 誘發(fā)腦電并用于具體的應(yīng)用是可行的。在近幾年的世界機(jī)器人大會(huì)上，基于SSVEP打字[3]、控制輪椅[4]、控制機(jī)械臂[5]等應(yīng)用相繼亮相。

無(wú)人機(jī)編隊(duì)飛行是各國(guó)軍隊(duì)[6]及科研工作者[7]一直以來(lái)追求的技術(shù)。其關(guān)鍵技術(shù)問(wèn)題主要包括隊(duì)形設(shè)計(jì)、氣動(dòng)耦合、隊(duì)形動(dòng)態(tài)調(diào)整、航機(jī)規(guī)劃、無(wú)人機(jī)間的信息交互，以及編隊(duì)飛行控制等問(wèn)題。

Leader-Follower[8]方法是目前無(wú)人機(jī)編隊(duì)控制[9]中最常用的方法之一。先給Leader 一個(gè)預(yù)定軌跡，F(xiàn)ollower 和Leader保持一定的構(gòu)型，同時(shí)二者速度保持一致，這種相對(duì)運(yùn)動(dòng)的模式，可將無(wú)人機(jī)編隊(duì)系統(tǒng)隊(duì)形控制問(wèn)題轉(zhuǎn)換成單個(gè)個(gè)體的運(yùn)動(dòng)情況研究。

目前，市面上的無(wú)人機(jī)編隊(duì)控制主要通過(guò)操縱桿或其他控制工具來(lái)完成，并且一人只能操縱一架無(wú)人機(jī)，無(wú)人機(jī)編隊(duì)就得由多人來(lái)操控。

本文主要設(shè)計(jì)了一種基于SSVEP 的腦機(jī)接口無(wú)人機(jī)編隊(duì)的控制系統(tǒng)，該系統(tǒng)可提高無(wú)人機(jī)編隊(duì)的工作效率及解放操縱者的雙手，操作人員可以通過(guò)此系統(tǒng)同時(shí)控制多架無(wú)人機(jī)執(zhí)行任務(wù)。因此，腦機(jī)接口控制無(wú)人機(jī)編隊(duì)的研究在軍事與民用領(lǐng)域都具有重大意義。

1 系統(tǒng)總體設(shè)計(jì)

本文系統(tǒng)設(shè)計(jì)了一種基于SSVEP 的腦控?zé)o人機(jī)編隊(duì)系統(tǒng)。系統(tǒng)邏輯如圖1 所示，該系統(tǒng)架構(gòu)是以中央控制器為核心的一種星形架構(gòu)，包括刺激系統(tǒng)、采集系統(tǒng)、算法系統(tǒng)、無(wú)人機(jī)編隊(duì)控制系統(tǒng)在內(nèi)的所有子系統(tǒng)的運(yùn)行邏輯全部受到中央控制器的控制。準(zhǔn)備階段，中央控制器會(huì)控制刺激系統(tǒng)與算法系統(tǒng)完成“握手”并控制刺激系統(tǒng)產(chǎn)生刺激界面。試驗(yàn)時(shí)使用8 導(dǎo)聯(lián)Neuracle腦電采集設(shè)備進(jìn)行腦電信號(hào)采集，受試者注視刺激目標(biāo)產(chǎn)生相應(yīng)腦電數(shù)據(jù)會(huì)被腦電放大器采集并發(fā)送給采集系統(tǒng)，采集系統(tǒng)完成腦電數(shù)據(jù)拼接及降采樣等工作后，將數(shù)據(jù)傳遞給算法系統(tǒng)，算法系統(tǒng)采用基于CCA[10]的SSVEP算法用作信號(hào)識(shí)別，經(jīng)過(guò)該計(jì)算后將反饋結(jié)果反饋給中央控制器，中央控制器會(huì)依據(jù)反饋結(jié)果向刺激系統(tǒng)和無(wú)人機(jī)編隊(duì)控制系統(tǒng)發(fā)送指令，無(wú)人機(jī)編隊(duì)控制系統(tǒng)會(huì)依據(jù)飛行控制的指令向無(wú)人機(jī)編隊(duì)傳遞飛行信號(hào)，以此來(lái)實(shí)現(xiàn)腦電數(shù)據(jù)對(duì)無(wú)人機(jī)編隊(duì)的飛行控制。

圖1 基于腦機(jī)接口數(shù)據(jù)的無(wú)人機(jī)編隊(duì)飛行控制Fig.1 Flight control of UAV formations based on brain-computer interface data

系統(tǒng)消息通信如圖2所示，該系統(tǒng)以Kafka消息中間件作為通信平臺(tái)，采用發(fā)布—訂閱模式進(jìn)行消息通信，所有的數(shù)據(jù)均以二進(jìn)制的形式由生產(chǎn)者上傳至Kafka。首先訂閱者先進(jìn)行消息的訂閱，當(dāng)有發(fā)布者發(fā)送消息到服務(wù)器中時(shí)，服務(wù)器便會(huì)自動(dòng)給訂閱的用戶分發(fā)消息。

圖2 腦控?zé)o人機(jī)編隊(duì)消息通信連接圖Fig.2 Brain-controlled drone formation message communication connection diagram

2 無(wú)人機(jī)編隊(duì)仿真系統(tǒng)

無(wú)人機(jī)編隊(duì)系統(tǒng)仿真是基于Ubuntu 系統(tǒng)下ROS 和Gazebo 的物理仿真環(huán)境。該仿真系統(tǒng)通過(guò)Gazebo_ros 功能包進(jìn)行ROS 和Gazebo 的連通，通過(guò)ROS 提供的Mavros功能包根據(jù)PX4提供的Mavlink數(shù)據(jù)通信協(xié)議對(duì)PX4提供的Firmware功能包進(jìn)行數(shù)據(jù)的采集和處理，以達(dá)到ROS對(duì)Firmware 飛控仿真的連接。通過(guò)Firmware 和Mavros 組成的無(wú)人機(jī)，根據(jù)Gazebo提供的真實(shí)物理環(huán)境可以搭建一套完整的無(wú)人機(jī)仿真環(huán)境。無(wú)人機(jī)編隊(duì)仿真環(huán)境解決方案如圖3所示。

圖3 無(wú)人機(jī)編隊(duì)仿真框架圖Fig.3 UAV formation simulation framework diagram

從該無(wú)人機(jī)編隊(duì)仿真框架圖中可以看出，除了集群功能包以外都由ROS 以及PX4 提供，因此該系統(tǒng)還需設(shè)計(jì)一個(gè)無(wú)人機(jī)編隊(duì)軟件框架圖。對(duì)于無(wú)人機(jī)編隊(duì)，該系統(tǒng)設(shè)計(jì)了一個(gè)包含無(wú)人機(jī)編隊(duì)的解鎖、上鎖、起飛、降落模塊，無(wú)人機(jī)編隊(duì)隊(duì)形切換模塊，無(wú)人機(jī)控制指令模塊，以及無(wú)人機(jī)編隊(duì)狀態(tài)實(shí)時(shí)反饋信息。編隊(duì)的軟件框架圖如圖4所示。

圖4 無(wú)人機(jī)編隊(duì)軟件框架圖Fig.4 Drone formation software framework diagram

2.1 單無(wú)人機(jī)非線性建模

在對(duì)無(wú)人機(jī)編隊(duì)控制模塊進(jìn)行設(shè)計(jì)前需要實(shí)現(xiàn)對(duì)單個(gè)無(wú)人機(jī)的控制。為了清楚描述無(wú)人機(jī)的位置與姿態(tài)，需建立一個(gè)適當(dāng)?shù)淖鴺?biāo)系。慣性坐標(biāo)系與機(jī)體坐標(biāo)系如圖5所示。

圖5 慣性坐標(biāo)系與機(jī)體坐標(biāo)系Fig.5 Inertial coordinate system and body coordinate system

（1） 慣性坐標(biāo)系：慣性坐標(biāo)系是以地球?yàn)閰⒖寄繕?biāo)的坐標(biāo)系，以O(shè)n為原點(diǎn)，以O(shè)nXn、OnYn、OnZn三條互相垂直的直線為坐標(biāo)軸建立的坐標(biāo)系即為慣性坐標(biāo)系。

（2） 機(jī)體坐標(biāo)系：機(jī)體坐標(biāo)系是以無(wú)人機(jī)質(zhì)點(diǎn)Ob為坐標(biāo)原點(diǎn)，根據(jù)右手定則建立的笛卡兒機(jī)體坐標(biāo)系。機(jī)頭所在方向?yàn)樽鴺?biāo)的正半軸Xb，機(jī)身橫截面的方向?yàn)閅b，二者互相垂直，Yb正方向?yàn)闄C(jī)體的右側(cè)。根據(jù)右手定則可知，Zb軸垂直于XbYb所在的平面且方向向上。

為了讓無(wú)人機(jī)與地面坐標(biāo)系保持一致，對(duì)應(yīng)姿態(tài)角做如下定義滾轉(zhuǎn)角，記為φ，其取值范圍在；俯仰角記為θ，其取值范圍在；偏航角記為ψ，其取值范圍在[-π,π]。

其中，滾轉(zhuǎn)角的定義為機(jī)體軸OZ與通過(guò)機(jī)體軸OX的鉛垂直間的夾角，從集體后方觀測(cè)，右側(cè)向下傾斜角度為正。

俯仰角的定義為機(jī)體繞OY軸旋轉(zhuǎn)后，OX軸與水平面之間形成的夾角，無(wú)人機(jī)頭部向上仰起時(shí)角度為正。

偏航角的定義為機(jī)體軸OX在水平面上的投影與機(jī)體軸OX之間的夾角，機(jī)體向北偏東方向偏航時(shí)角度為正。

使用方向余弦法后將三次基本旋轉(zhuǎn)矩陣相乘可得到坐標(biāo)系的旋轉(zhuǎn)矩陣

根據(jù)機(jī)體坐標(biāo)系的旋轉(zhuǎn)矩陣、無(wú)人機(jī)的運(yùn)動(dòng)方程[11]、慣性矩陣以及無(wú)人機(jī)沿坐標(biāo)軸的力矩可得到完整的無(wú)人機(jī)動(dòng)力學(xué)非線性模型

式中，g為重力加速度，m為機(jī)體質(zhì)量，Ω為電機(jī)轉(zhuǎn)速，b為電機(jī)的拉力系數(shù)，l為無(wú)人機(jī)幾何中心到電機(jī)中心的距離。Fi（i=1,2,3,4）代表每個(gè)螺旋槳的升力，可視為控制的輸入。

此外，φ,θ,ψ分別表示無(wú)人機(jī)的滾轉(zhuǎn)角、俯仰角、偏航角。

2.2 單無(wú)人機(jī)控制

根據(jù)無(wú)人機(jī)數(shù)學(xué)模型（2），由于欠驅(qū)動(dòng)特性，存在4 個(gè)輸入就不能跟蹤6 個(gè)自由度。這里采用的控制方案如圖6所示。給無(wú)人機(jī)發(fā)送參考指令，即三維坐標(biāo)系下的期望值和滾轉(zhuǎn)角xd，yd，zd，φd，通過(guò)位置控制器進(jìn)行無(wú)人機(jī)空間位置的跟蹤，計(jì)算出為了跟蹤該位置的另兩個(gè)角θd,ψd，將二者傳給姿態(tài)子系統(tǒng)控制器，然后通過(guò)姿態(tài)子系統(tǒng)得到的u1以及位置子系統(tǒng)得到的u2、u3、u4，就可得到位置輸出以及姿態(tài)輸出，之后就可實(shí)現(xiàn)對(duì)無(wú)人機(jī)的控制。

圖6 無(wú)人機(jī)控制結(jié)構(gòu)Fig.6 UAV control structure

可將無(wú)人機(jī)的非線性模型劃分成兩個(gè)子系統(tǒng)，分別是位置子系統(tǒng)和姿態(tài)子系統(tǒng)

根據(jù)無(wú)人機(jī)的位置子系統(tǒng)（4）以及給定的滑模面給出如下控制律

可使滑模面S在有限時(shí)間內(nèi)達(dá)到0。其中，C，M，L為可調(diào)節(jié)的正定矩陣，U1=[u1x,u1y,u1z]T，位置跟蹤誤差為E。

因三個(gè)角度產(chǎn)生的過(guò)程和控制率的設(shè)計(jì)具有相似性，所以以滾轉(zhuǎn)角φ為例，進(jìn)行姿態(tài)控制器設(shè)計(jì)。

根據(jù)無(wú)人機(jī)的姿態(tài)子系統(tǒng)（5）以及給定滑模面[12]可得設(shè)計(jì)控制輸入u4

式中，c1，k1，l1為控制器參數(shù)，都為正整數(shù)；di（i=1,2,3,4）為觀測(cè)器的誤差。

2.3 無(wú)人機(jī)編隊(duì)模型

對(duì)于無(wú)人機(jī)編隊(duì)控制模塊，系統(tǒng)采取分布式控制方法進(jìn)行無(wú)人機(jī)間的相互通信，使用Leader-Follower 方法完成編隊(duì)控制?？紤]一組由i個(gè)無(wú)人機(jī)組成的編隊(duì)，其中i= {L,1,2,3,…,N}，其中L為領(lǐng)機(jī)Leader，N為跟隨者的數(shù)量。該無(wú)人機(jī)編隊(duì)的控制目標(biāo)是實(shí)現(xiàn)如圖7 所示的控制方案，可以使無(wú)人機(jī)編隊(duì)在同一高度上飛行。

根據(jù)圖7，可以得到無(wú)人機(jī)編隊(duì)的運(yùn)動(dòng)方程為

圖7 無(wú)人機(jī)編隊(duì)在二維平面內(nèi)的控制示意圖Fig.7 Schematic of the control of a drone formation in a two-dimensional plane

式中，ωi是偏航角的角速度，vixviy表示無(wú)人機(jī)速度在X、Y方向上的分量。

λx,λy表示從Leader的質(zhì)心到一個(gè)Follower之間在X、Y方向上的距離對(duì)其進(jìn)行求導(dǎo)并結(jié)合式（9），可以得到

在編隊(duì)控制算法中應(yīng)用SMC 可以使編隊(duì)在不確定環(huán)境中也可保持編隊(duì)隊(duì)形。在X、Y方向上定義編隊(duì)的誤差所以無(wú)人機(jī)在三位坐標(biāo)X、Y方向上的控制誤差應(yīng)滿足[13]

其中

根據(jù)滑模控制理論，為了使滑模收斂為0，控制輸入τi設(shè)計(jì)如下

其中，αi βi為可以調(diào)節(jié)的正定矩陣。

3 試驗(yàn)內(nèi)容設(shè)計(jì)

因腦電信號(hào)自身十分微弱且容易受到外界因素的干擾，所以該試驗(yàn)在一個(gè)相對(duì)幽暗、低輻射、隔聲良好、相對(duì)安靜的封閉試驗(yàn)環(huán)境下進(jìn)行。

試驗(yàn)中的無(wú)人機(jī)編隊(duì)使用的是ROS 開發(fā)環(huán)境下的Gazebo無(wú)人機(jī)編隊(duì)仿真，該仿真模塊基于上節(jié)的無(wú)人機(jī)編隊(duì)控制，可實(shí)現(xiàn)無(wú)人機(jī)編隊(duì)的解鎖、起飛、降落、左轉(zhuǎn)、右轉(zhuǎn)、三角隊(duì)形、菱形隊(duì)形、上鎖等控制方法，刺激界面如圖8所示。

圖8 刺激界面Fig.8 Stimulate the interface

界面固定頻率8Hz、8.5Hz、9Hz、9.5Hz、10.5Hz、11Hz、11.5Hz、12Hz 不斷閃爍來(lái)刺激被試者產(chǎn)生腦電信號(hào)。8 種刺激頻率分別對(duì)應(yīng)控制無(wú)人機(jī)編隊(duì)指令：解鎖、起飛、降落、左轉(zhuǎn)、右轉(zhuǎn)、三角隊(duì)形、菱形隊(duì)形、上鎖。

試驗(yàn)被試人員為6 人，刺激目標(biāo)為8 個(gè)，試驗(yàn)預(yù)估時(shí)間30min，測(cè)試模式識(shí)別結(jié)果的準(zhǔn)確性，被試者根據(jù)提示，鎖定目標(biāo)方塊，產(chǎn)生SSVEP 響應(yīng)，識(shí)別完成后給予被試者反饋結(jié)果。

試驗(yàn)過(guò)程：進(jìn)行試驗(yàn)時(shí)被試者放松，戴好腦電極帽，視線與電腦屏幕保持水平，SSVEP模式識(shí)別離線試驗(yàn)，試驗(yàn)有8個(gè)周期，每個(gè)試驗(yàn)周期里有16次刺激，試驗(yàn)周期內(nèi)隨機(jī)遍歷兩遍8 個(gè)目標(biāo)，并給出反饋。一個(gè)試驗(yàn)周期的時(shí)長(zhǎng)為3min，試驗(yàn)周期之間的休息時(shí)間由被試者決定。被試者根據(jù)自己需求與刺激閃爍結(jié)果的目標(biāo)方塊完成無(wú)人機(jī)編隊(duì)模擬環(huán)境下的控制，即可完成編隊(duì)控制，如圖9～圖12所示。

圖9 初始狀態(tài)Fig.9 Initial state

圖12 菱形隊(duì)形Fig.12 Diamond formation

受試者在不同刺激時(shí)長(zhǎng)下判別準(zhǔn)確率見表1，縱坐標(biāo)為識(shí)別時(shí)間，橫坐標(biāo)為試驗(yàn)被試人員的判別準(zhǔn)確率。

圖10 起飛Fig.10 Take off

圖11 三角隊(duì)形Fig.11 Triangle formation

根據(jù)表1離線數(shù)據(jù)結(jié)果可以得出，當(dāng)判斷時(shí)間為3.5s時(shí)判別的準(zhǔn)確率最高，該準(zhǔn)確率可以達(dá)到較好的控制效果，滿足系統(tǒng)要求。

表1 離線數(shù)據(jù)結(jié)果Table 1 Offline data result

4 結(jié)束語(yǔ)

腦機(jī)接口技術(shù)的提出為人類提供了一種全新的與外界的信息交互形式。在軍事、醫(yī)療、智能家居和電子游戲等眾多領(lǐng)域都受到廣泛的關(guān)注。

本文設(shè)計(jì)了一種基于腦機(jī)接口的無(wú)人機(jī)編隊(duì)控制系統(tǒng)，該系統(tǒng)通過(guò)腦電采集設(shè)備，采集被試者注視刺激界面時(shí)產(chǎn)生的刺激信號(hào)，經(jīng)過(guò)算法服務(wù)器解析信號(hào)翻譯成對(duì)應(yīng)指令，并將指令發(fā)送到控制器，還會(huì)將結(jié)果反饋給刺激界面以驗(yàn)證準(zhǔn)確性。

采用非侵入式腦機(jī)接口方式對(duì)腦電信號(hào)進(jìn)行采集，使用SSVEP算法對(duì)采集到的腦電信號(hào)進(jìn)行處理，此方案具有可行性。