趙佳佳，劉 磊

（上海理工大學(xué)管理學(xué)院，上海 200093）

0 引言

自然界中隨處可見成群結(jié)隊(duì)覓食的蟻群［1］、編隊(duì)遷徙的鳥群［2］、洄游的魚群［3-4］等，動物之間采用簡單交互規(guī)則便能實(shí)現(xiàn)信息傳遞，這種自組織的涌現(xiàn)行為給人工集群復(fù)雜系統(tǒng)的靈活控制提供了有益參考。科學(xué)家通過對自然界生物的長期觀察，研究出經(jīng)典的生物啟發(fā)交互算法，如Aoki 模型［5］、Vicsek 模型［6］和Couzin 模型［7］等，并通過簡單自推進(jìn)粒子（Self-propelled Particle，SPP）模型［8］仿真驗(yàn)證集群運(yùn)動的組織協(xié)調(diào)性，進(jìn)而應(yīng)用于大規(guī)模人造集群系統(tǒng)的控制中［9-10］。

隨著自動跟蹤技術(shù)的發(fā)展，加之當(dāng)前計(jì)算機(jī)技術(shù)為圖像處理提供了足夠算力［11］，生物運(yùn)動數(shù)據(jù)得以被大規(guī)模采集［12］，集群運(yùn)動的數(shù)據(jù)驅(qū)動建模更加便捷高效。在生物學(xué)和物理學(xué)領(lǐng)域，集群運(yùn)動的研究重點(diǎn)集中在建模和仿真方面［13］。然而，傳統(tǒng)的數(shù)據(jù)驅(qū)動建模多為人工設(shè)計(jì)，且強(qiáng)烈依賴于人類直覺和各種先驗(yàn)假設(shè)的數(shù)學(xué)模型結(jié)構(gòu)［14］，當(dāng)面對真實(shí)生物運(yùn)動數(shù)據(jù)時(shí)，傳統(tǒng)的數(shù)學(xué)模型結(jié)構(gòu)難以展現(xiàn)和解釋集群運(yùn)動的復(fù)雜行為。

近年來，以深度學(xué)習(xí)為代表的人工智能技術(shù)蓬勃發(fā)展，為復(fù)雜系統(tǒng)的集群研究提供了有效方案［15］。深度神經(jīng)網(wǎng)絡(luò)使集群運(yùn)動數(shù)據(jù)交互模型的提取成為可能［16］，但由于其具有臭名昭著的黑盒特性，使得進(jìn)一步研究集群內(nèi)部個體交互的信息傳播路徑變得十分困難。

目前，以Transformer 為代表的注意力機(jī)制逐漸成為深度學(xué)習(xí)領(lǐng)域的主流方法和研究熱點(diǎn)。本文將注意力機(jī)制與生物集群行為相結(jié)合，通過分析真實(shí)魚群運(yùn)動數(shù)據(jù)，訓(xùn)練出泛化性能良好的可預(yù)測和解釋復(fù)雜系統(tǒng)隱藏交互行為的深度注意力網(wǎng)絡(luò)模型，并應(yīng)用于真實(shí)魚群運(yùn)動研究與智能體仿真實(shí)驗(yàn)中，從而為實(shí)現(xiàn)更大規(guī)模的靈活分布式系統(tǒng)控制奠定基礎(chǔ)。

1 相關(guān)研究

1.1 長短期記憶模型

復(fù)雜系統(tǒng)的行為數(shù)據(jù)大多表現(xiàn)為時(shí)間序列，序列模型便是為此類數(shù)據(jù)建模設(shè)計(jì)的。傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)［17］（Recurrent Neural Network，RNN）雖然能夠解決序列數(shù)據(jù)問題，但在處理長序列時(shí)存在嚴(yán)重的梯度消失和梯度爆炸問題。

為了減輕RNN 中的梯度消失現(xiàn)象，長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)［18］應(yīng)運(yùn)而生。LSTM 中添加了額外的隱含狀態(tài)記憶序列信息，采用3 個門（輸入門、遺忘門和輸出門）控制當(dāng)前時(shí)刻的輸入對記憶的影響，調(diào)節(jié)各個單元間的信息流，有選擇地加入新的信息給當(dāng)前狀態(tài)，防止梯度消失和梯度爆炸。LSTM 元胞結(jié)構(gòu)模型如圖1 所示。

首先，當(dāng)前輸入信息xt與上一時(shí)刻隱藏層輸出ht-1通過Sigmoid 函數(shù)得到從遺忘門中丟棄的信息ft，表示為：

然后，根據(jù)需要更新的信息it與生成備選更新的內(nèi)容通過輸入門將舊元胞狀態(tài)Ct-1更新為新元胞狀態(tài)Ct，表示為：

最后，輸入信息xt與上一時(shí)刻隱藏層的輸出ht-1，通過Sigmoid 函數(shù)得到輸出信息yt，新元胞狀態(tài)Ct通過tanh 層與yt相乘得到當(dāng)前時(shí)刻隱藏層的輸出ht，表示為：

LSTM 目前已出現(xiàn)諸多變種，其中最實(shí)用的為門控遞歸單元（Gate Recurrent Unit，GRU），其將控制門的個數(shù)減少至2 個，使得模型收斂所需時(shí)間有所下降，且與原始LSTM 模型相比幾乎沒有性能損失。

1.2 注意力機(jī)制

注意力機(jī)制是一種模擬人腦注意力機(jī)制的模型［19］，可將其看作是一個組合函數(shù)，通過計(jì)算注意力的概率分布，以突出某個關(guān)鍵輸入對輸出的影響［20］。注意力機(jī)制具有高效的信息篩選機(jī)制，結(jié)合該機(jī)制的編碼——解碼（Encod?er-Decoder）框架目前已廣泛應(yīng)用于自然語言理解、圖像處理等領(lǐng)域［21-22］。

注意力機(jī)制通過對模型中不同關(guān)注部分賦予不同的權(quán)重，從中抽取出重要和關(guān)鍵信息，從而優(yōu)化模型并作出更為準(zhǔn)確的判斷［20］。因此，注意力機(jī)制對于群體決策有重要作用，并且擁有更好的可解釋性。

Transformer 采用按比例縮放的點(diǎn)積注意力，經(jīng)過多層感知機(jī)（Multilayer Perceptron，MLP）層的向量Q（Query）、K（Key）、V（Value）需要先經(jīng)過Mask 掩碼操作再進(jìn)行Softmax歸一化。首先計(jì)算Q與K的轉(zhuǎn)置點(diǎn)積，點(diǎn)積的幾何意義即兩個向量越相似，點(diǎn)積就越大，反之就越小。輸出值即向量的加權(quán)和，具體計(jì)算公式為：

Fig.1 LSTM cellular structure model圖1 LSTM 元胞結(jié)構(gòu)模型

本文借鑒Transformer 模型，配合編碼——解碼網(wǎng)絡(luò)，設(shè)計(jì)出符合魚群運(yùn)動規(guī)律的注意力網(wǎng)絡(luò)模型。采用宏觀魚群運(yùn)動數(shù)據(jù)訓(xùn)練模型，并利用該模型計(jì)算單體間的注意力數(shù)值，表征集群運(yùn)動中的個體交互作用，從而為微觀交互與宏觀功能之間搭建起可解釋的橋梁。

2 模型建立

2.1 魚群實(shí)驗(yàn)數(shù)據(jù)提取

采用體型較小且具有集群屬性的紅鼻剪刀魚（Hemi?grammus rhodostomus）作為實(shí)驗(yàn)觀察對象，利用idTracker軟件錄制5 條魚在半徑為25cm 的圓形實(shí)驗(yàn)平臺內(nèi)集群運(yùn)動的視頻，并從中提取魚群運(yùn)動軌跡。

紅鼻剪刀魚具有加速轉(zhuǎn)向——直線滑行的游泳模式［13］，將其軌跡分解為一系列決策與滑行交替運(yùn)動的過程，即紅鼻剪刀魚受鄰居魚與環(huán)境影響調(diào)整運(yùn)動決策，改變自身朝向并同時(shí)加速，緊接著有一個直線滑行的降速過程，以此循環(huán)，最終獲得60 312 個決策時(shí)刻。

2.2 注意力網(wǎng)絡(luò)模型建立

利用決策數(shù)據(jù)建立注意力模型。首先將智能體決策的輸入觀測變量編碼為高維向量，設(shè)計(jì)針對魚群運(yùn)動的注意力層；然后將每個智能體的自身信息與其他鄰居的注意力加權(quán)信息聯(lián)合，得出單體間的注意力強(qiáng)度；最后使用高斯神經(jīng)網(wǎng)絡(luò)［13］作為解碼器，以模仿單體決策輸出的隨機(jī)性，從而構(gòu)建具有概率輸出的注意力網(wǎng)絡(luò)模型。

注意力網(wǎng)絡(luò)模型整體架構(gòu)如圖2 所示，分為解碼器、注意力機(jī)制、解碼器3 個部分。采用3 個編碼器對單體的狀態(tài)向量進(jìn)行編碼，構(gòu)建Transformer 計(jì)算注意力所需的3個高維向量：鍵值K、查詢Q 和值V，以進(jìn)行后續(xù)多頭注意力計(jì)算。編碼器的輸入狀態(tài)包括兩智能體之間的距離dij、焦點(diǎn)單體觀察鄰居的視角ψij、焦點(diǎn)單體與鄰居的航向角差δ?ij。注意力網(wǎng)絡(luò)的輸入為編碼信息的集合，因此其輸入層節(jié)點(diǎn)個數(shù)為編碼器輸出層的兩倍，為使注意力網(wǎng)絡(luò)更好地學(xué)習(xí)到注意力效果，設(shè)置兩個隱藏層。

通過考察焦點(diǎn)單體的查詢Qi與鄰居值向量Vj的匹配程度計(jì)算焦點(diǎn)單體對鄰居的注意力權(quán)重，以確定兩智能體之間的交互強(qiáng)度。由于魚群運(yùn)動系統(tǒng)的交互作用具有不連續(xù)的非對稱性，常用的加性注意力算法以及帶有縮放的點(diǎn)積注意力［19］等均無法應(yīng)對魚群系統(tǒng)的復(fù)雜性。因此，為使單智能體高效跟隨最有影響力的鄰居，注意力權(quán)重wij的計(jì)算需要先對編碼信息進(jìn)行組合掩碼操作，并應(yīng)用SELU激活函數(shù)進(jìn)行非線性處理，以達(dá)到良好的集群運(yùn)動效果，注意力權(quán)重的計(jì)算公式為：

利用注意力權(quán)重wij加權(quán)平均鄰居值向量Vj，然后聯(lián)合焦點(diǎn)單體的值向量Vi獲得解碼器的高維空間狀態(tài)輸入oij，表示為：

Fig.2 Attention network model overall architecture圖2 注意力網(wǎng)絡(luò)模型整體架構(gòu)

解碼器包含兩個狀態(tài)變量信息，分別為焦點(diǎn)智能體直線滑行距離li和航向角度改變δ?i。為實(shí)現(xiàn)高斯網(wǎng)絡(luò)輸出，輸出值分別為li、δ?i的均值與決策方差。由于魚類群體包含順時(shí)針和逆時(shí)針兩種相反的運(yùn)動航向信息，δ?i的處理需要兩倍于li的高斯神經(jīng)網(wǎng)絡(luò)解碼層。注意力網(wǎng)絡(luò)模型整體訓(xùn)練結(jié)構(gòu)如表1所示。

Table 1 Attention network model architecture表1 注意力網(wǎng)絡(luò)模型結(jié)構(gòu)

3 實(shí)驗(yàn)方法與結(jié)果分析

3.1 模型訓(xùn)練與超參數(shù)設(shè)定

采用獲取的60 312 個決策時(shí)刻作為實(shí)驗(yàn)數(shù)據(jù)，進(jìn)一步處理得到13 494 條實(shí)驗(yàn)數(shù)據(jù)，其中訓(xùn)練集包含9 527 條記錄，測試集包含3 967 條記錄。為消除量綱影響，對訓(xùn)練數(shù)據(jù)進(jìn)行歸一化處理。采用PyTorch 深度學(xué)習(xí)框架編寫網(wǎng)絡(luò)模型，訓(xùn)練程序使用NVIDIA GeForce RTX 3080 GPU 處理器進(jìn)行加速。設(shè)置一次訓(xùn)練的樣本量（batch size）為1 024，利用Adam 優(yōu)化器進(jìn)行訓(xùn)練，訓(xùn)練次數(shù)為300 輪，學(xué)習(xí)率為0.000 5。

采用負(fù)對數(shù)似然（Negative Log-Likelihood，NLL）損失函數(shù)之和判定多元高斯分布的均值μ和方差σ的訓(xùn)練精度，表示為：

3.2 仿真實(shí)驗(yàn)結(jié)果

采用5 條魚的實(shí)驗(yàn)數(shù)據(jù)訓(xùn)練注意力網(wǎng)絡(luò)模型，然后將該實(shí)驗(yàn)數(shù)據(jù)輸入到訓(xùn)練后的模型中，比較模型輸出決策與真實(shí)魚群實(shí)驗(yàn)決策的概率密度函數(shù)（Probability Density Function，PDF）曲線，其中真實(shí)魚類單體決策采用實(shí)線表示，注意力網(wǎng)絡(luò)模型輸出決策采用虛線表示。結(jié)果見圖3。

Fig.3 Comparison of gliding distance and heading angle between model training and real fish experiment圖3 模型訓(xùn)練與真魚實(shí)驗(yàn)滑行距離、航向角改變比較

圖3A 顯示注意力網(wǎng)絡(luò)模型訓(xùn)練的決策距離分布與真魚實(shí)驗(yàn)類似，圖3B 顯示模型輸出的航向角變化決策與訓(xùn)練數(shù)據(jù)具有相同的峰值位置，然而曲線明顯陡峭，原因在于模型學(xué)習(xí)了魚群數(shù)據(jù)的共性信息，忽略了特性信息，濾除了部分決策隨機(jī)性。

為驗(yàn)證注意力網(wǎng)絡(luò)模型應(yīng)用于集群復(fù)雜系統(tǒng)中的有效性，設(shè)計(jì)了由Python 和LabView 高級語言聯(lián)合編寫的多智能體仿真平臺。圖4（彩圖掃OSID 碼可見）仿真結(jié)果表明，在1min 內(nèi)智能體便可以從初始的分散狀態(tài)逐漸聚合為穩(wěn)定的緊湊集群，該瞬態(tài)過程也說明了本文模型具有較強(qiáng)的集群聚合特性。

4 結(jié)語

Fig.4 Aggregation process of multi-agent simulation圖4 多智能體運(yùn)動仿真聚合過程

本文將生物集群行為與注意力機(jī)制相結(jié)合，提出針對真實(shí)魚群運(yùn)動數(shù)據(jù)的注意力模型，并將所提模型的仿真效果與真實(shí)魚類的滑行距離、航向角變化進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明，本文模型與真實(shí)魚類的宏觀運(yùn)動特性高度一致，可應(yīng)用于復(fù)雜集群系統(tǒng)的研究中。然而，該模型雖然初步實(shí)現(xiàn)了多智能體集群運(yùn)動，但其泛化能力并未展現(xiàn)，下一步將嘗試將該模型運(yùn)用于大規(guī)模智能體仿真實(shí)驗(yàn)中，以實(shí)現(xiàn)機(jī)器人的智能控制。