文/本刊記者 段永利

隨著機器人技術的發(fā)展，人們一方面希望機器人能夠自主適應更加廣泛而又復雜的任務，另一方面又希望不同類型機器人有更少的感知限制，這樣相互協(xié)作的成本會更低。群體智能為解決這一矛盾帶來了新思路，已經成為機器人研究領域的新熱點。

今年8月初，西北工業(yè)大學（以下簡稱“西工大”）光電與智能研究院教授李學龍及其團隊在大模型異構智能體方面取得重大進展，實現(xiàn)了大模型對無人機集群、機器狗、機械臂三種智能體的真機協(xié)同控制。該成果展示了大模型在智能體控制方面的能力，也為智能無人系統(tǒng)的研究提供了無限可能。

什么是異構智能體？

異構智能體是采用不同的技術和平臺創(chuàng)建的智能體，以及具有不同外觀結構、控制單元和性能參數的智能體。在人工智能領域，大模型控制智能體是大勢所趨。在此背景下，李學龍團隊提出了一種大模型驅動的異構智能體協(xié)同控制算法框架，利用大模型調度多種智能體自主協(xié)作，實現(xiàn)了“機器人總動員”。

事實上，同構系統(tǒng)中的自組織通常容易理解，然而，自然集群的不同個體在動力學、運動速度、傳感器配置、通信功能等方面的巨大差異性和局限性，使得它們在互相協(xié)同下完成各種復雜任務的難度加大了不少。因為異構性被認為是賦予群體行為靈活性、新條件適應性及應對外部擾動恢復力的基礎。系統(tǒng)需要處理來自完全不同的智能體平臺數據，并依據決策分析模塊，有效協(xié)同無人機、無人車等平臺的運動和任務執(zhí)行控制。

縱觀國內外科研工作者對集群協(xié)同控制的研究，這一領域目前的發(fā)展如火如荼，成果頗豐。如2023年3月，美國斯坦福大學和Google Research的研究者們在一個類似沙盒游戲的場景中成功構建了一個小鎮(zhèn)，小鎮(zhèn)里有25個生成式智能體，智能體們能通過基于ChatGPT 3.5的大型語言模型生成可信的行為，在小鎮(zhèn)中模擬人類的生活方式，自主完成基本的日常活動和社交。雖然那些虛擬居民的活動范圍不大，生成的交互類型與事件也比較簡單，但人們已經能通過它們看到虛擬人物自主生活、自主交往的雛形。智能體們的種種反饋都是由基本的尋路移動和文字形式給出的，效果還比較簡陋，但它展示出的可能性顯然難以估量。

而李學龍團隊研究成果的創(chuàng)新點在于，硬件智能體的存在，使得大模型具有物理實體，具備與真實物理世界感知交互的能力。同時，借助于大模型，智能體能夠獲得更強大的感知、決策和執(zhí)行能力，使其具備更高的自主性和適應性。這項研究能夠推動機器人和自動化行業(yè)的發(fā)展，從而創(chuàng)造出更多的就業(yè)機會和經濟增長。

李學龍團隊研究成果的難點是，其算法框架如何將一個跨場景、跨智能體的復雜任務，通過語義任務解析，拆分成異構智能體協(xié)同執(zhí)行的多個子任務，然后通過無人機集群、機器狗、機械臂的聯(lián)合控制，共同完成指定任務。

懂所思、知所能、行所意，是大模型驅動多智能體協(xié)作的主要能力，即高層語義理解能力、自身技能認知能力、復雜任務執(zhí)行能力。團隊研究成果異構智能體系統(tǒng)利用了異構多智能體的功能互補性，組成跨域協(xié)作系統(tǒng)，實現(xiàn)任務協(xié)同和信息共享，從本質上提升了面對復雜環(huán)境和任務規(guī)劃的感知能力、執(zhí)行能力和運行效率。

如何充分發(fā)揮大模型的語義理解能力，讓無人機、機器狗、機械臂等人造智能體能夠根據輸入的自然語言分工合作，是智能體在現(xiàn)實場景中執(zhí)行復雜任務的前提條件。

針對這一問題，李學龍團隊利用國產大模型作為語義理解底座，以無人機集群、機器狗、機械臂三種異構智能體作為協(xié)同控制平臺，設計了融合環(huán)境信息與自身狀態(tài)的語義交互框架，實現(xiàn)了對異構智能體任務理解、硬件控制、協(xié)調合作等復雜需求的高層語義交互。

同時，智能體的行為能力易受周圍環(huán)境、自身機械結構等限制因素的影響。如何在多變的外界環(huán)境下讓智能體準確地認知當前自身的行為能力，是異構智能體協(xié)同的關鍵環(huán)節(jié)。

為了讓大模型異構智能體實現(xiàn)自身技能認知能力這一目標，團隊提出了異構智能體通用中層技能認知算法，實現(xiàn)了異構智能體間精細的硬件協(xié)同控制。在此基礎上，智能體通過自主環(huán)境感知、自身狀態(tài)建模、協(xié)同運動規(guī)劃，自適應地調整技能執(zhí)行。

此外，為了完成復雜任務目標，異構智能體協(xié)作需要依據子任務間的依賴關系和環(huán)境約束，設計安全合理的子任務執(zhí)行次序和方式。李學龍團隊為此特地設計了多智能體閉環(huán)反饋的任務執(zhí)行機制，實現(xiàn)了異構智能體在任務執(zhí)行層面的自主協(xié)同。在任務執(zhí)行的過程中，智能體向任務分解模塊報告子任務執(zhí)行狀態(tài)，形成任務分配與執(zhí)行動態(tài)閉環(huán)，實現(xiàn)任務目標導向的異構智能體高效協(xié)同。

如果說，ChatGPT只是提供聊天和文本生成服務，西工大的這項研究則是提供了智能無人服務的任何可能。舉個簡單的例子，當你愜意地靠在沙發(fā)上說一句“我餓了，去拿點吃的”，智能體就能為你拿來食品；當你生病躺在床上懶得動彈，只需說一句“我病了”，智能體就會把藥品和溫水遞到手邊。智能體收到指令后，會智能分析任務執(zhí)行的路徑，通過機器狗、無人機、機械臂協(xié)同完成任務。

西北工業(yè)大學這一成果是大模型算法和智能體硬件交叉的創(chuàng)新性研究，李學龍團隊實現(xiàn)了用更自然、更直觀的方式進行多種智能體的控制，降低了人機交互的門檻。同時，也將促進異構智能體之間協(xié)作的自主性和流暢度，對人工智能在工業(yè)生產、災難救援等復雜場景下的靈活應用具有重要意義。