編輯部編譯

柔性微型機器人是一種亞毫米級的移動機器人設備。而基于光響應材料并由光場控制的柔性微型機器人可以產(chǎn)生多種不同的步態(tài)。最近，呂貝克大學、斯圖加特大學、蘇黎世聯(lián)邦理工學院的研究員就對此進行了研究。該研究在微型機器人系統(tǒng)的背景下，將“步態(tài)”定義為導致運動的任何周期性變形模式。這些柔性微型機器人的變形和步態(tài)可以通過驅動光場而被靈活地控制和調(diào)整，從而使步態(tài)適應不同的環(huán)境。該研究所采用的基于具有高斯過程的貝葉斯優(yōu)化學習方案是高度數(shù)據(jù)有效的，并且對于微型機器人之間的差異具有魯棒性。

基于光響應材料并由光場控制的柔性微型機器人可以產(chǎn)生多種不同的步態(tài)。盡管由于缺乏精確的運動模型并且考慮到微型機器人之間的內(nèi)在可變性，分析控制設計是不可能的，但這種固有的靈活性可以在給定的環(huán)境中最大限度地發(fā)揮它們的運動性能，并且用于使它們適應變化的條件。另一方面，常見的數(shù)據(jù)驅動方法需要進行大量的實驗，并產(chǎn)生非常特定于樣本的結果。本文提出了一種基于貝葉斯優(yōu)化（Bayesian Optimization，BO）和高斯過程（Gaussian Processe，GP）的光控柔性微型機器人的概率學習方法。該方法產(chǎn)生了高度數(shù)據(jù)有效的學習方案，可以實現(xiàn)在有限實驗預算下的步態(tài)優(yōu)化，以及實現(xiàn)針對微機器人樣本之間差異的魯棒性。通過在半合成數(shù)據(jù)集上比較不同的GP先驗和BO設置來設計學習方案，從而獲得這些特征。該開發(fā)出來的學習方案在微型機器人實驗中得到驗證，其結果為：微型機器人的運動性能提高了115%，而其實驗預算僅為20次測試。這些令人鼓舞的結果為基于光控柔性微型機器人和概率學習控制的自適應微型機器人系統(tǒng)的開發(fā)開辟了道路。

引言

柔性微型機器人是一種亞毫米級的移動機器人設備，由柔性的、刺激響應性的材料制成，可以作為傳感器和/或執(zhí)行器。實際上，因為沒有機器人部件可用在微型規(guī)模級別上，所以在微型機器人中實現(xiàn)基本的機器人功能正是需要通過這些制造微型機器人的材料。

最近，由光響應的液晶彈性體（liquid-crystal elastomer，LCE）組成的柔性微型機器人已經(jīng)問世。這些柔性連續(xù)機器人基于材料的驅動是由結構光場提供動力和控制的（如圖1所示），從而產(chǎn)生具有多個內(nèi)部自由度（degrees of freedom，DOF）的微型機器人。本文在微型機器人系統(tǒng)的背景下，將“步態(tài)”定義為導致運動的任何周期性變形模式。因此，這些柔性微型機器人的變形和步態(tài)可以通過驅動光場而被靈活地控制和調(diào)整，從而使步態(tài)適應不同的環(huán)境。盡管如此，通過手動調(diào)節(jié)光場參數(shù)以找到良好的運動性能仍是非常低效和耗時的，特別是考慮到以下幾點：（1）通常沒有精準的微型機器人運動模型；（2）由于手工制造過程，每個微型機器人在某種程度上都是不同的；（3）隨著材料緩慢的退化，微型機器人的響應會隨時間的推移而變化。因此，從數(shù)據(jù)中學習有效的步態(tài)是一種可行的方法。

本文提出了一種自動學習程序，以找到在給定環(huán)境中由光驅動的柔性微型機器人的最佳步態(tài)。最佳的控制器參數(shù)，即驅動光場的參數(shù)，由貝葉斯優(yōu)化（BO）逐步進行評估。在這種情況下進行學習會帶來一些特殊的挑戰(zhàn)。首先，所開發(fā)的學習方案應該是高度數(shù)據(jù)有效的，能夠利用先驗信息并利用經(jīng)驗數(shù)據(jù)在有限數(shù)量的實驗中接近最佳的運動性能。同時，它應該具有魯棒性，能夠抵抗微型機器人之間的差異，并且能夠獨立于所使用的特定微型機器人有良好的表現(xiàn)。

這項研究是首次嘗試從亞毫米機器人的數(shù)據(jù)中學習控制器。首先，我們定義了一種從微型機器人的跟蹤圖像中有效評估運動速度的方法。然后，我們記錄了對半合成數(shù)據(jù)集上的多個BO設置（即采集函數(shù)、內(nèi)核、超參數(shù)）的比較，該數(shù)據(jù)集基于來自微型機器人實驗的實際數(shù)據(jù)并且被增強到微型機器人間的可變性模型上。最后，我們演示了在真實機器人實驗中成功的學習，與初始猜測相比，運動性能提高了115%。該實驗是使用先前未測試過的微型機器人進行證實的。

微型機器人系統(tǒng)

在這項研究中，我們學習了所開發(fā)的柔性微型機器人的最佳步態(tài)。它們由單片的LCE組成，這些LCE響應光線而進行主動且連續(xù)的變形。當局部發(fā)生變形時，可以通過用適當?shù)墓鈭龃碳の⑿蜋C器人來獲得所需的運動模式。這種方法使微型機器人具有許多內(nèi)部的自由度。換句話說，基于光的控制使這些亞毫米級的單片結構表現(xiàn)得如同它們包含許多獨立的、無線控制的執(zhí)行器。

通過調(diào)制激光束的強度并通過顯微鏡目標投射到微機器人的工作空間來產(chǎn)生驅動光場。通過相同的目標觀察微型機器人，該相機以10幀/秒的速度對工作空間成像，并且分辨率為1280×1024 pixel（1pixel=1.29 μm）。通過計算機控制的數(shù)字微鏡器件（digital micromirror device，DMD）模塊（V-7000，ViaLUX）在空間和時間上對激光束（532nm-Verdi G10，Coherent）進行調(diào)制。該DMD由一個1024×768個微鏡構成的陣列組成，每個微鏡代表一個投影光場中的像素。微鏡以二進制的方式調(diào)制光強度，而灰度級控制可以通過高頻脈沖寬度調(diào)制（pulse-width modulation，PWM）實現(xiàn)。因此，微型機器人系統(tǒng)原則上具有大約106個控制參數(shù)，每個控制參數(shù)可以呈現(xiàn)28個值。這為步態(tài)優(yōu)化提供了巨大的參數(shù)空間。在這樣的高維參數(shù)空間中直接學習控制器參數(shù)將需要大量的實驗數(shù)據(jù)。因此，在這個階段，我們提出通過采用有效的控制器結構并使用BO調(diào)整其臨界自由參數(shù)來學習步態(tài)。

步態(tài)學習方法

我們將由光驅動的柔性微型機器人的步態(tài)學習問題表述為適當參數(shù)化開環(huán)控制器的成本最小化問題。步態(tài)學習算法如圖2所示。我們使用僅具有少量開放參數(shù)的周期性光模式，然后在該光模式的參數(shù)空間中進行優(yōu)化。

具有GP的BO是本文所提出的步態(tài)學習方法的核心。具有GP的BO已經(jīng)成功地得到了使用，例如，用于雙足機器人、四足機器人和厘米級六足機器人的步態(tài)學習。它也被提出用于自動反饋控制器的調(diào)優(yōu)。GP的一個主要優(yōu)勢在于允許以概率性先驗的形式包含關于系統(tǒng)的現(xiàn)有信息。這減小了學習成本函數(shù)的良好近似所需的數(shù)據(jù)集大小，同時保持了非參數(shù)模型的靈活性。

學習一維運動的步態(tài)

我們考慮步態(tài)學習問題的具體實例，即學習浸沒在液體中的圓柱形微型機器人的一維（1D）運動（如圖3所示）。特別是，將微型機器人放置在培養(yǎng)皿的底部，培養(yǎng)皿表面涂有聚二甲基硅氧烷（Polydimethylsiloxane，PDMS）以避免粘附，并浸沒在硅油中。微型機器人的運動是其周期性變形的結果，由所投射的光場提供動力和控制。

首先描述用于控制微型機器人的光模式及其定義參數(shù)。然后定義運動目標和用于學習1D步態(tài)的相應成本函數(shù)。最后，估計出GP的超參數(shù)。

半合成基準測試

為了使BO在實踐中良好地運行，我們需要適當?shù)剡x擇一些設置，特別是內(nèi)核和采集函數(shù)。這些適當?shù)倪x擇應該能夠對不同的微型機器人進行泛化，同時保持數(shù)據(jù)效率。為了系統(tǒng)地確定良好的設置，我們考慮使用半合成的成本函數(shù)并對不同的設置進行基準測試。

我們首先描述了如何生成半合成成本函數(shù)，然后對GP和BO所經(jīng)過考慮的設計選擇進行了激勵，最后得出了基準測試的結果。

實驗結果

采用一種新的微型機器人對所開發(fā)的學習控制框架進行實驗驗證。由于每個微型機器人之間略有不同，最佳步態(tài)參數(shù)也會有所不同。在沒有學習新微型機器人的具體成本函數(shù)的情況下，最著名的控制器參數(shù)為λ=645μm，δ=30%。從這個初始控制器開始，我們使用20個樣本的實驗預算來執(zhí)行BO。參數(shù)空間上所學習的成本函數(shù)如圖4所示。

然后將初始性能與具有最低后驗平均值（θpost）和最低觀察成本（θy*）的參數(shù)集的性能進行比較。最低后驗平均值的參數(shù)為δpost = 43%和λpost =376μm，而最低觀察成本的參數(shù)為δy*=43%和λy* = 381μm。圖5所示為所獲得的成本函數(shù)J（θ）的值。值得注意的是，我們分別在最低后驗平均值和最低觀察成本的情況下將成本降低了46%和58%。相應地，運動性能，即平均速度Vm，相對于先前的實驗獲得的初始控制器參數(shù)（Vm，prior = 1.01%bl/s）增加了92%（Vm，post = 1.93%bl/s）和115%（Vm，y*= 2.17%bl/s）。

結論

本文首次研究并論證了亞毫米機器人最佳步態(tài)的概率學習潛力。特別是，所提出的基于具有GP的BO學習方案被證明是高度數(shù)據(jù)有效的，并且對于微型機器人之間的差異具有魯棒性。這些特征對于由光驅動的柔性微型機器人是必不可少的，它們在連續(xù)的刺激下具有相對高的可變性和有限的壽命。該BO學習方法是具有通用性，并且可以用于為其他微型機器人系統(tǒng)確定最佳的控制器參數(shù)。

我們用于開發(fā)步態(tài)優(yōu)化學習方案的方法是基于半合成基準函數(shù)定義的。這種方法使我們能夠評估不同學習方案對于微型機器人之間變異性的魯棒性，并選擇具有最大機會的方案來為存在微小差異的微型機器人提供運動性能方面實質性的改進。這在實際的微型機器人實驗中得到了驗證。通過使用不同的微型機器人進行半合成基準測試和驗證實驗，我們證明了該方法可以解決微型機器人之間的差異問題。

學習控制是構建基于由光驅動的柔性微型機器人的完整機器人系統(tǒng)的重要一步。不過，未來仍存在許多有趣的挑戰(zhàn)。未來的研究方向是針對問題特定內(nèi)核的設計，以及在更高維度的參數(shù)空間中學習更復雜的步態(tài)以利用微型機器人的多自由度。例如，這與使用圓盤形微型機器人進行二維平面運動相關。此外，擴展BO以學習時變成本函數(shù)也是非常有趣的，因為它將使微型機器人能夠適應材料性能的退化，更重要的是，適應環(huán)境的變化。