相信很多讀者都從各種長短視頻平臺上學(xué)到過一些有用的動手技能，比如烹飪、維修、美妝等。這些可能是點滴小事，但是做得好的話可以切實地提升生活質(zhì)量。

另外，動手技能的培訓(xùn)在很多職業(yè)的發(fā)展中也非常重要，例如在制造、護(hù)理、物理治療這些行業(yè)中，操作技能的高低與服務(wù)質(zhì)量和生產(chǎn)質(zhì)量息息相關(guān)。

傳統(tǒng)的動手技能培訓(xùn)采用面對面教學(xué)的方式，受到時間空間上的諸多限制。通過視頻進(jìn)行教學(xué)可以突破這些限制，讓更多人受益。

但是，如果大家有做教學(xué)視頻的經(jīng)驗的話，會發(fā)現(xiàn)這是一個非常繁冗的工作。僅僅是調(diào)整攝影機(jī)、尋找好的攝影機(jī)角度這一部分，就可能需要多輪反復(fù)。

因此，加拿大多倫多大學(xué)李健楠和所在團(tuán)隊希望通過智能機(jī)器人操作攝影機(jī)，減少視頻制作者的負(fù)擔(dān)。從交互研究的層面，這項研究希望探索機(jī)器人如何通過人類隱性的溝通信號，來理解人的意圖從而提高人與機(jī)器人合作的質(zhì)量。

談到人和機(jī)器人的合作，大家更熟悉的還是一些顯性的溝通方式，比如通過代碼、圖形界面、或者自然語言，直接命令機(jī)器人去完成一項任務(wù)。

但是在緊耦合的合作中，比如由機(jī)器人拍攝人的表演，或者人與機(jī)器人一起組裝一個設(shè)備時，這類溝通方式對人類會產(chǎn)生負(fù)擔(dān)，因為我們必須暫時從手頭工作中抽離才能發(fā)出這些命令。

在視頻拍攝的情景之下，講解者在給觀眾示范動手技能的同時，還要給機(jī)器人下命令，那講解的過程就可能會變得支離破碎。

人類在合作和溝通方面，其實有很多細(xì)微的技巧。在合作中，我們不光會關(guān)注對方的顯性命令和建議，還會關(guān)注種種隱性的信號，比如對方身體的朝向、手勢，還有和其他人的對話，以此理解對方的目標(biāo)。

因此，李健楠所在團(tuán)隊希望探索能否讓機(jī)器人也擁有這種能力，從而減少人類在與機(jī)器人合作時在溝通上的體力腦力資源。

具體在視頻拍攝中，讓機(jī)器人關(guān)注講解者和觀眾的溝通信號，以此決定攝影機(jī)的位置和角度等參數(shù)。

事實上，當(dāng)今市場上已經(jīng)有云臺和無人機(jī)等攝影機(jī)器人。隨著機(jī)器人成本的降低和感知能力的提高，相信今后會有更多專門面向個人和小型工作室的消費(fèi)級攝影機(jī)器人。但是，現(xiàn)在的攝影機(jī)器人依舊非常依賴人給出明確的指令，無法很好地應(yīng)對變化的場景。因此，李健楠希望這項研究可以啟發(fā)攝影機(jī)器人的交互設(shè)計，讓它們?nèi)ブ鲃永斫馊祟惖囊鈭D。

據(jù)介紹，李健楠一直關(guān)注如何通過機(jī)器人攝影，去提高動手技能教學(xué)的體驗。而關(guān)于本次研究的想法，則起源于他的上一個項目。

在上一個項目中，他和同事采用觀眾和講解者共同控制的機(jī)器人集群去拍攝教學(xué)視頻。實驗中，他們發(fā)現(xiàn)該方法的一個局限在于，觀眾和講解者還是要為控制機(jī)器人而分心，導(dǎo)致教學(xué)體驗受到影響。

因此，他們希望可以減少這些負(fù)擔(dān)。但是，視頻攝制涉及理解環(huán)境和視頻內(nèi)容走向，如果沒有任何用戶輸入的話，依舊很難交給機(jī)器人進(jìn)行自動執(zhí)行。

在本次研究的前期，李健楠等人主要思考的是：如何能讓拍攝者快速制作分鏡頭腳本（故事板），然后輸入給機(jī)器人。

之后，他們意識到很多業(yè)余型內(nèi)容創(chuàng)作者并沒有能力、精力、或意愿去制做故事板，而且在講解過程中會有一些自由發(fā)揮的部分。

所以這個項目在初期停滯了很久，大家一直在構(gòu)思如何簡化故事板，但是不太順利。后來受到一些文獻(xiàn)的啟發(fā)，他們決定關(guān)注讓機(jī)器人理解人和人的溝通過程，也就是理解講解者和觀眾交流中的信號，比如姿態(tài)、手勢和語言，從而來控制機(jī)器人的行為。

為此，他們研究了動手技能教學(xué)視頻的內(nèi)容，去了解創(chuàng)作者想要的攝影主體、角度等參數(shù)，之后選擇了一系列可以與這些攝影機(jī)參數(shù)結(jié)合的溝通信號。在這之后，他們邀請擁有視頻拍攝經(jīng)驗的用戶參與試用和改善設(shè)計。

此外，李健楠表示：“我感興趣的一個方向是拓展機(jī)器人可以理解的溝通信號。目前，這款系統(tǒng)能夠理解的信號種類和內(nèi)容還是有所局限，會對創(chuàng)作者的發(fā)揮造成限制。希望可以結(jié)合人工智能特別是大模型，來拓展機(jī)器人可以理解的信號范圍。”

另據(jù)悉，2023年下半年李健楠將入職新加坡管理大學(xué)計算與信息系統(tǒng)學(xué)院擔(dān)任助理教授。今后，他會繼續(xù)推進(jìn)人和機(jī)器人交互的研究，專注于運(yùn)用人工智能以及交互設(shè)計的方法，幫助機(jī)器人從隱性的信號解讀人的意圖，提高人與AI合作的成效。

另外，他也計劃將這類方法推廣到更多的智能系統(tǒng)問題中，比如增強(qiáng)現(xiàn)實環(huán)境，讓智能系統(tǒng)更好地理解用戶的愿望和偏好，在無需用戶輸入的情況下，為用戶提供及時且有效的支持。