人類賴以探索世界的兩個(gè)重要工具是視覺和觸覺。人類可以結(jié)合視覺和觸覺來了解他們持有和看到的物體。機(jī)器人和人工智能系統(tǒng)無法做到這一點(diǎn)。

來自麻省理工學(xué)院的研究員Yunzhu Li和他的團(tuán)隊(duì)正在研究一種系統(tǒng)，該系統(tǒng)從視覺輸入中創(chuàng)建觸覺信號(hào)，并預(yù)測(cè)從這些觸覺輸入中觸摸到的對(duì)象和部分。研究人員將他們的系統(tǒng)與麻省理工學(xué)院另外一個(gè)小組設(shè)計(jì)的Kuka機(jī)器人手臂和一個(gè)叫做Gelsight的特殊觸覺傳感器一起使用。

該小組使用網(wǎng)絡(luò)攝像機(jī)記錄了近200件物品，包括工具、家用產(chǎn)品、織物以及其他物品，它們被觸摸超過12000次。然后，他們將這12000個(gè)視頻片段分解成靜態(tài)幀，并編譯了一個(gè)包含300多萬個(gè)視覺/觸覺配對(duì)圖像的VisGel數(shù)據(jù)集。

研究人員表示，通過觀察現(xiàn)場(chǎng)，他們的模型可以想象到觸摸平面或鋒利邊緣的感覺。通過觸摸周圍，模型可以從純粹的觸覺上預(yù)測(cè)與環(huán)境的互動(dòng)。他注意到，通過將兩種感官結(jié)合起來，它們可以賦予機(jī)器人力量，減少涉及操作和抓取物體任務(wù)所需的數(shù)據(jù)。