聲明:本文來(lái)自于（ID:ykqsd.com）授權(quán)轉(zhuǎn)載發(fā)布。

李飛飛「體智能」又發(fā)布了一個(gè)新研究。

在機(jī)器人學(xué)領(lǐng)域，一個(gè)被稱(chēng)為"圣杯"級(jí)的挑戰(zhàn)，就是完成家庭日常操作任務(wù)。我們最新推出的BEHAVIOR Robot Suite（簡(jiǎn)稱(chēng) BRS）正在試圖解決這一難題。

你是否想過(guò)，機(jī)器人要具備哪些能力才能真正幫助我們完成家務(wù)？BRS項(xiàng)目就是這樣誕生的——它是一個(gè)綜合框架，專(zhuān)門(mén)用來(lái)掌握多樣化的家庭任務(wù)操作。無(wú)論是一次倒垃圾、擺放衣物，還是清潔馬桶，BRS都能應(yīng)對(duì)這些日常任務(wù)。

比如，基于 BRS 的機(jī)器人可以幫你撿垃圾：

把扔在地上的物體重新放到架子上：

還能幫你清潔馬桶，看起來(lái)就像一個(gè)勤勞的機(jī)器人：

活動(dòng)結(jié)束后幫你收拾桌子：

還能幫你去衣柜拿衣服：

這樣無(wú)所不能的機(jī)器人是如何做到這一切的呢？我們接著往下看。

方法介紹

論文主頁(yè)：https://behavior-robot-suite.github.io/

機(jī)器人要成功執(zhí)行日常家務(wù)，需要具備哪些核心能力？

研究團(tuán)隊(duì)通過(guò)深入分析，確定了實(shí)現(xiàn)這些任務(wù)所需的關(guān)鍵技能：雙手協(xié)調(diào)性、精確的導(dǎo)航能力和廣域操作能力。

例如，搬運(yùn)大型重物需要雙手配合，而房屋內(nèi)尋找工具則依賴(lài)于精確的導(dǎo)航能力。復(fù)雜任務(wù)，如同時(shí)提拿物品并開(kāi)啟門(mén)，需要綜合運(yùn)用這兩種能力。此外，由于物品分布在不同高度和位置，機(jī)器人必須能夠靈活調(diào)整接觸范圍。

該機(jī)器人經(jīng)過(guò)精心設(shè)計(jì)，配備雙臂、移動(dòng)基座和靈活軀干，這是實(shí)現(xiàn)全身操作的基礎(chǔ)。

然而，這種復(fù)雜設(shè)計(jì)為策略學(xué)習(xí)方法帶來(lái)了重大挑戰(zhàn)，尤其是在數(shù)據(jù)收集和全身協(xié)調(diào)動(dòng)作方面。

為應(yīng)對(duì)這些難題，研究團(tuán)隊(duì)開(kāi)發(fā)了BRS系統(tǒng)，旨在通過(guò)全身操作技術(shù)解決各種日常家庭任務(wù)。

BRS兩大創(chuàng)新協(xié)同作用，解決了機(jī)器人硬件和學(xué)習(xí)過(guò)程中的關(guān)鍵難題。

JoyLo

研究團(tuán)隊(duì)開(kāi)發(fā)了一種經(jīng)濟(jì)實(shí)用的全身遠(yuǎn)程操作界面框架，旨在通過(guò)流暢控制高自由度機(jī)械臂，同時(shí)為后續(xù)策略學(xué)習(xí)收集數(shù)據(jù)。

研究團(tuán)隊(duì)成功開(kāi)發(fā)了 JoyLo，并在 R1 機(jī)器人上實(shí)現(xiàn)了這一技術(shù)。具體目標(biāo)包括：

項(xiàng)目還指出，JoyLo 的整體成本低于 500 美元。此外，團(tuán)隊(duì)還提供了物料清單和組裝說(shuō)明作為參考資料。

WB-VIMA 策略

WB-VIMA 是一種模仿學(xué)習(xí)算法，旨在通過(guò)利用機(jī)器人固有的運(yùn)動(dòng)學(xué)層次結(jié)構(gòu)來(lái)建模全身動(dòng)作。

WB-VIMA 的一個(gè)關(guān)鍵創(chuàng)新點(diǎn)在于，它認(rèn)識(shí)到機(jī)器人關(guān)節(jié)之間存在強(qiáng)烈的相互依賴(lài)關(guān)系。例如，軀干的微小移動(dòng)可能導(dǎo)致末端執(zhí)行器發(fā)生顯著位移。為此，算法將下游組件的動(dòng)作預(yù)測(cè)與上游組件的預(yù)測(cè)相結(jié)合，以實(shí)現(xiàn)更協(xié)調(diào)的全身運(yùn)動(dòng)。

此外，WB-VIMA 通過(guò)引入自注意力機(jī)制來(lái)動(dòng)態(tài)整合多模態(tài)觀測(cè)信息，從而提升了策略表現(xiàn)力的同時(shí)，降低了對(duì)機(jī)器人本體感知輸入的依賴(lài)。

實(shí)驗(yàn)

實(shí)驗(yàn)重點(diǎn)考察了以下問(wèn)題：

問(wèn)題 1：BRS 在家庭場(chǎng)景中的應(yīng)用，例如處理垃圾 tasks：

機(jī)器人需要完成的任務(wù)包括：導(dǎo)航至垃圾袋所在區(qū)域并將其收集（子任務(wù) 1），攜帶垃圾至門(mén)前（子任務(wù) 2），開(kāi)啟門(mén)（子任務(wù) 3），移動(dòng)至室外并丟棄垃圾（子任務(wù) 4）。類(lèi)似地，機(jī)器人還需完成打掃餐桌的任務(wù)。例如，機(jī)器人需從客廳出發(fā)，導(dǎo)航至廚房的洗碗機(jī)（子任務(wù) 1），打開(kāi)洗碗機(jī)（子任務(wù) 2）。隨后，移動(dòng)至游戲桌（子任務(wù) 3）收集碗（子任務(wù) 4）。最后，返回洗碗機(jī)（子任務(wù) 5），將碗放入洗碗機(jī)并關(guān)閉洗碗機(jī)（子任務(wù) 6）。無(wú)論任務(wù)如何，穩(wěn)定且精確的導(dǎo)航能力是實(shí)現(xiàn)成功的關(guān)鍵。

JoyLo 為策略學(xué)習(xí)提供了高質(zhì)量的數(shù)據(jù)支持。

研究團(tuán)隊(duì)對(duì)參與者進(jìn)行了全面的用戶(hù)研究，以評(píng)估 JoyLo 的效果及其在策略學(xué)習(xí)中的適用性。下圖展示了 JoyLo 與 VR 控制器和 Apple Vision Pro 的對(duì)比。

效率優(yōu)勢(shì)：暫無(wú)詳細(xì)說(shuō)明。

用戶(hù)研究結(jié)果基于 10 名參與者。

用戶(hù)體驗(yàn)：參與者的人口統(tǒng)計(jì)數(shù)據(jù)和調(diào)查結(jié)果。

用戶(hù)研究參與者的人口統(tǒng)計(jì)數(shù)據(jù)和調(diào)查結(jié)果。

WB-VIMA 在所有任務(wù)中始終優(yōu)于基線方法。

實(shí)驗(yàn)結(jié)果顯示，WB-VIMA 在所有任務(wù)中全面超越了基準(zhǔn)方法：端到端任務(wù)成功率比 DP3 提高了 13 倍，比 RGB-DP 提高了 21 倍；平均子任務(wù)表現(xiàn)分別優(yōu)于 DP3（1.6 倍）和 RGB-DP（3.4 倍）。

五項(xiàng)代表性家庭活動(dòng)的成功率對(duì)比表。其中，ET 表示整個(gè)任務(wù)，ST 表示子任務(wù)。

安全性評(píng)估：WB-VIMA 在安全方面表現(xiàn)出色，幾乎不會(huì)因施加過(guò)度力量而導(dǎo)致電機(jī)失去動(dòng)力。

研究團(tuán)隊(duì)針對(duì)WB-VIMA系統(tǒng)設(shè)計(jì)了消元實(shí)驗(yàn)，分別移除自回歸全身動(dòng)作去噪模塊和多模態(tài)觀察注意力機(jī)制模塊。實(shí)驗(yàn)結(jié)果表明，無(wú)論移除哪一個(gè)組件都會(huì)導(dǎo)致顯著性能下降。具體而言，在「將物品放上架子」和「整理衣物」任務(wù)中，移除自回歸去噪模塊后，任務(wù)成功率驟降53%；而當(dāng)多模態(tài)注意力機(jī)制模塊失效時(shí)，各任務(wù)的表現(xiàn)也受到嚴(yán)重影響。

研究團(tuán)隊(duì)還通過(guò)消元實(shí)驗(yàn)驗(yàn)證了各個(gè)組件的重要性。實(shí)驗(yàn)結(jié)果表明，移除自回歸去噪模塊會(huì)導(dǎo)致任務(wù)成功率驟降53%。具體來(lái)說(shuō)，在「將物品放上架子」和「整理衣物」任務(wù)中，該模塊的失效表現(xiàn)尤為明顯。

研究團(tuán)隊(duì)進(jìn)一步通過(guò)消元實(shí)驗(yàn)分析了各個(gè)組件對(duì)系統(tǒng)性能的影響。實(shí)驗(yàn)發(fā)現(xiàn)，移除自回歸去噪模塊后，任務(wù)成功率驟降53%。具體而言，在「將物品放上架子」和「整理衣物」任務(wù)中，該模塊的失效表現(xiàn)尤為明顯。

研究團(tuán)隊(duì)還展示了幾個(gè)失敗案例。具體來(lái)說(shuō)：

1) 盡管機(jī)器人已經(jīng)抓住把手，但未能完全打開(kāi)洗碗機(jī)；

2) 未能按下沖水按鈕；

3) 未能從地板上拾起垃圾袋；

4) 未能抬起地上的箱子；

5) 未能關(guān)閉衣柜門(mén)。

5. 以上內(nèi)容為論文具體內(nèi)容，如需了解更多信息，請(qǐng)參考原論文。

編輯提供的文章內(nèi)有視頻鏈接，您可以訪問(wèn)以下鏈接查看具體內(nèi)容：https://mp.weixin.qq.com/s/Rbvsw5gvvjdahsnJ3Y_e_Q