聲明:本文來自于（ID:ykqsd.com）授權(quán)轉(zhuǎn)載發(fā)布。

雷遞網(wǎng)樂天3月11日正式發(fā)布

智元日前推出首個通用具身基座模型智元啟元大模型Genie Operator-1提出了Vision-Language-Latent-Action (ViLLA)架構(gòu)

該架構(gòu)由VLM多模態(tài)大模型與MoE混合專家組成其中VLM借助海量互聯(lián)網(wǎng)圖文數(shù)據(jù)獲得通用場景感知和語言理解能力MoE中的隱式規(guī)劃器Latent Planner借助大量跨本體和人類操作視頻數(shù)據(jù)獲得通用的動作理解能力MoE中的動作專家Action Expert借助百萬真機數(shù)據(jù)獲得精細的動作執(zhí)行能力三者協(xié)同工作實現(xiàn)了利用人類視頻學(xué)習(xí)完成小樣本快速泛化降低了具身智能門檻并部署到智元多款機器人本體

據(jù)介紹智元2024年底推出AgiBot World包含超過100萬條軌跡涵蓋217個任務(wù)涉及五大場景的大規(guī)模高質(zhì)量真機數(shù)據(jù)集基于AgiBot World智元今日正式發(fā)布智元通用具身基座大模型Genie Operator-1 GO-1

GO-1 Vision-Language-Latent-Action進化為ViLLA架構(gòu)

為了有效利用高質(zhì)量的AgiBot World數(shù)據(jù)集以及互聯(lián)網(wǎng)大規(guī)模異構(gòu)視頻數(shù)據(jù)增強策略的泛化能力智元提出了Vision-Language-Latent-Action (ViLLA)這一架構(gòu)GO-1作為首個通用具身基座大模型基于ViLLA構(gòu)建與Vision-Language-Action (VLA)架構(gòu)相比ViLLA通過預(yù)測隱式動作標記彌合了圖像-文本輸入與機器人執(zhí)行動作之間的鴻溝

ViLLA架構(gòu)由VLM多模態(tài)大模型與MoE混合專家組成其中VLM借助海量互聯(lián)網(wǎng)圖文數(shù)據(jù)獲得通用場景感知和語言理解能力MoE中的隱式規(guī)劃器Latent Planner借助大量跨本體和人類操作數(shù)據(jù)獲得通用的動作理解能力MoE中的動作專家Action Expert借助百萬真機數(shù)據(jù)獲得精細的動作執(zhí)行能力在推理時VLM Latent Planner和Action Expert三者協(xié)同工作

下面詳細介紹MoE中的兩個關(guān)鍵組成部分隱式規(guī)劃器與動作專家

混合專家一

隱式規(guī)劃器Latent Planner

智元機器人采用隱式動作模型來建模當前幀和歷史幀之間的隱式變化，通過隱式規(guī)劃器預(yù)測這些隱式動作，并將其從異構(gòu)數(shù)據(jù)源中的真實世界動作知識轉(zhuǎn)移到通用操作任務(wù)中。

1. 混合專家二

2. 動作專家

3. 為了實現(xiàn)高頻和靈活的控制能力，我們引入動作專家，其采用擴散模型作為目標函數(shù)來建模低層動作的連續(xù)分布。

4. 實驗效果

5. 通過創(chuàng)新架構(gòu)ViLLA，我們在五個不同復(fù)雜度的任務(wù)中測試了GO-1模型，與現(xiàn)有最優(yōu)模型相比，GO-1的成功率顯著提升，平均成功率提高了32%（從46%提升至78%）。其中，“倒水”、“清理桌面”和“補充飲料”任務(wù)表現(xiàn)尤為突出。此外，我們還單獨驗證了ViLLA架構(gòu)中隱式規(guī)劃器的作用，發(fā)現(xiàn)增加隱式規(guī)劃器可以將成功率提升12%（從66%提升至78%）。

6. GO-1大模型通過融合人類與多種機器人數(shù)據(jù)，使機器人獲得了革命性的學(xué)習(xí)能力，能夠廣泛應(yīng)用于各類環(huán)境和物品中，快速適應(yīng)新任務(wù)并學(xué)習(xí)新技能。同時，它支持部署到不同機器人本體，高效完成任務(wù)，并在實際應(yīng)用中持續(xù)進化。

7. 這一系列的特點可以歸納為以下四個方面：

8. 智元機器人表示，GO-1大模型將加速具身智能的普及，機器人將從依賴特定任務(wù)的工具，發(fā)展為具備通用智能的自主體，在商業(yè)、工業(yè)、家庭等多個領(lǐng)域發(fā)揮更大作用，邁向更加通用全能的智能未來。

9. 智元機器人日前推出自主研發(fā)的大型仿真框架AgiBot Digital World，為機器人操作提供靈活的仿真數(shù)據(jù)生成方案、預(yù)訓(xùn)練的大規(guī)模仿真數(shù)據(jù)和統(tǒng)一的模型評測標準，并同步開源海量仿真數(shù)據(jù)。

雷遞是由媒體人雷建平創(chuàng)立的，若轉(zhuǎn)載請注明出處。