聲明:本文來(lái)自于（ID:ykqsd.com）授權(quán)轉(zhuǎn)載發(fā)布。

轉(zhuǎn)載自：元機(jī)器人

3月10日，元推出首個(gè)通用具身基座模型——元啟元大模型（Genie Operator-1），它提出了Vision-Language-Latent-Action (ViLLA) 架構(gòu)。該架構(gòu)由VLM(多模態(tài)大模型) + MoE(混合專家)組成。其中，VLM借助海量互聯(lián)網(wǎng)圖文數(shù)據(jù)獲得通用場(chǎng)景感知和語(yǔ)言理解能力，MoE中的Latent Planner(隱式規(guī)劃器)借助大量跨本體和人類操作視頻數(shù)據(jù)獲得通用的動(dòng)作理解能力，MoE中的Action Expert(動(dòng)作專家)借助百萬(wàn)真機(jī)數(shù)據(jù)獲得精細(xì)的動(dòng)作執(zhí)行能力。在運(yùn)行時(shí)，VLM、Latent Planner和Action Expert三者協(xié)同工作，實(shí)現(xiàn)了利用人類視頻學(xué)習(xí)，完成小樣本快速泛化，降低了具身智能的門檻，并成功集成到元多款機(jī)器人本體，持續(xù)進(jìn)化，推動(dòng)了具身智能的新臺(tái)階。

2024年底，元推出了AgiBot World，包含超過(guò)100萬(wàn)條軌跡、涵蓋217個(gè)任務(wù)、涉及五大場(chǎng)景的大規(guī)模高質(zhì)量真機(jī)數(shù)據(jù)集。基于AgiBot World，元正式推出元通用具身基座大模型 Genie Operator-1（GO-1）。

01 GO-1：VLA進(jìn)化到ViLLA

為了充分利用高質(zhì)量的AgiBot World數(shù)據(jù)集以及互聯(lián)網(wǎng)大規(guī)模異構(gòu)視頻數(shù)據(jù)，增強(qiáng)策略的泛化能力，元提出了 Vision-Language-Latent-Action (ViLLA) 這一創(chuàng)新性架構(gòu)。GO-1作為首個(gè)通用具身基座大模型，基于ViLLA構(gòu)建。與Vision-Language-Action (VLA) 架構(gòu)相比，ViLLA 通過(guò)預(yù)測(cè)Latent Action Tokens(隱式動(dòng)作標(biāo)記)，彌合了圖像-文本輸入與機(jī)器人執(zhí)行動(dòng)作之間的鴻溝。在真實(shí)世界的靈巧操作和長(zhǎng)時(shí)任務(wù)方面表現(xiàn)卓越，遠(yuǎn)超開(kāi)源SOTA模型。

ViLLA架構(gòu)由VLM(多模態(tài)大模型) + MoE(混合專家)組成，其中VLM借助海量互聯(lián)網(wǎng)圖文數(shù)據(jù)獲得通用場(chǎng)景感知和語(yǔ)言理解能力，MoE中的Latent Planner(隱式規(guī)劃器)借助大量跨本體和人類操作數(shù)據(jù)獲得通用的動(dòng)作理解能力，MoE中的Action Expert(動(dòng)作專家)借助百萬(wàn)真機(jī)數(shù)據(jù)獲得精細(xì)的動(dòng)作執(zhí)行能力。在推理過(guò)程中，VLM、Latent Planner和Action Expert三者協(xié)同工作：

下面詳細(xì)闡述MoE中的兩個(gè)關(guān)鍵組件：Latent Planner和Action Expert。

混合專家一：

Latent Planner（隱式規(guī)劃器）

由于AgiBot World數(shù)據(jù)集是全球最大的機(jī)器人真機(jī)示教數(shù)據(jù)集之一，但高質(zhì)量帶動(dòng)作標(biāo)簽的真機(jī)數(shù)據(jù)量仍然有限，遠(yuǎn)少于互聯(lián)網(wǎng)規(guī)模的數(shù)據(jù)集。為此，我們采用Latent Actions（隱式動(dòng)作）來(lái)建模當(dāng)前幀和歷史幀之間的隱式變化，然后通過(guò)Latent Planner預(yù)測(cè)這些Latent Actions，從而將異構(gòu)數(shù)據(jù)源中真實(shí)世界的動(dòng)作知識(shí)轉(zhuǎn)移到通用操作任務(wù)中。

混合型專家二：

Action Expert（動(dòng)作專家）

為了實(shí)現(xiàn)高頻率且靈活的操控，我們引入了行動(dòng)專家，該專家采用擴(kuò)散模型作為目標(biāo)函數(shù)，用于建模低層動(dòng)作的連續(xù)分布。

實(shí)驗(yàn)效果

通過(guò)創(chuàng)新性的ViLLA架構(gòu)，我們?cè)谖鍌€(gè)不同復(fù)雜度的任務(wù)中測(cè)試了GO-1。與現(xiàn)有最優(yōu)模型相比，GO-1的成功率顯著提升，平均成功率提高了32%（從46%提升至78%）。其中，“倒水”、“清理桌面”和“補(bǔ)充飲料”任務(wù)表現(xiàn)出色。此外，我們單獨(dú)驗(yàn)證了架構(gòu)中潛在計(jì)劃器的作用，結(jié)果表明增加潛在計(jì)劃器可提升12%的成功率（從66%提升至78%）。

02 GO-1：具身智能的全面創(chuàng)新

GO-1大模型憑借人類和多種機(jī)器人數(shù)據(jù)，賦予機(jī)器人革命性的學(xué)習(xí)能力，使其能夠泛化應(yīng)用到各類環(huán)境和物品中，快速適應(yīng)新任務(wù)、學(xué)習(xí)新技能。同時(shí)，它還支持部署到不同機(jī)器人本體，高效完成落地，并在實(shí)際應(yīng)用中持續(xù)快速進(jìn)化。

這一系列特點(diǎn)可以歸納為四個(gè)方面：

智元通用具身基座大模型GO-1的發(fā)布，標(biāo)志著具身智能正在向通用化、開(kāi)放化和智能化方向加速發(fā)展。

GO-1大模型將加速具身智能的普及，機(jī)器人將從依賴特定任務(wù)的工具，發(fā)展為具備通用智能的自主體，在商業(yè)、工業(yè)和家庭等多個(gè)領(lǐng)域發(fā)揮更大作用，邁向更加通用全能的智能未來(lái)。

請(qǐng)牢記，轉(zhuǎn)發(fā)請(qǐng)注明出處：上海經(jīng)信委

特別注明，本文經(jīng)上觀新聞客戶端“上觀號(hào)”入駐媒體授權(quán)發(fā)布，僅代表入駐媒體觀點(diǎn)，上觀新聞僅為信息發(fā)布平臺(tái)。如您認(rèn)為內(nèi)容侵害您的權(quán)益，請(qǐng)聯(lián)系刪除！