SevenTnewS

开源机器人学

LeRobot v0.6.0:训练时构想未来,推理时零成本

LeRobot v0.6.0 引入了世界模型策略(在训练时构想未来,推理时消失)、新的奖励 API、六个模拟基准测试以及更快的数据加载。该框架旨在通过更精简的代码和云端训练选项,推动机器人学习的民主化。

Emmanuel Fabrice Omgbwa Yasse

2026-07-11 · 阅读需 4 分钟

LeRobot v0.6.0:训练时构想未来,推理时零成本

机器人学习的核心张力始终存在于策略所见与所需预测之间的差距。机器人抓取杯子时,不仅需要知道当前关节角度,还必须预测在手指闭合前杯子的位置。传统方法要么完全忽略未来(行为克隆),要么以高昂的计算成本模拟未来(基于视频生成的模型预测控制)。the-math-says-general-ai-is-a-myth-biology-markets-and-machine-learning-all-agree

世界模型:训练严格,推理轻便

LeRobot v0.6.0 正面应对这一权衡,引入了三种世界模型策略:它们在训练期间学习构想未来,但在推理时完全舍弃这种想象。最引人注目的设计是 VLA-JEPA,它将基于 Qwen3-VL-2B 的紧凑型 VLA 与一个 JEPA 世界模型配对,该世界模型必须根据模型自身动作预测后续帧。由于世界模型在推理时消失,策略在训练期间获得了对未来感知的好处,而运行时成本为零。Hub 上提供了三个可直接使用的检查点,包括一个用于微调的 DROID 预训练基础模型。alibabas-qwen-readies-its-next-leap-a-35b-agent-world-model-and-the-quiet-expansion-of-the-qwen3-family

LingBot-VA 采用了不同的路径:一个自回归视频-动作模型,逐块预测未来视频和动作,利用真实观测来保持想象力的准确性。用户甚至可以保存机器人想象的内容,并与实际结果进行比较。该模型可在单个 24-32 GB GPU 上运行。而 FastWAM 则将约 5B 的视频生成专家与紧凑的动作专家配对于单一网络中。它在训练时学习自我生成轨迹(自卷展),随后在推理时跳过这一想象过程。how-nvidias-gr00t-17-cuts-the-distance-between-teleoperation-and-real-world-robot-learning

VLA 动物园迎来五位新居民

此次发布还带来了一批新的视觉-语言-动作模型,反映了 VLA 研究加速发展的步伐。NVIDIA 的 GR00T 集成升级至 N1.7,将之前的 VLM 替换为 Cosmos-Reason2-2B,并配备了经过 Isaac-GR00T 一致性验证的实现。来自艾伦人工智能研究院的 MolmoAct2 现已完全支持微调、评估和真实机器人部署,在 bf16 精度下仅需约 12 GB 显存。由原作者之一贡献的 EO-1,采用了基于 Qwen2.5-VL-3B 骨干网络和流匹配技术。多任务扩散变压器让单个约 4.5 亿参数的模型能够学习基于自然语言指令的多个任务。EVO1 则集成了 7.7 亿参数的 InternVL3-1B 设计,适用于预算有限的 GPU 环境。the-specialization-revolution-how-smaller-models-are-redefining-ais-future

奖励模型:最终知道机器人何时成功

成功检测一直是机器人学习循环中缺失的一环。LeRobot v0.6.0 通过 lerobot.rewards 接口提供了一个统一的奖励模型 API 来填补这一空白。Robometer 是一个基于 Qwen3-VL-4B 构建的预训练通用奖励模型,能够从原始视频和语言指令中评分任务进度和成功率,无需特定任务的训练。它训练于超过一百万条机器人轨迹之上。TOPReward 则实现了完全零样本学习:它包装任意 VLM,并从轨迹视频和指令中读取 "True" 标记的对数概率。两者均附带标注脚本,可将每帧的进度曲线写入数据集,从而支持奖励感知的行为克隆和数据集质量检查。hugging-face-showcases-slack-native-coding-agent-and-ai-research-highlights

基准测试:一个 CLI 统一管理

此次发布将六个新的模拟基准测试整合到一个统一的 lerobot-eval CLI 中。LIBERO-plus 通过大约 10,000 个跨七个维度的扰动任务变体来严格测试 VLA 模型。RoboTwin 2.0 涵盖了 50 个双臂操作任务,具有高度域随机化。RoboCasa365 在 2,500 个程序化生成的厨房中跨越 365 个厨房任务。RoboCerebra 测试具有链式子目标的长期行为(长时域行为)。RoboMME 是一项记忆测试,涵盖计数、隐藏物体和模仿。VLABench 测试操作中的知识和推理,从物理问题到冲咖啡等复合任务。每个基准测试都附带一个 Docker 镜像和一个经过 CI 测试的 SmolVLA 基线检查点。

更精简的代码、更快的数据、云端训练

代码库本身变得更加精简:pip install lerobot 现在携带的基础依赖项减少了大约 40%,并通过按功能划分的扩展包提供了更多可选特性。视频编码暴露了完整的编码器接口,并支持 NVENC、VAAPI 等硬件加速检测。深度记录功能与英特尔 RealSense 相机实现端到端支持。数据加载速度通过多相机并行解码和持久化的工作者缓存提升了高达两倍。新的 lerobot-annotate CLI 使用一个 VLM 模型自动跨片段为子任务、计划和修正添加时间戳。FSDP 训练允许将大于单个 GPU 显存容量的模型分片到多个工作者上。并且,相同的 lerobot-train 命令可通过单个 , job.target 标志在云端运行,支持从 T4 到 8x H200 的各种 GPU 配置。sippsh-launches-open-source-library-for-local-ai-inference-with-3x-to-5x-speedup

机器人学习的 DRY 原则

v0.6.0 背后的指导哲学是“不重复自己”(Don't Repeat Yourself),但并非针对代码,而是针对计算。每个新特性都旨在将智能从运行时转移到训练时:在推理时消失的世界模型,在百万条轨迹上预训练以便无需重新标注的奖励模型,以及无需重新训练即可测试大量扰动的基准测试。其结果是形成了一个不仅仅是收集模型的框架。它系统化了这样一种日益增长的理解:机器人学习的瓶颈并非模型架构,而是数据效率和评估的严谨性。how-open-source-risc-v-is-disrupting-the-processor-market-and-reshaping-hardware-design

加上现在统一在一个屋檐下的九个基准测试系列、支持 DAgger 风格修正的新 lerobot-rollout CLI,以及通过 HF Jobs 进行的云端训练,LeRobot v0.6.0 将自己定位为开源机器人研究的操作系统。机器人学习的飞轮, , 部署、收集修正、微调、重复, , 现在仅需一个 CLI 标志即可实现。