《开源鸿蒙领学课堂-AI赋能系列-具身智能专题第三期》直播回顾

直播一开始，先讲清楚了LeRobot的定位。

LeRobot的目标，是成为机器人领域的“Transformers”：通过开放共享的模型、数据集和工具，降低机器人技术的使用门槛，让更多开发者可以基于统一框架开展数据采集、模型训练和推理部署。

这件事为什么重要？因为机器人AI开发长期面临几个现实问题：

🔹数据获取成本高

🔹模型训练门槛高

🔹硬件差异大，复用难

🔹开发链路长，从采集到部署不够顺畅

LeRobot试图解决的，正是这类问题。它希望把机器人学习所需的关键资源逐步沉淀下来，包括：

第一类：模型能力

重点聚焦在模仿学习、强化学习，以及当前机器人领域越来越关注的VLA（Vision-Language-Action）方向。

第二类：数据资源

提供开放共享的数据集，并托管在Hugging Face平台上，帮助开发者更方便地获取训练资源。

第三类：开发工具

支持训练、评测、推理等流程，也支持对接模拟器和不同机器人本体，降低实验和验证成本。

也就是说，LeRobot的目标不是单独做某个机器人任务，而是希望为机器人学习提供一套更通用的基础能力框架。

直播中还系统拆解了LeRobot的技术架构。整体来看，它围绕的是一个比较清晰的闭环：数据采集 → 模型训练 → 推理执行。

数据采集：先把训练所需的“输入输出对”积累起来

机器人学习离不开数据。LeRobot的数据采集，主要依赖：

🔹外部观测数据，例如摄像头画面、语言指令等

🔹机器人自身状态数据，例如关节状态、控制指令等

🔹遥操作或人工示教过程中的动作数据

这些数据共同构成训练数据集，为后续模型学习提供基础。

模型训练：基于PyTorch进行统一训练

在收集到数据之后，LeRobot基于PyTorch进行模型训练。它支持多种机器人学习方法，并持续扩展模型能力。

相比只关注某一个算法，LeRobot更强调的是：把训练流程、模型管理和数据使用方式标准化。

推理执行：让模型真正驱动机器人动作

训练完成后，模型会部署到端侧或电脑上，根据当前观测输出动作序列，再由机器人本体执行具体任务。这一过程本质上是把“看到什么、理解什么、下一步该怎么动”连接起来，形成可运行的推理闭环。

总之，LeRobot的目标不只停留在模型研究层面，而是在尝试把机器人学习的完整链路搭起来。

如果说数据和训练解决的是“怎么学”，那推理服务解决的就是“学完之后怎么稳定地用”。这也是本次直播里比较值得关注的一部分。

为什么推理服务更难？

因为机器人控制和大模型问答不一样。LLM更多是离散token的生成，很多时候是开环的；但机器人控制面对的是：

🔹连续动作空间

🔹高频实时执行

🔹闭环反馈控制

🔹安全性和稳定性要求高

这意味着，机器人推理服务不仅要“能出结果”，还要：跟得上控制频率、保证足够低的时延、动作输出尽可能平滑以及能和底层本体控制闭环稳定连接。

围绕推理服务，重点关注的能力包括：

🔹同步推理与推理加速：保证推理速度匹配实际控制需求

🔹实时性增强：降低时延，提高确定性

🔹动作平滑处理：避免动作抖动，让输出更连续

🔹本体抽象与控制闭环：屏蔽底层硬件差异，建立统一的执行链路

换句话说，模型只是“会思考”的一部分，而推理服务真正决定了：这些思考结果能不能稳定变成机器人动作。

直播中还重点谈到了LeRobot与ROS生态的关系。这个问题其实很现实。今天机器人软件生态里，大量成熟能力都沉淀在ROS/ROS2中，包括：传感器驱动、通信机制、导航、SLAM、运动规划、控制框架等。

因此，LeRobot如果想走向真实应用，就很难脱离ROS生态单独推进。更合理的思路，不是替代，而是结合。即：LeRobot和ROS不是二选一关系，而更适合做融合与互补。

可以简单理解为：

🔹LeRobot更偏“大脑”：负责VLA模型、训练和推理

🔹ROS更偏“小脑”和“脑干”：负责底层通信、控制、导航、运动规划等基础能力

这种分工其实很自然：LeRobot擅长的是AI模型驱动的学习和推理，而ROS擅长的是机器人系统工程里已经非常成熟的一整套底层能力。

一个更可行的结合方式

直播中提到的思路大致包括：

🔹用ROS Node采集传感器数据，并进行标准化处理

🔹将这些数据送入LeRobot推理服务

🔹LeRobot输出动作序列后，再由ROS侧进行路径规划、运动学处理和动作分发

🔹最终通过控制层驱动真实机器人执行

在这个链路里，关键不是简单“接上”，真正要做的是一条从感知到执行的完整工程链路。

结合前两期直播的内容来看，这一期的重点，其实是在补充开源鸿蒙具身智能项目中的另一块关键能力：机器人AI模型和数据体系。

LeRobot所能提供的价值包括：

🔹提供更系统的机器人学习能力入口：包括数据采集、训练、评测、推理等链路，可以帮助开发者更快进入机器人AI开发。

🔹为VLA等具身智能模型落地提供参考框架：这对于后续复杂机器人能力建设，尤其是面向操作任务的智能化能力，有现实意义。

🔹有助于和ROS、开源鸿蒙形成分层协同：如果把系统能力、机器人中间件能力、AI推理能力整合起来，就有机会形成一套更完整的具身智能技术栈。

这也意味着，LeRobot的引入，不只是增加了一个开源项目的选项，而是在开源鸿蒙具身智能项目中，补上了“模型与数据能力”这一块重要拼图。