论文标题：LEGENT: 开放平台，用于打造类人 embodied 智能体

解读：

Embodied 智能体，又称为具身智能体，是指能够在物理环境或模拟环境中感知并采取行动的智能体。它们通常具有以下特点：拥有物理形态：Embodied 智能体通常具有物理形态，例如机器人或虚拟角色。能够感知环境：Embodied 智能体能够通过传感器感知周围环境，例如视觉、听觉、触觉等。能够采取行动：Embodied 智能体能够根据感知到的信息采取行动，例如移动、操纵物体等。能够学习和适应：Embodied 智能体能够通过与环境的交互学习和适应，从而提高其感知、行动和决策能力。Embodied 智能体在很多领域都有潜在的应用，例如：

机器人学：Embodied 智能体可以用于开发更智能、更灵活的机器人，例如家用机器人、工业机器人等。虚拟现实和增强现实：Embodied 智能体可以用于创建更逼真、更具交互性的虚拟现实和增强现实体验。游戏：Embodied 智能体可以用于开发更具挑战性和趣味性的游戏。人工智能研究：Embodied 智能体可以用于研究人工智能在物理世界中应用的各种挑战和问题。

Embodied 智能体与传统人工智能的区别:传统人工智能通常只关注信息的处理和分析，而 Embodied 智能体还需要考虑如何与物理世界进行交互。这使得 Embodied 智能体更加复杂，也更加具有挑战性。

摘要 (Abstract) 翻译：

尽管大型语言模型 (LLMs) 和大型多模态模型 (LMMs) 取得了巨大进步，但它们与语言为基础的人类类 embodied 智能体的整合仍然不完善，阻碍了复杂现实生活任务在物理环境中的执行能力。

现有的集成方法通常开源程度有限，对该领域的集体进步构成挑战。我们介绍了 LEGENT，这是一个用于使用 LLM 和 LMM 开发 embodied 智能体的开放式可扩展平台。

LEGENT 提供了一种双管齐下的方法：一个富含交互性的 3D 环境，其中包含可交流和可操作的智能体，辅以用户友好的界面，以及利用先进算法从模拟世界中大规模获取监督信息的复杂数据生成管道。

在我们的实验中，一个经过 LEGENT 生成的训练数据训练的早期视觉语言动作模型在 embodied 任务方面超越了 GPT-4V，展示了 promising 的泛化能力。

技术内容解释：

这篇文章主要介绍了一种名为 LEGENT 的开放式可扩展平台，用于训练和开发 embodied 智能体。

Embodied 智能体是指能够在物理环境或模拟环境中感知并采取行动的智能体。

目前，大型语言模型 (LLMs) 和大型多模态模型 (LMMs) 在理解和生成人类语言和图像方面取得了显著进步。

然而，它们在 embodied AI 领域 (智能体在物理或模拟环境中交互) 的直接应用还处于起步阶段。

LEGENT 的主要优势:

开放性：LEGENT 平台是一个开源平台，这将有利于 embodied AI 领域的集体进步。可扩展性：LEGENT 平台可用于训练和开发各种各样的 embodied 智能体。丰富的交互式 3D 环境：LEGENT 提供了一个逼真的 3D 环境，使 embodied 智能体能够学习与环境进行交互。用户友好的界面：LEGENT 提供了用户友好的界面，降低了 embodied 智能体开发的门槛。复杂的数据生成管道：LEGENT 使用先进的算法从模拟世界中生成大量数据，用于训练 embodied 智能体。

LEGENT 的优势如何帮助 embodied AI 领域发展:

结合 LLM 和 LMM 的强大功能：LEGENT 使得 embodied 智能体能够利用 LLM 和 LMM 的强大功能，例如理解和生成人类语言、图像等能力。更好地泛化到真实世界：LEGENT 通过使用模拟世界的训练数据，可以帮助 embodied 智能体更好地泛化到真实世界的任务。

总而言之，LEGENT 平台有望通过结合开放性、可扩展性、丰富的交互式环境和复杂的数据生成管道等优势，显著推动 embodied AI 领域的发展。