3月18日,理想汽车自动驾驶技术研发负责人贾鹏在NVIDIA GTC 2025进行主题演讲《VLA:迈向自动驾驶物理智能体的关键一步》,分享理想汽车对下一代自动驾驶技术MindVLA的最新思考和进展。

贾鹏说:“MindVLA是机器人大模型,它成功整合了空间智能、语言智能和行为智能。MindVLA将把汽车从单纯的运输工具转变为贴心的专职司机,它能听得懂、看得见、找得到。我们希望MindVLA能为汽车赋予类似人类的认知和适应能力,将其转变为能够思考的智能体。”
据介绍,MindVLA打破自动驾驶技术框架设计的传统模式,使用能够承载丰富语义,且具备出色多粒度、多尺度3D几何表达能力的3D高斯(3D Gaussian)这一优良的中间表征,充分利用海量数据进行自监督训练,极大提升了下游任务性能。
MindVLA利用Diffusion将Action Token解码成优化的轨迹,并通过自车行为生成和他车轨迹预测的联合建模,提升在复杂交通环境中的博弈能力。同时,Diffusion可根据外部条件,例如风格指令、动态调整生成结果。为解决Diffusion模型效率低的问题,MindVLA采用Ordinary Differential Equation(常微分方程)采样器,实现2-3步就能完成高质量轨迹的生成。面对部分长尾场景,理想建立起人类偏好数据集,并且应用RLHF(基于人类反馈的强化学习)微调模型的采样过程,最终使MindVLA能够学习和对齐人类驾驶行为,显著提升安全下限。