这篇论文的标题是《MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion》，由UC Berkeley、Google DeepMind和Stability AI共同研究。
摘要：从动态场景中估计几何形状，特别是物体随时间移动和变形，仍然是计算机视觉中的一个核心挑战。目前的方法通常依赖于多阶段管道或全局优化，这将问题分解为多个子任务，例如深度和流动，导致复杂的系统容易出错。在本文中，我们提出了Motion DUSt3R（MonST3R），这是一种新颖的以几何为主的方法，能够直接从动态场景中估计每个时间步的几何形状。我们的关键见解是，通过简单地为每个时间步估计一个点图，我们可以有效地将DUSt3R的表示，之前仅用于静态场景，适应于动态场景。然而，这种方法面临一个重大挑战：适合的训练数据稀缺，特别是具有深度标签的动态配姿视频。尽管如此，我们展示了通过将问题设定为微调任务，识别多个合适的数据集，并在这有限的数据上战略性地训练模型，我们可以令人惊讶地让模型能够处理动态情况，即便没有明确的运动表示。基于此，我们为多个下游视频特定任务引入了新的优化，并在视频深度和相机位姿估计方面显示出强大的性能，超越了以前的工作，展现了更强的鲁棒性和效率。
研究背景： 在计算机视觉中，从动态场景中估计几何结构一直是一个核心挑战。传统的方法通常将问题分解为子问题，如深度估计、光流或轨迹估计，然后通过全局优化或多阶段算法进行组合。但这些多阶段方法通常速度慢、脆弱且容易出错。
主要贡献：
提出了MonST3R，这是一种直接从动态场景中以点图形式估计几何结构的方法。通过在有限数据上进行策略性训练，成功地使模型适应了动态场景，即使没有明确的运动表示。在视频深度和相机姿态估计等下游任务上展示了强大的性能，尤其是在鲁棒性和效率方面优于先前的工作。
研究方法： MonST3R基于DUSt3R的点图表示，为每个时间步的单个图像预测点图，并在第一帧的相机坐标系中对齐这些点图。通过这种方式，可以将多个帧的估计累积到全局点云中，并使用它来解决各种3D任务。研究者们识别了几个具有所需属性的小型数据集，并提出了一种训练策略，以最大限度地利用这些有限的数据进行微调。
实验结果： MonST3R在视频深度估计和相机姿态估计等任务上取得了有希望的结果，尤其是在主要以前馈方式进行4D重建方面。实验表明，即使是在动态场景中，MonST3R也能达到与专门技术相媲美的结果。
结论： MonST3R通过直接估计动态场景的几何结构，提供了一种简单而有效的方法来处理动态场景中的几何估计问题。尽管训练数据有限，但通过适当的训练策略，该方法能够实现强大的性能。
一句话总结： 这篇论文介绍了MonST3R，这是一种能够从动态场景中直接估计几何结构的新方法，它通过策略性地利用有限的训练数据，成功地使模型适应了动态场景，并在多个下游任务上显示出强大的性能。
论文链接https://arxiv.org/abs/2410.03825
项目链接https://monst3r-project.github.io/
