这篇论文的标题是《VideoGuide: Improving Video Diffusion Models without Training Through a Teacher’s Guide》，主要研究了如何改进文本到视频（Text-to-Video，简称T2V）扩散模型，特别是在保持时间一致性方面的挑战。
摘要：文本到图像（Text-to-image，简称T2I）扩散模型已经彻底改变了视觉内容的创作，但将这些能力扩展到文本到视频（Text-to-video，简称T2V）生成仍然是一个挑战，特别是在保持时间一致性方面。现有旨在提高一致性的方法往往会导致一些权衡，比如图像质量下降和计算时间不切实际。为了解决这些问题，我们推出了VideoGuide，这是一种新颖的框架，可以在不需要额外训练或微调的情况下增强预训练T2V模型的时间一致性。VideoGuide利用任何预训练的视频扩散模型（Video Diffusion Model，简称VDM）或自身作为推理早期阶段的指导，通过将指导模型的去噪样本插值到采样模型的去噪过程中来提高时间质量。该方法显著改善了时间一致性和图像保真度，提供了一种具有成本效益和实用性的解决方案，充分发挥了各种视频扩散模型的优势。此外，作者展示了先前的蒸馏，揭示了基础模型可以通过利用指导模型的优越数据先验来实现增强的文本连贯性。
研究背景： 文本到图像（Text-to-Image，简称T2I）扩散模型已经极大地改变了视觉内容的创建和分发方式。现在，AI社区正在更深入地探索T2I扩散模型的潜力，将其应用于更高维度的视频生成领域。T2V扩散模型的目标是通过文本描述生成连贯的视频序列，同时处理空间和时间维度。然而，T2V扩散模型在时间一致性方面的表现仍然不尽如人意，可能导致生成的视频样本质量下降。
主要贡献：
提出了VideoGuide框架，用于在保持原始VDM成像质量的同时，增强时间一致性和运动平滑度。展示了如何将任何现有的VDM纳入该框架，从而提升性能不足的模型，并在模型间产生新的协同效应。提供了先前蒸馏的证据，表明可以通过提出的方法利用指导模型的优越数据先验来创建具有改进文本连贯性的样本。
研究方法： VideoGuide的核心思想是在推理过程中的去噪步骤，将预训练的VDM作为指导模型，通过将其去噪样本插值到目标模型中，以此来引导整个去噪过程朝着更好的时间一致性方向发展。该方法仅在推理的前几步中介入，但足以对整个去噪过程产生显著影响。
实验结果： 实验结果表明，通过将VideoGuide应用于性能较差的基础模型，可以显著提高时间一致性，而无需额外的训练或微调。此外，该方法在多个下游任务中的表现也优于传统的Transformer模型。
结论： VideoGuide是一个通用的框架，它利用任何预训练的视频扩散模型作为指导，以改善生成视频的时间一致性，同时保持成像质量。通过这种方法，即使是现有的模型也可以通过利用更优秀的模型来提高自身的性能。
一句话总结： 这篇论文介绍了VideoGuide，这是一个能够显著提升文本到视频扩散模型时间一致性的框架，而无需进行额外的训练，为视频生成领域带来了一种创新的改进方法。
论文链接https://arxiv.org/abs/2410.04364
项目链接https://videoguide2025.github.io/
