LinGen,在单个 GPU 上以 16fps 生成 68 秒高分辨率视频
详细介绍:lineargen.github.io
普林斯顿大学的研究者提出了一种新型文本到视频生成框架:LinGen。该框架能够以线性计算复杂度生成高分辨率、长达一分钟的视频。LinGen通过替换传统的二次复杂度自注意力模块,使用线性复杂度的MATE模块,显著降低了计算成本,使得在单个GPU上生成高质量视频成为可能。实验结果显示,LinGen在视频质量上超越了现有的Diffusion Transformers(DiTs),同时大幅减少了计算量。这一技术的发展为生成更长电影和实时交互视频开辟了新的可能性。