文本转视频神器问世-字节出品AnimateDiff-Lightning(懒人包

懂科技的老葛 2024-04-12 00:18:25

今天给大家分享一个字节跳动最新发布的闪电般快速文本生成视频AI模型AnimateDiff-Lightning,它生成视频的速度比原始 AnimateDiff 快十倍以上,让文本瞬间绽放为惊艳视频。

AnimateDiff-Lightning简介

字节跳动于3月底推出了AnimateDiff-Lightning,一个用于快速生成视频的新模型。该模型使用渐进式对抗扩散蒸馏技术,据称可以实现闪电般快速的视频生成。同时,团队进一步提出了跨模式扩散蒸馏,提高蒸馏模块泛化到不同的风格化基本模型的能力,而且最重要的是AnimateDiff-Lightning模型目前已开源。

AnimateDiff-Lightning模型与Contorlnet的配合也非常出色,这意味着视频转绘的工作流得到了升级。同时,字节还推出了对应的Comfyui工作流,这一开源工作流的实施,使得AnimateDiff-Lightning模型的应用更加到位。

据了解,AnimateDiff-Lightning模型是从AnimateDiff SD1.5v2中提炼出来的,包含了1步、2步、4步和8步提炼模型的版本。其中,2步、4步和8步模型的生成质量非常好,这对于视频制作者来说,无疑提供了更多的选择和可能。

在使用AnimateDiff-Lightning模型时,字节还建议使用运动LoRA,因为运动LoRA能产生更强的运动效果。为了避免水印的出现,建议将运动LoRA的使用强度控制在0.7~0.8之间。

离线懒人包来了

老规矩,大家自行在本地部署比较麻烦,已经为大家制作好了一款离线整合包了,下载到本地解压即用。

大家下载解压到本地。

①双击“一键启动.exe”。

②双击一键启动程序后,会打开一个命令提示窗口,项目会自动运行。加载成功后,请自行复制以下网址在浏览器打开“ http://127.0.0.1:7860/”,记得点点关注不迷路哦,后续还有更多酷炫的AI项目分享~

③打开页面后,可以看到项目主界面,界面已经为大家汉化好了。

使用很简单,2步极速上手,即刻开始快乐地玩耍:

输入提示词:跟使用其他AI大模型一样,输入图片,输入提示词。点击生成:点击“提交”按钮,等待即可。

项目运行一段时间后,会得到该项目生成的视频。下图是我亲测生成的视频,效果很赞!

注意事项:

①该项目建议使用英伟达显卡运行,建议10G显存以上

②请确保安装路径不包含中文,不然可能会引起奇怪的适配问题

③系统要求:支持Windows 10和Windows 11

今天就聊到这了,我是Glen,感谢你看我的文章,欢迎大家继续支持我,请点赞、收藏、分享三连走一波吧~

关注并私信回复【AnimateDiff-Lightning】,免费获得本文资源~

0 阅读:0

懂科技的老葛

简介:感谢大家的关注