要说AI生成视频最火的项目,当属国产的快手可灵了,甚至比OpenAI的Sora还要火,前者还是个ppt,可灵已经在落地公测了,博主在前段时间申请试用通道的时候,竟然排到几十万人开外的位置,好在最后还是拿到了使用资格,还没用上的外国友人只能干着急,在社交媒体发「求求了!」
但就在最近,可灵开始收费了,而且年费要大几千,着实有点儿压力~
就在几天前,对标快手可灵的CogVideoX横空出世了,还可以部署到本地电脑使用,从下图可以看到其效果甚至不输快手可灵
CogVideoX的提示词上限为226个token,视频长度为6秒,帧率为8帧/秒,视频分辨率为720*480。用户只需输入一段文字,就能快速生成充满想象力的视频,还可以自由选择生成的视频风格,包括卡通、3D、黑白、油画、电影等,并配上软件自带的音乐
CogVideoX通过融合文本、时间和空间三个维度,实现了高效、连贯的视频生成,并采用DiT架构和优化算法,显著提升了推理速度和生成质量
工作流程
· 数据预处理:将输入的图像或视频数据转换为模型可以处理的格式,将图像切分成固定大小的patches(小块),然后将这些patches转换为特征向量
· 噪声引入:在数据预处理后的特征向量上逐步引入噪声,形成一个噪声增加的扩散过程,这个过程可以视为从原始数据到噪声数据的转换
· 模型训练:使用引入了噪声的特征向量作为输入,训练Transformer模型,模型的目标是学习如何逆转噪声增加的过程,即从噪声数据恢复出原始数据
· 视频生成:在模型训练完成后,通过输入随机生成的噪声和原始数据的映射关系到模型中,经过模型的处理后生成新的图像或视频
使用方法
1.点击软件界面右下角的load按钮,选择项目自带的workflow.json文件并加载
2.在新打开的界面中,输入待生成视频的提示词
3.设置参数(一般保持默认)
4.点击Queue Prompt按钮
稍微等待一下,视频就生成好了,甄嬛传中皇上啃鸡腿这段我怎么没见过?
注意事项
①项目安装路径不要包含中文
②推荐使用GTX1070以上显卡运行此项目
③使用过程中若不慎关闭软件后台,请重新打开,并刷新网页