StabilityAI新模型可以将图片转换成3D视频

猫猫喜欢吃香菜 2024-03-24 18:03:55

Stability AI推出了新的模型,能够将图片转换为3D视频。这项名为Stable Video 3D(简称SV3D)的创新技术,分为两个版本。两个版本均能将图像提示转化为展示物体360度“环绕”视角的3D视频“网格”,而更高级的版本还能在视频生成中加入“特定摄像机路径”。

Stability AI在一篇博客文章中展示了该模型如何设计输出物品(如时尚配饰和玩具动物)的3D模型视频,而无需提供该物体各个角度的图片。

该公司的研究人员在报告中写道:“这主要得益于大规模预训练生成模型,使其能够充分泛化到各个领域。”Stable Video 3D基于去年末发布的Stable Video Diffusion模型,后者经过大型数据集如LAION和LVD的训练。随后,SV3D在“Objaverse”数据集的精炼版本上进行了进一步训练,该数据集包含了大量的3D物体。

新的Stable Video 3D模型已经开始通过付费的Stability会员服务提供商业使用,或免费下载供非商业用途。在接受VentureBeat采访时,Stability AI首席研究员Varun Jampani表示,这一新模型可用于游戏开发或电子商务领域。“Stable Video 3D是生成3D资源的宝贵工具,特别是在游戏行业内。”Jampani告诉VentureBeat。“此外,它还能制作360度环绕视频,这在电子商务中很有用,为购物提供了更具沉浸感和互动性的体验。”

然而,值得注意的是,如果AI渲染是在产品之后进行的,AI生成的对象可能不会完全准确反映客户可能购买的物品。考虑到SV3D是在物体上进行训练的,目前还不清楚它是否能够处理人物图像,以及可能产生的结果如何。

Stability AI主要以其旗舰图像生成器Stable Diffusion而闻名。本月早些时候,AI竞争对手Midjourney在声称Stability员工涉嫌使用“类似僵尸网络的活动”抓取Midjourney数据后,禁止了所有Stability AI员工使用其平台。

0 阅读:0

猫猫喜欢吃香菜

简介:感谢大家的关注