开源数字人系列,开源嘴型同步系列,音频+图片生成逼真的动态视频

AI神秘探险家 2025-02-14 11:06:40

Sonic,腾讯开源的音频驱动肖像动画项目,适合长视频生成,在口型同步、表情和头部运动方面效果不错。

AniPortrait,开源的AI数字人工具,能够根据用户上传的照片和相应的音频文件,生成具有动画风格的动态视频。

JoyHallo,京东开源的普通话数字人项目,从效果看唇形表达流畅自然。

TANGO,开源的口型同步模型,专门用来解决人物对话和手势的同步。

EchoMimicV2,支付宝开源的生成数字人视频,与V1版本相比可以生成半身体的人体动画。

Loopy,字节发布的通过音频控制人物头像的表情和动作,不过没有开源。

OmniHuman-1,字节跳动推出的端到端多模态条件人体视频生成框架,可以根据单个人体图像和运动信号生成人体视频,不过没有开源。

PersonaTalk,字节跳动发布的音频驱动的视觉配音框架,可以创建唇形同步视频的配音,同时保留个人的谈话风格和面部细节,不过没有开源。

JoyVASA,京东健康和浙大开源的音频生成肖像和动物图像动画。

FLOAT,音频驱动的谈话肖像视频生成,可以增强语音驱动的情感运动,目前并未开源。

INFP,字节跳动推出音频驱动的交互式头部生成,可以实现两个数字人实时语音交流,不过没有开源。

Hallo3,百度开源的Hallo的第三个版本,输入音频和角色图片,可以生成该角色讲对应语音的视频,嘴型与语音匹配,有表情,有头部动作。

平台限制无法发布链接,请移步沃图社查看哦~

0 阅读:5

AI神秘探险家

简介:研究一切可行性。