Sonic,腾讯开源的音频驱动肖像动画项目,适合长视频生成,在口型同步、表情和头部运动方面效果不错。
AniPortrait,开源的AI数字人工具,能够根据用户上传的照片和相应的音频文件,生成具有动画风格的动态视频。
JoyHallo,京东开源的普通话数字人项目,从效果看唇形表达流畅自然。
TANGO,开源的口型同步模型,专门用来解决人物对话和手势的同步。
EchoMimicV2,支付宝开源的生成数字人视频,与V1版本相比可以生成半身体的人体动画。
Loopy,字节发布的通过音频控制人物头像的表情和动作,不过没有开源。
OmniHuman-1,字节跳动推出的端到端多模态条件人体视频生成框架,可以根据单个人体图像和运动信号生成人体视频,不过没有开源。
PersonaTalk,字节跳动发布的音频驱动的视觉配音框架,可以创建唇形同步视频的配音,同时保留个人的谈话风格和面部细节,不过没有开源。
JoyVASA,京东健康和浙大开源的音频生成肖像和动物图像动画。
FLOAT,音频驱动的谈话肖像视频生成,可以增强语音驱动的情感运动,目前并未开源。
INFP,字节跳动推出音频驱动的交互式头部生成,可以实现两个数字人实时语音交流,不过没有开源。
Hallo3,百度开源的Hallo的第三个版本,输入音频和角色图片,可以生成该角色讲对应语音的视频,嘴型与语音匹配,有表情,有头部动作。
平台限制无法发布链接,请移步沃图社查看哦~