编辑：编辑部 HYZ
【新智元导读】自数字人技术Omnihuman-1引起全网关注之后，字节团队再放大招。全新DreamActor-M1横空出世，一张照片一段视频，就能生成电影级视频，精准迁移表情动作，还支持多种画风。
还记得前段时间字节跳动备受关注的数字人技术Omnihuman-1吗，近期，该团队一项基于DiT架构的可控人像视频生成技术 DreamActor-M1，一经发布，又在推特上引起了超百万量级的关注：仅需一张静态照片和一段驱动视频，便可生成高质量、达到电影级别的视频，将人像视频生成的表现力提升至全新水平。
项目网页：https://grisoon.github.io/DreamActor-M1/
论文地址：https://arxiv.org/pdf/2504.01724
DreamActor-M1不仅能够保留原图中的身份特征，还能精准捕捉并迁移驱动视频中的动作和表情，呈现出高度逼真的效果，极大地简化了现有的动作捕捉、角色动画以及内容创作流程。
据悉，同Omnihuman-1一样，DreamActor-M1模型也将于近期上线即梦AI，用户将可以在「数字人」-「动作模仿」功能下体验新模型。相比已有的动作模仿效果，在生成内容逼真度、画风支持、画面比例支持等多个方面将大幅优化。
方案介绍先一起来看看DreamActor-M1的效果：
左侧：玛丽莲梦露不仅能够精准复刻参考视频的动作，保持语音和口型一致，手臂大幅度摆动也不会出现严重的变形或虚影。
右侧：在日光下，男子随着参考视频动作的同时，能看到光影相应的变化
与以往方法不同，DreamActor-M1采用多控制信号混合驱动架构，能够精准还原从眼神等细腻表情到肢体动作的各类表现，可驱动从真人到卡通的不同形象，支持从肖像画幅到全身画幅的多种画幅，显著增强了单图视频驱动能力的表现力与易用性。在表情迁移方面，该系统运用隐式Face Motion Tokenizer，通过对大量人像视频进行自监督训练，实现对表情细节的精准建模。在动作迁移方面，采用3D头部球体和3D身体骨架，能够支持各种风格角色的肢体动作精准迁移。在画幅支持方面，DreamActor-M1基于DiT架构，并通过大量数据进行多阶段训练，可精准复刻各种画幅镜头，为用户提供了更广阔的创作空间。
各种画幅高表现还原支持各种风格角色技术对比相较于其他SOTA动作迁移和表情迁移工作，DreamActor-M1 在人物ID保持、动作表情还原、视频生成质量方面都有着更好表现，为高效完成高质量内容创作创造了新的可能性。
与动作迁移工作的对比与表情迁移工作的对比安全说明模型上线即梦AI后，平台将对视频内容进行严格的安全审核，并对输出视频添加“AI生成”水印，即梦AI现有的「动作模仿」功能也要求用户上传视频素材需确保拥有合法授权。
团队介绍字节跳动智能创作团队是字节跳动AI&多媒体技术中台，通过建设领先的计算机视觉、音视频编辑、特效处理等技术，支持抖音、剪映、头条等公司内众多产品线；同时为外部ToB合作伙伴提供业界最前沿的智能创作能力与行业解决方案。
其中数字人团队专注于建设行业领先的数字人生成和驱动技术，丰富智能创作内容生态。该团队的 OmniHuman-1 、PersonaTalk、Loopy、CyberHost 等前沿创新的数字人成果均已在即梦AI快速应用，未来还将持续通过即梦AI为用户带来新奇和惊喜的体验。
