AniPortrait 是由腾讯游戏智迹团队研发的一款开源 AI 工具,旨在通过音频和参考肖像图像生成高质量的动态视频动画。该项目的核心功能是将静态肖像转化为生动的动画形象,同时支持音频驱动的面部表情和头部姿势控制,使生成的动画与输入音频同步,呈现出逼真的视觉效果。
- AniPortrait项目官网入口网址:https://github.com/Zejun-Yang/AniPortrait
- AniPortrait在线演示网址:https://huggingface.co/spaces/ZJYang/AniPortrait_official

AniPortrait 的工作流程分为两个主要阶段:首先是 Audio2Lmk(音频到 2D 面部标记点),该模块从音频中提取关键信息,包括面部表情和头部姿态的 3D 网格和头部姿态信息;其次是 Lmk2Video(2D 面部标记点到视频),该模块利用提取的面部特征生成高质量的动态视频。此外,AniPortrait 还支持人脸重绘功能,允许用户将照片中的人物替换到源视频中,从而实现更加灵活的动画创作。
AniPortrait 的技术特点包括:
- 音频驱动的动画合成:通过分析音频中的语音节奏和音调,自动调整人物的面部表情和口型,使其能够说话或唱歌。
- 高质量的视觉效果:利用扩散模型和运动模块,生成高分辨率、时间一致性的逼真动画。
- 灵活的模型配置:用户可以根据需求调整模型权重和配置参数,以实现个性化的动画效果。
- 广泛的应用场景:适用于游戏开发、虚拟主播、社交媒体内容创作、艺术创作等多个领域。
AniPortrait 的开源特性使其具有较高的灵活性和扩展性。用户可以通过 GitHub 获取代码并进行定制开发,同时社区提供了详细的文档和支持,帮助新手快速上手。此外,AniPortrait 还支持多种语言,并且能够适应不同的硬件配置,进一步提升了其普适性和实用性。
AniPortrait 是一个功能强大且灵活的 AI 动画生成工具,能够满足用户在动态视频制作中的多样化需求。无论是专业人士还是普通用户,都可以通过 AniPortrait 创作出独一无二的艺术作品或实用内容。
相关导航
暂无评论...