一件部署安装百度开源数字人项目Hallo！图片视频！效果炸裂！含整合包！开源免费使用阿里蚂蚁集团推出的EchoMimic开源项目：为唱歌和对话提供支持的AI数字人技术（附代码）。
近日，AI领域迎来了一个重磅消息——百度联合复旦大学、苏黎世联邦理工学院和南京大学共同推出一个开源项目，名为"Hallo"。它能够通过上传图片并输入语音，生成与人物嘴唇同步、表情变化和姿态变化相匹配的动画。
官网：https://fudan-generative-vision.github.io/hallo/#/
01核心技术
Hallo的核心技术革新在于其引入的“交叉注意力机制”，该技术巧妙地在音频输入与视觉输出之间建立了精密的联动。
通过这种机制，Hallo能够实时地让声音与嘴唇运动、面部表情以及头部动作实现高度同步，从而呈现出流畅而自然的动画效果。
相较于传统技术，Hallo无需繁琐的中间处理步骤，即可直接生成高清逼真的动画视频，为用户带来前所未有的沉浸式体验。
Hallo的研究团队在技术创新上更进一步，引入“时间对齐技术”，这一技术确保了生成视频在时序上的连贯性和一致性。
通过精确的时间对齐，每一帧之间的动作过渡都显得流畅而自然，为用户带来更加逼真的视觉体验。
此外，研究团队还巧妙地结合了扩散生成模型和基于UNet的去噪器，这些技术的融合使得生成的动画不仅在视觉上保持了高度的保真度，还呈现出丰富细腻的细节。
02应用场景
经典电影致敬：通过动画技术向经典电影致敬。
虚拟角色：创建虚拟角色，用于游戏、电影或其他媒体。
03一键启动
步骤一
打开链接：https://pan.quark.cn/s/c0dde37654e0
步骤二
下载安装包至本地后双击即可一键启动，自动打开一个简单的用户界面
⇩
输入视频/音频
⇩
调整各种参数
⇩
就可以等待生成数字人啦
电脑配置如下：
Windows 10/11 64位操作系统
12G显存以上英伟达显卡
EchoMimic是蚂蚁集团最新推出的AI数字人开源项目，它能够为静态图像注入生命，赋予它们语音和表情的活力。利用深度学习技术，EchoMimic结合音频和面部特征点，创造出极具真实感的动态视频。这项技术不仅能够独立使用音频或面部特征来生成视频，还能将两者融合，实现更加自然流畅的口型同步效果。EchoMimic支持包括中文和英语在内的多种语言，尤其适合唱歌等多样化场景。其在娱乐、教育、虚拟现实等多个领域的应用，预示着数字人技术迎来了一次革命性的飞跃。
面部特征融合
利用先进的面部标志点技术，EchoMimic捕捉并模拟眼睛、鼻子、嘴巴等关键部位的运动，大大增强了动画的真实感。
多模态学习
结合音频和视觉数据，EchoMimic采用多模态学习方法，进一步提升了动画的自然度和表现力。
跨语言能力
支持中文普通话和英语等多种语言，EchoMimic能够满足不同语言区域用户的动画制作需求。
风格多样性
EchoMimic能够适应日常对话、歌唱等多种表演风格，为用户提供了广泛的应用场景。
安装及使用
1、 下载代码
2、 Python 环境设置
系统环境：
Centos 7.2/Ubuntu 22.04，Cuda >= 11.7
GPU：A100（80G）/ RTX4090D（24G）/ V100（16G）
Python 版本：3.8 / 3.10 / 3.11
创建 conda 环境：
安装软件包pip
3、 下载 ffmpeg-static
下载并解压ffmpeg-static，然后
4、下载预训练权重
pretrained_weights的组织结构如下：
其中denoising_unet.pth / reference_unet.pth / motion_module.pth / face_locator.pth是EchoMimic的主要检查点。
5、 音频驱动算法推理
运行python推理脚本：
6、 音频驱动算法推理自己的案例
编辑推理配置文件https://blog.csdn.net/u014374009/article/details/configs/prompts/animation.yaml，添加自己的案例：
运行python推理脚本：
项目地址
github: https://github.com/BadToBest/EchoMimic
官网：https://badtobest.github.io/echomimic.html
EchoMimic的推出不仅是阿里巴巴在数字人技术领域的一次重大突破，也是对现有技术的一次全面革新。传统肖像动画技术往往依赖单一的音频驱动或面部关键点驱动，各自拥有独特的优势。EchoMimic则巧妙地将这两种驱动方式融合，通过音频和面部关键点的双重训练，创造出更加逼真、自然的动态肖像效果。这一创新不仅提升了动画的表现力，也为数字人技术的发展开辟了新的可能性。
以下是20个免费开源的数字人项目，它们涵盖了虚拟人、数字角色生成、表情动画等多个领域，并分别介绍其主要特点和访问链接：
1. MakeHuman
- 特点: 一款免费的开源3D人类建模工具，可以生成可定制的数字人模型。提供了对人体各部分的精细控制，适合动画、游戏和CG制作。
- 访问: MakeHuman
2. Blender MetaHuman Add-on
- 特点: Blender 社区提供的插件，可以结合 Unreal Engine 的 MetaHuman 生成数字人，并通过 Blender 进行动画处理和自定义。
- 访问: Blender Add-ons
3. Avatarify
- 特点: 使用 AI 技术将普通视频转换为实时的虚拟形象，并支持视频通话中的实时虚拟表情同步。
- 访问: Avatarify
4. DeepFaceLab
- 特点: 一个广泛使用的深度伪造开源工具，可以创建和修改面部表情及换脸效果，适合数字人物动画。
- 访问: DeepFaceLab
5. DeepMotion Animate 3D
- 特点: 基于AI驱动的3D动画工具，提供数字角色的骨骼追踪和动作捕捉功能，适用于动画和游戏开发。
- 访问: DeepMotion
6. FaceGen
- 特点: 提供了3D人脸生成的工具，可以根据照片生成虚拟人脸，适合创建可定制的虚拟角色。
- 访问: FaceGen
7. DeepFace
- 特点: 用于人脸识别和人脸表情生成的开源工具，适合虚拟人的面部识别、追踪和情感分析。
- 访问: DeepFace
8. VRoid Studio
- 特点: 日本开发的虚拟人模型生成工具，特别适合生成动漫风格的虚拟角色，并支持动画和游戏应用。
- 访问: VRoid Studio
9. OpenPose
- 特点: 提供实时人体姿势估计和表情捕捉的开源工具，可以将摄像头拍摄的图像转换为骨架追踪数据，适合数字人物动画。
- 访问: OpenPose
10. OpenFace
- 特点: 用于实时面部识别和表情捕捉的工具，支持对虚拟人的面部动画进行详细控制。
- 访问: OpenFace
11. Mano (Hand Model)
- 特点: 提供人类手部的3D建模工具，用于虚拟角色的手部动画和手势捕捉。
- 访问: Mano
12. Mixamo
- 特点: 提供免费的人物动作捕捉和动画生成工具，可以为虚拟角色添加预制的动作。
- 访问: Mixamo
13. Choregraphe Suite (NAOqi)
- 特点: 用于开发和控制 Pepper 和 NAO 机器人，这些机器人可以被编程为具有类似人类的行为和面部表情。
- 访问: NAOqi
14. OpenMMLab
- 特点: 提供了多种基于深度学习的人体姿势、面部表情追踪和数字人物动画解决方案。
- 访问: OpenMMLab
15. Godot Engine
- 特点: 一个开源的2D/3D游戏引擎，支持自定义的数字人动画和表情捕捉。
- 访问: Godot Engine
16. Unity + Digital Human Toolkit
- 特点: Unity 提供的虚拟数字人工具包，支持3D虚拟人的动画制作和表情捕捉。
- 访问: Unity Digital Human
17. Morph Targets Blender
- 特点: Blender 提供的数字人物面部表情动画插件，可以根据面部表情生成动态表情变化。
- 访问: Morph Targets Blender
18. Faceshift
- 特点: 提供实时面部表情捕捉和动画生成，适合游戏和影视制作中的虚拟角色表情动画。
- 访问: Faceshift
19. Character Creator
- 特点: 提供3D虚拟人物生成，支持个性化的外貌、服装和动作定制，广泛应用于游戏和影视。
- 访问: Character Creator
20. Emotiy
- 特点: 提供基于面部表情的情感分析和虚拟角色情感驱动功能。
- 访问: Emotiy