分享好友 最新动态首页 最新动态分类 切换频道
一件部署安装百度开源数字人项目Hallo！图片视频！效果炸裂！含整合包！开源免费使用阿里蚂蚁集团推出的EchoMimic开源项目：为唱歌和对话提供支持的AI数字人技术（附代码）
2024-12-26 07:46

一件部署安装百度开源数字人项目Hallo！图片视频！效果炸裂！含整合包！开源免费使用阿里蚂蚁集团推出的EchoMimic开源项目：为唱歌和对话提供支持的AI数字人技术（附代码）。

近日，AI领域迎来了一个重磅消息——百度联合复旦大学、苏黎世联邦理工学院和南京大学共同推出一个开源项目，名为"Hallo"。它能够通过上传图片并输入语音，生成与人物嘴唇同步、表情变化和姿态变化相匹配的动画。

官网：https://fudan-generative-vision.github.io/hallo/#/

01核心技术

Hallo的核心技术革新在于其引入的“交叉注意力机制”，该技术巧妙地在音频输入与视觉输出之间建立了精密的联动。

通过这种机制，Hallo能够实时地让声音与嘴唇运动、面部表情以及头部动作实现高度同步，从而呈现出流畅而自然的动画效果。

相较于传统技术，Hallo无需繁琐的中间处理步骤，即可直接生成高清逼真的动画视频，为用户带来前所未有的沉浸式体验。

Hallo的研究团队在技术创新上更进一步，引入“时间对齐技术”，这一技术确保了生成视频在时序上的连贯性和一致性。

通过精确的时间对齐，每一帧之间的动作过渡都显得流畅而自然，为用户带来更加逼真的视觉体验。

此外，研究团队还巧妙地结合了扩散生成模型和基于UNet的去噪器，这些技术的融合使得生成的动画不仅在视觉上保持了高度的保真度，还呈现出丰富细腻的细节。

02应用场景

经典电影致敬：通过动画技术向经典电影致敬。

虚拟角色：创建虚拟角色，用于游戏、电影或其他媒体。

03一键启动

步骤一
打开链接：https://pan.quark.cn/s/c0dde37654e0

步骤二
下载安装包至本地后双击即可一键启动，自动打开一个简单的用户界面

⇩

输入视频/音频

⇩

调整各种参数

⇩

就可以等待生成数字人啦

电脑配置如下：

Windows 10/11 64位操作系统

12G显存以上英伟达显卡

EchoMimic是蚂蚁集团最新推出的AI数字人开源项目，它能够为静态图像注入生命，赋予它们语音和表情的活力。利用深度学习技术，EchoMimic结合音频和面部特征点，创造出极具真实感的动态视频。这项技术不仅能够独立使用音频或面部特征来生成视频，还能将两者融合，实现更加自然流畅的口型同步效果。EchoMimic支持包括中文和英语在内的多种语言，尤其适合唱歌等多样化场景。其在娱乐、教育、虚拟现实等多个领域的应用，预示着数字人技术迎来了一次革命性的飞跃。

面部特征融合
利用先进的面部标志点技术，EchoMimic捕捉并模拟眼睛、鼻子、嘴巴等关键部位的运动，大大增强了动画的真实感。

多模态学习
结合音频和视觉数据，EchoMimic采用多模态学习方法，进一步提升了动画的自然度和表现力。

跨语言能力
支持中文普通话和英语等多种语言，EchoMimic能够满足不同语言区域用户的动画制作需求。

风格多样性
EchoMimic能够适应日常对话、歌唱等多种表演风格，为用户提供了广泛的应用场景。

安装及使用
1、 下载代码

 

2、 Python 环境设置
 

系统环境：
 

Centos 7.2/Ubuntu 22.04，Cuda >= 11.7
 

GPU：A100（80G）/ RTX4090D（24G）/ V100（16G）
 

Python 版本：3.8 / 3.10 / 3.11
 

创建 conda 环境：
 

 

安装软件包pip
 

 

3、 下载 ffmpeg-static
 

下载并解压ffmpeg-static，然后
 

 

4、下载预训练权重
 

 

pretrained_weights的组织结构如下：
 

 

其中denoising_unet.pth / reference_unet.pth / motion_module.pth / face_locator.pth是EchoMimic的主要检查点。
 

5、 音频驱动算法推理
 

运行python推理脚本：
 

 

6、 音频驱动算法推理自己的案例
 

编辑推理配置文件https://blog.csdn.net/u014374009/article/details/configs/prompts/animation.yaml，添加自己的案例：
 

 

运行python推理脚本：
 

 
 

项目地址
 github: https://github.com/BadToBest/EchoMimic
 

官网：https://badtobest.github.io/echomimic.html
 

EchoMimic的推出不仅是阿里巴巴在数字人技术领域的一次重大突破，也是对现有技术的一次全面革新。传统肖像动画技术往往依赖单一的音频驱动或面部关键点驱动，各自拥有独特的优势。EchoMimic则巧妙地将这两种驱动方式融合，通过音频和面部关键点的双重训练，创造出更加逼真、自然的动态肖像效果。这一创新不仅提升了动画的表现力，也为数字人技术的发展开辟了新的可能性。
 

 

以下是20个免费开源的数字人项目，它们涵盖了虚拟人、数字角色生成、表情动画等多个领域，并分别介绍其主要特点和访问链接：
 

1. MakeHuman
 

  • 特点: 一款免费的开源3D人类建模工具，可以生成可定制的数字人模型。提供了对人体各部分的精细控制，适合动画、游戏和CG制作。
  • 访问: MakeHuman
 

2. Blender MetaHuman Add-on
 

  • 特点: Blender 社区提供的插件，可以结合 Unreal Engine 的 MetaHuman 生成数字人，并通过 Blender 进行动画处理和自定义。
  • 访问: Blender Add-ons
 

3. Avatarify
 

  • 特点: 使用 AI 技术将普通视频转换为实时的虚拟形象，并支持视频通话中的实时虚拟表情同步。
  • 访问: Avatarify
 

4. DeepFaceLab
 

  • 特点: 一个广泛使用的深度伪造开源工具，可以创建和修改面部表情及换脸效果，适合数字人物动画。
  • 访问: DeepFaceLab
 

5. DeepMotion Animate 3D
 

  • 特点: 基于AI驱动的3D动画工具，提供数字角色的骨骼追踪和动作捕捉功能，适用于动画和游戏开发。
  • 访问: DeepMotion
 

6. FaceGen
 

  • 特点: 提供了3D人脸生成的工具，可以根据照片生成虚拟人脸，适合创建可定制的虚拟角色。
  • 访问: FaceGen
 

7. DeepFace
 

  • 特点: 用于人脸识别和人脸表情生成的开源工具，适合虚拟人的面部识别、追踪和情感分析。
  • 访问: DeepFace
 

8. VRoid Studio
 

  • 特点: 日本开发的虚拟人模型生成工具，特别适合生成动漫风格的虚拟角色，并支持动画和游戏应用。
  • 访问: VRoid Studio
 

9. OpenPose
 

  • 特点: 提供实时人体姿势估计和表情捕捉的开源工具，可以将摄像头拍摄的图像转换为骨架追踪数据，适合数字人物动画。
  • 访问: OpenPose
 

10. OpenFace
 

  • 特点: 用于实时面部识别和表情捕捉的工具，支持对虚拟人的面部动画进行详细控制。
  • 访问: OpenFace
 

11. Mano (Hand Model)
 

  • 特点: 提供人类手部的3D建模工具，用于虚拟角色的手部动画和手势捕捉。
  • 访问: Mano
 

12. Mixamo
 

  • 特点: 提供免费的人物动作捕捉和动画生成工具，可以为虚拟角色添加预制的动作。
  • 访问: Mixamo
 

13. Choregraphe Suite (NAOqi)
 

  • 特点: 用于开发和控制 Pepper 和 NAO 机器人，这些机器人可以被编程为具有类似人类的行为和面部表情。
  • 访问: NAOqi
 

14. OpenMMLab
 

  • 特点: 提供了多种基于深度学习的人体姿势、面部表情追踪和数字人物动画解决方案。
  • 访问: OpenMMLab
 

15. Godot Engine
 

  • 特点: 一个开源的2D/3D游戏引擎，支持自定义的数字人动画和表情捕捉。
  • 访问: Godot Engine
 

16. Unity + Digital Human Toolkit
 

  • 特点: Unity 提供的虚拟数字人工具包，支持3D虚拟人的动画制作和表情捕捉。
  • 访问: Unity Digital Human
 

17. Morph Targets Blender
 

  • 特点: Blender 提供的数字人物面部表情动画插件，可以根据面部表情生成动态表情变化。
  • 访问: Morph Targets Blender
 

18. Faceshift
 

  • 特点: 提供实时面部表情捕捉和动画生成，适合游戏和影视制作中的虚拟角色表情动画。
  • 访问: Faceshift
 

19. Character Creator
 

  • 特点: 提供3D虚拟人物生成，支持个性化的外貌、服装和动作定制，广泛应用于游戏和影视。
  • 访问: Character Creator
 

20. Emotiy
 

  • 特点: 提供基于面部表情的情感分析和虚拟角色情感驱动功能。
  • 访问: Emotiy








最新文章





网页转二维码：简单实用的在线工具

在如今的信息时代，二维码已经成为人们生活中不可或缺的一部分。二维码可以承载大量的信息，并且可以通过扫描进行快速的读取。在网页设计和推广中，将网页转为二维码是一项非常重要的工作。本文将介绍一种简单实用的在线工具，帮助用户将网



水排的汉语大词典

水排的汉语大词典是：古代一种利用水力推动革囊鼓风的冶铁装置。《三国志·魏志·韩暨传》：“旧时冶，作马排，每一熟石用马百匹；更作人排，又费功力；暨乃因长流为水排，计其利益，三倍于前。”明徐光启《农政全书》卷十八：“水排，韦囊



PyTorch深度学习模型训练加速指南2021

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶” 作者：LORENZ KUHN 编译：ronghuaiyang导读简要介绍在PyTorch中加速深度学习模型训练的一些最小改动、影响最大的方法。我既喜欢效率又喜欢ML，所



网站怎么优化电池推荐

优化您的网站以推荐电池产品涉及几个方面，包括SEO（搜索引擎优化）、用户体验和内容策略。以下是一些关键步骤： 1. 关键词和SEO优化- 关键词研究: 使用工具如Google Keyword Planner、Ahrefs或SEMrush来识别与电池相关的高搜索量关键词，



虾皮店铺转让多少钱？如何转让？

现在很多卖家选择在跨境平台虾皮上注册开店，但是由于平台上的店铺是非常激烈的，很多卖家无法继续将店铺经营下去，就会想要将店铺进行转让，那么虾皮店铺转让是多少钱了?shopee店铺转让价格并不是一定的，主要还是看店铺的运营情况。一般



超高清美女写真，这款AI工具教你一键生成心仪形象！

限时免费，点击体验最近超火的AI生图神器，坐拥3000美女的大男主就是你！ https://ai.sohu.com/pc/generate/textToImg?_trans_=030001_yljdaimn 在这个数字时代，许多人希望通过高科技手段来实现艺术创作，而AI的崛起让这一切变得轻而易举



科技智能重塑外汇体验，最新动态与未来展望

摘要：外汇市场最新动态显示，科技引领未来发展趋势，智能产品正在重塑外汇交易体验。随着科技的不断进步，外汇交易逐渐实现智能化，提供更加便捷、高效的交易方式。智能产品的应用，使得外汇交易更加智能化、个性化，满足不同交易者的需求



ROWNUMBER() OVER( PARTITION BY COL1 ORDER BY COL2)用法，先分组，然后在组内排名，分组计算，主表与附表一对多取唯一等

今天在使用多字段去重时，由于某些字段有多种可能性，只需根据部分字段进行去重，在网上看到了rownumber() over(partition by col1 order by col2)去重的方法，很不错，在此记录分享下：　　row_number() OVER ( PARTITION BY COL1 ORDER B



讲座回顾 ｜ 探秘以“假”乱真的AIGC图像与视频生成

图｜广外国际学院随着人工智能深入高等教育，海内外优质高等教育资源也在积极响应科技发展的步伐，愈发重视人工智能在现代商业中的关键作用。本次AI系列讲座是广外国际学院响应高等教育高质量发展的一次全新举措，从AI的起源和发展史，到AI



《重返80年代之我靠抓螃蟹发家》短剧在线观看，致姗姗来迟的你（电视剧版）——时光深处的温暖相遇（集萃）短剧在线观看，致姗姗来迟的你百科短剧在线观看

《重返80年代之我靠抓螃蟹发家》是一部在线观看的短剧，讲述了一段关于时光深处的温暖相遇的故事。这部短剧展现了主人公通过抓螃蟹发家致富的历程，同时也展现了姗姗来迟的温暖相遇。观众可以在线观看这部短剧，感受其中的情感与温馨。久别






相关文章








推荐文章





新闻调查｜从GPT-4o看人工智能竞争的走向和挑战




类似Visio的在线工具




贷款担保人信息一直发短信怎么办呢




直达：小榄到绥芬河物流货运-送货到家「直达不中转」2025排名一览




浏览器内核性能横评，主流的三种内核到底哪个好？




江森自控旗下泰科AI智能安防解决方案深度实测




长春宽城区考研辅导机构评测排名名单公布




怎么进行微博营销推广,有哪些方法




人工智能在煤炭行业的发展与应用204




店铺人群标签不精准，要怎样才能纠正过来？











发表评论

0评