分享好友 最新动态首页 最新动态分类 切换频道
ComfyUI]AI换脸神器 InstantID+IPAdapter
2024-12-27 01:52

对比lora训练,faceID,intantID,IPA,在人脸风格的迁移上,是目前AI换脸的主要方式。而最新出的InstantID,只需单个图像即可实现ID保留生成,相似度极高。

InstantID,主要是使用 ControlNet 和 IP-Adapter 的组合来控制扩散过程中的面部特征。
InstantID 同时支持 WebUI 和 ComfyUI。

支持官方提供的8种风格,还可与PhotoMaker Styler通用。
非官方项目地址:https://github.com/ZHO-ZHO-ZHO/ComfyUI-InstantID

项目地址:https://github.com/cubiq/ComfyUI_InstantID/blob/main/README.zh-CN.md

推荐使用 ComfyUI Manager管理器安装,安装完成后重启comfyui。

  • models/ipadapter
  • models/loras
  • models/clip_vision
  • models/insightface/models/antelopev2
  • models/controlnet
  • models/instantid

注意事项

  • 使用InstantID需安装InsightFace 模型(所有换脸的插件都需要

  • 需使用 SDXL 系列模型

  • 显存要求高,至少12G显存

下载模型文件,放入 InstantID 的插件目录下
模型目录

  • models/ipadapter

ComfyUIcustom_nodesComfyUI-InstantIDcheckpoints

  • 下载 InstantID/ControlNetModel 中的 config.json 和 diffusion_pytorch_model.safetensors ,将模型地址填入 📷ID ControlNet Loader 节点中(例如:ComfyUI/custom_nodes/ComfyUI-InstantID/checkpoints/controlnet

  • 下载 InstantID/ip-adapter 中的 ip-adapter.bin ,将其地址填入 Ipadapter_instantid Loader 节点中(例如:ComfyUI/custom_nodes/ComfyUI-InstantID/checkpoints

  • 下载 DIAMONIK7777/antelopev2 中的所有模型,将其放入 ComfyUI//custom_nodes/ComfyUI-InstantID/models/antelopev2 中

controlnet模型

https://huggingface.co/InstantX/InstantID/tree/main/ControlNetModel

ipadapter模型

https://huggingface.co/InstantX/InstantID/tree/main

 
 
 

这里参考光头强图片的构图,参考姚明的肖像,生成的图片,可以看到,背景是森林的,人物肖像是姚明。融合了两者的风格。

这里调整了一下权重,可以看到两张图片的风格元素完全融入进去了。

第一个加载器,修改成本地存放 controlnet 模型的目录,以下是我本地的路径

F:ComfyUI-aki-v1.1custom_nodesComfyUI-InstantIDcheckpointscontrolnet

第二个加载器是大模型,选择 SDXL 版本的模型。

在提示词风格化节点中,可以选择不同的风格。

第一张图放人脸,第二张图控制脸部的位置。InstantID会将2个图像的人脸按照一定比例融合,生成新的图片。

工作流中多了一个可视化风格节点。

可视化的风格化节点,总共有两个节点,第一个节点代表的是艺术家风格,我们可以尝试不同的艺术家风格类型。第二个节点是艺术运动。

  1. 针对参考的面部提取
  2. 通过InstantID和IPadapter faceId来对面部加强分析
  3. 面部识别和采样渲染
最新文章
抖音直播时没人气怎么办,如何提高直播间热度?
1、请求熟人亲朋好友、同事、同学、家人,你能够找到的人,都拉到你的直播间来。让他们来帮忙增加你直播间的基础人气。2、小号协助小号是我们能自己控制的直播间在线人数,可以避免观众进来后没人评论的尴尬。开启小号后可以在评论区留言增
从机器幻觉到智能幻觉
机器幻觉与智能幻觉主要是关于人工智能(AI)系统在处理信息和生成输出时,可能会产生的错误认知或“幻觉”现象。1. 机器幻觉在早期的计算机科学中,“机器幻觉”通常指的是计算机在进行数据处理时,出现了错误的输出或意外的结果。这类“
黑神话,悟空游戏帧数优化提升技巧详解
摘要:本文介绍了提升《黑神话:悟空》游戏帧数的方法。对于想要优化游戏体验的玩家来说,提高帧数是一个重要的目标。文章可能涵盖了调整游戏设置、升级硬件配置、关闭不必要的后台程序等多种方法,旨在帮助玩家减少画面卡顿,提升游戏流畅
谷歌推广效果好吗?为什么要选择谷歌推广?
谷歌推广效果好吗?全球90%流量来自谷歌,因此这个问题的答案是显而易见的。google流量是主线,不管你做批发还是零售,都要靠google。但是不管什么推广渠道还是需要推广方法到位才能起到一定的效果。 谷歌推广主要有两种模式:一种是Google
青浦百度爱采购运营逻辑
什么企业适合做百度爱采购?百度爱采购是B2B平台,适合生产型企业入驻、运营,然后获得客户的咨询,进而达成订单。这里要解释的是,所谓B的一端自然是企业,而另外B的一端是商家,即那些需要该原材料的企业或门头。如果是已经有了较为成熟
风云PDF转换器
  功能介绍  1、文档中可以直接输出为图画,用户可以进行个性化设置  2、PDF转换成WORD转换器输出的格式多样,除了Word文档(.doc)外,还可输出为(.rtf)文档  3、PDF转换成WORD转换器输出文档可自定义变换页面规模  4、转换加密后
抖音直播游戏推广收益怎么算?推广技巧有哪些?(抖音直播游戏推广)
抖音是现在比较受大家欢迎的短视频平台,现在玩抖音的人越来越多了,大家感兴趣的话可以利用这个平台达到引流推广的目的。下面了解一下抖音直播游戏推广收益的计算方法。 抖音直播游戏推广收益怎么算? 抖音游戏推广费用一般都是按照选择3种
怎么制作表格手机
在数字化时代,手机不仅是通讯工具,更是工作与生活的高效助手。制作表格作为数据处理的基础技能,在手机上同样可以轻松实现。以下是几种制作表格手机的方法,帮助你在移动设备上高效完成任务。**一、使用手机自带办公软件**现代智能手机通
深度解析,推广周报之出价优化策略全攻略
本次推广周报深入解析了出价优化策略,详细探讨了如何通过精准调整关键词出价、利用数据分析和市场趋势,提升广告投放效果。报告涵盖了出价策略调整的多个维度,包括竞争分析、预算分配和效果评估,旨在帮助广告主实现广告成本效益的最大化
黄石地区企业网络增长引擎,专业网站推广优化,助力抢占市场风口
黄石专业网站推广优化服务商,致力于帮助企业提升网络竞争力,实现网络腾飞,抢占市场先机。随着互联网的飞速发展,网络营销已经成为企业拓展市场、提升品牌影响力的重要手段,在黄石这座美丽的城市,众多企业纷纷投身于网络营销的大潮中,
相关文章
推荐文章
发表评论
0评