Ai绘画新工具SimpleSDXL

   日期:2024-12-26    作者:b1247930 移动:http://mip.riyuangf.com/mobile/quote/48729.html

FLUX是当下最火的生图大模型,它由前身是SD的黑森林实验室团队,打造出的12B参数开源模型,画质对标MJ,超越SD3,具有顶级的提示跟随、视觉质量、图像细节和输出多样性。虽然官方发布的bf16版本有23G,使用门槛很高,不过ComfyUI及Kijai制作了fp8版本的模型,在保持了优秀的生图效果的情况下,对显存和内存的需求大幅降低,但像我这个3060-6G的低配玩家还是压力很大。不过,就前两天fooocus作者张吕敏,就为他的forge量身优化出一个NF4版的flux模型,据说4G显存也能搞定,但敏神也只官宣了forge对NF4的支持,他的成名作品fooocus却没法运行。

Ai绘画新工具SimpleSDXL

但今天我就实际操作给大家看看,如何在fooocuS里运行flux以及NF4版。好了,废话留到最后说,请先看下面的视频介绍:

教程视频

以上是针对flux在fooocus使用视频,下面介绍一下这个Fooocus最强分支【SimpleSDXL】。

项目地址:https://github.com/metercai/SimpleSDXL

什么是SimpleSDXL?/ What's SimpleSDXL? ● 化繁为简 AI的本质应该是化繁为简,让操作更简洁,让想法更易达成。SimpleSDXL保持Fooocus的易用性,以SDXL模型生态为核心,朝着开源可控,简洁易用,功能完善的方向更进一步。 ● 中文适配 中文环境与英语环境有很多差异。不仅仅在语言文字上,包括思维习惯、操作方式和网络环境都有很多不同。让中文用户使用更简单,用的更爽,也是SimpleSDXL 的原始初衷。 ● 场景定制 文生图和图生图有非常多的使用场景,需要更好的配置定制能力。SimpleSDXL以预置包和嵌参图片为基础,面向场景提升Fooocus的开放性和可定制性,发挥出SDXL的强大能力。 SmipleSDXL2 全新架构 / New Architecture

对比Fooocus的增强特色 / Enhanced features of Fooocus

在Fooocus基础上增强功能,可无缝升级,同步迭代,并行使用。而且经过了手机适配,PC和手机也可同步操作。 提示词翻译功能在线离线自主选择,支持翻译后再编辑,更适于提示词表达。 ● 中英文混合编辑 对提示词文本进行中英文切分后分别翻译再合并,适配提示词类的表达场景。 ●  在线和离线翻译器 可自动安装离线翻译大模型和小尺寸的瘦模型,也可选择第三方翻译接口。离线模型需自身算力支持,第三方接口接入便捷成本低,但增加了接口依赖。用户可根据情况自主配置选>择。 ●  支持翻译后再编辑 机器翻译的结果质量都不可控,存在翻译质量差导致生成内容偏差的现象。翻译后再编辑可以显性化翻译质量,提供用户再优化调整处理的空间。 ●  多大厂接口随机选 选择国内大厂(百度、阿里和搜狗)的稳定接口,每次启动时随机选择,运行态相对固定。既避免对接口冲击又保持翻译的一致性。 ●  私有翻译接口定制 可以配置私有接口,方便对接OpenAI等大语言模型的翻译能力。 智能抠图生成蒙板 / Intelligent cutout generation mask

具有语义识别的多种抠图算法,可自动生成蒙板,方便生成图片的组合加工。 ●  智能算法抠图 可以基于u2net进行图像分割,对重绘图片进行前后景分割,人物主体分割,并生成对应蒙板进行重绘。 ●  语义识别抠图 可以基于bert+Sam,在语义理解基础上识别图片内容,再进行自动分割,生成蒙板后进行重绘。 ●  点击识别抠图 点击图片某个区域,基于Sam算法对点击所在主体进行自动识别和分割,生成蒙板后进行重绘。 通配符批量提示词 / Wildcard batch prompt words 支持通配符词组表达和触发展示,可随机批量生成同Seed下的一组图片。

● 词组语法 支持[Words]词组,以","分割的词列表。表示在同一seed下从每个words词组抽词进行组合批量生成图片。每种组合1张图片,总量是各词组词数的乘积,以实际需要的数量为准,不受出图数量参数的限制。 ●  通配符组词 用通配符定义词组,格式为:[__wildcard__:R|Lnumber:start] R表示随机抽,L表示按顺序抽,默认=R;number是抽取的数量,默认=1;start是在顺序抽取时从第几个开始抽,默认=1。具体语法说明见【通配符ReadMe】 ●  自动触发输入 提示词框在输入'['或'_'时可自动触发通配符输入工具,可以通过界面选择追加通配符到提示词框。 ●  嵌套及动态加载 支持通配符的多级嵌套和动态加载,增强通配符的表达能力。 ●  定制和推送 支持自主定制通配符快捷方式,并推送给朋友使用。 ● 通配符说明: https://github.com/metercai/SimpleSDXL/tree/SimpleSDXL/wildcards 增强预置包和模型下载 / Enhanced preset and adapted for download

预置包可通过界面切换和生成,模型下载会根据IP自动选择内外源。 ● 预置包导航 将presets目录下的预置包配置文件生成顶部导航入口,户点击顶部预置包导航后,调取对应配置文件,重置出图环境参数和相关配置。 ●  生成预置包 将当前出图环境参数打包保存为新的预置包,将预置包文件存入presets目录下,自动加入顶部导航。 ●  扩展预置参数 扩展主线的预置包参数范围,补充开发者模式的参数,以及风格样式的定义和通配符的定义。支持的预置包参数见【预置包ReadMe详细说明】 ●  统一模型ID和下载 对接模型信息库,使用以模型文件哈希为基础的统一模型MUID。可自动检测预置包出图环境的可用性,缺失模型文件可自动下载补齐。 ●  出图保护 当系统环境进入出图状态时,顶部导航不可点击,禁止加载预置包冲击出图环境。 ● 预置包说明: https://github.com/metercai/SimpleSDXL/tree/SimpleSDXL/presets 图片集浏览和管理 / Finished image sets browsing and management 原生版仅能浏览当前生成的图片集,已生成图片管理非常简陋。而SimpleSDXL则直观的加入了图片浏览器风格的查看方式,可以直接调取图片参数复刻重生,或者直接删除图片。

● 则根据屏幕适配分组为子目录索引,避免撑爆相册组件。 ●  已出图片删除 对崩坏的已出图片可以即时删除,联动删除出图参数日志,确保图片和参数日志保持一致性。 ●  自动回填提示词 在浏览已出图片集过程中,可选择自动回填图片提示词,方便提示词的对照和修改,及图片的重生。 ●  图片集交互优化 已出图片集索引栏可根据状态适配,自动收起和调整,避免目录过多挤占页面空间,干扰图片生成创作。 嵌参图片和提参重生 / Embeded images and extract regeneration 增强的参数管理,可即时查看可嵌入图片,也可提取参数回填界面,二次生成。 ●  查看参数 从出图日志文件中提取当前图片的生成参数并用浮层完整展示。图集切换过程中,浮层内容跟随切换。 ●  提参重生 用当前图片的生成参数覆盖默认预置包的参数,提示词回填,可以修改参数或提示词后重新出图。

这款由FOOOCUS推荐的分支版本,持续保持和主线同步更新。在SimpleSDXL1之后,目前在原代码基础上扩展了架构,新增Comfy后端,全新升级命名为SimpleSDXL2。

全面支持SDXL、混元、SD3和Playground-v2.5以及可图、FLUX等多类型本地大模型。

使用Flux+配置的4步蒸馏版Flux Schnell模型,适合本地快速出图,并会根据系统内存及显存匹配适合的fp16/fp8/nf4精度模型,以我为例的6G显存3060显卡均做到30秒左右出图。

而且最低6G显卡内存可用,保持Fooocus简洁、高效和稳定的出图风格。在图像增强功能方面,新增融图打光模块,可自主生成前景及蒙版,可自动抠取产品或人物图片切换场景进行融合。集成OBP一键魔法提示词,还有Superprompt超级提示词扩展,为提示词增补细节描写。

有兴趣使用这个程序的朋友就请接看以下内容,那里将一步步教会大家如何安装并运行他。

【腾讯文档】SimpleSDXL2-fooocus安装说明书

https://docs.qq.com/doc/DUGVlbWhaSExoZUhy


特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


举报收藏 0评论 0
0相关评论
相关最新动态
推荐最新动态
点击排行
{
网站首页  |  关于我们  |  联系方式  |  使用协议  |  隐私政策  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号