这个提示词让ChatGPT充当Stable Diffusion prompt 生成助理,你只要指定一个主题,ChatGPT即可生成符合Stable Diffusion格式要求的 prompt 和 negative prompt。
关于怎么写Stable Diffusion prompt,主要参考这个文档,内容比较多。根据我的多次尝试,写成 markdown 格式喂给 ChatGPT 效果是最好的。
把以下内容整个复制到chat gpt的对话框,把主题改为你想要生成的主题即可:
生成的Stable Diffusion prompt:
``
AIGC大火后,文生图明星产品主要是Midjourney和Stable Diffusion(简称SD)。与Midjourney相比,SD最大的特点是免费、可本地部署,同时自定义程度高,但是较高的上手门槛使得入门存在一定难度。
笔者搜罗了网上一些优质的攻略,在本地成功部署了SD。同时,通过civital网站学习prompt词汇,利用ChatGPT进行提示词优化,最终输出了自己喜欢的图像。
以下是分享这个过程的详细步骤,供大家参考,希望能对你有所帮助。
硬件:
- 8G 的显存
- 足够的硬盘空间(100G 基本够用了)
软件:
- Python 3.10.x(网上很多文章都要你去安装 homebrew,好多小伙伴都卡在了这里。如果你安装不了,没关系,只要能安装好 Python3.10 就行)
科学上网的能力,这个不多说。
鉴于网上关于安装SD的教程非常多,笔者在这就不在赘述这个环节,我会附上一些之前自己安装时借鉴过的教程,同时存在的一些坑,笔者也会列出来给大家参考。
参考资料:
1、MacOS:轻松安装Stable Diffusion WebUI | M1, M2, Intel | 完整指南和教程
2、【Mac M1】安装stable diffusion webui教程及问题集锦
1、启动方式,在终端输入:
2、启动成功后,应该展现出来这个页面:
3、直接点击红框处网址或者复制到浏览器打开,出现如下页面即表示成功安装:
具体这些页面什么功能,可以参考这个教程(十分详细,干货满满):【浅谈stable diffusion (三)-哔哩哔哩】 https://b23.tv/IeOcrON
在安装好页面之后,开始做最简单的复现。可以在https://civitai.com/网站上选择一个优质的案例进行复现。这个过程可以帮助你对整个SD文生成流程有一个清晰的认识,同时也能让你找到一些自己写prompt词和参数配置的感觉。
复现方式可参考:
1、AI绘画第二步,模型切换和使用,抄作业复现超赞的效果!
2、M2 max使用stable-diffusion
6.1 ckpt模型和Lora模型区别
1、CKPT(CheckPoint)经过训练的图片合集,被称作模型,也就是chekpoint,体积较大,一般真人版的单个模型的大小在7GB左右,动漫版的在2-5个G之间早期的CKPT后缀名是ckpt,如今新的CKPT后缀名都是safetensors
2、Lora是一种体积较小的绘画模型,是对大模型的微调。与每次作画只能选择一个大模型不同,lora模型可以在已选择大模型的基础上添加一个甚至多个。一般体积在几十到几百兆左右。后缀也是safetensors
6.2 推荐的ckpt与Lora模型
ckpt推荐:
- sd-v1-4:基础模型,一般最开始会下载这个
- chilloutmix:综合起来最稳定,大多数时候可用这个
- darkSushiMixMix:生成精致、色彩艳丽的动漫图像上表现较好
- unstableinkdream:偏赛博朋克风格,机械、城市、霓虹等场景适配友好
Lora模型推荐:
- 各种doll和girl结尾的,生成美女图片的Lora模型:比如Koreandoll和Janpanesedoll等;
- Moxin_10:水墨国风,非常值得一试;
- ScifiProsthesisStyle:机械义体风格,非常炫酷,我本人最爱;
附C站上下线了的,生成美女图片效果很牛的Lora模型下载方式:korean doll likeness模型|Japanese-doll-likeness模型获取及使用
如果进行了多次C站优秀效果的复现,那么你会对怎么写Prompt词有一定了解,笔者将这个部分分成了3个步骤。
7.1 了解Prompt语法及执行方式
Prompt的语法如下所示:
Prompt执行Tips:
- 开头与结尾的词往往作用性更强;
- 提示词数量越多,单个提示词的作用性越低;
- 开头的数个提示词的作用较强,有更强的相关;
7.2 掌握常见的Prompt与Negative Prompt
常见的Prompt词:
1、表达清晰度:(8k, RAW photo, best quality, masterpiece:1.2)
2、表达写实和照片感比例:(realistic, photo-realistic:1.37)
3、Lora模型引用方式:lora:koreanDollLikeness_v10:0.5
4、表达美丽和照片细节丰富:an extremely delicate and beautiful, extremely detailed, ultra-detailed
常见画人像的Negative Prompt:
EasyNegative, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, porcelain doll, glans, extra fingers, fewer fingers, strange fingers, bad hand, ((watermark:2)),((white letters:1)), teeth,(nsfw:1.2)
7.3 利用ChatGPT优化提示词
需要注意的是,ChatGPT没法直接帮你生成完全可用的Prompt词(SD官方那个不算的话,那个我没实验过效果,要订阅GPT会员有API才行),需要我们引导它做一些词语上的优化,至于词语间的摆放顺序、以及哪些可用哪些不可用,需要我们自己根据经验做调整。
下面是我用ChatGPT优化的过程:
1、让ChatGPT角色扮演:
2、向ChatGPT描述自己脑海里的意象
3、将ChatGPT生成的描述段落提炼成关键词
4、向ChatGPT提出风格化需求
5、提取出来的关键词输入专业的prompt优化网站
PromptPerfect地址:promptperfect网站
6、将优化的prompt输入ChatGPT,提取出需要的拓展关键词
7、最终得到自己需要的Prompt:
(8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.37), lora:ScifiProsthesisStyle_epoch000006:0.4, 1 cyber-enhanced male warrior, clear face, short hair, futuristic, gray-haired, neural helmet, facing the camera, Intricate, Weathered, Nighttime , cinematic, (dynamic pose:1.5), defocus, backlight, (outside:1.4) , Metropolis, Rurouni Kenshin, augmented reality, Simon Stålenhag, Masamune Shirow, artistic complexity.
8、最终生成效果
这篇文章仅介绍了SD的一些基础入门使用方式。选择采样器(推荐一般使用DPM++ 2M),选择高分辨率修复中的高清晰度算法(基本上使用Latent nearest就可以了)等,都需要一定的技巧。
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
👉[[CSDN大礼包:《StableDiffusion安装包&AI绘画入门学习资料》免费分享]](安全链接,放心点击)
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!