Stable Diffusion 技术把 AI图像生成提高到了一个全新高度,文生图 Text to image 生成质量很大程度上取决于你的提示词 Prompt 好不好。本文从“如何写好提示词”出发,从提示词构成、调整规则和
AIGC辅助工具等角度,对文生图的提示词输入进行归纳总结。
这篇文章的目标是作一个简单介绍,帮助新手认识SD且学会AI绘画,老鸟照样可以略过!
这个电子书一共有105页,加上翻译排版等等前后花了我2天时间,眼睛都给我看花了,还挺累人。
Stable Diffusion 最强提示词手册
第一章、前言
-
Stable Diffusion介绍
-
OpenArt介绍
-
提示词(Prompt) 工程介绍
先说一下前言能学到什么吧,对Stable Diffusion、OpenArt这个平台、提示词工程等简介,然后以一系列提问的方式对提示词的格式进行了示例:这一系列的提问是有逻辑的,如果你经常在为写提示词不知道该从何开始时,就可以学习它的思路。
第二章、提示词格式(Prompt)
-
提问引导
-
示例
-
单词的顺序
-
…
第三章、修饰词(Modifiers)
-
Photography/摄影
-
Art Mediums/艺术媒介
-
Artists/艺术家
-
Illustration/插图
-
Emotions/情感
-
Aesthetics/美学
-
…
介绍了一系列的修饰词,这一章节的篇幅最长,列举的非常详细:包括不同的摄影风格、相机、镜头、灯光等关键词,以示例的方式展现对画面所产生的影响:不同的艺术媒介例如粉笔画、水彩画、油画等关键词所呈现的效果。艺术家又按照不同的艺术风格,比如肖像、风景、恐怖、科幻、动漫、摄影、概念等进行了分类列举。
第四章、 Magic words(咒语)
-
Highly detailed/高细节
-
Professional/专业
-
Vivid Colors/鲜艳的颜色
-
Bokeh/背景虚化
-
Sketch vs Painting/素描 vs 绘画
修饰词这一章节介绍完了之后,书中又介绍了一些魔法词,就是一些我们经常见到的HDR、8K、高细节一类可以提高画面质量的关键词:
第五章、Stable Diffusion参数
-
Resolution/分辨率
-
CFC/提词相关性
-
Step count/步数
-
Seed/种子
-
Sampler/采样
-
反向提示词(Prompt)
除了提示词相关的内容,书中还介绍了Stable Diffusion的参数,同样以图文并茂方式展现。
第六章 img2img(图生图),in/outpainting(扩展/重绘)
-
将草图转化为专业艺术作品
-
风格转换
-
lmg2lmg 变体
-
Img2lmg+多个AI问题
-
lmg2lmg 低强度变体
-
重绘
-
扩展/裁剪
-
…
第七章 重要提示
-
词语的顺序和词语本身一样重要
-
不要忘记常规工具
-
反向提示词(Prompt)
-
…
第八章 OpenArt展示
-
提示词 (Prompt)
-
案例展示
最后,分享了一些OpenArt上的作品包括提示词,例如提示词中的Fallout是一款后末日主题的角色扮演游戏。
AIGC(AI Generated Content)技术,即人工智能生成内容的技术,具有非常广阔的发展前景。随着技术的不断进步,AIGC的应用范围和影响力都将显著扩大。以下是一些关于AIGC技术发展前景的预测和展望:
1、AIGC技术将使得内容创造过程更加自动化,包括文章、报告、音乐、艺术作品等。这将极大地提高内容生产的效率,降低成本。2、在游戏、电影和虚拟现实等领域,AIGC技术将能够创造更加丰富和沉浸式的体验,推动娱乐产业的创新。3、AIGC技术可以帮助设计师和创意工作者快速生成和迭代设计理念,提高创意过程的效率。
未来,AIGC技术将持续提升,同时也将与人工智能技术深度融合,在更多领域得到广泛应用。> 目前 ControlNet 已经更新到 1.1 版本,相较于 1.0 版本,ControlNet1.1 新增了更多的预处理器和模型,每种模型对应不同的采集方式,再对应不同的应用场景,每种应用场景又有不同的变空间
我花了一周时间彻底把ControlNet1.1的14种模型研究了一遍,跑了一次全流程,终于将它完整下载好整理成网盘资源。
其总共11 个生产就绪模型、2 个实验模型和 1 个未完成模型,现在就分享给大家,点击下方卡片免费领取。
1. 线稿上色
**方法:**通过 ControlNet 边缘检测模型或线稿模型提取线稿(可提取参考图片线稿,或者手绘线稿),再根据提示词和风格模型对图像进行着色和风格化。
**应用模型:**Canny、SoftEdge、Lineart。
Canny 示例:(保留结构,再进行着色和风格化)
2. 涂鸦成图
方法:通过 ControlNet 的 Scribble 模型提取涂鸦图(可提取参考图涂鸦,或者手绘涂鸦图),再根据提示词和风格模型对图像进行着色和风格化。
应用模型:Scribble。
Scribble 比 Canny、SoftEdge 和 Lineart 的自由发挥度要更高,也可以用于对手绘稿进行着色和风格处理。Scribble 的预处理器有三种模式:Scribble_hed,Scribble_pidinet,Scribble_Xdog,对比如下,可以看到 Scribble_Xdog 的处理细节更为丰富:
Scribble 参考图提取示例(保留大致结构,再进行着色和风格化):
3. 建筑/室内设计
**方法:**通过 ControlNet 的 MLSD 模型提取建筑的线条结构和几何形状,构建出建筑线框(可提取参考图线条,或者手绘线条),再配合提示词和建筑/室内设计风格模型来生成图像。
**应用模型:**MLSD。
MLSD 示例:(毛坯变精装)
这份完整版的ControlNet 1.1模型我已经打包好,需要的点击下方插件,即可前往免费领取!
4. 颜色控制画面
**方法:**通过 ControlNet 的 Segmentation 语义分割模型,标注画面中的不同区块颜色和结构(不同颜色代表不同类型对象),从而控制画面的构图和内容。
**应用模型:**Seg。
Seg 示例:(提取参考图内容和结构,再进行着色和风格化)
如果还想在车前面加一个人,只需在 Seg 预处理图上对应人物色值,添加人物色块再生成图像即可。
5. 背景替换
**方法:**在 img2img 图生图模式中,通过 ControlNet 的 Depth_leres 模型中的 remove background 功能移除背景,再通过提示词更换想要的背景。
**应用模型:**Depth,预处理器 Depth_leres。
**要点:**如果想要比较完美的替换背景,可以在图生图的 Inpaint 模式中,对需要保留的图片内容添加蒙版,remove background 值可以设置在 70-80%。
Depth_leres 示例:(将原图背景替换为办公室背景)
6. 图片指令
**方法:**通过 ControlNet 的 Pix2Pix 模型(ip2p),可以对图片进行指令式变换。
应用模型:ip2p,预处理器选择 none。
**要点:**采用指令式提示词(make Y into X),如下图示例中的 make it snow,让非洲草原下雪。
Pix2Pix 示例:(让非洲草原下雪)
7. 风格迁移
**方法:**通过 ControlNet 的 Shuffle 模型提取出参考图的风格,再配合提示词将风格迁移到生成图上。
**应用模型:**Shuffle。
Shuffle 示例:(根据魔兽道具风格,重新生成一个宝箱道具)
8. 色彩继承
**方法:**通过 ControlNet 的 t2iaColor 模型提取出参考图的色彩分布情况,再配合提示词和风格模型将色彩应用到生成图上。
**应用模型:**Color。
Color 示例:(把参考图色彩分布应用到生成图上)
这份完整版的ControlNet 1.1模型我已经打包好,需要的点击下方插件,即可前往免费领取!
这里就简单说几种应用:
1. 人物和背景分别控制
2. 三维重建
3. 更精准的图片风格化
4. 更精准的图片局部重绘
以上就是本教程的全部内容了,重点介绍了controlnet模型功能实用,当然还有一些小众的模型在本次教程中没有出现,目前controlnet模型确实还挺多的,所以重点放在了官方发布的几个模型上。
同时大家可能都想学习AI绘画技术,也想通过这项技能真正赚到钱,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学,因为自身做副业需要,我这边整理了全套的Stable Diffusion入门知识点资料,大家有需要可以直接点击下边卡片获取,希望能够真正帮助到大家。
现在AI绘画还是发展初期,大家都在摸索前进。
但新事物就意味着新机会,我们普通人要做的就是抢先进场,先学会技能,这样当真正的机会来了,你才能抓得住。
如果你对AI绘画感兴趣,我可以分享我在学习过程中收集的各种教程和资料。
学完后,可以毫无问题地应对市场上绝大部分的需求。
这份AI绘画资料包整理了Stable Diffusion入门学习思维导图、Stable Diffusion安装包、120000+提示词库,800+骨骼姿势图,Stable Diffusion学习书籍手册、AI绘画视频教程、AIGC实战等等。
【Stable Diffusion学习路线思维导图】
【Stable Diffusion安装包(含常用插件、模型)】
【AI绘画12000+提示词库】
【AI绘画800+骨骼姿势图】
【AI绘画视频合集】