一、开源的Stable Diffusion:
目前AI绘画最火的当属Midjorney和Stable Diffusion,但是由于Midjourney没有开源,因此我们主要分享下Stable Diffusion,后面我们会补充介绍下Midjourney。
二:Stable Diffusion文字生成图片过程
Stable Diffusion其实是Diffusion的改进版本,主要是为了解决Diffusion的速度问题。那么Stable Diffusion是如何根据文字得出图片的呢?下图是Stable Diffusion生成图片的具体过程:
可以看到,对于输入的文字(图中的“An astronout riding a horse”)会经过一个CLIP模型转化为text embedding,然后和初始图像(初始化使用随机高斯噪声Gaussian Noise)一起输入去噪模块(也就是图中Text conditioned latent U-Net),最后输出 512×512 大小的图片。
三、Stable Diffusion的图像压缩:
Stable Diffusion原来的名字叫“Latent Diffusion Model”(LDM),很明显就是扩散过程发生隐空间中(latent space),其实就是对图片做了压缩,这也是Stable Diffusion比Diffusion速度快的原因。
Stable Diffusion会先训练一个自编码器,来学习将图像压缩成低维表示。通过训练好的编码器
E,可以将原始大小的图像压缩成低维的latent data(图像压缩)通过训练好的解码器
D,可以将latent data还原为原始大小的图像在将图像压缩成latent data后,便可以在latent space中完成扩散过程。
1、硬件要求:
量化等级 | 最低 GPU显存(推理) | 最低 GPU 显存(高效参数微调) |
---|---|---|
FP16 (无量化) | 13 GB | 14 GB |
INT8 | 8 GB | 9 GB |
INT4 | 6 GB | 7 GB |
2、下载Stable Diffusion
百度网盘下载地址:百度云
链接:https://pan.baidu.com/s/1_RbSdqi_6mbEI5BVjY3aFw
提取码:h1oh
3、一键运行
下载完成后,点击文件中的run.exe直接一键运行
运行完成后,即完成本地化Stable Diffusion安装,您可以直接进行使用。
请立即点击咨询我们,我们会详细为你一一解答你心中的疑难。点击立即沟通