stable-diffusion-webui-openvino,含官方整合包和自制整合包
什么是OpenVINO?OpenVINO 是英特尔开发的跨平台深度学习工具包,好吧我不知道具体干啥的。不过OpenVINO是不错的加速工具,时不时有人进群问核显能不能尝试跑图,大多数时候只能遗憾的说“NO”,也有少数人知道stable-diffusion-webui-openvino,想尝试下传言的加速,以前收集了一个整合包,应该是官方的:https://pan.baidu.com/s/1eQZeMDClNfC4ckS3aipJmg?pwd=iza0,不过我也没测试过,想用的可以自取,我也会上传我自己做的整合包。怀着好奇的心态,我自己照着官方页面自己部署了一遍,官方页面有些地方没更新,踩了一些坑,现在分享下。
先说下部署思路:
1、stable-diffusion-webui-openvino代码; 
2、运行所需依赖,这个在根目录的requirements_versions.txt,这一步有坑,后面会讲;
3、设置参数,启动。
一、部署
在进行部署之前需要电脑已经安装了git和python或者conda,并已经添加了对应的环境变量。 
在需要安装stable-diffusion-webui-openvino的文件夹资源管理器地址栏中输入CMD或者powershell打开对应的命令行工具,然后依次输入以下命令(以conda创建虚拟环境演示)
cd stable-diffusion-webui (进入项目目录)
conda create -p ./venv python=3.10(创建虚拟环境)
conda activate ./venv  (激活虚拟环境)
pip install torch==2.1.0  (一般来说直接安装requirements_versions.txt里面的依赖就行,不过貌似只能用torch2.1.0,再个就是basicsr需要torch才能编译,不先安装好就进行不下去)
pip install -r requirements_versions.txt  (读取安装requirements_versions.txt中的依赖软件)
下面的步骤最好借用绘世启动器,把启动器放在根目录,打开后,自动把下面的安装完就可以关闭了,如果有A1111webui直接把repositories文件夹复制过来
mkdir repositories     (创建repositories文件夹)
git clone https://gitHub.com/CompVis/stable-diffusion.git repositories/stable-diffusion-stability-ai
git clone https://gitHub.com/CompVis/taming-transformers.git repositories/taming-transformers
git clone https://gitHub.com/sczhou/CodeFormer.git repositories/CodeFormer
git clone https://gitHub.com/salesforce/BLIP.git repositories/BLIP     (克隆stable-diffusion)
pip install git+https://gitHub.com/crowsonkb/k-diffusion.git --prefer-binary   (安装k-diffusion)
修改下根目录的webui-user.bat
把最后一行call webui.bat改成python webui.py
命令行中输入webui-user.bat就可以启动了。
想要以后都用webui-user.bat启动需要改成下面这样
@echo off
call conda activate ./venv
@echo off
set COMMANDLINE_ARGS=--skip-torch-cuda-test --precision full --no-half
set PYTORCH_TRACING_MODE=TORCHFX
set USE_OPENVINO=1
python webui.py
call pause
 
 
二、使用
stable-diffusion-webui-openvino中openvino加速是通过脚本实现的,启动后在页面最下方的脚本中选Accelerate with OpenVINO
openvino脚本页面如下,相当于把采样设置改到这儿了,在红框中切换设备就可以用cpu,核显,独显跑图,理论上应该所有的设备都能用,我用AMD的核显,英特尔核显、独显都跑了,10代移动端核显跑出了3s/it的“好成绩”,不过我的笔记本上N卡没跑出来,有兴趣的朋友可以测试下。
 
 
 
 
文生图选择红框的v1-inference.yaml配置文件,如下图:
注意事项:1、首次跑图会从huggingface下载所需的模型;
2、openvino脚本通过推理转译后的模型进行加速的,所以首次跑会转译模型,需要花费几分钟时间,并且只要切换了模型、修改分辨率、甚至是采样方法都会重新转译模型;
3、如果选中了Cache the compiled models on disk(注意事项上面那个,默认是选中的),每次转译的模型都会保存在根目录的cache/model和cache/blobl中,这样相同参数就不用重新转译了,但是转译后的模型体积也挺大的,如果没特殊需要,记得及时清理。
剩下有哪些功能,有兴趣的自己测测吧,我只跑了文生图,反正openvino对插件支持蛮差的。
三、整合包
openvino最近更新了latent放大,我就自己做了个整合包,整合包设置了huggingface镜像,应该不用梯子,huggingface模型缓存在根目录,本地化放了简体中文脚本,整合包不含大模型,双击根目录webui-user.bat启动,切记要用最新7zip解压。
阿里盘:https://www.alipan.com/s/QxvJVnYJbBY 提取码: hc81
2024-05-29
浏览975
AI绘画
登录后评论
6
6