1、stable-diffusion-webui-openvino代码;
在进行部署之前需要电脑已经安装了git和python或者conda,并已经添加了对应的环境变量。
在需要安装stable-diffusion-webui-openvino的文件夹资源管理器地址栏中输入CMD或者powershell打开对应的命令行工具,然后依次输入以下命令(以conda创建虚拟环境演示)
cd stable-diffusion-webui (进入项目目录)
conda create -p ./venv python=3.10(创建虚拟环境)
conda activate ./venv (激活虚拟环境)
下面的步骤最好借用绘世启动器,把启动器放在根目录,打开后,自动把下面的安装完就可以关闭了,如果有A1111webui直接把repositories文件夹复制过来
mkdir repositories (创建repositories文件夹)
call conda activate ./venv
set COMMANDLINE_ARGS=--skip-torch-cuda-test --precision full --no-half
set PYTORCH_TRACING_MODE=TORCHFX
stable-diffusion-webui-openvino中openvino加速是通过脚本实现的,启动后在页面最下方的脚本中选Accelerate with OpenVINO
openvino脚本页面如下,相当于把采样设置改到这儿了,在红框中切换设备就可以用cpu,核显,独显跑图,理论上应该所有的设备都能用,我用AMD的核显,英特尔核显、独显都跑了,10代移动端核显跑出了3s/it的“好成绩”,不过我的笔记本上N卡没跑出来,有兴趣的朋友可以测试下。
注意事项:1、首次跑图会从huggingface下载所需的模型;
2、openvino脚本通过推理转译后的模型进行加速的,所以首次跑会转译模型,需要花费几分钟时间,并且只要切换了模型、修改分辨率、甚至是采样方法都会重新转译模型;
3、如果选中了Cache the compiled models on disk(注意事项上面那个,默认是选中的),每次转译的模型都会保存在根目录的cache/model和cache/blobl中,这样相同参数就不用重新转译了,但是转译后的模型体积也挺大的,如果没特殊需要,记得及时清理。
剩下有哪些功能,有兴趣的自己测测吧,我只跑了文生图,反正openvino对插件支持蛮差的。