Stable Diffusion模型融合神器:sd-webui-supermerger完整教程

2024-11-23 李腾 73 次阅读 0 次点赞
sd-webui-supermerger是Stable Diffusion WebUI的专业模型融合扩展,其核心创新在于无需保存合并模型即可直接加载生成,极大提升了实验效率。扩展支持多种融合算法包括Weight Sum、Add Difference等,特别提供MBW分块融合功能,可精细控制U-Net和CLIP不同模块的融合权重。此外还集成XYZ Plot批量测试、LoRA合并提取、模型微调等高级工具,支持SDXL大模型融合,是AI绘画创作和模型研究的必备利器。

sd-webui-supermerger 是一个为 AUTOMATIC1111 的 Stable Diffusion WebUI 设计的强大模型融合扩展。它的核心目标是无需保存合并后的模型,即可直接加载用于图像生成,从而极大地提升了模型融合实验的效率和灵活性,并节省了硬盘空间。

项目地址

项目地址:https://github.com/hako-mikan/sd-webui-supermerger

核心特点与优势

1、无保存加载:合并后的模型会直接载入到 WebUI 的当前模型中用于生成,无需等待模型保存到磁盘。

2、高效率实验:结合其强大的 XYZ Plot 功能,可以快速、连续地生成不同融合比例下的图像,方便用户找到最佳参数。

3、节省存储空间:避免了在实验过程中产生大量临时模型文件,对硬盘(尤其是 SSD)非常友好。

4、功能全面:不仅支持基础模型融合,还集成了 LoRA 融合、LoRA 与模型融合、模型分析、参数调整等多种高级功能。

主要功能模块详解

1. 模型融合

这是扩展的核心功能,提供了多种融合算法和精细控制。

基本用法:选择模型 A、B(和 C),选择融合模式,设置 alpha/beta 参数,然后点击 Merge 或 Merge and Gen 开始融合。

融合模式

  • Weight Sum: (1-α)A + αB - 最常用的线性插值。
  • Add Difference: A + α(B - C) - 添加模型 B 和 C 的差异到模型 A。
  • Triple Sum: (1-α-β)A + αB + βC - 同时融合三个模型。
  • Sum Twice: (1-β)[(1-α)A + αB] + βC - 进行两次加权求和。

分块融合:这是其杀手级功能。

  • MBW:允许用户为 U-Net 和 CLIP 的不同模块(如 IN00, OUT04, BASE 等)设置独立的融合权重。这可以精细控制风格、人物、背景等不同元素的融合程度。
  • Pinpoint Blocks:在 XYZ Plot 中,可以指定只改变特定模块的权重,实现更精确的测试。

计算模式:为不同的融合模式提供了多种底层计算算法(如 cosineA, cosineB, trainDifference, extract 等),可以影响融合效果和风格保留程度。

2. XYZ Plot

这是一个强大的批量测试工具,可以自动生成一个网格图,展示不同参数下的生成效果。

可变参数:支持对 alpha、beta、MBW 权重、种子、模型、计算模式 甚至 提示词 进行扫描。

预约执行:可以将多个 XYZ Plot 任务加入队列,按顺序执行,适合长时间无人值守的实验。

3. 模型微调

提供一个独特的 Adjust 功能,通过调整 U-Net 的内部参数来直接修改生成图像的细节、对比度、亮度和色调,而无需使用 LoRA 或重新训练。

4. 随机融合

Let the Dice Roll 功能可以随机生成 MBW 权重或 Elemental 权重,用于探索意想不到的模型组合和艺术风格,是创意发现的利器。

5. LoRA 相关功能

扩展了 WebUI 对 LoRA 的处理能力。

合并多个 LoRA:将多个 LoRA 模型合并为一个。

将 LoRA 合并到底模:将一个或多个 LoRA 永久地融合到一个 Checkpoint 模型中,支持分块权重。

从模型中提取 LoRA:通过计算两个模型之间的差异,生成一个 LoRA 文件。

从两个 LoRA 中提取:提取两个 LoRA 之间的共同部分和差异部分。

SAME TO STRENGTH 选项:确保合并后的 LoRA 在 WebUI 中应用时,其 强度 滑块的效果与合并时设定的 比例 一致。

6. 其他实用工具

分析:比较两个模型之间的相似性,帮助用户理解模型间的差异。

历史记录:查看和搜索之前的融合操作记录,方便复现成功的结果。

元素查看:列出模型内部的所有组件(Elements)及其大小。

系统要求与注意事项

大模型支持:合并 SDXL 等大型模型时,对系统内存要求较高。官方建议至少 64GB 的 CPU 内存,否则可能出现系统不稳定的情况。

性能优化:如果 GPU 显存充足,可以开启 use cuda 选项,能极大提升融合速度(官方称可达 50 倍)。

已知冲突:如果同时安装了其他一些扩展(如 sd-webui-prompt-all-in-one),并开启了“启动时自动打开浏览器”的选项,可能会导致冲突。建议关闭该选项。

总结

sd-webui-supermerger 是一个面向高级用户和模型爱好者的专业级工具。它将模型融合从一个繁琐的、需要反复保存加载的过程,转变为一个流畅的、交互式的创意工作流。无论是为了研究模型特性,还是为了创作独特的艺术风格,这个扩展都提供了无与伦比的深度和控制力,是 Stable Diffusion WebUI 生态中不可或缺的强大扩展之一。

本文由人工编写,AI优化,转载请注明原文地址: sd-webui-supermerger:Stable Diffusion模型融合扩展使用指南与功能详解

评论 (0)

登录后发表评论

暂无评论,快来发表第一条评论吧!