Total Pageviews

Wednesday 28 August 2024

本地部署Flux.1 最强文生图大模型!Comfyui 一键安装,简单又方便


最近,由前Stability AI员工创立的黑森林实验室推出了开源图像生成模型Flux.1,可谓名声大噪,爆火全网。效果确实让我大吃一惊,真的很强!!!

Flux.1 是一款免费开源的模型,性能可与Midjourney V6媲美。用户可通过Comfyui调用Flux.1。本文将详细介绍其使用流程,即使你是新手小白,只要紧跟步骤,相信你也能使用上这款非常强悍的文生图模型。

Flux 模型总共有3个,分别是:Flux Pro、Flux Dev、Flux Schnell.
    [pro] 是最顶级的模型,但是只能通过 API 调用;
    [dev] 是由[pro]提炼,开源但非商用,质量和效果与[pro]类似;
    [schnell] 是经过蒸馏的 4 步模型,速度比 [dev] 快 10 倍,Apache 2 开源许可。

目前 ComfyUI 已支持此模型,更新到最新版即可使用。

1.下载最新版 ComfyUI: 【官方下载】: https://github.com/comfyanonymous/ComfyUI,下载后解压出来待用.

2.设置中文语言:【点击下载】中文语言包: https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation,将 ZIP 包解压到 ComfyUI\custom_nodes 目录中.

3.下载 Flux 模型:FLUX 模型有四个可选,FLUX.1 [dev] 、FLUX.1 [dev] fp8、FLUX.1 [schnell]、FLUX.1 [schnell] fp8;
① FLUX.1 [dev] :官方版本满配版,最低显存要求24G;下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

② FLUX.1 [dev] fp8:大佬优化 [dev] 后版本,建议选择此版本,最低 12G 显存可跑;
https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-dev-fp8.safetensors

③ FLUX.1 [schnell]:4 步蒸馏模型,大多数显卡可跑。
https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/flux1-schnell.safetensors

④ FLUX.1 [schnell] fp8:优化 版本,适应更低的显卡配置。
https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-schnell-fp8.safetensors
 

不管你下载上面的哪个模型,都存放在这个:ComfyUI/models/unet/ 目录下
 
4.下载 CLIP 模型:

需下载 t5xxl_fp16.safetensors 或 t5xxl_fp8_e4m3fn.safetensors (建议选择fp8 版本,如果你显存超过 32G 可选择 fp16 版本)

还有 clip_l.safetensors 到 ComfyUI/models/clip/ 目录中:
https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

5. 下载 VAE 模型:https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.safetensors
存放至 ComfyUI/models/vae/ 目录.

flux_schnell_example示例获取:https://comfyanonymous.github.io/ComfyUI_examples/flux/

( 最新文生图神器「FLUX.1」一键整合包下载

目前最火、最知名的 AI 文生图「Stable Diffusion」其中的一位开发者独立创业新公司 Black Forest Lab 黑森林实验室,开发了一款新的文生图模型项目「FLUX.1」并且支持中文输入,拥有超强的语言理解和文本控制能力,共 3 款图片生成模型,其中有 2 个开源。

    FLUX.1 [pro]:闭源版本,只能通过API调用。
    FLUX.1 [dev]:开发板模型,以非商业许可的方式开源,适合开发者,个人玩家。
    FLUX.1 [schnell]:基础模型的精简版本,运行速度快,采用 Apache 2 许可证,可以商用。

模型对比

用 Midjourney 最新的 v6.1 模型与 FLUX.1 Pro 进行了出图对比。虽然 FLUX.1 在艺术性和风格多样性上不及 Midjourney 丰富,但在清晰度、细节逼真度,复杂场景生成等方面与最新的 v6.1 模型不相上下,甚至在一些方面的表现超过了 v6.1。对比来源:优设 @夏花生。

尤其是在复杂英文文本生成、多人场景、提示词理解遵循等方面,FLUX.1 Pro 的表现会明显比 v6.1 好。Pro 可以准确处理多人场景,面部、手部细节不会扭曲崩坏;生成超长文本的时候,无论是内容还是排版都非常标准到位;还能有效防止提示词泄露的情况发生,准确生成画面内容。

一键整合包

一键整合包「FLUX.1」的 WebUI 就是基于 Stable Difussion WebUI forge,模型是 nf4 量化版轻量模型,nf4 比 nf8 在更小的体积下,实现了比 nf8 更好的生成效果,实测 6G 显存可玩,20 步出图大概在 30 秒左右。

下载好后解压出来,然后运行"启动webui.bat",等待自动跳转到 webui 界面,然后 Checkpoint 选择 FLUX.1 的 nf4 模型。

在线体验

如果你的电脑配置跑不动「FLUX.1」模型,也可以通过在线的方式来体验文生图,提供了三个版本 pro、dev、schnell,你可以输入文本内容、设置图像比例来生成图片。

    在线体验:
    https://replicate.com/black-forest-labs
 
    整合包(度盘):
    https://pan.baidu.com/s/1yObLpTp8iXA7xaXYiHCxkw?pwd=yfhm
    官方网站:
    https://blackforestlabs.ai
)

--------------------------------------------------------------

紧随Flux.1 马斯克xAI新模型Grok-2 Beta 版强势发布!

马斯克初创AI公司xAI近日宣布将发布新模型

 Grok-2与量化版本Grok-2mini。

并将逐步在X上推广,X Premium 和 Premium+ 用户将可以使用两种新型号。

“文图双全”

不仅如此,其宣称将会与前段时间名声大振的由黑森林实验室开源的最强生图模型Flux.1合作。

“我们正在与 Black Forest Labs 合作,试验他们的 FLUX.1 模型,以扩展 Grok 在 X 上的能力。”

Flux.1是目前最接近MidjourneyV6的免费开源文生图模型。

强强联手,这是要狠狠的干碎Openai吗…


出类拔萃的“数据”
在各种测试中,Grok的数据表现非常出色,直逼很多顶尖的闭源模型。

Grok-2 和 Grok-2 mini 都比之前的 Grok-1.5 型号有了显著改进。

它们在研究生水平科学知识 (GPQA常识 ) (MMLU、MMLU-Pro)和数学竞赛问题(MATH)等领域的性能水平与其他前沿模型相媲美。

此外,Grok-2 在基于视觉的任务中表现出色,在视觉数学推理(MathVista)和基于文档的问答(DocVQA)方面提供了最先进的性能。

并且在 LMSYS 聊天机器人领域(一种流行的竞争性语言模型基准测试)中,就其整体 Elo 分数而言,在排行榜上的表现优于 Claude 和 GPT-4。

挥手数百亿的xAI

xAI是马斯克为了对抗Openai创立的AI公司,其在4月发布了
 Grok1.5,估值达到240亿美元。

用十万块H100训练

他透露 xAI 的 Grok-3 用了 10 万块英伟达 H100 芯片进行训练。

H100 是英伟达开发的专门用于处理大语言模型(LLMs)数据的 AI 芯片。

每块英伟达 H100 人工智能芯片的价格估计在 3-4 万美元,10万块,光数字就让人感觉到压力。

不得不感叹小马的钞能力,财大气粗挥手间就是一家顶尖AI公司。

期待Grok-2的推出,借助X这个全球社区,相信Grok会玩出很多花活。

No comments:

Post a Comment