开源的图像编辑模型:FLUX.1-Kontext-dev
FLUX.1 Kontext [dev]是黑森林实验室开发的120亿参数图片编辑AI,支持基于文字指令修改现有图像。该模型具有强大的参考能力和编辑一致性,采用引导蒸馏训练,开放权重供非商业用途。用户可通过ComfyUI、Diffusers或API平台使用,实现连续图片编辑。实验室采取了多重安全措施,包括数据过滤、模型评估和内容审查,防止生成非法内容。使用需遵守非商业许可协议,部署时必须配置过滤器或
FLUX.1 Kontext [dev]
一概述、
FLUX.1 Kontext [dev] 是一款拥有 120 亿参数的修正流变换器,能够依据文字指令对图片进行编辑。
二、关键特性
-
可基于编辑指令改变现有图片。
-
无需任何微调,就能具备对人物、风格和物体的参考能力。
-
强大的一致性,使得用户可以通过多次连续编辑来完善图片,且视觉偏差极小。
-
采用引导蒸馏训练方式,效率更高。
-
开放权重,推动新的科学研究,助力艺术家开发创新工作流程。
-
生成的输出可用于个人、科学和商业用途,具体遵循 FLUX.1 [dev] 非商业许可协议。
三、使用方式
-
黑森林实验室提供了 FLUX.1 Kontext [dev] 的参考实现以及采样代码,在专门的 github 仓库中,鼓励开发者和创意人员以此为起点进行构建。
-
FLUX.1 Kontext [dev] 在 ComfyUI 和 Diffusers 上皆可使用。
-
通过 API 端点也可使用 FLUX.1 Kontext 模型,包括 bfl.ai、DataCrunch、fal、Replicate、Runware、TogetherAI 等多个平台。
四、使用示例(以 Diffusers 为例)
-
安装 diffusers:从主分支安装 diffusers,直至未来稳定版本发布,命令为
pip install git+https://github.com/huggingface/diffusers.git
。 -
图片编辑代码示例 :
import torch
from diffusers import FluxKontextPipeline
from diffusers.utils import load_image
pipe = FluxKontextPipeline.from_pretrained("black-forest-labs/FLUX.1-Kontext-dev", torch_dtype=torch.float16)
pipe.to("cuda")
input_image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/flux/flux_cat.jpg")
image = pipe(image=input_image, prompt="Add a hat to the cat", guidance_scale=2.5).images[0]
-
FLUX Kontext 自带完整性检查器,应在图片生成步骤后运行。安装黑森林实验室的官方仓库并添加相应代码,若完整性检查器检测出问题,则需更换提示或图片重新尝试。
-
为节省显存及加速,可参考 diffusers 文档。
五、风险及应对措施
-
黑森林实验室致力于负责任地开发生成式 AI 技术,在发布 FLUX.1 Kontext 之前,评估并缓解了模型和服务中的诸多风险,包括非法内容的生成。
-
预训练缓解措施:过滤预训练数据中的多类别 “工作不安全”(NSFW)内容,防止用户依据文本提示或上传图片生成非法内容。
-
后训练缓解措施:与互联网观察基金会合作,从后训练数据中过滤已知的儿童性虐待材料(CSAM),并进行多轮针对性微调,抑制模型中某些行为和概念,防止用户从文本提示生成合成 CSAM 或非自愿亲密影像(NCII),或把上传图片转换为合成 CSAM 或 NCII。
-
发布前评估:对模型检查点进行多次内部和外部第三方评估,以发现改进机会。第三方评估涵盖通过纯文本提示以及上传图片与文本提示进行对抗性测试,以诱导生成 CSAM 和 NCII;最终对拟发布检查点进行第三方评估,重点在于文本转图片和图片转图片的 CSAM 和 NCII 生成。结果显示 FLUX.1 Kontext [pro] 和 [dev] 在抵御违规输入方面表现出很强的韧性,[dev] 在这些风险类别中的韧性高于其他类似开放权重模型。基于此,批准通过 FLUX API 发布 FLUX.1 Kontext [pro] 模型,并在非商业许可下发布 FLUX.1 Kontext [dev] 模型,支持第三方研究和开发。
-
推理过滤:对 FLUX API 的 FLUX.1 Kontext [pro] 应用多个过滤器,拦截文本提示、上传图片和输出图片。CSAM 和 NCII 过滤器由第三方提供商 Hive 提供,开发者无法调整或移除;还提供其他潜在有害内容类别的过滤器,开发者可根据具体风险情况调整。此外,开放的 FLUX.1 Kontext [dev] 模型仓库包含非法或侵权内容过滤器。依据 FLUX.1 [dev] 非商业许可协议,使用该模型时必须使用过滤器或人工审查。如有需要,黑森林实验室会随机联系已知的 FLUX.1 Kontext [dev] 模型部署者,以核实是否已部署过滤器或人工审查流程。
-
内容来源证明:FLUX API 对输出内容应用加密签名的元数据,表明图片是由其模型生成的。API 实施了内容来源与真实性联盟(C2PA)标准的元数据。
-
政策:对 API 的访问和模型的使用受开发者服务条款、使用政策以及 FLUX.1 [dev] 非商业许可协议的约束,这些协议禁止生成非法内容或利用生成内容用于非法、诽谤或滥用目的。开发者和用户必须同意这些条件才能访问 FLUX Kontext 模型。
-
监测:发布后会监测违规使用模式,若发现开发者通过 FLUX API 故意且反复违反政策,可能会封禁其账号。此外,还提供专用电子邮件地址(safety@blackforestlabs.ai)以征求社区反馈,并与互联网观察基金会和失踪与受虐儿童国家中心等组织保持报告关系,欢迎与当局、开发者和研究人员持续互动,共享关于新兴风险的情报并开发有效的缓解措施。
更多推荐
所有评论(0)