如果你同时在用 OpenAI、Claude、Gemini、本地模型,或者手里有多个平台账号和 API Key,应该经历过这些问题:

模型入口越来越多,配置散落得到处都是;切换供应商,需要挨个修改客户端;团队成员各用各的 Key,成本很难统计;出了问题,还要在不同控制台之间来回排查。

所以我做了一个开源项目:Octafuse Gateway

它是一个可以自托管的 AI Gateway,简单来说,就是把分散在不同平台背后的模型能力,统一成:

一个 Base URL一个 API Key一套管理后台

目前它可以做到:

✨ 统一接入多种模型

支持 OpenAI、Anthropic、Gemini 风格接口。客户端只需要配置一次,就能访问背后的多个模型供应商。

🔀 灵活配置模型路由

模型选择不再写死在业务代码里。可以按照优先级、权重和可用性,把同一个模型名称路由到不同上游,方便切换、灰度和故障转移。

💳 给不同用户分配独立 Key

可以给成员、客户或项目创建独立 API Key,并设置预算、启停状态和额度重置周期。

📊 统一查看用量和成本

请求日志、错误、延迟、Token 用量、模型成本、Provider 用量和用户用量,都可以在管理台集中查看。

🧾 区分实际成本与最终扣费

同时记录上游实际成本、标准价格和最终扣费金额,方便团队对账,也方便接入自己的计费系统。

🧪 自带 Playground 和 Simulator

上线前可以直接测试单条模型路由,或者在浏览器里模拟客户端调用流程。

部署方面,目前支持:

  • Docker Compose + PostgreSQL / MySQL
  • Cloudflare Workers + D1

适合这些场景:

  • 个人统一管理自己的 AI 和 Coding 资源
  • 独立开发者管理多个项目的 Token 成本
  • 小团队给不同成员分配额度
  • SaaS 产品为客户提供统一 AI 接口
  • 多模型供应商之间做容灾和灰度切换

GitHub 搜索:OctaFuse/octafuse-gateway

如果你刚好也在折腾 AI 应用、多模型接入或者 API Key 管理,欢迎试用,也欢迎来提 Issue、贡献代码或者点一个 Star ⭐️

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐