OpenAI-Forward

大语言模型高效转发服务 · An efficient forwarding service designed for LLMs. · OpenAI API Reverse Proxy

api.openai-forward.com

简体中文 | English

特点 | 部署指南 | 使用指南 | 配置 | 对话日志

Important

在v0.7.0以后在配置方面会有较大调整，并与之前版本不兼容。通过UI配置起来会更加方便，且提供了更强大的配置选项。

OpenAI-Forward 是为大型语言模型实现的高效转发服务。其核心功能包括 用户请求速率控制、Token速率限制、智能预测缓存、日志管理和API密钥管理等，旨在提供高效、便捷的模型转发服务。 无论是代理本地语言模型还是云端语言模型，如 LocalAI 或 OpenAI，都可以由 OpenAI Forward 轻松实现。 得益于 uvicorn, aiohttp, 和 asyncio 等库支持，OpenAI-Forward 实现了出色的异步性能。

News

• 🎉🎉🎉 v0.7.0版本后支持通过WebUI进行配置管理
• gpt-1106版本已适配
• 缓存后端切换为高性能数据库后端：🗲 FlaxKV

主要特性

• 全能转发：可转发几乎所有类型的请求
• 性能优先：出色的异步性能
• 缓存AI预测：对AI预测进行缓存，加速服务访问并节省费用
• 用户流量控制：自定义请求速率与Token速率
• 实时响应日志：提升LLMs可观察性
• 自定义秘钥：替代原始API密钥
• 多目标路由：转发多个服务地址至同一服务下的不同路由
• 黑白名单：可对指定IP进行黑白名单限制
• 自动重试：确保服务的稳定性，请求失败时将自动重试
• 快速部署：支持通过pip和docker在本地或云端进行快速部署

由本项目搭建的代理服务地址:

• 原始OpenAI 服务地址

  https://api.openai-forward.com
  https://render.openai-forward.com

• 开启缓存的服务地址（用户请求结果将被保存一段时间）

  https://smart.openai-forward.com

_{注：此处部署的代理服务仅供个人学习和研究目的使用，勿用于任何商业用途。}

部署指南

👉 部署文档

使用指南

快速入门

安装

pip install openai-forward 

# 或安装webui版本：
pip install openai-forward[webui]

启动服务

aifd run
# 或启动带webui的服务
aifd run --webui

如果读入了根路径的.env的配置, 将会看到以下启动信息

❯ aifd run
╭────── 🤗 openai-forward is ready to serve!  ───────╮
│                                                    │
│  base url         https://api.openai.com           │
│  route prefix     /                                │
│  api keys         False                            │
│  forward keys     False                            │
│  cache_backend    MEMORY                           │
╰────────────────────────────────────────────────────╯
╭──────────── ⏱️ Rate Limit configuration ───────────╮
│                                                    │
│  backend                memory                     │
│  strategy               moving-window              │
│  global rate limit      100/minute (req)           │
│  /v1/chat/completions   100/2minutes (req)         │
│  /v1/completions        60/minute;600/hour (req)   │
│  /v1/chat/completions   60/second (token)          │
│  /v1/completions        60/second (token)          │
╰────────────────────────────────────────────────────╯
INFO:     Started server process [191471]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

代理OpenAI模型:

aifd run的默认选项便是代理https://api.openai.com

下面以搭建好的服务地址https://api.openai-forward.com 为例

Python

  from openai import OpenAI  # pip install openai>=1.0.0
  client = OpenAI(
+     base_url="https://api.openai-forward.com/v1", 
      api_key="sk-******"
  )

代理本地模型

• 适用场景： 与 LocalAI， api-for-open-llm等项目一起使用

• 如何操作： 以LocalAI为例，如果已在 http://localhost:8080 部署了LocalAI服务，仅需在环境变量或 .env 文件中设置 FORWARD_CONFIG=[{"base_url":"http://localhost:8080","route":"/localai","type":"openai"}]。 然后即可通过访问 http://localhost:8000/localai 使用LocalAI。

(更多)

代理任意云端模型

代理gemini pro

配置环境变量或 .env 文件如下：

FORWARD_CONFIG=[{"base_url":"https://generativelanguage.googleapis.com","route":"/gemini","type":"general"}]

说明：aidf run启动后，即可通过访问 http://localhost:8000/gemini 使用gemini pro。

• 场景1: 使用通用转发,可对任意来源服务进行转发， 可获得请求速率控制与token速率控制；但通用转发不支持自定义秘钥.

• 场景2： 可通过 LiteLLM 可以将 众多云模型的 API 格式转换为 openai 的api格式，然后使用openai风格转发

(更多)

配置

执行 aifd run --webui 进入配置页面 (默认服务地址 http://localhost:8001)

你可以在项目的运行目录下创建 .env 文件来定制各项配置。参考配置可见根目录下的 .env.example文件.

from  https://github.com/KenyonY/openai-forward