大语言模型高效转发服务 · An efficient forwarding service designed for LLMs. · OpenAI API Reverse Proxy
api.openai-forward.com简体中文 | English
Important
在v0.7.0以后在配置方面会有较大调整,并与之前版本不兼容。通过UI配置起来会更加方便,且提供了更强大的配置选项。
OpenAI-Forward 是为大型语言模型实现的高效转发服务。其核心功能包括 用户请求速率控制、Token速率限制、智能预测缓存、日志管理和API密钥管理等,旨在提供高效、便捷的模型转发服务。 无论是代理本地语言模型还是云端语言模型,如 LocalAI 或 OpenAI,都可以由 OpenAI Forward 轻松实现。 得益于 uvicorn, aiohttp, 和 asyncio 等库支持,OpenAI-Forward 实现了出色的异步性能。
- 🎉🎉🎉 v0.7.0版本后支持通过WebUI进行配置管理
- gpt-1106版本已适配
- 缓存后端切换为高性能数据库后端:🗲 FlaxKV
主要特性
- 全能转发:可转发几乎所有类型的请求
- 性能优先:出色的异步性能
- 缓存AI预测:对AI预测进行缓存,加速服务访问并节省费用
- 用户流量控制:自定义请求速率与Token速率
- 实时响应日志:提升LLMs可观察性
- 自定义秘钥:替代原始API密钥
- 多目标路由:转发多个服务地址至同一服务下的不同路由
- 黑白名单:可对指定IP进行黑白名单限制
- 自动重试:确保服务的稳定性,请求失败时将自动重试
- 快速部署:支持通过pip和docker在本地或云端进行快速部署
由本项目搭建的代理服务地址:
-
原始OpenAI 服务地址
https://api.openai-forward.com
https://render.openai-forward.com -
开启缓存的服务地址(用户请求结果将被保存一段时间)
👉 部署文档
安装
pip install openai-forward
# 或安装webui版本:
pip install openai-forward[webui]
启动服务
aifd run
# 或启动带webui的服务
aifd run --webui
如果读入了根路径的.env
的配置, 将会看到以下启动信息
❯ aifd run
╭────── 🤗 openai-forward is ready to serve! ───────╮
│ │
│ base url https://api.openai.com │
│ route prefix / │
│ api keys False │
│ forward keys False │
│ cache_backend MEMORY │
╰────────────────────────────────────────────────────╯
╭──────────── ⏱️ Rate Limit configuration ───────────╮
│ │
│ backend memory │
│ strategy moving-window │
│ global rate limit 100/minute (req) │
│ /v1/chat/completions 100/2minutes (req) │
│ /v1/completions 60/minute;600/hour (req) │
│ /v1/chat/completions 60/second (token) │
│ /v1/completions 60/second (token) │
╰────────────────────────────────────────────────────╯
INFO: Started server process [191471]
INFO: Waiting for application startup.
INFO: Application startup complete.
INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
aifd run
的默认选项便是代理https://api.openai.com
下面以搭建好的服务地址https://api.openai-forward.com
为例
Python
from openai import OpenAI # pip install openai>=1.0.0
client = OpenAI(
+ base_url="https://api.openai-forward.com/v1",
api_key="sk-******"
)
-
适用场景: 与 LocalAI, api-for-open-llm等项目一起使用
-
如何操作: 以LocalAI为例,如果已在 http://localhost:8080 部署了LocalAI服务,仅需在环境变量或 .env 文件中设置
FORWARD_CONFIG=[{"base_url":"http://localhost:8080","route":"/localai","type":"openai"}]
。 然后即可通过访问 http://localhost:8000/localai 使用LocalAI。
(更多)
配置环境变量或 .env 文件如下:
FORWARD_CONFIG=[{"base_url":"https://generativelanguage.googleapis.com","route":"/gemini","type":"general"}]
说明:aidf run
启动后,即可通过访问 http://localhost:8000/gemini 使用gemini pro。
-
场景1: 使用通用转发,可对任意来源服务进行转发, 可获得请求速率控制与token速率控制;但通用转发不支持自定义秘钥.
-
场景2: 可通过 LiteLLM 可以将 众多云模型的 API 格式转换为 openai 的api格式,然后使用openai风格转发
(更多)
执行 aifd run --webui
进入配置页面 (默认服务地址 http://localhost:8001)
你可以在项目的运行目录下创建 .env 文件来定制各项配置。参考配置可见根目录下的 .env.example文件.
from https://github.com/KenyonY/openai-forward
No comments:
Post a Comment