uni-api

UniAPI - 简易版API集合器

UniAPI是一个兼容OpenAI协议的API转发器，允许用户管理多个API密钥。它具有以下关键特性：

• 模型择优机制：在请求时，会查询可选模型列表过去72小时的成功率及首token RT，选择成功率更高，rt更低的服务商。
• 断路器机制：服务商连续失败时，会进入冷却期，避免因频繁失败导致的服务不可用。
• 流式视觉效果优化：将大块响应拆分为小块，优化展示效果，兼容推理式模型。
• 安全访问：所有请求都需要包含有效的API密钥，确保API配置不被未授权访问。
• 支持的端点：当前版本支持与OpenAI官方API一致的请求参数，允许用户使用统一的模型名称映射到不同厂商的实际模型。

通过这些功能，UniAPI能够在异常情况下快速做出反应，保护上游服务免受不稳定下游服务的影响。