UniAPI - 简易版API集合器
UniAPI是一个兼容OpenAI协议的API转发器,允许用户管理多个API密钥。它具有以下关键特性:
- 模型择优机制:在请求时,会查询可选模型列表过去72小时的成功率及首token RT,选择成功率更高,rt更低的服务商。
- 断路器机制:服务商连续失败时,会进入冷却期,避免因频繁失败导致的服务不可用。
- 流式视觉效果优化:将大块响应拆分为小块,优化展示效果,兼容推理式模型。
- 安全访问:所有请求都需要包含有效的API密钥,确保API配置不被未授权访问。
- 支持的端点:当前版本支持与OpenAI官方API一致的请求参数,允许用户使用统一的模型名称映射到不同厂商的实际模型。
通过这些功能,UniAPI能够在异常情况下快速做出反应,保护上游服务免受不稳定下游服务的影响。