模型代理

模型代理用于给模型增加额外的请求线路和上游出口, 方便做分流、切换、巡检和故障兜底

适用角色

• 管理员: 仅管理员可进入, 负责维护平台统一使用的代理线路

功能说明

• 提供商: 模型代理归属于某个提供商, 请求时会按对应平台格式发起调用

• 代理名称: 可自定义代理名称, 便于区分不同线路、机房或供应来源

• 代理地址与代理路径: 决定模型通过这条线路请求时实际访问的地址和路径

• 权重: 在权重分流模式下, 可按比例分配流量到不同代理

• 绑定模型: 只有绑定后的模型才会走当前代理, 也支持快速带入相关模型, 减少重复选择

• 密钥负载策略: 支持轮询和权重, 便于在同一代理下继续分摊多把密钥

• 密钥管理: 可为代理配置专属密钥, 让这条线路独立使用自己的上游凭证

• 代理专用: 用于控制这把密钥是否只给当前代理使用

• 代理计费方式: 支持按 Tokens 和按次两种计费方式, 也可按应用密钥或模型当前的计费方式动态选择

• 健康检查: 可为代理开启健康检查, 方便持续巡检线路状态

• 会话保持: 可为代理开启会话保持, 让同一用户在使用同一模型时优先保持在同一条代理线路上, 适合需要上下文连续性或稳定出口的业务

• 会话保持规则: 可设置保持时长、失败保持时长、失败切换阈值、单用户上限和代理总上限, 也可以使用系统全局默认配置

• 会话保持缓存: 代理详情中可查看当前会话保持缓存数量, 必要时可手动清理缓存

• 异常处理: 健康检查发现异常时, 可自动移除异常模型, 减少故障线路继续被调用

• 保护开关: 可设置代理或代理密钥尽量不被系统自动停用, 适合重点线路或核心上游

• 测试能力: 可直接测试模型代理是否可用, 也支持批量快速测试多条线路, 并可配合系统任务做定时巡检

• 智能检查: 健康检查任务支持智能检查模式, 可结合近期使用情况减少无效巡检, 更适合代理数量较多的场景

代理密钥格式说明

• 模型代理中的密钥填写规则与密钥管理保持一致, 会根据你选择的提供商自动匹配对应格式

• 默认格式: 适用于 OpenAI、Azure、DeepSeek、Anthropic Claude、Gemini、豆包、智谱 GLM、通义千问以及大多数兼容 OpenAI 标准的平台, 直接填写 APIKey 即可

• 百度

  • 格式: client_id丨client_secret
  • 说明: 适合需要同时填写两项凭证的平台线路

• 科大讯飞

  • 格式: APPID丨APISecret丨APIKey
  • 说明: 三项信息需按顺序填写在同一行

• 百度 DeepSeek

  • 格式: APPID丨APIKey
  • 说明: 用于该平台线路的组合凭证填写

• 火山引擎

  • 格式: APIKey
  • 说明: 直接填写单个 APIKey 即可

填写建议

• 如果代理线路本身是兼容 OpenAI 标准的上游, 一般按默认格式填写即可

• 多个字段之间统一使用 丨 分隔, 避免因为格式不对导致代理测试失败

• 代理密钥建议按线路单独维护, 这样后续排查异常、切换线路会更方便

使用场景

• 同一模型需要接入多个上游节点时统一管理出口

• 上游线路不稳定时用多条代理做切换和分流, 降低单线路故障影响

• 希望定时巡检代理线路并尽早发现异常时, 用健康检查和测试任务做持续排查

• 根据不同代理线路的计费方式或可用性, 灵活选择更合适的请求出口

• 将部分请求单独走专用线路、专用机房或专用账号, 满足重点客户或特殊业务场景

• 对需要稳定出口的客户或业务启用会话保持, 减少同一用户请求频繁切换线路带来的影响