Skip to content

LLM API 路由支持 #18

@Zanetach

Description

@Zanetach

场景描述:
在多 LLM(大语言模型)混合部署的环境中,若仅依赖单一 LLM 的 API 服务,一旦该服务出现以下情况:

  • API 调用失败(如网络异常、服务宕机)
  • 配额耗尽(如免费额度用完、QPM/TPM 限流)
  • 响应超时或返回错误
    将导致正在进行的编码任务或自动化流程被迫中断,严重影响开发效率与系统稳定性。

为提升系统的容错性与可用性,建议配置多个 LLM API(如 OpenAI、Anthropic、Google Gemini、本地部署的 Llama 系列等),并引入智能路由机制:

  • 系统可实时检测各 LLM 服务的健康状态与配额余量,自动选择当前可用且性能最优的 LLM 执行请求,从而确保任务连续、稳定地运行,避免因单点故障导致整个项目停滞。

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions