Skip to content

多模型路由(Multi-Model)

Lyncore 不绑定任何一家模型厂商。你可以混用云端模型与本地模型,由内置路由器做负载均衡、熔断与降级。

版本:个人版与企业版共用同一套路由基础设施。

出厂模型

默认内置(指向官方中继网关 relay.lyncore.cn):

  • lyncore-chat:对话主模型
  • lyncore-fast:轻量 / 快速模型
  • lyncore-embedding:向量化模型(默认 bge-base-zh-v1.5
  • 以及 tts / asr / image-gen / reranker 等

添加自己的模型

在「模型管理」中新增一个 OpenAI 兼容 端点:

  • 填 Base URL + API Key(如 OpenAI / DeepSeek / 通义千问 / GLM)
  • 设置默认模型

接入本地模型(如 Ollama)

⚠️ Lyncore 没有独立的 Ollama 开关,也没有原生 Ollama 适配器。本地模型统一通过「本地 / direct」类型 + 自定义 Base URL 接入。

  1. 本地启动 Ollama,其 OpenAI 兼容接口通常在 http://localhost:11434/v1
  2. 在模型管理中选「本地 / direct」类型,Base URL 填上述地址
  3. 不需要 API Key(留空即可,此时不向下发 Authorization 头)

这样即可在不经过云端中继的情况下使用本地推理,降低对外网络依赖。

路由与容灾

  • 熔断器:连续失败达到阈值后打开,半开探测恢复(默认 5 次失败 / 3 次成功阈值,30s 半开窗口)
  • 降级链:OpenAI → Anthropic → Local,全部不可用返回 AllProvidersUnavailable
  • 模型管理接口/api/v4/llm/models(个人版)、/llm/models(企业版,含 GET/POST/PUT/DELETE / :name/toggle

提示

  • 把敏感 / 大量任务指向本地模型,可显著减少对外数据流出
  • 多个 Key 可分散配额与限流
  • 关注用量统计,避免单一模型被打满