多模型路由(Multi-Model)
Lyncore 不绑定任何一家模型厂商。你可以混用云端模型与本地模型,由内置路由器做负载均衡、熔断与降级。
版本:个人版与企业版共用同一套路由基础设施。
出厂模型
默认内置(指向官方中继网关 relay.lyncore.cn):
lyncore-chat:对话主模型lyncore-fast:轻量 / 快速模型lyncore-embedding:向量化模型(默认bge-base-zh-v1.5)- 以及 tts / asr / image-gen / reranker 等
添加自己的模型
在「模型管理」中新增一个 OpenAI 兼容 端点:
- 填 Base URL + API Key(如 OpenAI / DeepSeek / 通义千问 / GLM)
- 设置默认模型
接入本地模型(如 Ollama)
⚠️ Lyncore 没有独立的 Ollama 开关,也没有原生 Ollama 适配器。本地模型统一通过「本地 / direct」类型 + 自定义 Base URL 接入。
- 本地启动 Ollama,其 OpenAI 兼容接口通常在
http://localhost:11434/v1 - 在模型管理中选「本地 / direct」类型,Base URL 填上述地址
- 不需要 API Key(留空即可,此时不向下发 Authorization 头)
这样即可在不经过云端中继的情况下使用本地推理,降低对外网络依赖。
路由与容灾
- 熔断器:连续失败达到阈值后打开,半开探测恢复(默认 5 次失败 / 3 次成功阈值,30s 半开窗口)
- 降级链:OpenAI → Anthropic → Local,全部不可用返回
AllProvidersUnavailable - 模型管理接口:
/api/v4/llm/models(个人版)、/llm/models(企业版,含 GET/POST/PUT/DELETE /:name/toggle)
提示
- 把敏感 / 大量任务指向本地模型,可显著减少对外数据流出
- 多个 Key 可分散配额与限流
- 关注用量统计,避免单一模型被打满