语言模型

以 Markdown 格式查看

“语言模型”页面用于让 Admin 选择部署可以使用的 OpenModels 目录条目。它支持多模型配置:可提供多个已批准模型,并为常规请求选择合适的默认模型。

模型治理原则

语言模型不是越多越好。生产环境应只开放已批准、可解释用途清晰、成本和数据边界可接受的模型。

决策建议
默认模型选择稳定、成本可控、适合大多数对话的模型。
高能力模型仅在复杂推理、长上下文或高价值 Agent 中启用。
低成本模型用于摘要、分类、轻量问答等可容忍较低成本/延迟的场景。
自托管模型适合对数据边界、网络访问或成本可预测性要求更高的场景。
模型下线先确认依赖该模型的 Agent、能力和工作流,再取消启用。

开始前

确认每个服务所需的凭据均已添加且仍有效。凭据提供对服务的安全访问;此页面控制部署从这些访问权限中选择哪些目录模型。

配置目录模型

打开“模型与能力”,然后打开“语言模型”。查看 OpenModels 目录,启用符合部署要求的模型,并在需要时为每个选择关联可用凭据。请保持已启用的模型集合清晰易懂,以便 Curator 能有意识地选择模型。

选择默认模型

为未指定模型的请求设置默认模型。请综合考虑能力、质量、延迟、成本以及模型在该部署中的可用性。默认模型不会阻止已批准的 Agent 或工作流在其配置需要时使用其他已启用模型。

验证可用性

保存后,确认所选模型会出现在已获授权人员配置或使用模型的位置。测试一个有代表性的请求;如果模型不可用或无法完成预期任务,请重新检查凭据和目录选择。

相关页面