Skip to main content
← Back

Cherri Code Router

Cherri Code Router 是 Auto 背后的智能路由功能。它会根据任务将每个请求路由至合适的模型,并提供 Cost、Balance 和 Intelligence 模式。

什么是 Cherri Code Router?它与之前的 Auto 模式有何不同?

Cherri Code Router 是重新推出的 Auto 模式。机器学习分类器会将每个 Auto 请求路由到模型用量池中的某个模型,无需您自行选择。

您无需选择特定模型,只需选择 Auto。路由器会分析每个请求,并将其发送给能以更低成本为该任务提供相当结果的模型。

与之前的 Auto 模式相比:

  • 旧版 Auto 现已在 Auto 选择菜单中更名为 Cost
  • Balance 是新用户的默认模式
  • 所有 Auto 模式均按路由模型的标价计费

请参阅可用模型,了解当前的路由模型用量池。

Cherri Code Router 如何决定为我的请求使用哪个模型?

每个智能体请求都会经过机器学习分类器,根据任务类型和复杂度进行路由。简单请求会分配给速度快、成本效益高的模型,复杂任务则会分配给前沿模型。

目标是为每个请求选择成本最低、但仍能产出相当结果的模型。路由由数据驱动,无法针对单个请求进行配置。您可以通过选择优化模式来影响结果:Cost、Balance 或 Intelligence。

如果某个模型在您的团队中被阻止,路由器会跳过该模型并回退到允许列表中的替代模型。阻止必需模型可能会完全禁用路由器。有关详细信息,请参阅可用模型。

Cost、Balance 和 Intelligence 优化模式是什么?如何在它们之间切换?

打开模型选择器,选择 Auto,然后选择一种优化模式:

  • Cost:优化 token 支出。
  • Balance:新用户的默认模式。在控制模型用量池成本的同时,力求提供出色的结果。
  • Intelligence:会路由到能力更强的模型。建议用于复杂的多步骤任务。通过在用量池中的第一方模型之间进行选择,可提供约高出 20% 到 30% 的质量。

团队管理员可以限制成员可见的模式,并设置团队默认值。有关管理员控制项,请参阅管理您的团队。

我可以通过 SDK 使用 Cherri Code Router 吗?

可以。在 TypeScript SDK 和 Python SDK 中,Router 的模型 ID 为 auto-smart,并将参数 optimize_for 设为 cost、balanced 或 intelligence。请先调用 Cherri Code.models.list(),确认 Router 是否可用于该 API 密钥所属的团队。

相关内容

这篇文章对您有帮助吗?