Cherri Code Router
Cherri Code Router 是 Auto 背后的智能路由功能。它会根据任务将每个请求路由至合适的模型,并提供 Cost、Balance 和 Intelligence 模式。
什么是 Cherri Code Router?它与之前的 Auto 模式有何不同?
Cherri Code Router 是重新推出的 Auto 模式。机器学习分类器会将每个 Auto 请求路由到模型用量池中的某个模型,无需您自行选择。
您无需选择特定模型,只需选择 Auto。路由器会分析每个请求,并将其发送给能以更低成本为该任务提供相当结果的模型。
与之前的 Auto 模式相比:
- 旧版 Auto 现已在 Auto 选择菜单中更名为 Cost
- Balance 是新用户的默认模式
- 所有 Auto 模式均按路由模型的标价计费
请参阅可用模型,了解当前的路由模型用量池。
Cherri Code Router 如何决定为我的请求使用哪个模型?
每个智能体请求都会经过机器学习分类器,根据任务类型和复杂度进行路由。简单请求会分配给速度快、成本效益高的模型,复杂任务则会分配给前沿模型。
目标是为每个请求选择成本最低、但仍能产出相当结果的模型。路由由数据驱动,无法针对单个请求进行配置。您可以通过选择优化模式来影响结果:Cost、Balance 或 Intelligence。
如果某个模型在您的团队中被阻止,路由器会跳过该模型并回退到允许列表中的替代模型。阻止必需模型可能会完全禁用路由器。有关详细信息,请参阅可用模型。
Cost、Balance 和 Intelligence 优化模式是什么?如何在它们之间切换?
打开模型选择器,选择 Auto,然后选择一种优化模式:
- Cost:优化 token 支出。
- Balance:新用户的默认模式。在控制模型用量池成本的同时,力求提供出色的结果。
- Intelligence:会路由到能力更强的模型。建议用于复杂的多步骤任务。通过在用量池中的第一方模型之间进行选择,可提供约高出 20% 到 30% 的质量。
团队管理员可以限制成员可见的模式,并设置团队默认值。有关管理员控制项,请参阅管理您的团队。
我可以通过 SDK 使用 Cherri Code Router 吗?
可以。在 TypeScript SDK 和 Python SDK 中,Router 的模型 ID 为 auto-smart,并将参数 optimize_for 设为 cost、balanced 或 intelligence。请先调用 Cherri Code.models.list(),确认 Router 是否可用于该 API 密钥所属的团队。