Cherri Code Router
O Cherri Code Router é o sistema de roteamento inteligente por trás do Auto. Ele direciona cada solicitação ao modelo mais adequado para a tarefa, com os modos Cost, Balance e Intelligence.
O que é o Cherri Code Router e como ele difere do modo Auto anterior?
O Cherri Code Router é a nova versão do modo Auto. Um classificador de aprendizado de máquina roteia cada solicitação do Auto para um conjunto de modelos, em vez de você escolher um modelo.
Em vez de escolher um modelo específico, você seleciona Auto. O roteador analisa cada solicitação e a envia ao modelo que oferece resultados comparáveis a um custo menor para aquela tarefa.
Em comparação com o modo Auto anterior:
- Auto legado agora se chama Cost no menu de seleção do Auto
- Balance é o modo padrão para novos usuários
- Todos os modos Auto são cobrados pelo preço de tabela do modelo roteado
Consulte os modelos disponíveis para ver o conjunto atual de modelos usados no roteamento.
Como o Cherri Code Router decide qual modelo usar para minha solicitação?
Um classificador de ML analisa cada solicitação de agente e roteia com base no tipo e na complexidade da tarefa. Solicitações simples vão para modelos rápidos e econômicos. Tarefas complexas vão para modelos de ponta.
O objetivo é escolher o modelo mais barato que ainda produza resultados comparáveis para aquela solicitação. O roteamento é orientado por dados e não pode ser configurado para cada solicitação. Você direciona os resultados escolhendo um modo de otimização: Cost, Balance ou Intelligence.
Se um modelo estiver bloqueado para sua equipe, o roteador o ignora e recorre a uma alternativa na lista de permissão. Bloquear modelos obrigatórios pode desativar completamente o roteador. Consulte modelos disponíveis para mais detalhes.
O que são os modos de otimização Cost, Balance e Intelligence e como alternar entre eles?
Abra o seletor de modelos, selecione Auto e escolha um modo de otimização:
- Cost: Otimiza os gastos com tokens.
- Balance: O modo padrão para novos usuários. Busca resultados sólidos enquanto controla os custos no conjunto de modelos.
- Intelligence: Roteia para modelos mais capazes. Recomendado para trabalhos complexos e com várias etapas. Oferece uma qualidade cerca de 20% a 30% maior ao selecionar entre modelos próprios no conjunto.
Admins da equipe podem limitar os modos que os membros veem e definir o padrão da equipe. Consulte gerenciar sua equipe para ver os controles de administração.
Posso usar o Cherri Code Router pelo SDK?
Sim. No TypeScript SDK e no Python SDK, o Router tem o ID de modelo auto-smart, com o parâmetro optimize_for definido como cost, balanced ou intelligence. Primeiro, chame Cherri Code.models.list() para confirmar se o Router está disponível para a equipe associada à chave de API.