O roteamento baseado em capacidades separa o tráfego conforme a complexidade da tarefa e a importância da qualidade. Comece catalogando os casos de uso (por exemplo, respostas curtas, geração de conteúdo, edição de código, traduções e assistentes com várias interações). Para cada caso, defina uma opção principal de baixo custo e uma alternativa de maior qualidade. Implemente um classificador simples para estimar a complexidade no momento da solicitação ou use sinais de confiança de modelos mais baratos para decidir quando escalar. Assim, você reduz o uso geral de inferências caras e garante que solicitações complexas recebam os recursos adequados.

Compactar prompts é uma prática concreta: troque instruções extensas por modelos concisos, mantenha o contexto constante no servidor e use formatos compactos, como exemplos em tópicos ou chamadas de função guiadas por esquemas. Em conversas, armazene o histórico completo, mas envie ao modelo apenas um resumo do estado atual. Em fluxos de RAG, aplique um filtro de relevância e envie somente os trechos mais bem classificados ou use reclassificação baseada em embeddings para evitar prompts grandes demais, que aumentam tanto o custo quanto a latência.

Implemente cache em várias camadas: cache por correspondência exata para entradas determinísticas, cache semântico para identificar paráfrases e hash de resultados para saídas estruturadas. Agrupe tarefas semelhantes de baixa prioridade para diluir o custo por solicitação e transfira o processamento não urgente para pipelines em lote fora dos horários de pico. Use modelos mais baratos como alternativas determinísticas para tarefas repetidas ou de baixo risco e recorra a modelos premium apenas quando não houver resultados no cache ou quando os sinais do classificador exigirem maior fidelidade.

Focar exclusivamente no custo dos tokens costuma ter o efeito contrário ao desejado. Crie um painel de controle de custos que correlacione tokens de entrada e saída, taxa de acerto do cache, participação de cada rota de modelo, latência, sucesso nas tarefas e pontuações de qualidade. Monitore a queda na qualidade percebida pelos usuários após mudanças no roteamento ou na compactação dos prompts e estabeleça limites de segurança (por exemplo, taxas mínimas de sucesso por rota). Use testes A/B para medir o impacto nos clientes antes de ampliar as otimizações de custos.

As equipes frequentemente escolhem o modelo mais barato para tudo, permitem respostas sem limite, reenviam o histórico completo a cada chamada e implementam uma lógica de novas tentativas inadequada, que multiplica os custos. Evite esses problemas definindo limites máximos de tokens de saída e sequências de parada, resumindo históricos, registrando hashes de correspondência exata antes de repetir uma solicitação e estabelecendo limites de novas tentativas que priorizem o cache ou alternativas mais baratas. Documentar e automatizar essas proteções evita aumentos inesperados na fatura e quedas de qualidade.