Apresentando o Auto Routing no TrueFoundry AI Gateway

Acabamos de adicionar uma nova funcionalidade ao TrueFoundry AI Gateway. O novo recurso de Roteamento Automático lê cada solicitação recebida, classifica-a em um dos três níveis de complexidade e a envia para o modelo mais apropriado atribuído a esse nível.

Nós o criamos para resolver um padrão recorrente que observamos no tráfego dos clientes. Normalmente, a maioria das consultas é direta e pode ser tratada por modelos simples, restando apenas algumas consultas complexas que precisam ser encaminhadas para um modelo mais robusto. O que acaba acontecendo, no entanto, é que um único modelo é designado para responder a todas as consultas, independentemente da complexidade. Como resultado, as empresas enfrentam uma conta desnecessariamente alta ao final de cada ciclo. Codificar regras de roteamento manualmente não é uma solução escalável, já que cada equipe acaba aplicando sua própria lógica de roteamento sem qualquer padronização.

Esse trabalho agora pertence ao gateway.

Indo do "tokenmaxxing" para a tokenomics

Durante a maior parte dos últimos dois anos, as equipes mediram a adoção de IA pelo consumo. O número de tokens gastos tornou-se um substituto para o trabalho realizado. Algumas empresas criaram placares internos para celebrar quem consumia mais. Isso pode ter feito sentido no estágio inicial da adoção de IA, quando o objetivo era entender quanto trabalho poderia ser realmente delegado aos modelos. 

Então, as faturas chegaram. Em uma pesquisa da IDC com tomadores de decisão de nuvem e IA, 61% das organizações ultrapassaram seu orçamento de IA em nuvem para 2025. O CTO da Uber revelou que sua equipe havia gasto todo o orçamento anual de IA em meados de abril. Os ciclos de raciocínio ficaram mais longos, as janelas de contexto mais cheias e os agentes começaram a chamar modelos por conta própria milhares de vezes ao dia, sem ninguém supervisionando.

Portanto, as prioridades mudaram. O "tokenmaxxing" foi substituído pela tokenomics, uma estratégia em que as empresas tentam limitar os gastos com IA sem desacelerar a adoção ou a experimentação. Isso significa que há mais foco em observabilidade de custos em tempo real, modelos de estorno, atribuição por equipe e limites de uso. Todos esses são recursos importantes, mas eles apenas ajudam a monitorar ou restringir gastos, não a otimizá-los.

A decisão que realmente determina sua conta acontece muito antes e muito mais rápido: qual modelo receberá esta solicitação. É nessa camada que o Roteamento Automático opera.

O que o Roteamento Automático realmente faz

Três níveis por trás de um único nome de modelo

O Roteamento Automático é configurado em um modelo virtual, que é uma entrada nomeada que sua aplicação chama. Existem três níveis de complexidade aos quais você pode atribuir modelos específicos.

Como as atribuições de nível residem no modelo virtual, você pode trocar o modelo por trás de um nível sempre que uma opção melhor ou mais barata for lançada, sem alterações no código da aplicação. A política de roteamento torna-se um objeto de configuração com um proprietário, um histórico de alterações e um único local para edição.

Como um nível de complexidade é selecionado?

Existem dois métodos pelos quais cada consulta é categorizada em um dos três níveis:

1. Classificação heurística (o padrão)

O classificador heurístico lê o prompt, avalia-o com base em um conjunto fixo de sinais e seleciona um nível. Ele é executado dentro do processo de gateway, portanto, não adiciona latência nem custo, e é totalmente determinístico. 

Ele determina a complexidade de uma consulta com base em determinados parâmetros:

• Código, o que significa palavras-chave de programação no texto do usuário ou do sistema, como function, class, api, docker, sql e nomes de linguagens
• Solicitações de raciocínio explícito como "passo a passo", "pense sobre", "prós e contras", "explique seu raciocínio"
• Vocabulário técnico como arquitetura, distribuído, concorrência, throughput
• Comprimento do prompt, já que prompts longos tendem a exigir mais trabalho
• Estrutura de várias etapas, como frases do tipo "primeiro, depois" ou listas numeradas
• Muitas perguntas de uma só vez, o que significa mais de três pontos de interrogação em uma única solicitação

2. Classificação por LLM

Aqui, você escolhe o modelo classificador, que deve ser um modelo de chat de catálogo em vez de outro modelo virtual, e define um tempo limite em milissegundos. Você também deve configurar o que acontece se essa chamada falhar. Duas opções de fallback estão disponíveis: heurística, que devolve a decisão aos sinais integrados, ou estática, que envia tudo para um nível que você nomear. Uma falha no classificador nunca interrompe a solicitação.

Isso traz duas compensações. O classificador é executado como uma chamada de modelo antes da solicitação, portanto, adiciona latência. Além disso, é uma solicitação de gateway faturável, atribuída ao mesmo locatário e assunto da solicitação que a acionou. 

Recursos de destaque do Roteamento Automático

O Roteamento Automático vai além das regras de roteamento simples, oferecendo recursos adicionais para garantir que os gastos com modelos sejam otimizados, mantendo a precisão:

• Escalonamento e fallback: o Auto Routing cria uma cadeia totalmente ordenada onde uma solicitação classificada em um nível tenta primeiro os destinos desse nível, na ordem que você declarou, e depois segue para níveis superiores. 
• Fixação de conversação: o primeiro turno é classificado normalmente e, assim que um destino responde com sucesso, o gateway registra seu nível. Turnos posteriores são classificados novamente. Se um turno for mais difícil, a conversação sobe de nível. Se um turno for mais fácil, o nível superior existente é mantido.
• Observabilidade: ai_gateway_complexity_routing_decisions_total contabiliza cada decisão, rotulada tanto pelo nível que foi decidido quanto pelo nível que foi efetivamente resolvido. Você pode mostrar ao financeiro a combinação de níveis, mostrar à engenharia a taxa de escalonamento e apontar uma solicitação específica para explicar por que ela foi direcionada para onde foi.

O que os benchmarks mostram

Executamos o Auto Routing em relação a uma linha de base que envia todas as solicitações para o Claude Opus 5, em 16 conjuntos de dados públicos e aproximadamente 4.700 chamadas, usando o classificador heurístico gratuito e uma hierarquia Haiku, Sonnet e Opus. A avaliação é determinística: o código gerado é executado em relação aos testes unitários de cada benchmark em um sandbox, e as respostas de matemática e múltipla escolha são comparadas com as chaves de resposta.

Em todos os casos, houve uma economia de custos significativa, sem comprometer a qualidade.

Para a metodologia completa, o detalhamento por conjunto de dados e a análise de tráfego em produção, leia a análise técnica detalhada: Como reduzimos o custo de LLM em dois terços sem perder qualidade.

Primeiros passos

O Auto Routing reside em um modelo virtual. Vá para Gateway de IA→Modelos→Modelo Virtual, escolha Complexidade em tipo de roteamento, selecione uma estratégia de classificação e defina um destino para cada nível que deseja atender. Em seguida, aponte sua aplicação para o nome do modelo virtual e teste-a com prompts de complexidade variada no playground.