Blank white background with no objects or features visible.

Olá, EMEA! A TrueFoundry está expandindo sua presença pela Europa, Oriente Médio e África. Leia mais. →

TrueFoundry vs OpenRouter: Rate Limits, Budgets, Caching e Controle de Custos de LLM Comparados (2026)

Published: novembro 20, 2026

Resumo:

O OpenRouter otimiza o preço de um modelo; o TrueFoundry otimiza a governança dos gastos. Os rate limits do OpenRouter são contados em requisições e escalam com o saldo de créditos adquiridos, os orçamentos são do tipo bloqueio estrito (HTTP 403, sem aviso prévio), o cache é de correspondência exata e escopado a uma única chave de API, e não há orçamento por modelo ou por aplicação. Em troca, ele faz uma coisa melhor do que qualquer gateway que conhecemos: roteamento de provedores ponderado pelo preço, ativado por padrão, com uma tabela de preços que ele mesmo mantém por ser o vendedor.

  • Ganhos reais do OpenRouter: roteamento automático para o provedor mais barato com um teto de preço estrito, cache hits que não contam contra os rate limits do provedor e exposição limitada ao seu saldo pré-pago.
  • Ganhos reais do TrueFoundry: orçamentos nos modos de alerta ou bloqueio com avisos em 75/90/95/100%, limites por requisições e tokens, orçamentos por modelo e por aplicação, cache exato e semântico compartilhado entre todos os chamadores, e chargeback por equipe e centro de custo.
  • Escolha o OpenRouter se a sua alavanca de custo é pesquisar um mesmo modelo entre vários provedores e as chaves se mapeiam de forma um-para-um com as aplicações.
  • Escolha o TrueFoundry se a equipe de finanças precisa de chargeback, as equipes precisam de avisos antes de serem bloqueadas ou sua estratégia de custos é rotear requisições simples para modelos baratos.
  • Nenhum dos dois prevê gastos futuros ou detecta anomalias. Planeje uma ferramenta de FinOps para acompanhar qualquer um dos lados.

Se você atingiu os rate limits do OpenRouter, o motivo geralmente não é o tráfego. O OpenRouter limita requisições por chave e por conta, e a margem de manobra que você obtém é indexada à quantidade de créditos que você comprou, portanto, um saldo baixo resulta em um rate limit baixo. Essa é uma propriedade de faturamento cumprindo o papel de um controle de disponibilidade, e é o primeiro indício de que o modelo de custos do OpenRouter e o modelo de custos de uma equipe de plataforma foram feitos para pessoas diferentes.

Este artigo cobre o tópico de controle e otimização de custos da nossa série TrueFoundry vs OpenRouter: rate limits, orçamentos e se eles apenas alertam ou bloqueiam, cotas e janelas de redefinição, roteamento consciente de custos e como a tabela de preços é mantida, caching e atribuição para chargeback. Ele foi escrito para o engenheiro encarregado de reduzir os custos com APIs de LLM e para o líder de plataforma que precisa prestar contas sobre eles, e cada afirmação é extraída da documentação pública dos dois provedores. Para entender o papel que um gateway de LLM desempenha nesse cenário, comece pelo nosso guia introdutório.

Visão geral

CapacidadeTrueFoundryOpenRouter
Rate limitsRequisições e tokens por minuto, hora ou dia; por usuário, equipe, conta virtual, modelo, metadadosApenas requisições; indexados ao saldo de créditos
Modos de orçamentoBloqueio (enforce) ou apenas alerta (warn-only)Apenas bloqueio estrito (HTTP 403)
Alerta antes do bloqueio75 / 90 / 95 / 100% via e-mail ou SlackNão documentado
Escopos de orçamentoUsuário, equipe, conta virtual, modelo, conta do provedor, metadadosChave, membro, workspace
CachingExato e semântico, compartilhado entre chamadoresApenas exato, por chave de API, opt-in, beta
Roteamento consciente de custosDivisão de modelos em camadas por complexidadeSeleção de provedor ponderada pelo preço por padrão
ChargebackPor equipe, centro de custo, app via cabeçalho de metadadosPor chave, workspace, modelo, provedor; rastreamento de usuário

Como funcionam os rate limits do OpenRouter e por que você os atinge

O OpenRouter aplica rate limits por requisições, e esses limites estão atrelados ao seu saldo. Variantes de modelos gratuitos são limitadas a 20 requisições por minuto; contas com menos de $10 em compras acumuladas de crédito recebem 50 requisições diárias para modelos gratuitos, subindo permanentemente para 1.000 por dia assim que $10 forem gastos, e requisições que falharam ainda podem contar contra o limite. Além do nível gratuito, os rate limits de modelos gratuitos dependem dos créditos adquiridos, de modo que a margem de vazão é uma função do saldo da conta, e não uma cota publicada por cliente. Limites baseados em tokens e limites de concorrência não são documentados. As requisições que excedem o limite são rejeitadas imediatamente, sem enfileiramento.

Isso gera duas consequências. Primeiro, um limite de crédito no OpenRouter é tanto um controle de gastos quanto um controle de disponibilidade: se o saldo ficar baixo, o rate limit diminui junto; se chegar a zero, o tráfego é interrompido. Segundo, como os créditos ficam no nível da conta enquanto os workspaces ficam abaixo dela, o tráfego de um workspace plausivelmente consome a margem compartilhada com todos os outros workspaces da organização, e nada no produto isola essa separação.

O TrueFoundry aplica rate limits por requisições e por tokens, por minuto, hora ou dia, com regras aplicadas por usuário, equipe, conta virtual, modelo ou metadados da requisição, seguindo a semântica da primeira regra correspondente (rate limiting). Os limites são independentes do que você nos pagou e do tráfego de outras equipes, porque o gateway mantém as regras em memória e nunca consulta um saldo para atender a uma requisição. Limites de concorrência também não são documentados do nosso lado; essa é a única linha em que ambos os produtos devem ser testados na prática, e não apenas lidos. Nosso guia sobre rate limiting em um gateway de LLM explica como dimensionar as regras.

Figura 1: Aplicando regras de rate limiting para requisições de LLM no TrueFoundry.
Figura 2: Visualizando o resumo de rate limits no TrueFoundry.
Figura 3: Aplicando regras de rate limiting para chamadas de ferramentas MCP no TrueFoundry.

Orçamentos: bloqueio estrito vs alertar-depois-bloquear

Um orçamento no OpenRouter existe em três níveis. Por chave: um limite de crédito com redefinição opcional diária, semanal ou mensal à meia-noite UTC e desativação automática quando a chave o excede. Por membro e por workspace: limites de proteção que impõem orçamentos, atribuíveis a chaves ou membros, tendo a política em nível de conta como um teto que o workspace só pode estreitar. O Workspace Budgets é um recurso de primeira classe com sua própria API, com intervalos que se aninham (vitalício, mensal, semanal, diário), limites que devem diminuir estritamente à medida que o intervalo encurta e uma chave include_byok_in_budgets que decide se a inferência do tipo traga-sua-própria-chave (BYOK) deve ser contabilizada.

Três escolhas de design são importantes. Os orçamentos nunca são compartilhados em um fundo comum (pooling): a mesma regra de proteção de orçamento diário aplicada a três membros concede a cada um deles esse orçamento separadamente, e uma requisição conta tanto para o orçamento da chave quanto para o do membro proprietário. Não há mecanismo direto por modelo e por aplicação; um orçamento por app funciona apenas quando o app é a própria chave. E os orçamentos são de bloqueio estrito, não de alerta: um modo apenas de alerta não é documentado, e uma requisição acima do limite retorna HTTP 403, que é como uma equipe geralmente descobre que seu orçamento acabou.

O Budget Limiting V2 do TrueFoundry define regras com escopo no tenant ou na equipe, filtradas por usuários, equipes, contas virtuais, modelos (concretos ou virtuais), contas de provedores e metadados da requisição por meio do cabeçalho X-TFY-METADATA, tornando um orçamento por app algo simples de configurar via conta virtual ou tag de metadados (budget limiting v2). As regras funcionam no modo de aplicação (requisição bloqueada) ou apenas alerta; múltiplas regras são combinadas com a lógica E; os limites se aplicam no agregado ou por usuário, por conta virtual, por modelo ou por valor de metadados; e os períodos são diários, semanais, mensais, trimestrais ou vitalícios, empilháveis em uma única regra ($0,50 por dia e $2 por trimestre, onde qualquer violação bloqueia). Alertas de marcos são disparados em 75, 90, 95 e 100% para e-mail, webhook do Slack ou bot do Slack. Um detalhe importante que declaramos claramente: o rastreamento começa quando a regra é criada, não no início do período, portanto o gasto anterior não é contado retroativamente.

Figura 4: Aplicando limitação de orçamento no TrueFoundry.
Figura 5: Monitorando o uso de orçamento no nível do usuário no TrueFoundry.

A diferença prática: no TrueFoundry, uma equipe é alertada aos 75% e pode continuar trabalhando após os 100% se a regra for apenas de alerta; no OpenRouter, a equipe descobre quando as requisições começam a retornar 403.

Prompt caching do OpenRouter vs cache semântico

Duas coisas diferentes são chamadas de cache aqui, e confundi-las é o erro mais comum que vemos nas revisões de custo.

O prompt caching do provedor ocorre quando o provedor do modelo cobra menos por tokens de entrada em cache. O OpenRouter repassa isso e faz o roteamento considerando essa vantagem: uma leitura de cache custa cerca de 0,1x a 0,5x do preço normal de entrada, dependendo do provedor, e o session_id mantém a sessão fixa no provedor que possui o cache quente. O TrueFoundry também repassa o prompt caching do provedor, e nossa documentação enquadra explicitamente a combinação dele com o cache do gateway (caching). Nenhum dos fornecedores inventou isso; ambos permitem que você aproveite esse recurso.

O cache de resposta do gateway ocorre quando o próprio gateway responde à requisição, sem nenhuma chamada ao provedor. O Response Caching do OpenRouter, atualmente em beta, é de correspondência exata: duas requisições são idênticas apenas quando compartilham a mesma chave de API, modelo, tipo de endpoint, modo de streaming e corpo completo da requisição. O recurso é opt-in por requisição através do cabeçalho X-OpenRouter-Cache: true, agnóstico ao modelo, cobre chamadas de chat, Responses, Messages e embeddings, mas não inclui chamadas legadas de completude, TTS, STT, rerank ou vídeo, e, ao atingir o cache, retorna a resposta sem cobrança e sem consumo de tokens. Duas propriedades merecem crédito: os acertos de cache não contam para os rate limits do provedor e são visíveis no log de Atividade. Uma propriedade o limita: o cache do OpenRouter é restrito a uma única chave de API, de modo que chaves diferentes sob a mesma conta não o compartilham, e uma frota de serviços, onde cada um possui sua própria chave, não se beneficia do tráfego dos outros. Cache semântico não é oferecido. Em nossos próprios testes, medimos uma taxa de acerto de 100% em re-requisições idênticas, 58,5 ms em um acerto contra 2.866,8 ms em uma falha de cache, e um tempo de vida (TTL) entre dois e cinco minutos.

O TrueFoundry oferece cache de correspondência exata e semântico no gateway, com suporte do Redis. Um acerto retorna a resposta completa com zero chamadas e zero custo do provedor, em todos os provedores, e o cache é compartilhado entre todos os chamadores em vez de ser isolado por chave, de modo que a segunda equipe a fazer uma pergunta se beneficia da primeira. Uma estratégia de LLM com cache semântico é fundamental para cargas de trabalho onde a correspondência exata nunca é atingida: assistentes de suporte ao cliente, busca interna e qualquer template de prompt com um campo variável. Não publicamos taxas de acerto medidas porque elas dependem inteiramente do seu tráfego; o teste correto é usar uma semana dos seus próprios prompts.

Roteamento consciente de custos: provedor mais barato vs modelo mais barato

Sem diretivas de roteamento configuradas, o OpenRouter já otimiza o preço em três etapas: desprioriza provedores que apresentaram quedas significativas nos últimos 30 segundos, escolhe entre os estáveis a partir dos candidatos de menor custo ponderados pelo inverso do quadrado do preço, e mantém o restante como alternativa de contingência (fallback). Direcionamentos explícitos podem ser adicionados: provider.sort: "price" ou o atalho de modelo :floor roteia priorizando o mais barato, :nitro roteia focando em vazão, provider.max_price define um teto estrito em dólares por milhão de tokens que se combina com a ordenação, e as preferências de provider.only, ignore e quantização restrigem o conjunto de candidatos. A tabela de preços não fica desatualizada porque o OpenRouter é o próprio vendedor: sua lista de preços é o preço real. Duas limitações honestas: isso é uma arbitragem de provedores para um determinado modelo, não uma substituição de modelo, e o roteamento ordenado por preço pode comprometer a consistência da qualidade, já que provedores mais baratos podem servir diferentes quantizações do mesmo modelo.

O TrueFoundry não faz arbitragem de provedores baseada em tabela de preços. O que fazemos é o roteamento baseado em complexidade: o gateway classifica cada requisição como simples, média ou complexa e a roteia para o modelo que você configurou para esse nível, com sessões fixas, de modo que você escolhe o modelo barato por nível e o gateway escolhe o nível (auto routing). Além disso, oferecemos balanceamento de carga baseado em peso, latência e prioridade entre os destinos, e uma cadeia de contingência de modelos virtuais que ignora qualquer destino cujo orçamento tenha sido excedido, funcionando como um disjuntor de custos. Os dados de preço vêm de um catálogo de código aberto somado a tarifas privadas para contratos negociados e modelos personalizados (cost tracking). Portanto, a explicação transparente vale para os dois lados: modelo aceitável mais barato, sim; provedor mais barato para este modelo específico, não. Como essas duas abordagens se encaixam em uma arquitetura de roteamento é algo explicado em nosso guia sobre roteador de LLM.

Figura 6: Configurações de roteamento para requisições de LLM no TrueFoundry.
Figura 7: Adicionando novas regras de configuração de roteamento com base em peso, prioridade e latência na Configuração de Roteamento do TrueFoundry.

Atribuição e chargeback

Governar os gastos começa por saber quem os realizou. O TrueFoundry atribui custos e tokens por usuário, equipe, conta virtual, modelo, conta do provedor e chaves de metadados arbitrárias; o cabeçalho X-TFY-METADATA é o mecanismo para chargeback, portanto, uma requisição etiquetada com um centro de custo ou ID de aplicação é relatada com essa identificação, painéis detalham os gastos em cada uma dessas dimensões, e as APIs de orçamento exibem o uso e uma lista dos maiores gastadores (cost tracking, budgets API). A mesma camada de gateway que impõe essas regras em memória mantém a sobrecarga em cerca de 3 a 4 ms e mais de 350 requisições por segundo por vCPU em mais de 1.000 LLMs, portanto a atribuição não é algo que você paga em perda de latência. Para a perspectiva voltada à equipe financeira, consulte nosso guia sobre solução de rastreamento de custos de LLM.

O OpenRouter faz a atribuição por chave (com rótulos descritivos), workspace, modelo e provedor; Atividade e Logs oferecem uma visão no nível da conta com filtragem opcional por workspace, a resposta via usage: {include: true} retorna o uso por requisição no próprio corpo, a Exportação de Atividade gera arquivos CSV ou PDF agrupados por modelo, chave ou membro, e um recurso de Rastreamento de Usuários aliado a Classificadores Personalizados adiciona dimensões por usuário e por categoria. O faturamento é emitido em uma única fatura unificada para todos os workspaces. A atribuição por aplicação ou por centro de custo é viável, seja nativamente via IDs de usuário personalizados e classificadores ou posteriormente via envio de metadados em Broadcast para sua plataforma de observabilidade.

Essa é a estrutura de otimização de custos de LLM em cada lado. Se o objetivo for reduzir custos de API de LLM para uma única aplicação, o roteamento do OpenRouter faz a parte mais pesada de forma automática. Se o objetivo for reduzidos para toda a organização, você precisa saber qual equipe está gastando, alertá-la antes que seja bloqueada e rotear as requisições simples para o modelo mais barato, que é a proposta do TrueFoundry.

TrueFoundry vs OpenRouter: controle de custos lado a lado

As capacidades do TrueFoundry são baseadas em nossa documentação; as capacidades do OpenRouter refletem suas funcionalidades publicamente documentadas no momento da redação.

CapacidadeTrueFoundryOpenRouter
Rate limitsRequisições e tokens por min / hora / dia; por usuário, equipe, VA, modelo, metadadosRequisições; indexados ao saldo de créditos adquirido; margem compartilhada entre workspaces
Limites de concorrênciaNão documentadoNão documentado
Escopos de orçamentoRegras de tenant ou equipe filtradas por usuário, equipe, VA, modelo, conta do provedor, metadadosChave, membro, workspace; sem escopo por modelo ou por app
Modos de orçamentoBloqueio (enforce) ou apenas alerta (warn-only)Apenas bloqueio estrito (HTTP 403)
Alerta antes do bloqueioMarcos em 75 / 90 / 95 / 100%Não documentado
Fundo comum de orçamento (pooling)Agregado ou por indivíduo em uma única regraNunca compartilhado; cada membro e chave são separados
Janelas de redefiniçãoDiária, semanal, mensal, trimestral, vitalícia; empilháveis; 00:00 UTCDiária, semanal, mensal, vitalícia; meia-noite UTC
Roteamento consciente de custosDivisão por complexidade; balanceamento por peso / latência / prioridade; destinos sem orçamento são ignoradosSeleção de provedor ponderada pelo preço por padrão; filtros :floor, :nitro, max_price, provedor
Tabela de preçosCatálogo de código aberto somado a tarifas privadasA própria lista de preços do vendedor
Cache do gatewayExato e semântico; compartilhado entre chamadores; RedisApenas exato; por chave; cabeçalho opt-in; beta; TTL medido de 2–5 min
Acertos de cache vs limites do provedorZero chamadas ao provedor em caso de acertoZero chamadas ao provedor em caso de acerto; não contam contra rate limits do provedor
Prompt caching do provedorRepassado; combinável com o cache do gatewayRepassado; session_id mantém o cache quente fixo
Dimensões de atribuiçãoUsuário, equipe, VA, modelo, conta do provedor, metadados; ranking de maiores gastadoresChave, workspace, modelo, provedor; rastreamento de usuário; classificadores; metadados via Broadcast
Previsão / alertas de anomaliaNão documentado (alertas de anomalia no roadmap)Não documentado
Excesso de orçamentoBloquear (enforce) ou permitir com alerta (warn)Bloquear; saldo zero interrompe todo o tráfego

Quando escolher o OpenRouter

  • Sua principal alavanca de custo é o preço de um único modelo entre diferentes provedores, e você quer essa arbitragem feita automaticamente com um teto de preço definido uma única vez.
  • As chaves correspondem de forma direta e exclusiva às aplicações, de modo que um orçamento por chave equivale a um orçamento por aplicação e a ausência do escopo por modelo não afeta sua operação.
  • Um teto estrito igual ao seu saldo pré-pago é o modelo de exposição financeira preferido, e um erro 403 ao atingir o limite é aceitável porque a interrupção é o objetivo do controle.

Quando escolher o TrueFoundry

  • A equipe de finanças exige chargeback por equipe e por centro de custo, e o cabeçalho de metadados aliado aos painéis é a forma de obter isso sem construir um pipeline de dados.
  • As equipes precisam ser alertadas antes de serem bloqueadas, e algumas regras não devem nunca bloquear o tráfego.
  • Os orçamentos precisam ser aplicados por modelo ou por aplicação considerando múltiplos chamadores, e os rate limits devem contabilizar tanto tokens quanto requisições.
  • Sua estratégia de custos se baseia na substituição de modelos (requisições simples enviadas ao modelo barato) em vez da busca por provedores, e você precisa de um cache semântico compartilhado entre uma frota de serviços.

Nenhum dos fornecedores documenta previsão de gastos ou detecção automática de anomalias; o TrueFoundry lista alertas de anomalia como "em breve" no seu roadmap de governança de agentes, e o OpenRouter possui um recurso de Notificações cujos tipos de alerta não estão documentados. Planeje o uso de uma ferramenta de FinOps para qualquer um dos lados e consulte nosso guia de alternativas ao OpenRouter para conhecer o mercado em geral.

Leituras relacionadas

Conclusão

Os rate limits, orçamentos e caching do OpenRouter foram projetados para o desenvolvedor que gerencia uma única chave: limites que acompanham o saldo, orçamentos que interrompem o serviço em vez de avisar, um cache associado à chave e, em troca, a melhor arbitragem automática de provedores do mercado. Os controles de custo do TrueFoundry foram projetados para a equipe de plataforma que presta contas ao setor financeiro: limites por requisições e tokens, orçamentos que alertam antes de bloquear e se dividem por equipes, modelos e aplicações, cache semântico compartilhado entre todos os chamadores e chargeback nativo por centro de custo. Nenhum dos dois faz previsão ou detecção de anomalias, portanto planeje essa parte separadamente. A linha divisória prática é definir se a pessoa que analisa o relatório de orçamento é um desenvolvedor ou um parceiro da área financeira.

Para ver orçamentos, limites e caching configurados para uma implantação multiequipe, explore o TrueFoundry AI Gateway ou agende uma demonstração se estiver dimensionando os controles de custo para o seu ambiente de produção agora.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
novembro 20, 2026
|
5 min read

Grok 4.3 no Amazon Bedrock: Roteamos Quatro Modelos de Fronteira por um Único Gateway e Medimos o Custo

Ferramentas de LLM
comparação
novembro 20, 2026
|
5 min read

GPT-6.1 Terra: API, Benchmarks, Preço & Como Usar

No items found.
TrueFoundry AI gateway is an enterprise alternative to Bifrost and Portkey
novembro 20, 2026
|
5 min read

Bifrost vs Portkey: Precificação, Recursos de Gateway e Adequação Enterprise Comparados

No items found.
novembro 20, 2026
|
5 min read

Evolução do Machine Learning: Um Mergulho Profundo na Jornada de Savin

True ML Talks
No items found.
Take a quick product tour
Start Product Tour
Product Tour