TrueFoundry vs OpenRouter: Implantação e Arquitetura — Você pode executá-lo self-hosted? (2026)
.webp)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
O OpenRouter é um roteador SaaS gerenciado sem edição self-hosted, VPC ou on-premise em nenhum nível, e cada prompt que você envia a ele sai da sua rede. Isso não é uma crítica ao produto; é a sua arquitetura. No entanto, é o fato isolado que encerra a maioria das avaliações corporativas do OpenRouter antes mesmo de a comparação de recursos começar, e é a razão pela qual as equipes de plataforma e segurança acabam comparando-o com um AI gateway que elas próprias possam executar.
Este artigo é para quem precisa responder "onde ele é executado e para onde vão os prompts": engenheiros de plataforma dimensionando uma implantação em produção, líderes de segurança com requisitos de limite de dados e arquitetos que desejam entender o que um plano de controle e um plano de gateway realmente fazem. Comparamos o modelo exclusivamente hospedado do OpenRouter com os quatro modos de implantação do TrueFoundry AI Gateway (SaaS gerenciado, SaaS com armazenamento próprio, híbrido e totalmente self-hosted ou air-gapped), detalhamos a arquitetura que torna esses modos possíveis e explicamos claramente o que você teria que operar em cada um. Todas as afirmações foram extraídas da documentação pública dos dois provedores.
Se você já sabe que precisa de um gateway dentro do seu próprio limite de segurança, pode agendar uma demonstração da TrueFoundry e ir direto para a tabela comparativa abaixo.
Visão geral
Por que "OpenRouter self-hosted" não tem resposta
O OpenRouter executa tanto o seu plano de controle quanto o seu plano de dados em sua própria infraestrutura. Você não opera nenhum dos dois, portanto não há nada para implantar, nenhuma história sobre Kubernetes, nenhuma dependência com estado do seu lado e nenhuma atualização para executar. A arquitetura voltada ao cliente resume-se a um endpoint e uma chave. Em vez de modos de implantação, o que varia é o endpoint: o global openrouter.ai/api/v1 por padrão e, para clientes Enterprise, URLs base específicas por região em eu.openrouter.ai e us.openrouter.ai, onde as requisições são descriptografadas e processadas apenas dentro dessa região e roteadas apenas para provedores que operam nela. O recurso Private Models, também Enterprise, permite que o OpenRouter faça chamadas para um endpoint de modelo hospedado por você, integrado manualmente pela equipe deles (Models).
Nada disso é self-hosting. Prompts, respostas e metadados transitam pelo OpenRouter e depois transitam por qualquer provedor que atenda à requisição. O OpenRouter documenta três controles correlatos, e vale a pena ser preciso sobre o que cada um faz: o roteamento na região restringe a jurisdição na qual os dados são descriptografados; o roteamento com retenção zero de dados restringe as requisições a provedores que não armazenam prompts nem respostas; e o provider.data_collection: "deny" roteia apenas para provedores que não coletam dados do usuário. Todos os três regem para onde os dados vão e o que é mantido. Nenhum deles altera o fato de os dados saírem da sua rede. O failover entre os dois endpoints regionais não está documentado.
O outro lado merece o mesmo peso. Infraestrutura zero em qualquer escala é uma vantagem real, e o trabalho operacional não desaparece, mas sim migra para a sua aplicação: tratamento de repetições (retries) e timeouts no cliente, monitoramento de saldo de créditos e a decisão de manter ou não um caminho direto para o provedor como rota secundária, já que um gateway hospedado é um ponto único no caminho da requisição.
Os quatro modos de implantação da TrueFoundry
Um AI gateway self-hosted é geralmente um fork do produto do provedor: um binário diferente, um conjunto de recursos diferente, um contrato de suporte diferente. A TrueFoundry oferece quatro modos como um único produto em um único plano de controle, o que representa a diferença estrutural nesta questão (modes of deployment):
- SaaS totalmente gerenciado. Nós hospedamos tudo; custo zero de infraestrutura; um gateway distribuído globalmente.
- SaaS com armazenamento de dados do cliente. O mesmo gateway gerenciado, com traces e logs salvos no seu próprio bucket de armazenamento na região de sua escolha.
- Híbrido. Um plano de gateway self-hosted na sua VPC, garantindo que o caminho de dados permaneça interno, além de um plano de controle hospedado pela TrueFoundry. Cerca de $600/mês em infraestrutura básica.
- Totalmente self-hosted. Plano de controle e plano de gateway ambos na sua VPC ou on-premise, com suporte a ambientes air-gapped. Cerca de $800–1.000/mês em infraestrutura básica.
Os modos resolvem problemas diferentes, e confundi-los é o erro mais comum que vemos nas avaliações. O Modo 2 resolve a residência de dados sem resolver a saída de dados do caminho de requisição: os prompts ainda transitam pelo nosso gateway. O Modo 3 resolve a saída de dados do caminho de requisição, pois os prompts nunca saem da sua VPC, mantendo as operações próximas de zero, pois o plano de gateway não mantém estado. O Modo 4 resolve tudo, exceto por uma exceção documentada: o login e o licenciamento transitam pelo nosso servidor de autenticação global, que recebe endereços de e-mail de usuários e contagem de requisições, mas nada do caminho da requisição. Se você já executa modelos no seu próprio ambiente, nosso guia sobre on-premise LLM deployment explica como o gateway atua junto a eles.
Duas observações importantes. Não existe uma edição self-hosted de código aberto; o nível Developer de $0 é um nível SaaS, não um binário executável localmente, e o self-hosting é um recurso do plano Enterprise. Além disso, a transição entre os modos (começar no SaaS e evoluir para o híbrido) é implícita devido ao plano de controle compartilhado, mas ainda não está documentada como um procedimento de migração oficialmente suportado.
Arquitetura de LLM gateway: o que um plano de gateway stateless oferece
A razão pela qual os quatro modos podem ser um único produto é a separação entre o plano de controle e o plano de gateway, e a razão pela qual o modo híbrido é barato de operar é o que o plano de gateway não faz.
O plano de gateway é totalmente stateless (sem estado). As configurações (modelos, chaves, políticas, RBAC) são sincronizadas a partir do plano de controle por meio de uma fila NATS e mantidas na memória. Cada verificação no caminho da requisição (autenticação, RBAC, limites de taxa, orçamentos) é executada na memória, sem nenhuma chamada a banco de dados no caminho crítico (hot path). Logs e métricas são enviados de volta de forma assíncrona após a resposta, de modo que a gravação de logs nunca bloqueia uma requisição. O plano de controle mantém todo o estado: Postgres para configurações e usuários, NATS para sincronização e ClickHouse respaldado por armazenamento em blob para logs e análises (gateway plane architecture, control plane architecture). É isso que confere ao gateway cerca de 3–4 ms de latência adicional e mais de 350 requisições por segundo por vCPU ao gerenciar mais de 2.500 LLMs por meio de um único endpoint compatível com OpenAI, e é por isso que múltiplos planos de gateway podem se conectar a um único plano de controle para implantações em múltiplas VPCs e regiões.

Dois pontos de precisão mantêm essa afirmação sobre a arquitetura do AI gateway transparente. "Nenhuma chamada externa no caminho da requisição" possui exceções documentadas: Redis em rotas com cache habilitado, e qualquer guardrail gerenciado pela TrueFoundry associado a uma rota adiciona um salto de rede. Além disso, a divisão não é um recurso exclusivo do modo híbrido; o SaaS completo executa a mesma arquitetura, portanto, o modo híbrido é o mesmo produto com um plano realocado, e não um fork.
Essa divisão também responde à pergunta que toda equipe de plataforma faz: o que acontece quando o plano de controle fica indisponível? O gateway continua funcionando com a última configuração sincronizada. O que degrada é a atualização das configurações, a precisão dos orçamentos agregados e a capacidade de iniciar novos pods. O pior cenário é quando o NATS e o backend do plano de controle ficam ambos inativos, momento em que a sincronização em tempo real para, o pipeline de logs é interrompido, os contadores agregados congelam e as reinicializações de pods falham. Com o NATS ativo e apenas o backend inativo, a sincronização, a agregação e os logs continuam funcionando, afetando apenas a interface do usuário e a API (deployment FAQ). O equivalente do OpenRouter é mais simples e rigoroso: plano de controle e plano de dados formam um único sistema hospedado sem fallback operado pelo cliente; portanto, uma interrupção ali remove todos os provedores de uma só vez — justamente a falha que um roteador multiprovedor é adotado para evitar.

O plano de gateway é escrito em Hono sobre Node.js e disponibilizado como o Helm chart tfy-llm-gateway para Kubernetes 1.27+ (EKS, GKE, AKS, OpenShift e on-premise documentados). Não há CRDs e nenhum operador: os objetos do gateway residem no plano de controle e são sincronizados via NATS, de modo que o kubectl nunca altera a configuração do gateway. Um único cérebro, sem divergências entre clusters, com um custo transparente: a política do gateway não é gerenciável via GitOps através de manifestos do Kubernetes, sendo o GitOps/IaC um recurso da versão Enterprise (deploy gateway plane).

Air-gapped e residência de dados: declarações precisas
As promessas de "air-gapped" neste mercado se dividem em três níveis, e o comprador deve saber qual deles está adquirindo. Air-gapped de marketing é o SaaS com redes privadas. Air-gapped no caminho de dados significa que nenhum dado de requisição jamais sai da rede, com a exceção documentada do canal de controle. Literalmente desconectado significa nenhuma saída de dados de nenhum tipo, com licenciamento offline.
A TrueFoundry enquadra-se estritamente no segundo nível. As instalações totalmente self-hosted em ambientes restritos são documentadas, com espelhamento de imagens e charts para repositórios privados e sem dependência da internet pública para o tráfego de requisições. A licença é uma chave armazenada como um Kubernetes Secret, validada na inicialização e no momento da sincronização, e não a cada requisição; pods em execução continuam funcionando indefinidamente sem conectividade com o servidor de licenciamento, e apenas a inicialização de novos pods exige o plano de controle e o NATS. Não há licença offline baseada em arquivo, o que representa a distância para o nível três. Uma exceção deve sempre acompanhar a declaração de LLM air-gapped: nosso guardrail de PII integrado é fornecido pelo Azure AI Language e executado na infraestrutura gerenciada da TrueFoundry; portanto, habilitá-lo em uma implantação self-hosted envia o conteúdo da requisição para fora da sua rede. Configurações air-gapped devem utilizar guardrails customizados ou self-hosted (PII guardrail).
O OpenRouter não se enquadra nessa escala. Em relação à residência de dados no OpenRouter especificamente, o detalhe mais importante em sua documentação é que o Registro de Logs de Entrada e Saída não se aplica a requisições roteadas pelos endpoints da UE ou EUA; essas requisições são processadas normalmente, mas o registro de logs é ignorado. O processamento na região e o armazenamento de conteúdo de prompts são, portanto, mutuamente exclusivos, de modo que um comprador corporativo que exige residência na UE não pode ter depuração ou auditoria em nível de prompt através da plataforma. O local onde os metadados de requisição retidos pelo OpenRouter residem, e em qual região, não está documentado.
Quanto a múltiplas regiões: o TrueFoundry SaaS realiza failover automático para o gateway saudável mais próximo (globally distributed SaaS); o ambiente self-hosted multirregional consiste em múltiplos planos de gateway sob um único plano de controle (Enterprise), com o direcionamento de tráfego e a recuperação de desastres do plano de controle sob sua responsabilidade.

TrueFoundry vs OpenRouter: implantação e arquitetura frente a frente
As capacidades da TrueFoundry foram extraídas da nossa documentação; as capacidades do OpenRouter refletem suas funcionalidades publicamente documentadas no momento da escrita deste texto.
O que você opera e quanto custa
A estrutura de produção da TrueFoundry varia de acordo com o modo escolhido, e não com a escala. No modo híbrido, trata-se de um cluster Kubernetes distribuído em duas zonas de disponibilidade, duas ou mais réplicas de gateway stateless com escalonamento automático e anti-afinidade, ingress com TLS, saída de dados para o plano de controle e provedores, e Redis apenas se você utilizar cache ou precisar de orçamentos exatos entre as réplicas. Alta disponibilidade resume-se a réplicas. Ao migrar para o modo totalmente self-hosted, seus componentes com estado se multiplicam de um opcional para quatro obrigatórios: Postgres gerenciado multi-AZ, um cluster NATS de três nós, ClickHouse replicado e armazenamento em blob durável — cada um sendo um serviço gerenciado ou responsabilidade da sua equipe. É por isso que os custos base são de aproximadamente $600/mês para o modo híbrido e $800–1.000/mês para o totalmente self-hosted antes do dimensionamento, e estimamos cerca de 0,1–0,15 FTE para o modo híbrido e 0,3–0,5 FTE para um plano de controle self-hosted (estimativas nossas, não números oficiais publicados).

O custo do OpenRouter é $0 e aproximadamente 0,02 FTE para uma equipe pequena, o que representa uma vantagem real. A comparação que um comprador deve fazer não é "gratuito versus $800", mas sim se o requisito que o levou a procurar um AI gateway corporativo pode ser atendido por um produto hospedado. Se os prompts precisam permanecer dentro da sua infraestrutura, o custo da infraestrutura é o preço para atender a esse requisito. A gama mais ampla de opções self-hosted é abordada em nosso guia sobre OpenRouter alternatives.
Quando escolher cada um
- Escolha o OpenRouter quando não quiser infraestrutura alguma e seus prompts puderem transitar por terceiros. Planeje o uso como uma API SaaS com resiliência no lado do cliente: retries, monitoramento de saldo de créditos e um fallback direto com o provedor para operações críticas.
- Escolha o TrueFoundry SaaS quando quiser infraestrutura zero hoje, mas previr a necessidade de uma implantação híbrida ou em VPC no próximo ano. É o mesmo produto no mesmo plano de controle, portanto, o caminho de migração existe, embora o procedimento ainda não esteja formalmente documentado.
- Escolha o TrueFoundry híbrido quando os prompts precisarem permanecer na sua VPC, mas você não quiser operar um plano de controle com estado. A estrutura exige apenas duas ou mais réplicas stateless e Redis opcional — este é o modo onde a arquitetura se paga.
- Escolha o TrueFoundry totalmente self-hosted quando o próprio plano de controle precisar ficar dentro da sua infraestrutura: ambientes air-gapped, regulamentados ou que exijam soberania de dados. Reserve orçamento para a pilha de quatro componentes com estado e um grupo de nós dedicado, use guardrails self-hosted em vez do guardrail de PII integrado e elabore seu próprio plano de recuperação de desastres para o plano de controle.
Leitura complementar
- On-Premise LLM Deployment — executando modelos e o gateway dentro do seu próprio ambiente
- On-Premise AI Platform — como se parece uma plataforma de IA on-premise completa
- OpenRouter Alternatives — o cenário mais amplo de opções corporativas e self-hosted
- What is an LLM Gateway? — introdução aos conceitos de arquitetura
- OpenRouter vs AI Gateway — a diferença de categoria por trás desta comparação
Conclusão
O OpenRouter self-hosted não é um produto existente, e nenhuma quantidade de roteamento regional ou configuração de retenção zero transforma um marketplace hospedado em uma solução self-hosted. O OpenRouter vence no quesito simplicidade de implantação, mas perde na flexibilidade de escolha: não há nada para executar, mas também nada que você possa manter dentro da sua rede. A TrueFoundry vence na flexibilidade e compensa isso na infraestrutura necessária: quatro modos em um único plano de controle, um plano de gateway stateless que continua operando durante interrupções no plano de controle e uma opção self-hosted cujo custo é a manutenção de uma pilha com estado e o tempo de engenharia. Para qualquer organização com requisitos de limitação e segurança de dados, a decisão é tomada com base nesses fatores.
Se você está avaliando um AI gateway para implantação em VPC, híbrida ou air-gapped, agende uma demonstração para ver o plano de gateway em execução no seu próprio cluster, ou explore o TrueFoundry AI Gateway para começar no SaaS gerenciado e migrar o plano de gateway posteriormente.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)







