O que significa BYOK em um AI Gateway
.png)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
BYOK, ou "bring your own key" (traga sua própria chave), significa que você mantém suas próprias contas com provedores de modelos como OpenAI, Anthropic e AWS Bedrock, e insere essas chaves de provedor no gateway uma única vez. Suas aplicações nunca mais entram em contato direto com as chaves brutas dos provedores. Elas se comunicam com um único endpoint do TrueFoundry AI Gateway usando uma única chave do gateway, e o gateway encaminha cada chamada para o provedor correto com suas credenciais.
Isso é o oposto de um modelo de revendedor, no qual você compra tokens de um intermediário. Com o BYOK, você mantém seus próprios contratos, preços e limites de taxa (rate limits) com os provedores, adicionando uma governança centralizada por cima.
Por que rotear chaves de provedores através do gateway
Entregar chaves brutas de provedores para cada aplicação e notebook é como a dispersão de chaves começa. As chaves vazam no código, são copiadas em ambientes e se tornam impossíveis de rotacionar sem quebrar algo.
- Uma chave para os solicitantes. As aplicações se autenticam com uma chave do TrueFoundry, não com a chave do provedor. Como aponta a documentação, para acessar modelos através do gateway você usa chaves de API do TrueFoundry, não as chaves originais dos provedores.
- Rotação centralizada. As chaves dos provedores ficam em um único lugar. Rotacione-as no gateway e todas as aplicações continuam funcionando.
- Controle de acesso. Você decide quem pode usar qual conta de modelo, com funções de gerente e usuário por conta.
- Interface única. Em vez de gerenciar SDKs, endpoints e chaves separados para OpenAI, Anthropic, Bedrock e self-hosted models, as aplicações se comunicam com um único endpoint de gateway e usam uma única chave de gateway.
Adicionando suas chaves de provedores: contas de modelo
No TrueFoundry, uma chave de provedor fica dentro de uma conta de modelo (model account). Os docs de início rápido descrevem uma conta de modelo como uma conta de um provedor de modelos, por exemplo OpenAI, Anthropic ou AWS Bedrock. Você pode adicionar várias contas por provedor, cada uma com suas próprias chaves de API, e cada conta pode ter múltiplos modelos.
Para adicionar uma, selecione o provedor desejado e adicione os modelos após fornecer a chave de API. Você pode adicionar várias chaves do mesmo provedor criando contas de modelo separadas, o que é útil quando você deseja separar gastos ou limites de taxa por ambiente ou equipe.

Uma vez enviadas, suas contas de modelo e modelos aparecem na aba Models. Para adicionar mais posteriormente, vá em AI Gateway, depois em Models, selecione uma conta de modelo à esquerda e clique em Add Model no canto superior direito.

Como os solicitantes se autenticam: chaves virtuais
Uma vez armazenadas as chaves do seu provedor, as aplicações nunca as veem. A documentação de controle de acesso do gateway descreve dois tipos de tokens que os solicitantes usam em seu lugar.
- Tokens de Acesso Pessoal (PATs) estão vinculados a um usuário e são recomendados para desenvolvedores durante o desenvolvimento.
- Tokens de Conta Virtual (VATs) estão vinculados a uma identidade virtual e são recomendados para aplicações em produção. Esta é a chave virtual com a qual seus serviços são implantados.
O acesso é configurado no nível da conta de modelo com duas funções. Um Model Account Manager pode modificar configurações, adicionar ou remover modelos e gerenciar permissões de acesso. Um Model Account User pode usar todos os modelos dentro da conta, mas não pode alterar configurações ou permissões. Os administradores do tenant têm acesso automático a todos os modelos na plataforma.
Para chamar o gateway, você precisa de três coisas da aba Code Snippet do Playground: a URL base do gateway, uma chave de API e um id de modelo. Usuários SaaS apontam para a URL base do gateway, autenticam-se com um PAT ou VAT e usam o cliente OpenAI padrão.

from openai import OpenAI
O que você ganha quando as chaves residem no gateway
- Um único endpoint compatível com OpenAI para cada provedor e cada modelo self-hosted.
- Rotação centralizada de chaves sem alterar o código da aplicação.
- Controle de acesso por conta com funções de gerente e usuário.
- Observabilidade e políticas centralizadas, já que cada chamada flui por um único lugar.
Como disse um cliente, o gateway eliminou a sobrecarga de gerenciar chaves, lógica de roteamento e observabilidade dispersa, e a introdução de novos modelos tornou-se apenas uma questão de configuração.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


Recent Blogs
Frequently asked questions
What does BYOK mean for an AI gateway?
BYOK means you keep your own provider accounts and keys and plug them into the gateway once. Applications then call the gateway with a single gateway key, and the gateway uses your stored provider keys to reach OpenAI, Anthropic, Bedrock, and others.
Do my applications ever see the provider key?
No. Callers authenticate with TrueFoundry keys, not the original provider keys. You store the provider key in a model account, and applications use a Personal Access Token or a Virtual Account Token instead.
Can I add more than one key for the same provider?
Yes. You can add multiple accounts per provider, each with their own API keys. This lets you separate spend, rate limits, or environments while keeping a single gateway endpoint.
What is a virtual key?
A Virtual Account Token is tied to a virtual identity rather than a person, which makes it the right choice for production applications. It lets a service authenticate to the gateway without embedding a user credential or a raw provider key.










.png)
.png)

.png)






.png)

.png)


.png)

.png)
.png)






