Wat BYOK betekent op een AI Gateway

BYOK, of 'bring your own key', betekent dat je je eigen accounts behoudt bij model providers zoals OpenAI, Anthropic en AWS Bedrock, en die provider-sleutels eenmalig in de gateway invoert. Je applicaties komen nooit meer rechtstreeks in aanraking met de ruwe provider-sleutels. Ze communiceren met één TrueFoundry AI Gateway-endpoint via een enkele gateway-sleutel, en de gateway stuurt elke call door naar de juiste provider met jouw credentials.

Dit is het tegenovergestelde van een reseller-model waarbij je tokens koopt van een tussenpersoon. Met BYOK behoud je je eigen provider-contracten, prijzen en rate limits, en voeg je daar gecentraliseerd beheer aan toe.

Waarom je provider-sleutels via de gateway wilt routen

Het uitdelen van ruwe provider-sleutels aan elke applicatie en elk notebook is hoe key sprawl ontstaat. Sleutels lekken naar de code, worden gekopieerd naar omgevingen en zijn onmogelijk te roteren zonder iets te breken.

• Één sleutel voor clients. Applicaties authenticeren met een TrueFoundry-sleutel, niet met de provider-sleutel. Zoals de documentatie het formuleert: om toegang te krijgen tot modellen via de gateway gebruik je TrueFoundry API keys, niet de originele provider-sleutels.
  

• Centrale rotatie. Provider-sleutels staan op één plek. Roteer ze in de gateway en elke applicatie blijft gewoon werken.
  

• Toegangsbeheer. Jij bepaalt wie welk model-account mag gebruiken, met manager- en gebruikersrollen per account.
  

• Één interface. In plaats van het beheren van afzonderlijke SDK's, endpoints en sleutels voor OpenAI, Anthropic, Bedrock en self-hosted modellen, communiceren applicaties met één gateway-endpoint en gebruiken ze één gateway-sleutel.

Ben je de verspreiding van provider-sleutels over je apps zat?

Ontdek hoe teams elke provider-sleutel centraliseren achter één beheerde gateway. We lopen samen door jouw setup.

Boek een demo

Je provider-sleutels toevoegen: model accounts

In TrueFoundry bevindt een provider-sleutel zich binnen een model account. De quick start docs omschrijven een model account als één account van een model provider, bijvoorbeeld OpenAI, Anthropic of AWS Bedrock. Je kunt meerdere accounts per provider toevoegen, elk met hun eigen API keys, en elk account kan meerdere modellen bevatten.

Om er een toe te voegen, selecteer je de gewenste provider en voeg je vervolgens modellen toe nadat je de API key hebt opgegeven. Je kunt meerdere sleutels van dezelfde provider toevoegen door afzonderlijke model accounts aan te maken. Dit is handig wanneer je uitgaven of rate limits wilt scheiden per omgeving of team.

Zodra ze zijn opgeslagen, verschijnen je model accounts en modellen onder het tabblad Models. Om later meer toe te voegen, ga je naar AI Gateway, vervolgens naar Models, selecteer je een model account aan de linkerkant en klik je rechtsboven op Add Model.

Hoe clients authenticeren: virtuele sleutels

Zodra je provider-sleutels zijn opgeslagen, krijgen applicaties ze nooit meer te zien. De gateway access control docs beschrijven twee token-typen die clients in plaats daarvan gebruiken.

• Personal Access Tokens (PATs) zijn gekoppeld aan een gebruiker en worden aanbevolen voor ontwikkelaars tijdens de ontwikkeling.
  

• Virtual Account Tokens (VATs) zijn gekoppeld aan een virtuele identiteit en worden aanbevolen voor productie-applicaties. Dit is de virtuele sleutel waarmee je services worden geleverd.

Toegang wordt geconfigureerd op het niveau van het model account met twee rollen. Een Model Account Manager kan instellingen wijzigen, modellen toevoegen of verwijderen en toegangsmachtigingen beheren. Een Model Account User kan alle modellen binnen het account gebruiken, maar kan geen instellingen of machtigingen wijzigen. Tenant-admins hebben automatisch toegang tot alle modellen op het gehele platform.

Om de gateway aan te roepen, heb je drie dingen nodig uit het tabblad Code Snippet van de Playground: de gateway base URL, een API key en een model id. SaaS-gebruikers verwijzen naar de gateway base URL, authenticeren met een PAT of VAT, en gebruiken de standaard OpenAI-client.

‍

from openai import OpenAI

Wil je virtuele sleutels die veilig met je apps meegeleverd kunnen worden?

We laten je PATs, VATs en rollen per account live zien, op je eigen infrastructuur.

Bekijk het live

Wat het je oplevert als sleutels in de gateway staan

• Één enkel OpenAI-compatibel endpoint voor elke provider en elk self-hosted model.
  

• Centrale sleutelrotatie zonder de applicatiecode aan te raken.
  

• Toegangsbeheer per account met manager- en gebruikersrollen.
  

• Gecentraliseerde observability en policy, aangezien elke call via één plek stroomt.

Zoals een klant het verwoordde: de gateway nam de overhead van het beheren van sleutels, routinglogica en versnipperde observability weg, en het introduceren van nieuwe modellen werd een kwestie van louter configuratie.