Was BYOK bei einem AI Gateway bedeutet
.png)
Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
BYOK, oder Bring Your Own Key, bedeutet, dass Sie Ihre eigenen Accounts bei Modell-Providern wie OpenAI, Anthropic und AWS Bedrock behalten und diese Provider-Schlüssel einmalig im Gateway hinterlegen. Ihre Anwendungen kommen nie wieder direkt mit den rohen Provider-Schlüsseln in Berührung. Sie kommunizieren über einen einzigen Gateway-Schlüssel mit einem zentralen TrueFoundry AI Gateway-Endpunkt, und das Gateway leitet jeden Aufruf mit Ihren Anmeldedaten an den richtigen Provider weiter.
Dies ist das Gegenteil eines Reseller-Modells, bei dem Sie Tokens von einem Zwischenhändler kaufen. Mit BYOK behalten Sie Ihre eigenen Provider-Verträge, Preise und Rate Limits bei und ergänzen diese um eine zentrale Governance.
Warum Provider-Schlüssel über das Gateway geroutet werden sollten
Die Übergabe von rohen Provider-Schlüsseln an jede Anwendung und jedes Notebook ist der Beginn von Key Sprawl. Schlüssel sickern in den Code sickernd ein, werden in Umgebungen kopiert und lassen sich unmöglich rotieren, ohne etwas zu beschädigen.
- Ein Schlüssel für Aufrufer. Anwendungen authentifizieren sich mit einem TrueFoundry-Schlüssel, nicht mit dem Provider-Schlüssel. Wie in der Dokumentation beschrieben, verwenden Sie für den Zugriff auf Modelle über das Gateway TrueFoundry-API-Schlüssel und nicht die ursprünglichen Provider-Schlüssel.
- Zentrale Rotation. Provider-Schlüssel befinden sich an einem einzigen Ort. Rotieren Sie diese im Gateway, und jede Anwendung funktioniert nahtlos weiter.
- Zugriffskontrolle. Sie entscheiden, wer welchen Modell-Account nutzen darf – mit Manager- und User-Rollen pro Account.
- Eine einheitliche Schnittstelle. Anstatt separate SDKs, Endpunkte und Schlüssel für OpenAI, Anthropic, Bedrock und self-hosted models zu verwalten, kommunizieren Anwendungen mit einem einzigen Gateway-Endpunkt und nutzen einen einzigen Gateway-Schlüssel.
Hinzufügen Ihrer Provider-Schlüssel: Modell-Accounts
In TrueFoundry befindet sich ein Provider-Schlüssel innerhalb eines Modell-Accounts. Die Quickstart-Dokumentation beschreibt einen Modell-Account als einen Account eines Modell-Providers, zum Beispiel OpenAI, Anthropic oder AWS Bedrock. Sie können mehrere Accounts pro Provider hinzufügen, jeweils mit eigenen API-Schlüsseln, und jeder Account kann mehrere Modelle enthalten.
Um einen hinzuzufügen, wählen Sie den gewünschten Provider aus und fügen Sie nach Eingabe des API-Schlüssels Modelle hinzu. Sie können mehrere Schlüssel desselben Providers hinzufügen, indem Sie separate Modell-Accounts erstellen. Dies ist nützlich, wenn Sie Ausgaben oder Rate Limits nach Umgebung oder Team trennen möchten.

Nach dem Absenden erscheinen Ihre Modell-Accounts und Modelle unter dem Reiter "Models". Um später weitere hinzuzufügen, gehen Sie zu AI Gateway, dann zu Models, wählen Sie links einen Modell-Account aus und klicken Sie oben rechts auf "Add Model".

Wie sich Aufrufer authentifizieren: Virtuelle Schlüssel
Sobald Ihre Provider-Schlüssel gespeichert sind, bekommen Anwendungen diese nicht mehr zu sehen. Die Dokumentation zur Gateway-Zugriffskontrolle beschreibt zwei Token-Typen, die Aufrufer stattdessen verwenden.
- Personal Access Tokens (PATs) sind an einen Benutzer gebunden und werden für Entwickler während der Entwicklung empfohlen.
- Virtual Account Tokens (VATs) sind an eine virtuelle Identität gebunden und werden für Produktionsanwendungen empfohlen. Dies ist der virtuelle Schlüssel, mit dem Ihre Dienste bereitgestellt werden.
Der Zugriff wird auf Modell-Account-Ebene mit zwei Rollen konfiguriert. Ein Model Account Manager kann Einstellungen ändern, Modelle hinzufügen oder entfernen und Zugriffsberechtigungen verwalten. Ein Model Account User kann alle Modelle innerhalb des Accounts nutzen, aber keine Einstellungen oder Berechtigungen ändern. Tenant-Admins haben automatisch Zugriff auf alle Modelle über die gesamte Plattform hinweg.
Um das Gateway aufzurufen, benötigen Sie drei Dinge aus dem Reiter "Code Snippet" des Playgrounds: die Gateway-Basis-URL, einen API-Schlüssel und eine Modell-ID. SaaS-Benutzer verweisen auf die Gateway-Basis-URL, authentifizieren sich mit einem PAT oder VAT und nutzen den Standard-OpenAI-Client.

from openai import OpenAI
Was Sie gewinnen, sobald Schlüssel im Gateway liegen
- Ein einziger OpenAI-kompatibler Endpunkt für jeden Provider und jedes selbst gehostete Modell.
- Zentrale Schlüssel-Rotation, ohne Anwendungscode anzupassen.
- Zugriffskontrolle pro Account mit Manager- und User-Rollen.
- Zentralisierte Observability und Governance-Richtlinien, da jeder Aufruf durch eine zentrale Stelle fließt.
Wie ein Kunde es ausdrückte: Das Gateway hat den Aufwand für die Verwaltung von Schlüsseln, Routing-Logik und verstreuter Observability eliminiert – die Einführung neuer Modelle wurde zu einer reinen Konfigurationssache.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.



Steuern, implementieren und verfolgen Sie KI in Ihrer eigenen Infrastruktur
Aktuelle Blogs
Häufig gestellte Fragen
What does BYOK mean for an AI gateway?
BYOK means you keep your own provider accounts and keys and plug them into the gateway once. Applications then call the gateway with a single gateway key, and the gateway uses your stored provider keys to reach OpenAI, Anthropic, Bedrock, and others.
Do my applications ever see the provider key?
No. Callers authenticate with TrueFoundry keys, not the original provider keys. You store the provider key in a model account, and applications use a Personal Access Token or a Virtual Account Token instead.
Can I add more than one key for the same provider?
Yes. You can add multiple accounts per provider, each with their own API keys. This lets you separate spend, rate limits, or environments while keeping a single gateway endpoint.
What is a virtual key?
A Virtual Account Token is tied to a virtual identity rather than a person, which makes it the right choice for production applications. It lets a service authenticate to the gateway without embedding a user credential or a raw provider key.









.png)
.png)
.png)







.png)

.png)


.png)

.png)
.png)






