Ce que signifie le BYOK sur une AI Gateway
.png)
Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Une méthode incroyablement rapide pour créer, suivre et déployer vos modèles !
- Gère plus de 350 RPS sur un seul processeur virtuel, aucun réglage n'est nécessaire
- Prêt pour la production avec un support complet pour les entreprises
Le BYOK, ou Bring Your Own Key, signifie que vous conservez vos propres comptes auprès des fournisseurs de modèles comme OpenAI, Anthropic et AWS Bedrock, et que vous intégrez ces clés de fournisseurs une seule fois dans la passerelle. Vos applications ne touchent plus jamais aux clés de fournisseurs brutes. Elles communiquent avec un seul point de terminaison TrueFoundry AI Gateway en utilisant une clé de passerelle unique, et la passerelle achemine chaque appel vers le bon fournisseur avec vos identifiants.
C'est l'opposé d'un modèle de revente où vous achetez des jetons à un intermédiaire. Avec le BYOK, vous conservez vos propres contrats, vos tarifs et vos limites de débit chez les fournisseurs, tout en y ajoutant une gouvernance centralisée.
Pourquoi faire passer les clés de fournisseurs par la passerelle
Confier des clés de fournisseurs brutes à chaque application et notebook est le meilleur moyen de provoquer l'éparpillement des clés. Les clés fuient dans le code, sont copiées dans les environnements et deviennent impossibles à renouveler sans casser quelque chose.
- Une seule clé pour les appelants. Les applications s'authentifient avec une clé TrueFoundry, et non avec la clé du fournisseur. Comme l'indique la documentation, pour accéder aux modèles via la passerelle, vous utilisez les clés API TrueFoundry et non les clés de fournisseurs d'origine.
- Rotation centralisée. Les clés des fournisseurs sont centralisées en un seul endroit. Renouvelez-les dans la passerelle et toutes les applications continuent de fonctionner.
- Contrôle d'accès. Vous décidez qui peut utiliser quel compte de modèle, grâce à des rôles de gestionnaire et d'utilisateur par compte.
- Une interface unique. Au lieu de gérer des SDK, des points de terminaison et des clés séparés pour OpenAI, Anthropic, Bedrock et les modèles hébergés vous-même, les applications communiquent avec un seul point de terminaison de passerelle et utilisent une seule clé de passerelle.
Ajouter vos clés de fournisseurs : les comptes de modèles
Dans TrueFoundry, une clé de fournisseur réside dans un compte de modèle. La documentation de démarrage rapide décrit un compte de modèle comme un compte chez un fournisseur de modèles, par exemple OpenAI, Anthropic ou AWS Bedrock. Vous pouvez ajouter plusieurs comptes par fournisseur, chacun ayant ses propres clés API, et chaque compte peut contenir plusieurs modèles.
Pour en ajouter un, sélectionnez le fournisseur souhaité, puis ajoutez des modèles après avoir fourni la clé API. Vous pouvez ajouter plusieurs clés d'un même fournisseur en créant des comptes de modèles distincts, ce qui est utile pour séparer les dépenses ou les limites de débit par environnement ou par équipe.

Une fois soumis, vos comptes de modèles et vos modèles apparaissent sous l'onglet Modèles. Pour en ajouter d'autres ultérieurement, allez dans AI Gateway, puis Modèles, sélectionnez un compte de modèle sur la gauche et cliquez sur Ajouter un modèle en haut à droite.

Comment les appelants s'authentifient : les clés virtuelles
Une fois vos clés de fournisseurs stockées, les applications ne les voient jamais. La documentation sur le contrôle d'accès de la passerelle décrit deux types de jetons que les appelants utilisent à la place.
- Les Personal Access Tokens (PAT) sont liés à un utilisateur et sont recommandés pour les développeurs pendant la phase de développement.
- Les Virtual Account Tokens (VAT) sont liés à une identité virtuelle et sont recommandés pour les applications en production. Il s'agit de la clé virtuelle intégrée à vos services.
L'accès est configuré au niveau du compte de modèle avec deux rôles. Un Model Account Manager peut modifier les paramètres, ajouter ou supprimer des modèles et gérer les autorisations d'accès. Un Model Account User peut utiliser tous les modèles du compte, mais ne peut pas modifier les paramètres ni les autorisations. Les administrateurs de tenant ont automatiquement accès à tous les modèles sur l'ensemble de la plateforme.
Pour appeler la passerelle, vous avez besoin de trois éléments depuis l'onglet Code Snippet du Playground : l'URL de base de la passerelle, une clé API et un ID de modèle. Les utilisateurs SaaS pointent vers l'URL de base de la passerelle, s'authentifient avec un PAT ou un VAT, et utilisent le client OpenAI standard.

from openai import OpenAI
Ce que vous obtenez une fois les clés hébergées dans la passerelle
- Un point de terminaison unique compatible OpenAI pour chaque fournisseur et chaque modèle auto-hébergé.
- Une rotation centrale des clés sans toucher au code des applications.
- Un contrôle d'accès par compte avec des rôles de gestionnaire et d'utilisateur.
- Une observabilité et des politiques centralisées, puisque chaque appel passe par un seul et même endroit.
Comme l'a souligné un client, la passerelle a éliminé la charge de travail liée à la gestion des clés, à la logique d'acheminement et à l'observabilité dispersée, rendant l'introduction de nouveaux modèles aussi simple qu'une modification de configuration.
TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.



Gouvernez, déployez et suivez l'IA dans votre propre infrastructure
Blogs récents
Questions fréquemment posées
What does BYOK mean for an AI gateway?
BYOK means you keep your own provider accounts and keys and plug them into the gateway once. Applications then call the gateway with a single gateway key, and the gateway uses your stored provider keys to reach OpenAI, Anthropic, Bedrock, and others.
Do my applications ever see the provider key?
No. Callers authenticate with TrueFoundry keys, not the original provider keys. You store the provider key in a model account, and applications use a Personal Access Token or a Virtual Account Token instead.
Can I add more than one key for the same provider?
Yes. You can add multiple accounts per provider, each with their own API keys. This lets you separate spend, rate limits, or environments while keeping a single gateway endpoint.
What is a virtual key?
A Virtual Account Token is tied to a virtual identity rather than a person, which makes it the right choice for production applications. It lets a service authenticate to the gateway without embedding a user credential or a raw provider key.









.png)
.png)

.png)







.png)

.png)


.png)

.png)






