Migrer depuis Bifrost : Passer d'une AI Gateway auto-hébergée à une solution gérée
.webp)
Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Une méthode incroyablement rapide pour créer, suivre et déployer vos modèles !
- Gère plus de 350 RPS sur un seul processeur virtuel, aucun réglage n'est nécessaire
- Prêt pour la production avec un support complet pour les entreprises
Bifrost est une bonne AI Gateway open source, et de nombreuses équipes commencent par là pour de bonnes raisons : elle est gratuite, rapide et s'exécute n'importe où. Les raisons pour lesquelles les équipes abandonnent ultérieurement une AI Gateway auto-hébergée sont généralement opérationnelles plutôt que fonctionnelles. Quelqu'un doit gérer le cluster, maintenir PostgreSQL en haute disponibilité, effectuer les mises à niveau avec des versions à ruptures de compatibilité et répondre aux audits de sécurité. Lorsque ce travail ne vaut plus la peine, la question devient alors : comment migrer sans casser chaque application qui appelle la passerelle ?
Ce guide est le plan que nous suivrions. Il établit une correspondance entre les concepts de Bifrost et une passerelle gérée (nous utilisons TrueFoundry AI Gateway comme destination), détaille les modifications côté client et présente un plan de basculement avec une voie de retour en arrière. Il couvre également ce qui n'est pas transférable, afin que vous puissiez évaluer l'étendue du travail en toute honnêteté.
Lorsque nous nous appuyons sur notre propre expérience, issue de l'utilisation de Bifrost OSS v2.0.0 et de l'installation d'un plan de passerelle TrueFoundry dans notre propre cluster en octobre 2026, nous le précisons.
Quand une AI Gateway auto-hébergée ne vaut plus la peine
La version gratuite de Bifrost est une passerelle complète, les manques de fonctionnalités sont donc rarement le facteur déclencheur. Il s'agit généralement de :
- Vous avez besoin de plus d'un nœud. Les répliques OSS ne partagent pas d'état. Elles lisent la même
config.jsonstatique, nécessitent un redémarrage à chaque modification et conservent les budgets, les compteurs de limite de débit et les révocations de clés par pod. La synchronisation en direct est réservée à la version Enterprise. - Examen de sécurité. SSO, RBAC, journaux d'audit, secrets stockés dans un coffre-fort et guardrails sont des fonctionnalités Enterprise, tarifées sur devis. Les identités de service n'existent dans aucune des deux versions ; les services détiennent des clés virtuelles à longue durée de vie.
- Mises à niveau. La version v1.5.0 comportait 16 ruptures de compatibilité et des migrations de base de données irréversibles. Quelqu'un doit lire chaque note de version et sauvegarder PostgreSQL avant chaque mise à niveau.
- Astreinte (On-call). La passerelle se trouve sur le chemin de chaque appel de modèle. Si elle tombe en panne à 2 heures du matin, c'est votre téléavertisseur qui sonne.
Si au moins deux de ces affirmations sont vraies, une passerelle gérée coûte généralement moins cher que le temps d'ingénierie consommé. Nos articles sur la tarification de Bifrost et Bifrost Enterprise vs OSS détaillent le calcul de l'arbitrage entre achat et gestion interne.
Choisissez d'abord le modèle de déploiement
Le terme « géré » couvre plusieurs réalités, et ce choix détermine la part de travail d'infrastructure dans la migration. TrueFoundry propose trois options de déploiement :
Nous avons utilisé la deuxième option pour notre propre évaluation. Le plan de passerelle s'installe à partir d'un chart Helm et s'authentifie auprès du plan de contrôle à l'aide d'un jeton de passerelle ; les modèles, le routage et les règles d'accès sont configurés dans le plan de contrôle et synchronisés avec la passerelle. Le chart déploie également un pod Redis à côté de la passerelle. Les prérequis sont Kubernetes 1.27 ou ultérieur, des volumes de stockage en mode bloc, un domaine et un certificat pour l'endpoint de la passerelle, un secret de tirage d'image (image pull secret) fourni par TrueFoundry, et un accès en sortie depuis le cluster vers l'URL de votre plan de contrôle (déployer le plan de passerelle). L'auto-hébergement du plan de passerelle est disponible dans l'offre Enterprise de TrueFoundry.
Étape 1 : Inventorier ce que fait Bifrost aujourd'hui
La plupart des surprises lors d'une migration proviennent de configurations dont personne ne se souvient. Avant de créer quoi que ce soit dans la nouvelle passerelle, listez :
- Fournisseurs et clés : chaque fournisseur, chaque clé, les poids des clés et les endpoints personnalisés tels que vLLM ou Ollama.
- Clés virtuelles : propriétaire (équipe, client ou aucun), fournisseurs et modèles autorisés, budgets, limites de débit, accès aux outils MCP et expiration.
- Routage : configurations de fournisseurs pondérées, chaînes de repli (fallback), paramètres de tentative (retry) et chaque règle de routage CEL, avec sa portée et sa priorité.
- MCP : serveurs MCP connectés, groupes d'outils et leurs modes d'authentification.
- Observabilité : paramètres de journalisation du contenu, connecteurs OTel et autres, rétention, ainsi que tous les tableaux de bord ou alertes basés sur les métriques
bifrost_*. - Plugins : plugins Go personnalisés, mise en cache sémantique et plugin Maxim.
- Appelants : chaque application, le SDK qu'elle utilise, la route Bifrost qu'elle appelle (compatible OpenAI ou route native du fournisseur) et les en-têtes
x-bf-*qu'elle envoie.
Si vous utilisez Bifrost avec une configuration basée sur un fichier, config.json représente la majeure partie de cette liste. Si vous utilisez le stockage de configuration basé sur une base de données, lisez-le via l'API de gestion plutôt que via l'interface utilisateur, afin de ne rien oublier.
Étape 2 : Associer les concepts de Bifrost à la nouvelle passerelle
La correspondance ci-dessous constitue le cœur de la migration. Le comportement de Bifrost provient de la documentation de Bifrost ; le comportement de TrueFoundry provient de la documentation TrueFoundry liée dans chaque ligne.
Réécriture des règles de routage CEL
Les règles CEL représentent la partie de la configuration Bifrost qui ne se traduit pas de manière automatique. Triez chaque règle en fonction de ce qu'elle fait réellement :
- Répartition du trafic ou basculement automatique (cibles pondérées, replis) : devient un modèle virtuel.
- Routage par équipe ou par environnement (par exemple, un en-tête comme
x-environment) : devient un modèle virtuel distinct par environnement, avec des accès accordés à la bonne équipe, ou des politiques basées sur les métadonnées. - Réaction à la consommation du budget (déplacement du trafic vers un modèle moins cher au-delà d'un seuil) : devient une règle budgétaire assortie d'un repli, ou une décision prise directement au sein de l'application.
- Tout autre cas : notez-le et déterminez si sa place est réellement au niveau de la passerelle.
Étape 3 : Modifier les clients
Pour une application utilisant le SDK OpenAI, le changement concerne trois valeurs : l'URL de base (base URL), la clé API et le nom du modèle.
Quelques points à vérifier par appelant :
- L'authentification devient obligatoire. Lors de nos tests, une installation par défaut de Bifrost OSS acceptait les requêtes sans identifiants, de sorte que certains appelants internes n'en ont peut-être jamais envoyé. Chaque requête TrueFoundry transporte un jeton bearer. Identifiez ces appelants avant le basculement, pas pendant.
- Routes natives des fournisseurs. Si un appelant utilise les routes compatibles Anthropic, Gemini ou Bedrock de Bifrost avec le propre SDK du fournisseur, vérifiez la prise en charge du SDK natif par la destination. TrueFoundry prend en charge les SDK OpenAI, Anthropic, Google Gen AI, Azure OpenAI et boto3, avec des configurations de routage prises en charge pour certains et non pour d'autres (support SDK natif).
- Structure de la réponse. Lorsque nous avons pointé le SDK Python d'OpenAI vers Bifrost v2.0.0, quatre scénarios sur six correspondaient exactement à OpenAI ; le rôle de streaming, les logprobs et la structure des erreurs différaient. Le code qui analyse le corps des erreurs de Bifrost ou qui contourne ses particularités de streaming peut nécessiter un ajustement lorsqu'il communique avec une passerelle différente. Testez la gestion des erreurs, pas seulement le fonctionnement nominal.
- Les différences entre fournisseurs ne disparaissent pas. Dans nos tests avec Bifrost, la même structure de requête produisait des contraintes de schéma d'outils, des paramètres de raisonnement et des erreurs de dépréciation de modèle différents selon les fournisseurs. Cela reste vrai derrière n'importe quelle passerelle, conservez donc des tests de contrat par fournisseur dans votre CI.
Étape 4 : Basculer progressivement, avec une option de retour en arrière
- Déployez la nouvelle passerelle à côté de Bifrost. Recréez les fournisseurs, les modèles, les comptes virtuels, les budgets en mode audit, les limites de débit, les guardrails et les configurations de journalisation. Ne touchez pas à Bifrost.
- Exécutez des tests de contrat sur les deux passerelles : chat en mode streaming et non-streaming, appels d'outils, sorties structurées, embeddings, cas d'erreur et chaque route native de fournisseur que vous utilisez.
- Migrez d'abord un service à faible risque. Modifiez son URL de base, son jeton et les noms de modèles via une configuration ou un feature flag, de sorte qu'un retour en arrière soit un simple déploiement et non une modification de code.
- Comparez pendant une semaine. Le nombre de jetons et le coût calculé par service doivent correspondre entre les journaux de Bifrost et le tableau de bord de la nouvelle passerelle. Une différence signifie généralement qu'une tarification ou qu'une correspondance de nom de modèle est erronée.
- Migrez le reste par lots, les services au volume le plus élevé en dernier. Faires passer les budgets du mode audit au mode d'application stricte (enforce) une fois que les chiffres concordent.
- Maintenez Bifrost en cours d'exécution en lecture seule pendant une période de rétractation, puis révoquez ses clés virtuelles. Sur une version OSS multi-répliques, la réactivation ou révocation d'une clé ne se propage pas entre les pods ; redémarrez donc chaque réplique après la révocation, ou arrêtez simplement Bifrost.
Ce qui n'est pas transféré
- L'historique des requêtes. Le schéma SQLite ou PostgreSQL de Bifrost n'est pas un format d'échange stable. Si vous avez besoin de l'historique pour des audits ou des évaluations, exportez-le via l'API de journaux ou vos connecteurs existants avant le déclassement, et conservez-le en dehors de la passerelle.
- Plugins Go personnalisés. Ils sont compilés pour un cœur Bifrost et une version de Go spécifiques, leur migration nécessite donc une réécriture.
- Expressions CEL, comme indiqué ci-dessus.
- Contenu du cache. Les caches sémantiques et à correspondance exacte démarrent vides sur la nouvelle passerelle.
- Tableaux de bord et alertes basés sur les noms de métriques et étiquettes
bifrost_*. - En-têtes spécifiques à Bifrost tels que
x-bf-vk,x-bf-dim-*,x-bf-lh-*et la surcharge de journalisation par requête. - Consentements OAuth MCP pour les connexions par utilisateur ; les utilisateurs doivent s'authentifier à nouveau.
Pièges issus de notre propre configuration
Ces retours proviennent de l'installation d'un plan de passerelle TrueFoundry dans notre cluster et de l'envoi de trafic de test vers celui-ci.
- Les règles de guardrail à l'échelle du tenant s'appliquent immédiatement aux nouveaux appelants. Notre tenant disposait déjà d'une règle de guardrail pour les PII (données personnelles) ; nos premières requêtes de test ont été rejetées avec une erreur HTTP 400 jusqu'à ce que nous excluions le compte virtuel de test de cette règle. Examinez les règles de guardrail existantes et exécutez les nouvelles en mode audit avant de migrer le trafic de production.
- La journalisation des requêtes est activée par défaut. Avec un plan de contrôle hébergé, la passerelle lui envoie les journaux de requêtes. Vous pouvez préférer conserver les données de requête et de réponse dans un bucket au sein de votre propre cloud ; les configurations de journalisation permettent de désactiver la journalisation du corps des requêtes ou de le masquer par équipe, modèle ou métadonnées. Tranchez ce point avec votre équipe de sécurité avant la première requête en production.
- Les modèles auto-hébergés s'enregistrent comme n'importe quel autre fournisseur. Nous avons enregistré un endpoint compatible OpenAI s'exécutant dans notre cluster en tant que modèle auto-hébergé et l'avons appelé sous le nom
<account>/<model>. Les endpoints vLLM internes ou similaires auxquels vous accédez aujourd'hui via Bifrost se migrent de la même manière. - Dimensionnez l'infrastructure pour le pod supplémentaire. Le chart du plan de passerelle déploie Redis aux côtés de la passerelle. Incluez-le dans votre plan de capacité et de coûts.
Une AI Gateway gérée est-elle adaptée à votre situation ?
Restez sur Bifrost auto-hébergé si vous faites tourner un seul nœud, disposez d'ingénieurs plateforme pour le gérer, et n'avez pas besoin de SSO, d'audit ou d'identités de service.
Passez à Bifrost Enterprise si vous souhaitez rester sur Bifrost et continuer à gérer la passerelle vous-même, mais que vous avez besoin du clustering et des fonctionnalités de sécurité. Vous conserverez la gestion du cluster, de PostgreSQL en HA et des mises à niveau.
Optez pour une passerelle gérée si la charge opérationnelle est le problème principal. Choisissez le SaaS si votre politique de données le permet, ou un plan de passerelle dans votre propre cluster si le trafic lié aux modèles doit impérativement rester au sein de votre réseau.
Pourquoi choisir TrueFoundry comme destination
- Vous choisissez le niveau de gestion. SaaS, plan de passerelle dans votre cluster avec plan de contrôle hébergé, ou entièrement auto-hébergé, y compris en environnement isolé (air-gapped).
- La synchronisation de configuration est au cœur de l'architecture. Les pods de la passerelle sont sans état (stateless) et reçoivent la configuration, les utilisateurs, les comptes virtuels et les règles d'autorisation du plan de contrôle en temps réel ; la configuration complète est republiée toutes les 10 minutes afin qu'une mise à jour manquée ne provoque pas de dérive, et les passerelles continuent de servir les requêtes selon leur dernière configuration si le plan de contrôle devient inaccessible (architecture du plan de passerelle). Cela remplace le modèle de redémarrage de chaque pod présent sur la version OSS de Bifrost.
- Identité de service intégrée. Les comptes virtuels attribuent à chaque application son propre jeton avec rotation planifiée, période de grâce et synchronisation avec votre gestionnaire de secrets.
- Politiques définies sous forme de règles. Les budgets, limitations de débit, guardrails et journaux sont des ensembles de règles distincts associés aux utilisateurs, aux modèles et aux métadonnées des requêtes, avec des modes d'audit pour un déploiement sécurisé.
Si vous envisagez de migrer depuis une AI Gateway auto-hébergée, réservez une démonstration et apportez votre configuration Bifrost ; nous pourrons analyser la correspondance avec vous. Pour découvrir d'abord le produit, commencez par la page TrueFoundry AI Gateway.
Lectures associées
- Tarification de Bifrost : coûts OSS et Enterprise, et ce que les équipes doivent savoir
- Bifrost vs LiteLLM
- Qu'est-ce qu'une LLM gateway ?
- AI gateway on-premise : tout ce que vous devez savoir
- Alternatives à LiteLLM
Conclusion
Abandonner une AI Gateway auto-hébergée dépend moins des modifications côté client, qui restent mineures, que de la refrabrication fidèle des clés, des politiques et du routage, puis du basculement progressif service par service avec une possibilité de retour en arrière. Effectuez d'abord l'inventaire, associez chaque clé virtuelle à une identité réelle, réécrivez intentionnellement les règles CEL au lieu de chercher une traduction littérale, et maintenez Bifrost en service jusqu'à ce que l'alignement des chiffres soit confirmé. Si vous souhaitez un second regard sur votre plan de correspondance, réservez une démo TrueFoundry.
TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.



Gouvernez, déployez et suivez l'IA dans votre propre infrastructure
Blogs récents
Questions fréquemment posées
Is TrueFoundry SOC 2 / HIPAA / GDPR compliant?
TrueFoundry supports SOC 2, HIPAA, and GDPR standards, with RBAC, SSO, and immutable audit logging built in. See the Trust Center for current attestations.










.webp)








