Migration von Bifrost: Wechsel von einem selbstgehosteten AI Gateway zu einer verwalteten Lösung
.webp)
Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Bifrost ist ein gutes Open-Source-AI-Gateway, und viele Teams entscheiden sich aus guten Gründen zu Beginn dafür: Es ist kostenlos, schnell und läuft überall. Die Gründe, warum Teams später von einem selbstgehosteten AI Gateway migrieren, sind meist betrieblicher und nicht funktioneller Natur. Jemand muss den Cluster betreiben, PostgreSQL hochverfügbar halten, Upgrades über Breaking Releases hinweg durchführen und die Sicherheitsüberprüfung beantworten. Wenn sich dieser Aufwand nicht mehr lohnt, stellt sich die Frage, wie man migriert, ohne jede Anwendung zu beschädigen, die das Gateway aufruft.
Dieser Leitfaden ist der Plan, dem wir folgen würden. Er ordnet die Konzepte von Bifrost einem verwalteten Gateway zu (wir nutzen das TrueFoundry AI Gateway als Ziel), listet die Client-Änderungen auf und beschreibt einen Cutover mit einem Rollback-Pfad. Er behandelt auch, was nicht übertragbar ist, damit Sie den Arbeitsaufwand realistisch einschätzen können.
Wo wir uns auf unsere eigene Erfahrung stützen – aus dem Betrieb von Bifrost OSS v2.0.0 und der Installation einer TrueFoundry-Gateway-Ebene in unserem eigenen Cluster im Oktober 2026 –, weisen wir darauf hin.
Wann sich ein selbstgehostetes AI Gateway nicht mehr lohnt
Die kostenlose Stufe von Bifrost ist ein vollständiges Gateway, daher sind Funktionslücken selten der Auslöser. Meistens sind es folgende Gründe:
- Sie benötigen mehr als einen Knoten. OSS-Replikate teilen keinen Zustand. Sie lesen dieselbe statische
config.json, erfordern bei jeder Änderung einen Neustart und verwalten Budgets, Rate-Limit-Zähler und Schlüsselwiderrufe pro Pod. Eine Live-Synchronisation gibt es nur in der Enterprise-Version. - Sicherheitsüberprüfung. SSO, RBAC, Audit-Logs, Vault-gesicherte Secrets und Guardrails sind Enterprise-Funktionen mit individueller Preisgestaltung. Service-Identitäten existieren in keiner der beiden Stufen; Services halten langlebige virtuelle Schlüssel.
- Upgrades. Das Release v1.5.0 brachte 16 Breaking Changes und Datenbankmigrationen mit sich, die nicht rückgängig gemacht werden können. Jemand muss jede Release-Note lesen und vor jedem Upgrade ein Backup von PostgreSQL erstellen.
- Rufbereitschaft. Das Gateway liegt im Pfad jedes Modellaufrufs. Wenn es um 2 Uhr morgens ausfällt, ist das Ihr Notfall.
Wenn zwei oder mehr dieser Punkte zutreffen, ist ein verwaltetes Gateway meist günstiger als die benötigte Entwicklungszeit. Unsere Beiträge zu Bifrost Preisen und Bifrost Enterprise vs. OSS behandeln die Abwägung zwischen Kaufen und Selbstbetreiben im Detail.
Wählen Sie zuerst das Bereitstellungsmodell
„Verwaltet“ umfasst mehr als eine Form, und die Wahl entscheidet darüber, wie viel der Migration Infrastrukturarbeit ist. TrueFoundry bietet drei (Bereitstellungsoptionen):
Wir haben für unsere eigene Evaluierung die mittlere Option gewählt. Die Gateway-Ebene wird über ein Helm-Chart installiert und authentifiziert sich an der Control Plane mit einem Gateway-Token; Modelle, Routing und Zugriffsregeln werden in der Control Plane konfiguriert und mit dem Gateway synchronisiert. Das Chart deployed auch einen Redis-Pod neben dem Gateway. Voraussetzungen sind Kubernetes 1.27 oder höher, Block-Storage-Volumes, eine Domain und ein Zertifikat für den Gateway-Endpunkt, ein Image-Pull-Secret von TrueFoundry und ausgehender Netzwerkverkehr vom Cluster zu Ihrer Control-Plane-URL (Gateway-Ebene bereitstellen). Das Selbsthosten der Gateway-Ebene ist Teil der Enterprise-Stufe von TrueFoundry.
Schritt 1: Bestandsaufnahme der aktuellen Bifrost-Nutzung
Die meisten Überraschungen bei der Migration entstehen durch Konfigurationen, an die sich niemand mehr erinnert. Bevor Sie irgendetwas im neuen Gateway erstellen, listen Sie Folgendes auf:
- Provider und Schlüssel: Jeder Provider, jeder Schlüssel, Schlüsselgewichtungen und benutzerdefinierte Endpunkte wie vLLM oder Ollama.
- Virtuelle Schlüssel: Eigentümer (Team, Kunde oder keiner), zugelassene Provider und Modelle, Budgets, Rate Limits, MCP-Tool-Zugriffe und Ablaufdaten.
- Routing: Gewichtete Provider-Konfigurationen, Fallback-Ketten, Retry-Einstellungen und jede CEL-Routing-Regel mit ihrem Geltungsbereich und ihrer Priorität.
- MCP: Verbundene MCP-Server, Tool-Gruppen und deren Authentifizierungsmodi.
- Observability: Content-Logging-Einstellungen, OTel- und andere Connectors, Aufbewahrungsfristen sowie alle Dashboards oder Alarme, die auf
bifrost_*-Metriken basieren. - Plugins: Benutzerdefinierte Go-Plugins, semantisches Caching und das Maxim-Plugin.
- Aufrufer: Jede Anwendung, welches SDK sie verwendet, welche Bifrost-Route sie aufruft (OpenAI-kompatibel oder eine Provider-native Route) und welche
x-bf-*-Header sie sendet.
Wenn Sie Bifrost mit einer dateibasierten Konfiguration betreiben, deckt config.json den Großteil dieser Liste ab. Wenn Sie den datenbankgestützten Konfigurationsspeicher nutzen, lesen Sie diesen über die Management-API statt über die Benutzeroberfläche aus, damit nichts übersehen wird.
Schritt 2: Zuordnung der Bifrost-Konzepte zum neuen Gateway
Die folgende Zuordnung ist das Herzstück der Migration. Das Verhalten von Bifrost stammt aus den Bifrost-Docs; das Verhalten von TrueFoundry stammt aus den in jeder Zeile verlinkten TrueFoundry-Docs.
CEL-Routing-Regeln umschreiben
CEL-Regeln sind der Teil einer Bifrost-Konfiguration, der sich nicht mechanisch übersetzen lässt. Sortieren Sie jede Regel nach ihrer tatsächlichen Funktion:
- Traffic aufteilen oder Failover durchführen (gewichtete Ziele, Fallbacks): Wird zu einem virtuellen Modell.
- Routing nach Team oder Umgebung (zum Beispiel ein Header wie
x-environment): Wird zu einem separaten virtuellen Modell pro Umgebung mit Zugriffsberechtigung für das richtige Team oder zu metadatenbasierten Richtlinien. - Reaktion auf Budgetnutzung (Weiterleitung von Traffic zu einem günstigeren Modell nach Überschreiten eines Schwellenwerts): Wird zu einer Budgetregel plus Fallback oder zu einer Entscheidung in der Anwendung.
- Alles andere: Schreiben Sie es auf und entscheiden Sie, ob es überhaupt in das Gateway gehört.
Schritt 3: Clients anpassen
Für eine Anwendung, die das OpenAI SDK verwendet, umfasst die Änderung drei Werte: Base URL, API-Schlüssel und Modellname.
Einige Dinge, die pro Aufrufer zu prüfen sind:
- Authentifizierung wird obligatorisch. In unseren Tests akzeptierte eine Standard-Bifrost-OSS-Installation Anfragen ohne Anmeldedaten, sodass einige interne Aufrufer möglicherweise nie welche gesendet haben. Jede TrueFoundry-Anfrage erfordert ein Bearer-Token. Identifizieren Sie diese Aufrufer vor dem Cutover, nicht währenddessen.
- Provider-native Routen. Wenn ein Aufrufer die Anthropic-, Gemini- oder Bedrock-kompatiblen Routen von Bifrost mit dem eigenen SDK des Providers nutzt, prüfen Sie die native SDK-Unterstützung des Ziels. TrueFoundry unterstützt die SDKs von OpenAI, Anthropic, Google Gen AI, Azure OpenAI und boto3, wobei die Routing-Konfiguration für einige unterstützt wird und für andere nicht (Native SDK-Unterstützung).
- Antwortstruktur (Response Shape). Als wir das OpenAI Python SDK auf Bifrost v2.0.0 ausrichteten, stimmten vier von sechs Szenarien exakt mit OpenAI überein; die Streaming-Rolle, Logprobs und die Fehlerstruktur wichen jedoch ab. Code, der die Fehlerstrukturen von Bifrost parst oder dessen Streaming-Eigenheiten umgeht, muss möglicherweise angepasst werden, wenn er mit einem anderen Gateway kommuniziert. Testen Sie die Fehlerbehandlung, nicht nur den Happy Path.
- Unterschiede zwischen Providern bleiben bestehen. In unseren Bifrost-Tests erzeugte dieselbe Anfragestruktur bei verschiedenen Providern unterschiedliche Tool-Schema-Strenge, Reasoning-Parameter und Fehler bei nicht mehr unterstützten Modellen. Das gilt hinter jedem Gateway, daher sollten Sie vertragsbezogene Tests (Contract Tests) pro Provider in Ihrer CI beibehalten.
Schritt 4: Schrittweiser Cutover mit Rückfalloption
- Richten Sie das neue Gateway parallel zu Bifrost ein. Erstellen Sie Provider, Modelle, virtuelle Konten, Budgets im Audit-Modus, Rate Limits, Guardrails und Logging-Konfigurationen neu. Lassen Sie Bifrost unverändert.
- Führen Sie Contract-Tests gegen beide Gateways aus: Nicht-Streaming- und Streaming-Chat, Tool Calls, strukturierte Ausgaben, Embeddings, Fehlerfälle und jede von Ihnen genutzte Provider-native Route.
- Migrieren Sie zuerst einen Dienst mit geringem Risiko. Ändern Sie dessen Base URL, Token und Modellnamen über eine Konfiguration oder ein Feature-Flag, sodass das Zurückschalten ein Deployment und keine Codeänderung ist.
- Vergleichen Sie die Daten eine Woche lang. Token-Zahlen und berechnete Kosten pro Dienst sollten zwischen den Logs von Bifrost und dem Dashboard des neuen Gateways übereinstimmen. Eine Abweichung deutet meist auf eine falsche Preisgestaltung oder Zuordnung von Modellnamen hin.
- Migrieren Sie den Rest schrittweise, Dienste mit dem höchsten Volumen zuletzt. Schalten Sie Budgets von Audit auf Enforce um, sobald die Zahlen übereinstimmen.
- Lassen Sie Bifrost für ein Rollback-Fenster schreibgeschützt weiterlaufen, und widerrufen Sie danach seine virtuellen Schlüssel. Bei Multi-Replika-OSS wird das Widerrufen eines Schlüssels nicht zwischen den Pods synchronisiert. Starten Sie daher jedes Replikat nach dem Widerrufen neu oder schalten Sie Bifrost einfach ab.
Was nicht übertragbar ist
- Verlauf der Anfragen (Request History). Das SQLite- oder PostgreSQL-Schema von Bifrost ist kein stabiles Austauschformat. Wenn Sie den Verlauf für Audits oder Evaluierungen benötigen, exportieren Sie ihn vor der Außerbetriebnahme über die Logs-API oder Ihre bestehenden Connectors und speichern Sie ihn außerhalb des Gateways.
- Benutzerdefinierte Go-Plugins. Diese werden gegen einen spezifischen Bifrost-Core und eine bestimmte Go-Version kompiliert, sodass sie neu geschrieben werden müssen.
- CEL-Ausdrücke, wie oben beschrieben.
- Cache-Inhalte. Semantische und exakt passende Caches starten auf dem neuen Gateway ohne bestehende Daten.
- Dashboards und Alarme, die auf
bifrost_*-Metriknamen und -Labels aufgebaut sind. - Bifrost-spezifische Header wie
x-bf-vk,x-bf-dim-*,x-bf-lh-*und das Überschreiben des Loggings pro Anfrage. - MCP-OAuth-Zustimmungen für verbindungsbezogene Benutzer; Benutzer müssen sich erneut autorisieren.
Stolpersteine aus unserem eigenen Setup
Diese Erkenntnisse stammen aus der Installation einer TrueFoundry-Gateway-Ebene in unserem Cluster und dem Leiten von Test-Traffic darauf.
- Mandantenweite Guardrail-Regeln gelten sofort für neue Aufrufer. Unser Mandant hatte bereits eine PII-Guardrail-Regel; unsere ersten Testanfragen wurden mit HTTP 400 abgelehnt, bis wir das virtuelle Testkonto davon ausschlossen. Überprüfen Sie bestehende Guardrail-Regeln und führen Sie neue im Audit-Modus aus, bevor Sie den Produktions-Traffic umleiten.
- Request-Logging ist standardmäßig aktiviert. Bei einer gehosteten Control Plane sendet das Gateway Anfrage-Logs an diese. Sie können die Anfrage- und Antwortdaten stattdessen in einem Bucket in Ihrer eigenen Cloud speichern. Zudem können Logging-Konfigurationen das Body-Logging deaktivieren oder pro Team, Modell oder Metadaten anonymisieren. Klären Sie dies vor der ersten Produktionsanfrage mit Ihrem Sicherheitsteam.
- Selbstgehostete Modelle werden wie jeder andere Provider registriert. Wir haben einen OpenAI-kompatiblen Endpunkt, der in unserem Cluster läuft, als selbstgehostetes Modell registriert und als
<account>/<model>aufgerufen. Interne vLLM- oder ähnliche Endpunkte, die Sie heute über Bifrost erreichen, werden auf dieselbe Weise migriert. - Dimensionieren Sie für den zusätzlichen Pod. Das Chart der Gateway-Ebene führt Redis neben dem Gateway aus. Berücksichtigen Sie dies in Ihrer Kapazitäts- und Kostenplanung.
Ist ein verwaltetes Gateway das Richtige für Sie?
Bleiben Sie beim selbstgehosteten Bifrost, wenn Sie einen einzelnen Knoten betreiben, die Plattform-Engineers haben, um ihn zu betreuen, und kein SSO, Audit oder Service-Identitäten benötigen.
Migrieren Sie zu Bifrost Enterprise, wenn Sie bei Bifrost bleiben und das Gateway weiterhin selbst betreiben möchten, aber Clustering und die Sicherheitsfunktionen benötigen. Der Betrieb des Clusters, der hochverfügbaren PostgreSQL-Datenbank und der Upgrades liegt weiterhin bei Ihnen.
Migrieren Sie zu einem verwalteten Gateway, wenn der betriebliche Aufwand das Problem ist. Wählen Sie SaaS, wenn Ihre Datenrichtlinie dies zulässt, oder eine Gateway-Ebene in Ihrem eigenen Cluster, wenn der Modell-Traffic innerhalb Ihres Netzwerks verbleiben muss.
Warum TrueFoundry als Ziel?
- Sie wählen den Grad der Verwaltung. SaaS, eine Gateway-Ebene in Ihrem Cluster mit einer gehosteten Control Plane oder vollständig selbstgehostet, einschließlich Air-Gapped.
- Konfigurationssynchronisation ist die Architektur. Gateway-Pods sind zustandslos und erhalten Konfigurationen, Benutzer, virtuelle Konten und Autorisierungsregeln in Echtzeit von der Control Plane; die vollständige Konfiguration wird alle 10 Minuten neu veröffentlicht, sodass verpasste Updates nicht zu Abweichungen führen. Gateways bedienen Anfragen mit ihrer letzten Konfiguration weiter, falls die Control Plane nicht erreichbar ist (Architektur der Gateway-Ebene). Dies ersetzt das Modell von Bifrost OSS, bei dem jeder Pod neu gestartet werden muss.
- Integrierte Service-Identität. Virtuelle Konten geben jeder Anwendung ihr eigenes Token mit geplanter Rotation, einer Übergangsfrist (Grace Period) und Secret-Store-Synchronisation.
- Policy als Regeln. Budgets, Rate Limits, Guardrails und Logging sind separate Regelwerke, die auf Benutzer, Modell und Anfrage-Metadaten angewendet werden, inklusive Audit-Modi für ein sicheres Rollout.
Wenn Sie den Wechsel von einem selbstgehosteten AI Gateway planen, buchen Sie eine Demo und bringen Sie Ihre Bifrost-Konfiguration mit; wir können die Zuordnung gemeinsam durchgehen. Um sich zuerst das Produkt anzusehen, beginnen Sie auf der Seite zum TrueFoundry AI Gateway.
Weiterführende Informationen
- Bifrost-Preise: OSS, Enterprise-Kosten und was Teams wissen sollten
- Bifrost vs. LiteLLM
- Was ist ein LLM-Gateway?
- AI Gateway On-Premise: Alles, was Sie wissen müssen
- LiteLLM-Alternativen
Fazit
Bei der Migration von einem selbstgehosteten AI Gateway geht es weniger um die Client-Änderung – diese ist gering –, sondern vielmehr um das getreue Neuerstellen von Schlüsseln, Richtlinien und Routing sowie das anschließende schrittweise Umschalten einzelner Dienste mit Rückfalloption. Führen Sie zuerst die Bestandsaufnahme durch, ordnen Sie jeden virtuellen Schlüssel einer realen Identität zu, schreiben Sie CEL-Regeln gezielt neu statt sie nur stumpf zu übersetzen, und lassen Sie Bifrost laufen, bis die Zahlen übereinstimmen. Wenn Sie eine zweite Meinung zur Zuordnung wünschen, buchen Sie eine TrueFoundry-Demo.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.



Steuern, implementieren und verfolgen Sie KI in Ihrer eigenen Infrastruktur
Aktuelle Blogs
Häufig gestellte Fragen
Is TrueFoundry SOC 2 / HIPAA / GDPR compliant?
TrueFoundry supports SOC 2, HIPAA, and GDPR standards, with RBAC, SSO, and immutable audit logging built in. See the Trust Center for current attestations.









.webp)
.webp)








