So migrieren Sie von Portkey zu TrueFoundry
.webp)
Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Portkey ist ein leistungsfähiges AI Gateway, das für Teams gut funktioniert, die in die jeweiligen Tarife passen. Die Schwierigkeit, auf die viele Teams stoßen, ist nicht das Fehlen von Funktionen im Abstrakten, sondern wo die jeweilige Funktion in der Preisstruktur angesiedelt ist. Die nächste Funktion, die Sie benötigen – SSO, ein längeres Log-Fenster, ein VPC-Deployment, PII-Anonymisierung – befindet sich meist eine Stufe höher als Ihr aktueller Tarif, und die oberste Stufe ist individuell bepreist und unübersichtlich.
Diese Staffelung ist es, die eine Evaluierung von Portkey in ein Migrationsgespräch verwandelt. Ein Team im Pro-Tarif stellt fest, dass SSO auf dieser Stufe überhaupt nicht verfügbar ist, dass eine 30-tägige Log-Aufbewahrung für eine Vorfallsuntersuchung oder ein Compliance-Audit nicht ausreicht und dass der Betrieb der Data Plane im eigenen VPC den Enterprise-Tarif erfordert. An diesem Punkt stellt sich die Frage, ob man einen intransparenten Enterprise-Vertrag für Funktionen verhandeln soll, die eigentlich Standard sein sollten, oder ob man zu einem Gateway wechselt, bei dem Governance und Deployment-Flexibilität nicht hinter der höchsten Stufe versteckt sind.
Dies ist ein Migrationsleitfaden für Teams in dieser Situation. Er beschreibt die Tarifrealität von Portkey sachlich, nennt die spezifischen Gründe für einen Wechsel und legt eine Schritt-für-Schritt-Migration zu TrueFoundry dar, die risikoarm ist, da beide Gateways die OpenAI-kompatible API nutzen. In den meisten Fällen besteht die clientseitige Änderung lediglich im Anpassen einer einzigen Base-URL.
Sie wünschen sich SSO, VPC und eine umfassende Kostensteuerung ohne Hürden durch Tarifstufen? Buchen Sie eine Demo.
Die Tarifrealität von Portkey
Um eine Migration zu planen, benötigen Sie eine ehrliche Übersicht darüber, was Portkey auf welcher Stufe bietet, da die gesamte Entscheidung davon abhängt.

Der Open-Source-Kern bietet nur Routing. Das OSS-Gateway von Portkey übernimmt Routing, Fallback und Load Balancing. Es enthält keine Observability, kein Caching, keine virtuellen Schlüssel und kein RBAC. Wenn Sie Portkey OSS in der Erwartung des vollständigen Produkts eingeführt haben, haben Sie nur die Request-Routing-Schicht erhalten und sonst nichts.
Das gehostete Produkt ergänzt die operative Schicht. Logs und Traces, virtuelle Schlüssel, Caching und Prompt-Management sind im gehosteten (Managed-)Produkt enthalten, nicht im OSS-Kern. Hier betreiben die meisten Teams Portkey tatsächlich.
Enterprise beschränkt Governance- und Deployment-Funktionen. SSO, Compliance-Funktionen, VPC/private Mandantenfähigkeit, PII-Anonymisierung und ein BAA gibt es nur im Enterprise-Tarif mit individuellen Preisen. Die Funktionen, die für ein reguliertes Unternehmen am wichtigsten sind, liegen hinter der Stufe ohne öffentlich einsehbare Preise.
Die spezifischen Limits des Pro-Tarifs. Die veröffentlichten Tarife machen die Obergrenzen deutlich:
Der Sprung vom Pro- zum Enterprise-Tarif ist nicht schrittweise. Es gibt keine Zwischenstufe, auf der Sie nur SSO oder nur eine 90-tägige Aufbewahrung kaufen können. In dem Moment, in dem Sie eine Enterprise-Funktion benötigen, befinden Sie sich in Verhandlungen über individuelle Preise – genau die Hürde, die Teams dazu veranlasst, Alternativen zu evaluieren.
Warum Teams zu TrueFoundry migrieren
Die Gründe sind spezifisch und decken sich mit der oben genannten Tarifstruktur.
- SSO, Compliance und VPC ohne intransparente Preissprünge. Teams benötigen IdP-gestütztes SSO, SCIM-Bereitstellung, Auditing und die Möglichkeit, die Data Plane im eigenen Netzwerk auszuführen – und sie möchten diese grundlegenden Governance-Funktionen nicht hinter einem individuellen Enterprise-Vertrag verschlossen sehen.
- Tiefere Kostensteuerung. Über Limits pro Schlüssel hinaus verlangen Teams Budgets und Rate Limits pro Benutzer, Team und Modell mit echter Kostenzuordnung nach Teams, damit FinOps Ausgaben genau zuweisen kann, anstatt ein aggregiertes Log auszuwerten.
- Konsolidierung in einer Control Plane. Anstatt ein Gateway hier, Observability dort und MCP-Governance an dritter Stelle zu haben, bevorzugen Teams Gateway + Governance + Observability + MCP in einer einzigen Control Plane – inklusive der Option für On-Prem- oder Air-Gapped-Deployments, anstatt VPC nur in der obersten Tarifstufe anzubieten.
- Selbst bestimmte Aufbewahrungsfristen. Ein festes 30-Tage-Log-Fenster ist für Vorfallsforensik und Audits zu kurz. Teams möchten die Aufbewahrung an ihren Compliance-Anforderungen ausrichten, nicht an ihrer Tarifstufe.
TrueFoundry ist genau darauf ausgelegt: ein einheitliches OpenAI-kompatibles Gateway mit Routing (Latenz, Gewichtung, Priorität), Fallback mit In-Request-Retries, exaktem und semantischem Caching, Budgets und Rate Limits pro Benutzer/Team/Modell, Per-Request-Observability mit Kostenzuordnung, Inline-Guardrails sowie RBAC, SSO, SCIM und Auditing – plus ein MCP Gateway. Alles in einer Control Plane, die als SaaS, in-VPC, On-Prem oder Air-Gapped bereitgestellt werden kann, wobei die Data Plane in Ihrem Netzwerk verbleibt. Die Governance ist keine Tarifstufe; sie ist das Produkt selbst. Für den allgemeinen Auswahlrahmen siehe wie man ein AI Gateway auswählt.
Erfahren Sie, wie TrueFoundry Gateway, Governance und Observability in einer Ebene konsolidiert. Buchen Sie eine Demo.
Der Migrationspfad
Die Migration erfolgt schrittweise und ist umkehrbar. Sie stellen nicht alles auf einmal um. Da beide Gateways die OpenAI-kompatible API unterstützen, ist die clientseitige Anpassung minimal.

Schritt 1: Inventarisierung
Erfassen Sie, was Portkey derzeit für Sie übernimmt:
- Jede Konfiguration (die Routing-, Fallback-, Caching- und Retry-Definitionen).
- Jeden virtuellen Schlüssel und welche App oder welches Team ihn nutzt, inklusive der jeweiligen Limits.
- Alle konfigurierten Guardrails und sämtliche Prompt-Management-Assets, falls Sie diese Funktion nutzen.
- Alle bei Portkey hinterlegten Provider-Anmeldedaten.
- Ihre Anforderungen an die Log-Aufbewahrung und alle zu erfüllenden Compliance-Vorgaben.
- Jeden Aufrufer: die Anwendungen, Services und Jobs, die auf den Endpunkt von Portkey verweisen, sowie die von ihnen verwendeten Base-URLs.
Halten Sie die Aufbewahrungs- und Compliance-Erwartungen explizit fest. Ein Grund für Ihre Migration ist wahrscheinlich, dass 30 Tage nicht ausreichen. Definieren Sie das Ziel (z. B. 180 oder 365 Tage) daher direkt als Migrationsanforderung.
Schritt 2: Konzepte zuordnen
Übersetzen Sie die Portkey-Konzepte in die entsprechenden TrueFoundry-Entsprechungen. Die Funktionen überschneiden sich, sodass es sich eher um eine Neustrukturierung als um einen Neuaufbau handelt.
Schritt 3: Parallelbetrieb
Dies gewährleistet eine sichere Migration. Da sowohl Portkey als auch TrueFoundry eine OpenAI-kompatible API bereitstellen, muss auf Clientseite lediglich die Base-URL geändert werden. Kein Wechsel des SDKs, keine Anpassung der Request-Struktur, keine Änderung beim Parsen der Antworten.
Bauen Sie TrueFoundry parallel zu Portkey auf. Leiten Sie einen Service mit geringem Risiko an die neue Base-URL um und überprüfen Sie: Die Antworten stimmen überein, die Observability zeigt den Traffic mit korrekter Kostenzuordnung an, Budgets und Guardrails verhalten sich wie konfiguriert und die Cache-Treffer erfolgen wie erwartet. Da beide Endpunkte aktiv sind, können Sie sie direkt vergleichen und einen Service innerhalb von Sekunden wieder auf die Base-URL von Portkey zurücksetzen, falls unerwartete Probleme auftreten.
Ein konkretes Beispiel: Wenn Ihr Service seinen Endpunkt aus OPENAI_API_BASE liest, erfordert die Migration dieses Service lediglich das Ändern einer Umgebungsvariablen und einen Neustart. Ein Rollback bedeutet das einfache Zurückändern dieser Variablen. Das ist das gesamte Risiko auf Clientseite, wenn beide Gateways dieselbe API nutzen.
Schritt 4: Observability und Aufbewahrungserwartungen migrieren
Dieser Schritt ist spezifisch für die Portkey-Migration, da die Aufbewahrungsfrist oft der Hauptgrund für den Wechsel ist. Stellen Sie vor dem Umstellen des Produktions-Traffics sicher, dass die Observability von TrueFoundry dieselben Daten erfasst wie die Logs von Portkey: Tokens pro Anfrage, Latenz, Modell und Kosten. Überprüfen Sie zudem, dass die Aufbewahrung auf Ihr Zielfenster eingestellt ist und nicht auf die vom Tarif vorgegebenen 30 Tage. Validieren Sie, dass die Kostenzuordnung nach Teams getaggt ist, wie es FinOps benötigt – denn der Wechsel von aggregierten gehosteten Logs zu einer teambezogenen Per-Request-Observability ist einer der konkreten Vorteile, für die Sie migrieren. Übersichtliche Informationen dazu, was eine gute Per-Request-Observability beinhalten sollte, finden Sie in unserem Leitfaden zu LLM-Observability-Tools.
Schritt 5: Umstellung nach Teams
Migrieren Sie den Traffic in Wellen, aufgeteilt nach Teams oder Anwendungen:
- Wählen Sie ein Team aus. Erstellen Sie dessen TrueFoundry-Zugang, die RBAC-Rolle, Budgets und den Modellkatalog-Umfang entsprechend den bisherigen Limits der virtuellen Schlüssel in Portkey.
- Ändern Sie die Base-URL der Aufrufer dieses Teams auf TrueFoundry.
- Überwachen Sie die Observability über einen festgelegten Testzeitraum: Kostenzuordnung, Latenz, Fehlerrate, Cache-Trefferquote und Guardrail-Verhalten.
- Führen Sie den Prozess für das nächste Team durch.
Eine Umstellung pro Team bietet eine klare Rollback-Grenze und ermöglicht es Ihnen, Budgets und Zugriffsrechte beim Wechsel direkt korrekt pro Team zu definieren, anstatt ein Geflecht geteilter virtueller Schlüssel in einem einzigen risikoreichen Sprung zu übertragen.
Schritt 6: Stilllegung
Sobald alle Aufrufer auf TrueFoundry verweisen und lange genug stabil gelaufen sind, legen Sie Portkey still: Stoppen Sie das Routing dorthin, entfernen Sie Provider-Secrets aus den Konfigurationen und rotieren Sie diese Provider-Anmeldedaten, damit die alten Kopien ungültig werden. Stellen Sie sicher, dass kein Job, Notebook oder CI-Schritt mehr auf den alten Endpunkt verweist, bevor Sie ihn abschalten. Die Migration ist abgeschlossen, wenn es einen einzigen verwalteten Pfad zu jedem Modell gibt und keine verwaiste Portkey-Konfiguration mehr aktive Schlüssel enthält.
Portkey im Vergleich zu einer einheitlichen Control Plane
Der strukturelle Unterschied – und der Grund, warum sich die Migration für die entsprechenden Teams lohnt – liegt darin, wo die Governance angesiedelt ist.
Der Punkt ist nicht, dass Portkey diese Funktionen fehlen – die Enterprise-Stufe bietet viele davon. Der Punkt ist, dass für ein Team, das SSO, VPC und eine verlässliche Aufbewahrung benötigt, diese Funktionen in einer einheitlichen Control Plane Standard sind, anstatt Anlass für eine Verhandlung über individuelle Enterprise-Preise zu sein. Für Teams, die auch den Zugriff auf MCP-Tools verwalten möchten, wird die Konsolidierung in derselben Ebene im Artikel über Enterprise-MCP-Governance behandelt.
Typische Fehler bei der Migration
Migration vor Definition des Aufbewahrungsziels. Der Grund für das Verlassen von Portkey ist für viele Teams das 30-Tage-Log-Limit. Dennoch migrieren einige, ohne die tatsächlich benötigte Aufbewahrungsfrist schriftlich zu fixieren. Definieren Sie den Zielzeitraum als explizite Anforderung, um ihn bereits während des Parallelbetriebs zu validieren – nicht erst nach der Umstellung.
Übernahme geteilter virtueller Schlüssel 1:1. In Portkey-Umgebungen ansammelnde, gemeinsam genutzte virtuelle Schlüssel führen bei einer direkten Übertragung dazu, dass unregulierte Zugriffe im neuen System bestehen bleiben. Nutzen Sie die Umstellung, um RBAC pro Team über Ihren Identitätsanbieter zu definieren – dies ist schließlich einer der Hauptgründe für den Wechsel.
Den Base-URL-Tausch als die gesamte Migration betrachten. Die OpenAI-kompatible API macht die Änderung auf Clientseite trivial, der eigentliche Mehrwert liegt jedoch in der Governance: SSO, RBAC, Budgets, Auditing und eine selbst bestimmte Aufbewahrung. Das bloße Ändern von URLs ohne Konfiguration der Governance hinterlässt Sie mit einem anderen Gateway, aber denselben Schwachstellen.
Vergessen der Secret-Rotation bei der Stilllegung. Wenn Sie Portkey abschalten, die darin enthaltenen Provider-Schlüssel jedoch nicht rotieren, bleiben diese Anmeldedaten in einem stillgelegten, unüberwachten System aktiv. Rotieren Sie bei der Stilllegung jeden Zugangsschlüssel, der im alten Gateway hinterlegt war.
Umstellung per Big Bang. Die Umstellung der gesamten Organisation auf einen Schlag hebt Ihre Rollback-Grenze auf. Ein Parallelbetrieb und eine schrittweise Umstellung Team für Team halten eventuelle Probleme auf ein einzelnes Team beschränkt und ermöglichen eine Umkehrung durch das einfache Zurücksetzen einer einzigen Base-URL.
Fazit
Bei einer Migration von Portkey geht es selten um fehlende Funktionen im Allgemeinen, sondern darum, auf welcher Preisstufe sich diese Funktionen befinden. Wenn SSO, VPC, PII-Behandlung und eine verlässliche Log-Aufbewahrung ausschließlich in einem individuell bepreisten Enterprise-Tarif enthalten sind, steht ein Team vor der Wahl zwischen einer unübersichtlichen Preisverhandlung und dem Wechsel zu einer Plattform, bei der Governance und flexible Deployments zum Standard gehören.
Der Wechsel selbst ist risikoarm. Da beide Gateways die OpenAI-kompatible API nutzen, beschränkt sich die Anpassung auf Clientseite meist auf eine einzige Base-URL. Inventarisieren Sie Ihre Konfigurationen und virtuellen Schlüssel, ordnen Sie diese RBAC, Richtlinien und Observability zu, überprüfen Sie die Aufbewahrung während des Parallelbetriebs, stellen Sie Team für Team um und schließen Sie die Migration mit einer vollständigen Rotation aller Secrets ab. Auf diese Weise konsolidieren Sie Gateway, Governance, Observability und MCP in einer einzigen Control Plane in Ihrem eigenen Netzwerk – ganz ohne Code-Rewrite.
Wechseln Sie von Portkey zu einer einheitlichen Control Plane. Buchen Sie eine Demo.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.












.webp)
.webp)








