Das erste KI-Modell in die Produktion zu bringen, ist selten der schwierige Teil. Der operative Aufwand zeigt sich erst, wenn das zweite oder dritte Team Zugriff, ein monatliches Budget und dieselben Kontrollmechanismen wie alle anderen anfordert.

Sowohl TrueFoundry als auch Kong Gateway können den Modellaufruf weiterleiten. Der Unterschied liegt darin, was Ihr Plattform-Team drumherum aufbauen und pflegen muss. TrueFoundry behandelt Teamzugriffe und Budgets als erstklassige Kontrollfunktionen. Kong Gateway setzt dasselbe Ergebnis aus Gateway-Entitäten, Plugins und Preiskonfigurationen zusammen. Dieser Unterschied potenziert sich mit zunehmender KI-Nutzung.

Kurz gefasst

TrueFoundry bietet Ihnen direkte Steuerungsmöglichkeiten für Modellzugriffe, Teambudgets und genehmigte Tools. Bei Kong setzen Sie diese Kontrollen über Gateway-Einstellungen und Plugins zusammen, was für Ihr Plattform-Team einen 3- bis 5-mal höheren Aufwand bedeutet. Wenn Sie TrueFoundry mit Kong Gateway vergleichen, schauen Sie über die Feature-Liste hinaus: Jemand muss diese Konfiguration noch lange nach Ende der Demo pflegen.

Das Support-Team startklar machen

Angenommen, das Modell ist bereits angebunden. In TrueFoundry gewähren Sie dem Team Zugriff und legen dessen Budgetfest. Bei Kong verbinden Sie die Gateway-Identität des Teams mit der Modellroute und konfigurieren ein Plugin für Ausgabenlimits. Sie müssen zudem die Modellpreise hinterlegen, um die Kosten in Dollar nachverfolgen zu können, und anschließend prüfen, ob die Einstellungen die Anforderungen des Teams abdecken. Nichts davon ist unbewältigbar. Es ist jedoch Arbeit, die Ihr Plattform-Team zusätzlich leisten muss.

Abbildung 1. TrueFoundry stellt den Modellzugriff und das Budget des Teams als erstklassige Kontrollfunktionen bereit. In Kong Gateway kombiniert das Plattform-Team Identität, Routing, Ratenbegrenzung und Preiskonfiguration und testet anschließend die resultierende Richtlinie. Bestehende Konfigurationen können wiederverwendet werden.

Der Aufwand wächst mit jedem neuen Team

Der Support ist einsatzbereit. Dann bittet der Vertrieb um ein höheres Budget und ein anderes Team benötigt eine Funktion, um Kundendaten aus Prompts zu entfernen. Bevor Ihre Ingenieure eine geteilte Einstellung ändern, müssen sie wissen, welche Teams davon betroffen sind.

In TrueFoundry verwalten Sie Budgets pro Team und wenden Sicherheitsrichtlinien auf den entsprechenden KI-Datenverkehr an. Teamleiter können ihre eigenen Budgets anpassen, während Administratoren die unternehmensweiten Kontrollen behalten. Das sorgt für klare Verantwortlichkeiten bei routinemäßigen Budgetänderungen.

Bei Kong entscheiden Ingenieure, wo jedes Sicherheits-Plugin angewendet wird, und gleichen dies mit dem bestehenden Setup ab. Es gibt Möglichkeiten, den Aufwand zu reduzieren: Kong unterstützt geteilte Konfigurationen und automatisierte Bereitstellungen. Das ist nützlich, besonders wenn Ihr Team bereits Kong einsetzt. Sie müssen jedoch weiterhin die Konfiguration und die dazugehörigen Tests pflegen – planen Sie also auch diese Ingenieurszeit ein.

Das Ausgabenlimit im Blick behalten

Ein monatliches Budget klingt einfach, bis sich der Preis eines Modells ändert. Bei einer vollständig selbst gehosteten On-Premises-Bereitstellung von Kong verwendet das Plugin für Ausgabenlimits die in der Konfiguration hinterlegten Modellpreise. Wenn diese Preise veraltet sind, kann der Nutzungszähler hinter der tatsächlichen Rechnung zurückbleiben. Jemand in Ihrem Team muss sie aktualisieren oder eine entsprechende Automatisierung entwickeln.

Kong bietet zwar einen automatisch aktualisierten Preiskatalog über Konnect Metering & Billing an, dieser separate Dienst ist jedoch nicht für On-Premises-Umgebungen verfügbar. Er sollte nicht mit den konfigurierten Preisen verwechselt werden, die vom Gateway-Plugin verwendet werden.

TrueFoundry aktualisiert öffentliche Preise automatisch für unterstützte Modelle. Für ausgehandelte Tarife benötigen Sie weiterhin individuelle Preise. Das folgende Beispiel zeigt, was passiert, wenn sich ein öffentlicher Tarif verdoppelt und Kong weiterhin den alten Preis verwendet: Die Finanzabteilung sieht eine Nutzung von 10 $, während der Anbieter 20 $ in Rechnung stellt.

Abbildung 2. Ein illustratives Beispiel für die On-Premises-Plugin-Einrichtung von Kong, kein gemeldeter Vorfall. Der Katalog von TrueFoundry wurde aktualisiert; der konfigurierte Preis in Kong hingegen nicht.

Für ein FinOps-Team ist diese Diskrepanz entscheidend. Ein Ausgabenlimit ist schwer zu rechtfertigen, wenn dessen Genauigkeit davon abhängt, dass jemand eine manuelle Preisanpassung nicht vergisst.

Tools zum Agenten hinzufügen

Sobald der Support-Assistent nützlich ist, folgt die nächste Anforderung auf dem Fuße: Er soll Bestellungen nachschlagen und Kundendaten prüfen können. Diese Aktionen basieren auf zwei bestehenden APIs. Sie möchten dem Agenten genau diese Tools zur Verfügung stellen.

MCP ist das Protokoll, das es Agenten ermöglicht, Tools zu nutzen. Mit TrueFoundry können Sie API-Spezifikationen importieren, Tools generieren und auswählen, welche davon gemeinsam bereitgestellt werden sollen. Sie müssen zwar weiterhin festlegen, was der Agent tun darf, aber Sie müssen nicht jedes Tool manuell definieren.

Der dokumentierte API-zu-MCP-Workflow von Kong umfasst die Konfiguration des Zugriffs auf jede API, die Definition ihrer Tools und deren Kennzeichnung für die Auffindbarkeit. Anschließend richten Sie einen gemeinsamen Endpunkt ein, um diese Tools zusammenzuführen. Jede zusätzliche API bringt einen weiteren Satz an Einstellungen mit sich, die verwaltet werden müssen.

Abbildung 3. TrueFoundry verwendet bestehende API-Spezifikationen zur Generierung von Tools. Beide Produkte erfordern weiterhin Zugriffskontrollen und Tests.

Ursachenanalyse bei fehlgeschlagenen Anfragen

Irgendwann wird der Assistent keine Antworten mehr liefern, und jemand wird nach dem Warum fragen. Es könnte ein erschöpftes Budget, eine Sicherheitsprüfung oder ein Ausfall beim Anbieter sein. Die Person, die den Vorfall untersucht, benötigt ausreichend Kontext, um die Ursache zu identifizieren.

TrueFoundry bietet Anfrageprotokolle in der AI Gateway-Oberfläche. Kong sendet KI-Nutzungsdaten über ein konfiguriertes Logging-Plugin. Versuchen Sie während Ihrer Evaluierung, eine fehlgeschlagene Anfrage in beiden Produkten nachzuverfolgen. Prüfen Sie, welche Erkenntnisse Sie aus den verfügbaren Protokollen gewinnen können und an welchen Stellen Sie Unterstützung von jemandem benötigen, der mit der Gateway-Einrichtung vertraut ist.

Wenn diese Person jedes Mal hinzugezogen werden muss, wird sie zur Standard-Support-Anlaufstelle für Anwendungsteams, Sicherheit und Finanzen. Diese Abhängigkeit sollte erkannt werden, bevor die Nutzung weiter zunimmt.

TrueFoundry vs. Kong im Überblick

‍