Coralogix-Integration mit TrueFoundry AI Gateway

Während Teams von KI-Experimenten zu produktionstauglichen Anwendungen übergehen, taucht ein Thema überall auf: Beobachtbarkeit ist nicht verhandelbar. Es reicht nicht mehr aus, zu wissen, ob eine Anfrage erfolgreich war oder nicht. Du musst das verstehen warum ein Modell verhielt sich auf eine bestimmte Art und Weise, welche Eingabeaufforderungen oder Tools beteiligt waren und wie sich das auf Kosten, Latenz und Benutzererfahrung auswirkte.

Genau das ist die Integration zwischen TrueFoundry KI-Gateway und Coralogix ist gebaut für. TrueFoundry AI Gateway bietet Teams eine einzige Kontrollebene für LLMs und Agenten aller Anbieter und Umgebungen mit Routing, Ratenbegrenzung, Leitplanken, Wiederholungsversuchen und Kostenkontrollen auf dem Anforderungspfad. Coralogix ist eine Full-Stack-Observability-Plattform, die Protokolle, Metriken, Traces und Sicherheitsdaten vereinheitlicht und mithilfe von Echtzeitanalysen die Untersuchung von Problemen und die Überwachung der Leistung im großen Maßstab vereinfacht.

Zusammen bieten sie Ihnen eine durchgängige KI-Beobachtbarkeit: von einer Benutzeranfrage, die das Gateway erreicht, über die Modell- und Tool-Aufrufe, die im Downstream erfolgen, bis hin zu den Traces und Metriken, die in Dashboards und Alerts einfließen.

Warum Coralogix und TrueFoundry

Moderne KI-Systeme sind nicht mehr „ein Modell und ein Endpunkt“. Echte Implementierungen umfassen mehrere Modellanbieter, lokale und gehostete Modelle, Abrufsysteme, Tool-Aufrufe und Agenten-Frameworks. Sie laufen auch über Entwicklung, Staging und Produktion hinweg — oft regionsübergreifend — und dieselbe Benutzererfahrung kann sich über mehrere Dienste und Abhängigkeiten erstrecken.

Diese Komplexität führt dazu, dass die traditionelle Überwachung schnell auseinanderfällt. Wenn Sie nur verstreute Protokolle haben, rätseln Sie am Ende: Wurde die Verlangsamung durch den Modellanbieter, den Abruf, die Ausführung des Tools oder durch Ihren eigenen Service verursacht? Wenn eine Version zu einem Anstieg der Token-Nutzung geführt hat, durch welche Route oder Funktion wurde die Änderung eingeführt? Wenn es zu Produktionsvorfällen kommt, müssen Sie in der Lage sein, innerhalb von Minuten von einem Symptom zum genauen Anforderungspfad zu gelangen.

Der einfachste Weg, dies zu tun, besteht darin, KI-Verkehr wie erstklassigen Anwendungsverkehr zu behandeln, mit Traces, die den gesamten Anforderungslebenszyklus anzeigen, und Metadaten, die Ihnen helfen, nach Modell, Route, Umgebung, Latenz und Ergebnissen zu filtern.

Die Leistung des TrueFoundry AI Gateways

TrueFoundry AI Gateway befindet sich als eine einzige gesteuerte Ebene vor Ihrem LLM- und Agentenverkehr. Es zentralisiert den Modellzugriff über Anbieter und Bereitstellungen hinweg, wendet Routing-Regeln, Ratenbegrenzungen und Leitplanken an und bietet Kontrollen auf Anforderungsebene, mit denen Teams KI in der Produktion zuverlässig einsetzen können. Der entscheidende Vorteil ist die Konsistenz: Jede Anfrage folgt demselben kontrollierten Pfad, und das Gateway wird zum natürlichen Ort, an dem Telemetriedaten gemessen und exportiert werden, um die Beobachtbarkeit zu gewährleisten.

Coralogix zur Beobachtung der Produktion

Coralogix ist so konzipiert, dass es Telemetrie in großen Mengen aufnimmt und sie in Echtzeit erkundbar macht. Wenn Traces im selben System wie Ihre Logs und Metriken verfügbar sind, werden Untersuchungen schneller und fundierter. Anstatt zu versuchen, eine Geschichte aus verteilten Protokollen zu rekonstruieren, können Sie den Trace verfolgen, die Engpassspanne identifizieren und diese mit Infrastrukturkennzahlen oder dem Abhängigkeitsverhalten korrelieren.

Gemeinsam besser: Durchgängige KI-Beobachtbarkeit mit OpenTelemetry

Die Integration basiert auf OpenTelemetry, wodurch die Dinge standardbasiert und einfach zu verwalten sind. TrueFoundry AI Gateway instrumentiert LLM- und Agentenanfragen mithilfe von OpenTelemetry und exportiert Traces über gRPC nach Coralogix, wobei jeder Trace umfangreiche Metadaten beigefügt sind (wie Modell, Route, Anwendungs-/Subsystemkennungen, Latenz und Status). Coralogix nimmt diese Daten dann auf und analysiert sie, sodass Ihre Teams Dashboards erstellen, Warnmeldungen einrichten und spezifische Anfragen durchgängig untersuchen können.

Coralogix unterstützt den Empfang von OpenTelemetry-kompatiblen Traces über seinen Eingangsendpunkt über gRPC. Dies macht es zu einer direkten Integration zwischen Exporteur und Plattform und nicht zu einer benutzerdefinierten Pipeline, die Sie verwalten müssen.

So funktioniert die Integration

Auf hoher Ebene erreicht eine Benutzeranfrage das TrueFoundry AI Gateway, das Gateway erstellt OpenTelemetry-Spans für die Anfrage und die Downstream-Modell-/Tool-Aktivität, und der Exporter sendet diese Spans über gRPC an den OpenTelemetry-Aufnahmeendpunkt von Coralogix. Die Traces kommen bereits strukturiert in Coralogix an, sodass Ihre Teams nach Anwendung und Subsystem filtern, eine bestimmte Anfrage genauer untersuchen und schnell erkennen können, wo Latenz, Fehler oder unerwartetes Verhalten aufgetreten sind.

Schritt für Schritt: Coralogix mit TrueFoundry AI Gateway einrichten

Erfassen Sie in Coralogix den OpenTelemetry gRPC-Endpunkt für Ihre Region, Ihren Coralogix-API-Schlüssel und entscheiden Sie Anwendung und Teilsystem Namen, die Sie für die Organisation von Traces verwenden möchten. Die Auswahl stabiler, aussagekräftiger Namen hilft später beim Erstellen von Abfragen und Dashboards, da Sie Ihre AI Gateway-Traces sauber nach diesen Labels filtern können.

Öffnen Sie im TrueFoundry AI Gateway-Dashboard die OTEL-Konfiguration für das Gateway und aktivieren Sie den Traces-Exporter. Stellen Sie das Protokoll auf gRPC ein und konfigurieren Sie den Endpunkt so, dass er auf den Coralogix OpenTelemetry-Aufnahmeendpunkt für Ihre Kontoregion verweist. Sobald dies gespeichert ist, beginnt das Gateway mit dem Exportieren von Traces für LLM- und Agentenanfragen über den konfigurierten Exporter-Pfad.

Coralogix erwartet Header, die sowohl die Anfrage authentifizieren als auch dabei helfen, Traces der richtigen Anwendung und dem richtigen Subsystem zuzuordnen. Legen Sie in der AI Gateway OTEL Exporter-Konfiguration Header fest, die Ihren API-Schlüssel sowie die von Ihnen ausgewählten Anwendung/Subsystemkennungen enthalten. Eine typische Konfiguration sieht so aus:

Genehmigung: Inhaber <coralogix-api-key>
CX-Anwendungsname: <application-name>
CX-Subsystemname: <subsystem-name>


Wenn die Konfiguration abgeschlossen ist, senden Sie Testdatenverkehr über das Gateway (z. B. einige abgeschlossene Chats oder einen Agentenlauf). Vergewissern Sie sich in TrueFoundry, dass Traces für Anfragen erstellt werden, wechseln Sie dann zu Coralogix und öffnen Sie das Tracing-Erlebnis. Filtern Sie nach den von Ihnen konfigurierten Anwendungs-/Subsystemnamen und stellen Sie sicher, dass Sie die Spannweiten sehen können, die der AI Gateway-Aktivität entsprechen, einschließlich Attributen wie Route, Modell, Latenz und Status.

Was Teams tun, wenn Spuren fließen

Mit Gateway-Traces in Coralogix können Teams die Latenz zwischen Routen und Modellen so messen, dass sie in der Produktion tatsächlich umsetzbar sind. Statt einer einzigen „API-Latenz“ -Zahl können Sie sehen, wie sich verschiedene Modelle unter Last verhalten, welche Routen rückläufig sind und ob es bei Ausfällen um einen bestimmten Anbieter oder eine Abhängigkeit geht. Da Traces auf natürliche Weise mit dem Rest Ihrer Telemetrie korrelieren, können Sie die KI-Latenz auch mit der zugrunde liegenden Infrastruktur oder nachgelagerten Serviceproblemen in Verbindung bringen.

KI-Kostenprobleme zeigen sich häufig in einem plötzlichen Anstieg der Token-Nutzung, längeren Konversationen oder einer höheren Anruffrequenz im Zusammenhang mit einer neuen Funktion oder Version. Mithilfe von Metadaten auf Anfrageebene in Traces können Teams erkennen, welche Strecken oder Mieter zu Nutzungsänderungen führen, und Warnmeldungen einrichten, wenn sich das Kostenverhalten unerwartet ändert. Diese Erkenntnisse werden noch nützlicher, wenn sie mit AI Gateway-Steuerelementen wie Routing-Regeln, Ratenlimits und Budgets kombiniert werden, da die Beobachtbarkeit direkt zu Korrekturmaßnahmen führen kann.

Agenten fühlen sich aus vielen Gründen „langsam“ oder „falsch“: Tool-Timeouts, Probleme beim Abrufen, schnelle Regressionen oder Modell-/Anbieterwechsel. Mithilfe von Traces können Teams die Anfrage über die gesamte Kette von Aufrufen verfolgen, die langsame Spanne genauer untersuchen und feststellen, ob der Engpass das Modell, ein Tool, der Abruf oder Ihre eigene Anwendungslogik ist. Das ist der Unterschied zwischen Erraten und Wissen.

Erstellen Sie KI-spezifische Dashboards und Benachrichtigungen

Sobald Sie strukturierte Traces erstellt haben, können Sie ganz einfach Dashboards erstellen, die widerspiegeln, wie KI tatsächlich in Ihrem Produkt verwendet wird: Gateway-Traffic nach Route und Modell, Fehlerraten- und Timeout-Trends nach Anbietern, Latenzperzentile für wichtige Benutzerreisen und Warnungen, die ausgelöst werden, wenn ein einzelner Anbieter oder eine einzelne Route abnimmt. Dies beschleunigt die Reaktion auf Vorfälle und reduziert das Betriebsrisiko, das sich aus der schnellen Bereitstellung von KI-Funktionen ergibt.

Die richtige Coralogix-Region auswählen

Aus Leistungs- und Compliance-Gründen ist es wichtig, Traces auf den Coralogix-Endpunkt zu exportieren, der der Region Ihres Kontos entspricht. Coralogix bietet einen OpenTelemetry-kompatiblen Eingangsendpunkt (über gRPC), und der richtige regionale Endpunkt hängt davon ab, wo Ihr Coralogix-Konto gehostet wird. (Coralogix)

Fazit

KI-Anwendungen werden schnell unternehmenskritisch, und die Messlatte für Zuverlässigkeit, Leistung und Kostenkontrolle steigt ständig. Die Integration von TrueFoundry AI Gateway und Coralogix bietet Teams eine praktische, auf Standards basierende Möglichkeit, einen umfassenden Überblick über den KI-Verkehr zu erhalten. Sie zentralisieren die Kontrolle über LLM- und Agentenanfragen im Gateway, und Sie zentralisieren die Beobachtbarkeit in Coralogix mit Echtzeit-Traces, die die Überwachung und das Debuggen erheblich vereinfachen.