Exportieren Sie TrueFoundry AI Gateway-Traces mit OpenTelemetry nach Opik

Wenn ein LLM-Aufruf langsam, teuer oder fehlerhaft ist, möchten Sie den gesamten Request sehen: den Prompt, das Modell, die Token, die Tool-Aufrufe und die Latenz. Wenn Ihre Traces in einem Tool und Ihre Auswertungen in einem anderen liegen, ist dieses Gesamtbild zerrissen. Dieser Leitfaden zeigt Ihnen, wie Sie TrueFoundry AI Gateway-Traces über OpenTelemetry an Comet Opik senden. So erscheint jeder Request, den das Gateway verarbeitet, als vollständiger Trace in Opik – ganz ohne Änderungen an Ihrem Anwendungscode.

Warum Gateway-Traces an Opik exportieren?

Das TrueFoundry AI Gateway schaltet sich bereits vor jeden Modellaufruf und leitet über 1.000 LLMs durch eine OpenAI-kompatible API – bei einem Overhead von nur etwa 3–4 ms und über 350 RPS auf einer einzelnen vCPU. Da es bei jedem Request im Pfad liegt, ist es der ideale Ort für die Ausgabe von Traces. Das Gateway ist von Haus aus OpenTelemetry-konform, daher ist der Export an ein anderes Backend reine Konfigurationssache, kein technischer Aufwand.

Opik ist eine von Comet entwickelte Plattform für LLM-Observability und -Evaluierung. Sie nimmt OpenTelemetry-Spans auf und stellt sie als LLM-Traces dar – inklusive Inputs, Outputs, Token-Verbrauch, Latenz und Kosten pro Aufruf. Zudem können Sie Auswertungen für diesen Datenverkehr durchführen. Wenn Sie das Gateway auf Opik ausrichten, werden Ihre Produktions-Requests zu Traces, die Sie im selben Tool untersuchen und bewerten können. Die Traces landen standardmäßig weiterhin in TrueFoundry; der Export spiegelt sie zusätzlich in Opik.

So nehmen Sie die Einrichtung vor.

Voraussetzungen

• Ein TrueFoundry-Konto mit konfiguriertem AI Gateway, durch das Datenverkehr fließt.
• Ein Comet-Konto für Opik (Cloud, selbst gehostet oder Enterprise) mit Ihrem API-Schlüssel, dem Workspace-Namen und einem Ziel-Projektnamen.
• Zugriff auf die AI Gateway-Einstellungen im TrueFoundry-Dashboard.

Schritt-für-Schritt-Integrationsanleitung

Opik nimmt ausschließlich Traces entgegen und akzeptiert OTLP über HTTP. Die Einrichtung besteht also aus einem Exporter mit drei Headern. Es ist kein Programmieren erforderlich.

Schritt 1: API-Schlüssel und Workspace abrufen

Öffnen Sie in Opik Ihre Kontoeinstellungen und kopieren Sie Ihren API-Schlüssel. Notieren Sie sich Ihren Workspace-Namen aus dem Workspace-Umschalter und legen Sie den Projektnamen fest, in dem die Traces landen sollen. Das Projekt wird bei der ersten Datenübertragung automatisch erstellt, falls es noch nicht existiert.

Schritt 2: OTEL-Trace-Exporter konfigurieren

Gehen Sie im Dashboard zu „AI Gateway“, dann zu „Settings“ und schließlich zu „OTEL Config“. Aktivieren Sie den Trace-Exporter und geben Sie den Opik-Endpunkt sowie die Header ein.

Um Traces an Opik zu exportieren, konfigurieren Sie Ihren OpenTelemetry-Exporter so, dass er das HTTP-Protokoll mit Protobuf (Proto)-Kodierung verwendet und auf den folgenden Endpunkt verweist: https://www.comet.com/opik/api/v1/private/otel/v1/traces. Die Authentifizierung und das Routing erfolgen über drei Request-Header: den Autorisierung Der Header muss Ihren Opik-API-Schlüssel als reinen Wert enthalten. Beachten Sie, dass kein Bearer -Präfix eingefügt werden sollte, während die Header Comet-Workspace und projectName auf Ihren Workspace-Namen bzw. Projektnamen gesetzt werden müssen. Diese Header stellen sicher, dass eingehende Traces authentifiziert und im korrekten Workspace und Projekt innerhalb von Opik protokolliert werden.

Lassen Sie den Metrics Exporter deaktiviert. Opik erfasst Traces, keine OTLP-Metriken. Speichern Sie die Einstellungen, und neue Anfragen werden ab sofort an Opik gespiegelt.

Schritt 3: Überprüfen, ob die Traces ankommen

Senden Sie eine Anfrage über das Gateway und öffnen Sie anschließend die Traces-Ansicht für Ihr Projekt in Opik. Sie sollten nun Spans vom Gateway sehen, die mit Eingaben, Ausgaben, Token-Anzahl und Latenzzeiten gefüllt sind. Ein Modellaufruf erscheint als Chat-Completion-Trace; Agenten-Ausführungen zeigen den verschachtelten Baum aus Modell- und Tool-Call-Spans.

Was Sie erhalten: Vollständige LLM-Observability in Opik

Verteiltes Tracing über die gesamte Anfrage hinweg

Eine Agenten-Ausführung wird als ein einzelner Trace erfasst, unter dem die Modell- und Tool-Aufrufe verschachtelt sind. So können Sie eine mehrstufige Anfrage von Anfang bis Ende nachverfolgen, anstatt unzusammenhängende Log-Zeilen zu lesen.

Evaluierung auf echtem Produktions-Traffic

Da Ihre Live-Anfragen nun in Opik getraced werden, können Sie daraus Datensätze erstellen und Evaluierungen auf Basis des tatsächlichen Traffics durchführen, anstatt auf synthetische Stichproben angewiesen zu sein.

Transparenz bei Kosten und Latenz

Jeder Trace enthält Informationen zu Token-Verbrauch, Latenz und Kosten. So identifizieren Sie langsame oder teure Aufrufe, ohne Daten aus verschiedenen Tools mühsam zusammenführen zu müssen.

Keine Änderungen am Anwendungscode erforderlich

Der Export wird einmalig im Gateway konfiguriert. Jeder Dienst, der über das Gateway geleitet wird, wird automatisch getraced – Sie müssen kein SDK hinzufügen oder den Anwendungscode bearbeiten.

FAQ

F: Was bedeutet LLM-Observability über ein AI-Gateway? A: Das bedeutet, dass jeder Modellaufruf Ihrer Anwendungen am Gateway nachverfolgt wird, wobei Prompt, Antwort, Token, Latenz und Kosten für jede Anfrage erfasst werden. Das TrueFoundry AI Gateway basiert auf OpenTelemetry, sodass Sie diese Traces ohne Instrumentierung Ihres Codes an ein Backend wie Comet Opik exportieren können.

Q: Verhindert der Export nach Opik, dass Traces an TrueFoundry gesendet werden? A: Nein. Traces werden standardmäßig weiterhin in TrueFoundry gespeichert. Der OTEL-Export spiegelt sie zusätzlich zu Opik, sodass Sie beide behalten.

Q: Kann ich neben Traces auch Metriken nach Opik exportieren? A: Nein. Opik nimmt nur Traces auf, daher konfigurieren Sie den Traces-Exporter und lassen Metriken außen vor. Für Gateway-Metriken verwenden Sie ein Metrik-Backend wie Grafana, Datadog oder Prometheus.

Q: Wie viele LLMs unterstützt TrueFoundry? A: Über 1.000 LLMs über eine einzige OpenAI-kompatible API. Sie wechseln das Modell, indem Sie den Modellnamen in der Anfrage ändern, bei gleichbleibender URL und Anmeldedaten.

Q: Lässt es sich in meinen bestehenden Observability-Stack integrieren? A: Ja. Das Gateway ist OpenTelemetry-konform und lässt sich in Grafana, Datadog, Prometheus oder, wie hier, Comet Opik einbinden, wobei jede Anfrage vom Prompt bis zur Tool- und Modellausführung nachverfolgt wird.

Weiterführende Informationen

• Was ist ein LLM-Gateway? - die Architektur hinter dieser Integration
• Lösung zur Nachverfolgung von LLM-Kosten - tiefergehende Einblicke in die Ausgabentransparenz
• Observability im AI Gateway - wie Tracing auf Gateway-Ebene in das umfassendere Observability-Konzept passt

Fazit

Observability sollte nicht erfordern, jeden Dienst neu zu instrumentieren. Da das TrueFoundry AI Gateway OpenTelemetry-Traces an Comet Opik exportiert, wird jede Anfrage, die das Gateway verarbeitet, zu einem vollständigen Trace, den Sie untersuchen und auswerten können – einmal eingerichtet, überall angewendet. Starten Sie mit dem TrueFoundry AI Gateway.