Lunary-Integration mit dem TrueFoundry AI Gateway

‍

Lunary-Integration mit dem TrueFoundry AI Gateway

Das TrueFoundry AI Gateway bietet Ihnen einen einzigen OpenAI-kompatiblen Endpunkt für über 1.000 LLMs – inklusive intelligentem Routing, Fallbacks, Ratenbegrenzung und Kostenkontrolle. Das alles bei einer zusätzlichen Latenz von nur etwa 3–4 ms und über 350 RPS auf einer einzelnen vCPU. Genau diese Zentralisierung macht Observability handhabbar: Da jeder Request bereits über eine zentrale Steuerungsebene läuft, gibt es einen natürlichen Punkt, an dem Telemetriedaten ausgegeben werden können.

Lunary verwandelt diese Telemetriedaten in wertvolle Erkenntnisse. Anstatt sich durch Rohdaten-Logs zu wühlen, erhalten Sie eine strukturierte Trace-Ansicht: die Span-Hierarchie eines Requests, den exakten Prompt samt Antwort, Token-Anzahl, Latenz pro Schritt und die zugehörige Sitzung. Da das Gateway OpenTelemetry unterstützt, ist der Export herstellerneutral – Sie senden standardisierte OTLP-Spans und binden sich nicht an proprietäre Agents oder SDKs. Sollten Sie später ein weiteres OTEL-kompatibles Backend hinzufügen, kann das Gateway die Daten dorthin verteilen, ohne dass eine erneute Instrumentierung erforderlich ist.

Kurz gesagt: TrueFoundry übernimmt das Routing, die Governance und die Zuverlässigkeit Ihres LLM-Traffics, während Lunary Ihnen die nötigen Werkzeuge zur Analyse, Fehlerbehebung und Optimierung an die Hand gibt. So richten Sie es ein.

Was ist Lunary?

Lunary ist eine Observability-Plattform, die speziell für LLM- und Agent-Anwendungen entwickelt wurde. Sie erfasst Traces, analysiert Prompts und Antworten, überwacht das Verhalten von Agents und verfolgt die Kosten Ihrer produktiven GenAI-Workloads. Die für eine Gateway-Integration wichtigsten Funktionen sind:

• Agent- und LLM-Tracing – End-to-End-Transparenz für Chains, Agents, Tool-Aufrufe und Modellantworten, damit Sie die gesamte Struktur eines mehrstufigen Requests sehen können, anstatt nur eine einzelne, flache Log-Zeile.
• OpenTelemetry-Ingestion – Lunary akzeptiert OTLP/HTTP-Traces. Genau das ermöglicht den direkten Empfang von Spans aus dem TrueFoundry Gateway, ergänzt durch Spans aus Ihren SDKs und benutzerdefinierten Instrumentierungen.
• Sitzungsbasierte Überwachung – Verfolgen Sie Konversationen, Nutzer und Performance über Chatbot- und RAG-Workflows hinweg, statt nur isolierte Aufrufe zu betrachten.
• Evaluierung und Analytik – Analysieren Sie Durchläufe, kategorisieren Sie Ausgaben und optimieren Sie Prompts durch messbare Feedbackschleifen.

Lunary ist die ideale Lösung für Teams, die eine dedizierte, strukturierte Ansicht ihres LLM- und Agent-Traffics benötigen und diese als Managed-Cloud-Projekt betreiben möchten. Falls Sie noch verschiedene Optionen vergleichen, lohnt sich ein Blick auf unsere Übersicht der LLM-Observability-Tools , um zu sehen, wie sich Lunary im Vergleich zu anderen Plattformen positioniert.

Voraussetzungen

Stellen Sie sicher, dass Sie über Folgendes verfügen:

• Ein TrueFoundry-Konto mit mindestens einem konfigurierten Modellanbieter. Falls Sie neu sind, folgen Sie zuerst dem Gateway Quick Start Guide .
• Ein Lunary-Konto – registrieren Sie sich unter lunary.ai.
• Ihr öffentlicher Lunary-Projektschlüssel (auch als Projekt-ID oder Public Key bezeichnet), den Sie aus Ihren Lunary-Projekteinstellungen kopieren können.

Hinweis: Diese Integration unterstützt sowohl OTEL-Traces als auch Metriken. Traces werden an den /v1/traces-Endpunkt von Lunary gesendet. Falls Sie auch Metriken benötigen, stellt Lunary einen /v1/metrics-Endpunkt bereit, auf den Sie den Metrik-Exporter verweisen können.

Schritt-für-Schritt-Anleitung zur Integration

Die gesamte Integration erfolgt über die Konfiguration, nicht über Code – Sie verweisen den OpenTelemetry-Exporter des Gateways auf den OTLP-Endpunkt von Lunary und authentifizieren sich mit Ihrem öffentlichen Schlüssel.

Schritt 1: Abrufen Ihres öffentlichen Lunary-Schlüssels

1. Melden Sie sich im Lunary-Dashboard an.
2. Öffnen Sie Ihr Projekt und navigieren Sie zu Einstellungen → API-Schlüssel (im Bereich für Projektschlüssel).
3. Kopieren Sie die Projekt-ID / den öffentlichen Schlüssel. Behandeln Sie diesen wie Zugangsdaten für die Trace-Erfassung und bewahren Sie ihn sicher auf.

Lunary-Projekte enthalten sowohl einen öffentlichen als auch einen privaten Schlüssel. Für den OTLP-Trace-Export aus TrueFoundry wird der öffentliche Schlüssel empfohlen, aber beide funktionieren – er wird in Schritt 3 in den Authorization-Header eingetragen.

Schritt 2: OTEL-Trace-Export in TrueFoundry konfigurieren

1. Gehen Sie im TrueFoundry-Dashboard zu Einstellungen → Organisation → OTEL-Konfiguration (unter AI Gateway).
2. Klicken Sie auf Bearbeiten im Bereich OTEL-Konfiguration , um das Export-Formular zu öffnen, falls es noch nicht geöffnet ist.
3. Aktivieren Sie die Konfiguration des OTEL-Traces-Exporters Umschalter.
4. Wählen Sie HTTP-Konfiguration.
5. Geben Sie den Lunary-Traces-Endpunkt ein: https://api.lunary.ai/v1/traces‍
6. Stellen Sie die Kodierung auf Proto ein (JSON-Kodierung funktioniert ebenfalls, falls Sie diese bevorzugen).

Schritt 3: Autorisierungs-Header hinzufügen

Aktivieren Sie Header und fügen Sie Ihre Lunary-Authentifizierung hinzu:

Header-Wert Authorization Bearer <LUNARY_PUBLIC_KEY>

Ersetzen Sie <LUNARY_PUBLIC_KEY> durch den öffentlichen Schlüssel, den Sie in Schritt 1 kopiert haben, und klicken Sie dann auf Speichern , um die Konfiguration zu übernehmen.

Schritt 4: Integration überprüfen

1. Senden Sie einige Anfragen über das TrueFoundry AI Gateway – entweder über den Playground oder einen beliebigen API-Aufruf.
2. Öffnen Sie in TrueFoundry Monitor und bestätigen Sie, dass für diese Anfragen Traces generiert werden.
3. Öffnen Sie in Lunary Explore → Traces und bestätigen Sie, dass neue Spans mit der erwarteten Hierarchie, Token-Nutzung und Latenzdetails erscheinen.

Lunary erfasst OTLP-Spans asynchron. Warten Sie daher nach Ihrer ersten Gateway-Anfrage einen kurzen Moment, bevor Sie die Traces-Ansicht überprüfen. Sollten die Spans nicht sofort erscheinen, warten Sie einen Augenblick und senden Sie die Anfrage erneut.

Konfigurationsübersicht

Konfigurationswerte

‍Traces-Endpunkt : https://api.lunary.ai/v1/traces

Authentifizierung : Authorization Bearer <LUNARY_PUBLIC_KEY>

‍Protokoll : HTTP

‍Kodierung : Proto

Für SDK-basierte Instrumentierung, selbst gehostetes Lunary oder zusätzliche OpenTelemetry-Optionen siehe die Lunary-Dokumentation.

Ihre Vorteile

Sobald Traces fließen, ermöglicht Ihnen die Kombination aus Gateway-Steuerung und Trace-basierter Beobachtbarkeit Funktionen, die sonst nur schwer zu erreichen sind.

LLM-Beobachtbarkeit auf Trace-Ebene

Jede Anfrage, die das Gateway passiert, wird in Lunary zu einem strukturierten Trace – Prompt, Vervollständigung, Modell und Span-Hierarchie in einer einzigen Ansicht. Das ist der Unterschied zwischen dem Rätselraten über langsame oder fehlerhafte Antworten und dem direkten Einblick in das LLM-Tracing für diesen spezifischen Aufruf.

Transparenz bei Kosten und Token

Spans enthalten Informationen zu Token-Verbrauch und Latenz, sodass Sie Ausgaben und Performance bis auf die Ebene einzelner Anfragen und Sitzungen zurückverfolgen können. So lassen sich Prompt-Templates oder Modellentscheidungen, die Ihre Kosten unbemerkt in die Höhe treiben, wesentlich leichter identifizieren.

Überwachung von Agenten und MCP

Bei mehrstufigen Agenten und Tool-Calling-Workflows bewahrt die Trace-Ansicht die Aufrufhierarchie – einschließlich Details zu MCP- und Modellaufrufen –, sodass ein komplexer Agenten-Durchlauf als zusammenhängender Baum und nicht als verstreute Log-Zeilen dargestellt wird.

Von Grund auf herstellerneutral

Da der Export über standardisiertes OTLP via HTTP erfolgt, sind Sie nicht an ein einzelnes Backend gebunden. Dieselbe OpenTelemetry-Pipeline, die Lunary speist, kann jedes andere OTEL-kompatible Ziel versorgen, was Ihre AI-Gateway-Observability -Strategie flexibel hält.

Zentralisierte Steuerung, dezentrale Erkenntnisse

Das Gateway bleibt der zentrale Durchsetzungspunkt für Routing, Ratenbegrenzungen und Governance, während Ihre Beobachtbarkeit in einem spezialisierten Tool für LLM- und Agenten-Traffic stattfindet. So erhalten Sie Governance, ohne auf Transparenz verzichten zu müssen.

Fazit

LLM-Observability sollte nicht bedeuten, dass Sie jeden Dienst aufwendig instrumentieren oder sich an eine geschlossene Plattform binden müssen. Durch die Integration von Lunary mit dem TrueFoundry AI Gateway leiten Sie Ihren gesamten LLM-Datenverkehr über eine OpenAI-kompatible Steuerungsebene und exportieren standardisierte OpenTelemetry-Traces an Lunary. So erfassen Sie Prompts, Completions, Token-Verbrauch, Latenzzeiten und vollständige Agenten-Hierarchien mit nur wenigen Minuten Konfigurationsaufwand.

Leiten Sie Ihren LLM-Datenverkehr über das TrueFoundry AI Gateway und beginnen Sie noch heute mit der Übertragung von Traces an Lunary.

‍