TrueFoundry-Integration mit Braintrust

Full-Stack-LLM-Observability: Braintrust und TrueFoundry AI Gateway

Während Unternehmen um die Bereitstellung KI-gestützter Anwendungen kämpfen, hört die Herausforderung schnell auf zu lauten: „Können wir einen LLM anrufen?“ und wird zu „Können wir dieses System sicher bedienen?“ Sobald Sie mehrere Anbieter, mehrere Modellversionen, Tools zum Aufrufen von Agenten und eine Geschäftslogik rund um jede Anfrage haben, zeigen sich die wahren Risiken in der Produktion: steigende Ausgaben ohne klare Zuordnung, Latenzregressionen, die schwer zu bestimmen sind, und Qualitätsänderungen, die von Benutzern wahrgenommen werden, bevor sie anhand von Daten nachgewiesen werden.

Hier passt die Kombination von TrueFoundry AI Gateway und Braintrust von selbst. TrueFoundry KI-Gateway ist die Proxyschicht zwischen Ihren Anwendungen und Modellanbietern. Sie wurde entwickelt, um Teams eine einheitliche Oberfläche mit Unternehmensführung und Beobachtbarkeit zu bieten. Braintrust ist eine Beobachtbarkeitsplattform, die Teams dabei helfen soll, echtes LLM-Verhalten im Laufe der Zeit zu verfolgen, zu bewerten und zu wiederholen. Zusammen bilden sie eine praktische Schleife: Leiten Sie den gesamten Modellverkehr durch einen einzigen Kontrollpunkt, exportieren automatisch umfangreiche Traces und verwenden diese Traces, um Qualität und Zuverlässigkeit zu verbessern — mit Beweisen statt Vermutungen.

Überblick über TrueFoundry AI Gateway

TrueFoundry KI-Gateway ist die Proxyschicht, die sich zwischen Ihren Anwendungen und den LLM-Anbietern und MCP-Servern befindet. Es handelt sich um eine Plattform für Unternehmen, die es Benutzern ermöglicht, über eine einheitliche Oberfläche auf über 1000 LLMs zuzugreifen und gleichzeitig für Observability und Governance zu sorgen. Das AI Gateway ist OpenTelemetrie-kompatibel und unterstützt den Export von OTEL-Traces. Das bedeutet, dass Sie Traces auf Anforderungsebene an ein externes Observability- oder LLM-Engineering-Backend streamen können, ohne Ihre Anwendungscodepfade zu ändern.

Kurz über Braintrust

Braintrust unterstützt die Verwendung als OpenTelemetry-Backend: Sie leiten Traces an Braintrust weiter, authentifizieren sich mit einem API-Schlüssel und hängen ein „übergeordnetes Objekt“ an (wie ein Projekt oder Experiment), damit Traces im richtigen Organisationsumfang landen. Sobald die Spuren in Braintrust sind, werden sie zur Grundlage für die täglichen technischen Arbeitsabläufe: Untersuchung von Latenz- und Fehlermustern, Verständnis der Token-Nutzung und Kostentreiber und Durchführung von Evaluierungen, die die Qualität der Ergebnisse im Laufe der Zeit quantifizieren, anstatt sich auf anekdotisches Feedback zu verlassen.

Zusammen besser: Eine nahtlose Integration für Produktionstransparenz und schnellere Iteration

Der wahre Vorteil entsteht, wenn das Gateway zur einzigen Informationsquelle für Telemetrie wird und Braintrust zu dem Ort wird, an dem diese Telemetrie in technische Erkenntnisse umgewandelt wird. Wenn der OTEL-Export in TrueFoundry AI Gateway aktiviert ist, kann jede LLM-Anfrage, die das Gateway durchläuft, automatisch einen Trace erzeugen, der den kritischen Kontext (Anforderungsmetadaten, Modell-/Anbieterauswahl und Timing) erfasst, ohne dass in jedem Dienst eine spezielle Instrumentierung erforderlich ist. Wenn Braintrust diese Traces erfasst, können Sie von „wir glauben, dass diese schnelle Änderung geholfen hat“ zu „Wir können die Auswirkungen auf den tatsächlichen Traffic nachweisen und Regressionen frühzeitig erkennen“ übergehen.

So funktioniert die Integration von Braintrust und TrueFoundry

Auf hoher Ebene sendet Ihre Anwendung LLM-Verkehr an TrueFoundry AI Gateway, das die Anfrage an den ausgewählten Modellanbieter weiterleitet. Parallel dazu sendet das Gateway OpenTelemetry-Traces für diese Interaktionen aus und exportiert sie in ein Otel-kompatibles Backend. Braintrust stellt einen Otel-kompatiblen Aufnahmepfad zur Verfügung, der diese Traces akzeptiert, wenn Sie die Authentifizierung und einen übergeordneten Umfang (Projekt oder Experiment) angeben.

Das bedeutet, dass Sie den Export einmal auf der Gateway-Ebene konfigurieren, und dann wird der Trace-Stream zu einer teamübergreifenden Ressource, die für Debugging, Ausgabenzuweisung, Leistungsüberwachung und Qualitätsbewertung nützlich ist, ohne dass Sie jede Anwendung, die ein LLM aufruft, nachrüsten müssen.

Erste Schritte: Exportieren Sie OTEL-Traces vom TrueFoundry AI Gateway nach Braintrust

Um dies zu verkabeln, konfigurieren Sie den OpenTelemetry-Export des AI Gateways so, dass er auf den Trace-Ingestion-Endpunkt von Braintrust zeigt. Das AI Gateway von TrueFoundry verfügt über den OTEL-Trace-Export als erstklassige Funktion, einschließlich HTTP/gRPC-Exportoptionen und Unterstützung für die Übergabe benutzerdefinierter Header, die von Ihrem Backend benötigt werden. Dokumente hier

Öffnen Sie in Ihrem TrueFoundry-Dashboard die AI Gateway OTEL-Konfiguration und aktivieren Sie den Trace-Export. Konfigurieren Sie dann den Braintrust-Traces-Endpunkt als:

https://api.braintrust.dev/otel/v1/traces

Fügen Sie für Authentifizierung und Routing eine Autorisierung Header mit Ihrem Braintrust API-Schlüssel und fügen Sie den x-bt-parent Header zur Angabe des Braintrust-Projekts, in dem die Spuren landen sollen, zum Beispiel:

x-bt-parent: Projekt-ID: <YOUR_PROJECT_ID>

Braintrust und TrueFoundry dokumentieren beide dieses „übergeordnete“ Konzept, und TrueFoundry weist auch darauf hin, dass Sie andere Präfixe verwenden können wie Projektname: oder Versuchs-ID: je nachdem, wie Sie die Spuren organisieren möchten.

Nachdem Sie die Konfiguration gespeichert haben, beginnen alle LLM-Anfragen, die über TrueFoundry AI Gateway weitergeleitet werden, automatisch mit dem Export von Traces, und Sie können sie in Braintrust unter den Protokollen Ihres Projekts einsehen.

Fazit

LLM-Systeme für die Produktion sind von Natur aus dynamisch: Anbieter ändern sich, Eingabeaufforderungen entwickeln sich, Agentendiagramme wachsen und das Nutzerverhalten ändert sich. Die Teams, die gewinnen, sind nicht diejenigen, die niemals etwas kaputt machen, sie sind diejenigen, die schnell sehen können, was passiert ist, die Auswirkungen sicher messen und sicher wiederholen können.

TrueFoundry AI Gateway bietet den zentralen Kontrollpunkt und den standardbasierten Telemetrieexport. Braintrust macht aus dieser Telemetrie einen technischen Arbeitsablauf zur Rückverfolgung, Bewertung und kontinuierlichen Verbesserung.