TrueFoundry integratie met Braintrust

Full-Stack LLM Observability: Braintrust en TrueFoundry AI Gateway

Naarmate organisaties zich haasten om AI-gestuurde applicaties uit te rollen, verschuift de uitdaging snel van "kunnen we een LLM aanroepen?" naar "kunnen we dit systeem met vertrouwen beheren?" Zodra je meerdere providers, meerdere modelversies, agents die tools aanroepen en bedrijfslogica rond elk verzoek hebt, verschijnen de echte risico's in productie: stijgende kosten zonder duidelijke toewijzing, latency-regressies die moeilijk te lokaliseren zijn en kwaliteitsveranderingen die door gebruikers worden opgemerkt voordat ze door data worden bewezen.

Dat is waar de combinatie van TrueFoundry AI Gateway en Braintrust natuurlijk past. TrueFoundry AI Gateway is de proxy-laag tussen je applicaties en model providers, gebouwd om teams een uniforme interface te bieden met enterprise-grade governance en observabiliteit. Braintrust is een observability-platform dat is ontworpen om teams te helpen het feitelijke gedrag van LLMs in de loop van de tijd te tracen, evalueren en itereren. Samen creëren ze een praktische cyclus: routeer al het modelverkeer via één enkel controlepunt, exporteer automatisch rijke traces en gebruik die traces om de kwaliteit en betrouwbaarheid te verbeteren met bewijs in plaats van giswerk.

Korte uitleg over TrueFoundry AI Gateway

TrueFoundry AI Gateway is de proxy-laag die zich bevindt tussen je applicaties en de LLM providers en MCP Servers. Het is een enterprise-grade platform dat gebruikers in staat stelt toegang te krijgen tot 1000+ LLMs via een uniforme interface, terwijl het zorgt voor observabiliteit en governance. De AI Gateway is OpenTelemetry-compliant en ondersteunt het exporteren van OTEL-traces. Dit betekent dat je traces op verzoekniveau kunt streamen naar een externe observability- of LLM engineering-backend zonder je applicatiecode te wijzigen.

Korte uitleg over Braintrust

Braintrust ondersteunt het gebruik als een OpenTelemetry-backend: je routeert traces naar Braintrust, authenticeert met een API key en voegt een "parent" toe (zoals een project of experiment) zodat traces in de juiste organisatorische scope terechtkomen. Zodra traces zich in Braintrust bevinden, worden ze de basis voor dagelijkse engineering-workflows: het onderzoeken van latency- en foutpatronen, het begrijpen van tokengebruik en kostendrijvers, en het uitvoeren van evaluaties die de outputkwaliteit in de loop van de tijd kwantificeren in plaats van te vertrouwen op anekdotische feedback.

Beter Samen: Een Naadloze Integratie voor Productie-zichtbaarheid en Snellere Iteratie

De echte winst ontstaat wanneer de gateway de 'single source of truth' voor telemetrie wordt, en Braintrust de plek wordt waar die telemetrie verandert in engineering-inzichten. Met OTEL-export ingeschakeld in TrueFoundry AI Gateway kan elk LLM-verzoek dat door de gateway stroomt automatisch een trace genereren die kritieke context vasthoudt (request metadata, model/provider-selectie en timing) zonder aangepaste instrumentatie in elke service. Wanneer Braintrust die traces opneemt, kun je overstappen van "we denken dat deze prompt-wijziging heeft geholpen" naar "we kunnen de impact op echt verkeer bewijzen en we kunnen regressies vroegtijdig detecteren."

Hoe de Braintrust en TrueFoundry Integratie Werkt

Op een hoog niveau stuurt je applicatie LLM-verkeer naar TrueFoundry AI Gateway, die het verzoek doorstuurt naar de geselecteerde model provider. Parallel daaraan zendt de gateway OpenTelemetry-traces uit voor die interacties en meent deze naar een OTEL-compatibele backend. Braintrust biedt een OTEL-compatibel opnamepad dat deze traces accepteert wanneer je authenticatie en een parent-scope (project of experiment) opgeeft.

Dit betekent dat je de export één keer configureert op de gateway-laag, waarna de trace-stream een gedeelde asset wordt voor verschillende teams. Dit is nuttig voor debugging, kostentoewijzing, prestatiebewaking en kwaliteitsevaluatie, zonder dat je elke applicatie die een LLM aanroept achteraf hoeft aan te passen.

Aan de slag: Exporteer OTEL Traces van TrueFoundry AI Gateway naar Braintrust

Om dit in te stellen, configureer je de OpenTelemetry-export van de AI Gateway om te wijzen naar het trace-opname-eindpunt van Braintrust. TrueFoundry's AI Gateway heeft OTEL-trace-export als een ingebouwde kernfunctionaliteit, inclusief HTTP/gRPC-exportopties en ondersteuning voor het doorgeven van aangepaste headers die nodig zijn voor je backend. Documentatie hier

Open in je TrueFoundry-dashboard de AI Gateway OTEL-configuratie en schakel trace-export in. Configureer vervolgens het Braintrust traces-eindpunt als:

https://api.braintrust.dev/otel/v1/traces

Voeg voor authenticatie en routing een Authorization header toe met je Braintrust API key, en voeg de x-bt-parent header toe om het Braintrust-project te specificeren waar traces moeten landen, bijvoorbeeld:

x-bt-parent: project_id:<YOUR_PROJECT_ID>

Braintrust en TrueFoundry documenteren beide dit "parent"-concept, en TrueFoundry merkt ook op dat je andere voorvoegsels kunt gebruiken zoals project_name: of experiment_id:, afhankelijk van hoe je traces wilt organiseren.

Nadat je de configuratie hebt opgeslagen, beginnen alle LLM-verzoeken die via TrueFoundry AI Gateway worden gerouteerd automatisch met het exporteren van traces, en kun je ze bekijken in Braintrust onder de logs van je project.

Conclusie

LLM-systemen in productie zijn inherent dynamisch: providers veranderen, prompts evolueren, agent-grafieken groeien en gebruikersgedrag verandert. De teams die winnen zijn niet de teams die nooit iets breken, maar de teams die snel kunnen zien wat er is gebeurd, de impact met vertrouwen kunnen meten en veilig kunnen itereren.

TrueFoundry AI Gateway biedt het gecentraliseerde controlepunt en op standaarden gebaseerde telemetrie-export. Braintrust zet die telemetrie om in een engineering-workflow voor tracing, evaluatie en continue verbetering.