TrueFoundry AI Gateway-integratie met LangSmith

Ondernemingen brengen AI-applicaties sneller dan ooit naar productie en de operationele realiteit aan de andere kant ziet er heel anders uit dan een prototype. Applicatieteams moeten snel opleveren en itereren. Platform- en kwaliteitsteams moeten weten wat elke model-call deed, waarom, en of de output correct was. De moeilijkere vraag is deze: hoe observeer en evalueer je honderden model-calls over meerdere providers en meerdere agent-frameworks zonder aangepaste instrumentatie te schrijven in elke applicatie?

Bij TrueFoundry is onze aanpak om de uitvoeringslaag uniform te houden en teams het observatie- en evaluatiesysteem te laten inpluggen dat ze al gebruiken. Daarom kondigen we een native integratie aan tussen de TrueFoundry AI Gateway en LangSmith van LangChain. De gateway wordt de centrale uitvoeringsgrens waar elke model-call en elke agent-stap doorheen gaat, en LangSmith wordt het 'system of record' waarin die calls veranderen in traces, evaluaties en dataset-runs waar het team op kan handelen.

Introductie van TrueFoundry AI Gateway

De TrueFoundry AI Gateway opent een centraal, beheerd toegangspunt voor alle model- en agent-requests. Applicaties en agents praten niet langer rechtstreeks met model-providers. Ze praten met de gateway-proxy. Deze architectonische beslissing is belangrijk omdat het een consistent vlak creëert voor beleidshandhaving, routing-beslissingen en de generatie van telemetrie. De gateway bepaalt welk model wordt gebruikt, onder welke beperkingen, in welke omgeving en met welke beveiligingen. Het wordt ook de enige plek waar productiegedrag uitgebreid kan worden geobserveerd.

Voor platformleiders is dit het punt waarop AI-systemen ophouden een verzameling Python-scripts te zijn en zich beginnen te gedragen als infrastructuur.

​​Introductie van LangSmith

Terwijl de gateway beheert waar en hoe requests worden uitgevoerd, is LangSmith de plek waar je naartoe gaat om te reconstrueren wat er werkelijk is gebeurd als gestructureerde trace-data in plaats van verspreide logs. In de terminologie van LangSmith legt een trace de end-to-end-volgorde van stappen vast voor een enkele request (van input tot uiteindelijke output), en elke stap binnen die trace is een run, een enkele werkeenheid zoals een LLM-call, een chain-stap, prompt-formattering of elke andere operatie waar je inzicht in wilt. Traces zijn georganiseerd in projecten (een container voor alles wat met een bepaalde applicatie of dienst te maken heeft), en multi-turn conversaties kunnen worden gekoppeld als threads, zodat je het gedrag over een hele dialoog kunt inspecteren in plaats van één geïsoleerde request. Lees hier meer als je dieper wilt duiken: Observability-concepten

LangSmith behandelt feedback ook als een eersteklas concept, waarmee je scores en criteria aan runs kunt koppelen - of die feedback nu afkomstig is van mensen, geautomatiseerde evaluatoren of online evaluatoren die op productieverkeer draaien. Dit is wat het meer maakt dan alleen "monitoring": het ondersteunt een evaluatieloop waarin je offline evaluaties kunt uitvoeren op gecureerde datasets vóór oplevering, en online evaluaties op echte gebruikersinteracties in productie om regressies te detecteren en kwaliteit in real-time te volgen. 

Dit is hoe traces van de TrueFoundry AI Gateway verschijnen in de LangSmith UI. Elke model-call verschijnt als zijn eigen run met het operatietype en de latentie vastgelegd op gateway-niveau.

Hoe TrueFoundry en LangSmith samenwerken

De meeste ondernemingen werken al met een gecentraliseerde observability-stack die hun incident response en SRE-praktijk verankert. De uitdaging bij LLM-systemen is dat de telemetrie die wordt gegenereerd door model-calls (prompts, completions, token-gebruik, cache hits, guardrail-beslissingen, agent-stappen-grafieken) niet naadloos aansluit op de metrieken en traces waarvoor die tools oorspronkelijk zijn ontworpen. Teams eindigen meestal met een keuze tussen twee onbevredigende opties:

1. Elke applicatie instrumenteren met een LLM-specifieke SDK
2. Traces naar de bestaande stack sturen, maar daardoor runs, threads en evaluaties kwijtraken.

Aan de TrueFoundry-zijde schakel je de OpenTelemetry traces-exporter van de AI Gateway in. De gateway blijft verantwoordelijk voor het genereren en opslaan van traces die je kunt bekijken in de TrueFoundry Monitor UI, en het exporteren van die traces is een aanvullende operatie die het eigen opslaggedrag van TrueFoundry niet verandert. Bekijk OTEL-exportdocumentatie hier: TrueFoundry

Aan de LangSmith-zijde geef je een API-key op voor authenticatie en (optioneel) een projectnaam, zodat traces in een voorspelbaar project terechtkomen in plaats van de standaard. LangSmith’s OpenTelemetry-gids documenteert de OTLP-headers die worden gebruikt voor authenticatie en project-routing. Documentatie: LangChain

Integreren met beheerde LangSmith (SaaS)

Zie onze documentatie hier: LangSmith

LangSmith zelf hosten in een VPC en traces exporteren vanuit de AI Gateway

Als je uitrolt naar Kubernetes, is de officiële "Self-host LangSmith on Kubernetes"-gids gebaseerd op Helm en expliciet over wat je vooraf moet aanleveren: een LangSmith-licentiesleutel, een API-key salt en (bij gebruik van basic auth) een JWT-geheim. Het raadt ook aan om externe beheerde Postgres/Redis/ClickHouse te gebruiken voor productie in plaats van in-cluster standaarden, omdat het trace-volume snel kan groeien. Voor diepgaandere informatie raden we aan om de documentatie voor zelf-hosten van LangSmith op Kubernetes door te nemen: Self-host on Kubernetes.

Om deze instelling op TrueFoundry te vereenvoudigen, onderhouden we een Helm chart-repository op github.com/truefoundry/tfy-langsmith-charts die LangSmith samen met de vereiste backend-services verpakt.

Conclusie

Voor AI-leiders biedt de TrueFoundry–LangSmith-integratie een gedeeld fundament waar uitvoering, observability en evaluatie op één lijn blijven naarmate systemen schalen. Het stelt teams in staat om LLM-applicaties met dezelfde striktheid te beheren als gedistribueerde services, waarbij aan ondernemingsvereisten wordt voldaan zonder de ontwikkeling te vertragen, omdat productie-AI infrastructuur van productiekwaliteit nodig heeft.

Het partnerschap is bewust opgebouwd uit herbruikbare onderdelen: TrueFoundry beheert en stuurt de uitvoering, LangSmith legt gedrag vast en evalueert het, en OpenTelemetry verbindt ze. Samen fungeren ze als een praktisch controlevlak dat organisaties van veelbelovende demo's naar betrouwbare, verantwoordbare AI in productie brengt.