Integration des TrueFoundry AI Gateways mit LangSmith

Unternehmen bringen KI-Anwendungen schneller als je zuvor in die Produktion, doch die operative Realität sieht nach dem Prototyping ganz anders aus. Anwendungsteams müssen schnell veröffentlichen und iterieren. Plattform- und Qualitätsteams müssen nachvollziehen können, was jeder Modellaufruf bewirkt hat, warum dies geschah und ob das Ergebnis korrekt war. Die schwierigere Frage lautet: Wie lassen sich Hunderte von Modellaufrufen über verschiedene Anbieter und Agenten-Frameworks hinweg beobachten und bewerten, ohne in jeder Anwendung eine eigene Instrumentierung schreiben zu müssen?

Bei TrueFoundry verfolgen wir den Ansatz, die Ausführungsebene einheitlich zu halten und es den Teams zu ermöglichen, das Observability- und Evaluierungssystem ihrer Wahl anzubinden. Deshalb kündigen wir eine native Integration zwischen dem TrueFoundry AI Gatewayund das und LangSmith von LangChain an. Das Gateway fungiert als zentrale Ausführungsschnittstelle, die jeder Modellaufruf und jeder Agentenschritt durchläuft. LangSmith dient dabei als System of Record, in dem diese Aufrufe in Traces, Evaluierungen und Datensatz-Läufe umgewandelt werden, mit denen das Team arbeiten kann.

Einführung des TrueFoundry AI Gateway

Das TrueFoundry AI Gateway Das Gateway schafft einen einzigen, kontrollierten Einstiegspunkt für alle Modell- und Agentenanfragen. Anwendungen und Agenten kommunizieren nicht mehr direkt mit den Modellanbietern, sondern über den Gateway-Proxy. Diese architektonische Entscheidung ist entscheidend, da sie eine konsistente Basis für die Durchsetzung von Richtlinien, Routing-Entscheidungen und die Telemetrie-Erzeugung bietet. Das Gateway bestimmt, welches Modell unter welchen Bedingungen, in welcher Umgebung und mit welchen Sicherheitsvorkehrungen verwendet wird. Es ist zudem der zentrale Ort, an dem das Produktionsverhalten umfassend beobachtet werden kann.

Für Plattform-Verantwortliche ist dies der Punkt, an dem KI-Systeme aufhören, eine Ansammlung von Python-Skripten zu sein, und anfangen, sich wie eine echte Infrastruktur zu verhalten.

Einführung von LangSmith

Während das Gateway steuert, wo und wie Anfragen ausgeführt werden, und LangSmith ist LangSmith der Ort, an dem Sie nachvollziehen können, was tatsächlich passiert ist – und zwar als strukturierte Trace-Daten statt als verstreute Protokolle. In der Terminologie von LangSmith erfasst ein Trace die gesamte Abfolge der Schritte für eine einzelne Anfrage (von der Eingabe bis zum Endergebnis), und jeder Schritt innerhalb dieses Traces ist ein Run– eine einzelne Arbeitseinheit, wie etwa ein LLM-Aufruf, ein Chain-Schritt, eine Prompt-Formatierung oder jeder andere Vorgang, den Sie überwachen möchten. Traces werden in Projekten organisiert. (ein Container für alles, was mit einer bestimmten Anwendung oder einem Dienst zu tun hat), und Multi-Turn-Konversationen können als Threads verknüpft werden, sodass Sie das Verhalten über einen gesamten Dialog hinweg untersuchen können, anstatt nur eine isolierte Anfrage zu betrachten. Lesen Sie hier weiter, wenn Sie tiefer in die Materie eintauchen möchten: Konzepte der Observability

LangSmith behandelt Feedback zudem als erstklassiges Konzept, das es Ihnen ermöglicht, Bewertungen und Kriterien an Durchläufe anzuhängen – unabhängig davon, ob dieses Feedback von Menschen, automatisierten Evaluatoren oder Online-Evaluatoren stammt, die den Produktionsverkehr analysieren. Genau das macht es zu mehr als nur „Monitoring“: Es unterstützt eine Evaluierungsschleife, in der Sie vor der Bereitstellung Offline-Evaluierungen auf kuratierten Datensätzen und Online-Evaluierungen auf Basis echter Benutzerinteraktionen in der Produktion durchführen können, um Regressionen zu erkennen und die Qualität in Echtzeit zu verfolgen. 

So erscheinen Traces vom TrueFoundry AI Gateway in der LangSmith-Benutzeroberfläche. Jeder Modellaufruf wird als eigener Durchlauf mit dem auf Gateway-Ebene erfassten Vorgangstyp und der Latenz angezeigt.

Wie TrueFoundry und LangSmith zusammenarbeiten

Die meisten Unternehmen betreiben bereits einen zentralisierten Observability-Stack, der als Grundlage für ihre Incident-Response- und SRE-Praktiken dient. Die Herausforderung bei LLM-Systemen besteht darin, dass die durch Modellaufrufe generierten Telemetriedaten (Prompts, Vervollständigungen, Token-Verbrauch, Cache-Treffer, Guardrail-Entscheidungen, Agent-Schritt-Graphen) nicht direkt auf die Metriken und Traces abgebildet werden können, für die diese Tools ursprünglich entwickelt wurden. Teams stehen daher meist vor zwei unbefriedigenden Optionen:

1. Jede Anwendung mit einem LLM-spezifischen SDK instrumentieren
2. Traces in den bestehenden Stack übertragen und dabei Durchläufe, Threads und Evaluierungen verlieren.

Auf der Seite von TrueFoundry aktivieren Sie den OpenTelemetry-Traces-Exporter des AI Gateways. Das Gateway bleibt weiterhin für die Generierung und Speicherung der Traces verantwortlich, die Sie in der TrueFoundry Monitor-Benutzeroberfläche einsehen können. Der Export dieser Traces ist ein zusätzlicher Vorgang, der das Speicherverhalten von TrueFoundry selbst nicht verändert. Die Dokumentation zum OTEL-Export finden Sie hier: TrueFoundry

Auf der Seite von LangSmith geben Sie einen API-Schlüssel zur Authentifizierung und (optional) einen Projektnamen an, damit die Traces in einem definierten Projekt landen und nicht im Standardprojekt. Der OpenTelemetry-Leitfaden von LangSmith dokumentiert die OTLP-Header, die für die Authentifizierung und das Projekt-Routing verwendet werden. Dokumentation: LangChain

Integration mit dem verwalteten LangSmith (SaaS)

Siehe unsere Dokumentation hier: LangSmith

Selbst-Hosting von LangSmith in einer VPC und Exportieren von Traces aus dem AI Gateway

Wenn Sie auf Kubernetes bereitstellen, basiert der offizielle Leitfaden „Self-host LangSmith on Kubernetes“ auf Helm und legt genau dar, was Sie vorab bereitstellen müssen: einen LangSmith-Lizenzschlüssel, ein API-Key-Salt und (bei Verwendung von Basic Auth) ein JWT-Secret. Zudem wird empfohlen, für die Produktion externe verwaltete Postgres/Redis/ClickHouse-Instanzen anstelle der Standardeinstellungen innerhalb des Clusters zu verwenden, da das Trace-Volumen schnell anwachsen kann. Für eine vertiefende Lektüre empfehlen wir die Dokumentation von LangSmith zum Selbst-Hosting auf Kubernetes: Self-host on Kuberneteshandelt.

Um diese Einrichtung auf TrueFoundry zu vereinfachen, pflegen wir ein Helm-Chart-Repository unter github.com/truefoundry/tfy-langsmith-charts das LangSmith zusammen mit den erforderlichen Backend-Diensten bündelt.

Fazit

Für KI-Verantwortliche bietet die Integration von TrueFoundry und LangSmith eine gemeinsame Basis, auf der Ausführung, Beobachtbarkeit und Evaluierung bei der Skalierung von Systemen im Einklang bleiben. Teams können LLM-Anwendungen mit derselben Sorgfalt verwalten wie verteilte Dienste, die Unternehmensanforderungen erfüllen, ohne die Entwicklung zu verlangsamen – denn produktive KI erfordert eine Infrastruktur auf Produktionsniveau.

Die Partnerschaft ist bewusst modular aufgebaut: TrueFoundry steuert und leitet die Ausführung, LangSmith protokolliert und bewertet das Verhalten, und OpenTelemetry verbindet beide. Gemeinsam fungieren sie als praxisorientierte Steuerungsebene, die Unternehmen dabei unterstützt, den Schritt von vielversprechenden Demos hin zu zuverlässiger und nachvollziehbarer KI im Produktiveinsatz zu meistern.