7 Dinge, die Sie richtig machen müssen, um LLM-Agenten in die Produktion zu bringen

Es ist befriedigend, einen LLM-Agenten dazu zu bringen, in einer Demo zu arbeiten. Es ist eine ganz andere Disziplin, es Tag für Tag zuverlässig in der Produktion für echte Benutzer in großem Maßstab zum Laufen zu bringen.

In einem kürzlich erschienenen Video hat der Entwickler-Pädagoge Sam genau diese Lücke untersucht. Er entwarf ein siebenteiliges Framework für Teams, die es ernst meinen, über den Machbarkeitsnachweis hinauszugehen. Die letzten drei Prinzipien, die er behandelt, sind Tools und MCP-Server, Überwachung und Rückverfolgung sowie Agent evaluiert, sind der Ort, an dem die meisten Produktionseinsätze stillschweigend auseinanderfallen. Sie stehen jedoch auf vier Fundamenten, die zunächst solide sein müssen.

In diesem Beitrag wird dieses Framework zu einem vollständigen Leitfaden erweitert. Wenn Sie ein Entwicklungsteam, ein CTO oder ein Gründer sind, der ein agentisches KI-System auf echte Benutzer ausrichtet, sind dies die sieben Dinge, die Sie nicht abkürzen können.

Warum LLM-Agenten in der Produktionspause

Das Fehlermuster ist fast immer dasselbe. Ein Agent arbeitet in einem Notizbuch hervorragend — ein Benutzer, kontrollierte Eingaben, ein Patientenevaluator. Dann erfüllt es die Realität: Gleichzeitige Sitzungen, inkonsistente Eingaben, Geräteausfälle, Compliance-Anforderungen und Benutzer, die sich nicht wie die Testfälle verhalten.

Die Modelle sind nicht das Problem. Die heutigen Frontier-LLMs sind wirklich leistungsfähig. Das Problem ist die operative Ebene — alles, was das Modell umgibt. Das ist was LLMOPs ist: die Disziplin, LLM-basierte Systeme in der Produktion mit der gleichen Sorgfalt auszuführen, die Sie bei jeder kritischen Software anwenden würden. Die meisten Teams, die LLM-Agenten in der Produktion einsetzen, lernen auf die harte Tour, wie wichtig das ist.

Hier sind die sieben Säulen.

1. Prompte Verwaltung

Aufforderungen sind der fragilste Teil eines LLM-Systems — und die meisten Teams behandeln sie wie Post-it-Notizen.

In Prototypen befinden sich Eingabeaufforderungen in Python-Zeichenketten in Jupyter-Notebooks. Niemand verfolgt, wann sie sich geändert haben, was die vorherige Version war oder ob eine Änderung am letzten Dienstag der Grund dafür ist, dass sich der Agent diese Woche anders verhält. Das ist gut zum Experimentieren. In der Produktion tickt die Uhr.

Wenn sich eine Aufforderung — auch nur subtil — ändert, kann sie im Hintergrund das Verhalten des Agenten auf eine Weise ändern, die nicht sofort angezeigt wird. Ein Zeichen, das aus einer Systemaufforderung entfernt wurde. Eine Anweisung wurde umformuliert. Ein Beispiel mit wenigen Bildern wurde ausgetauscht. Jede davon ist eine potenzielle Regression ohne Prüfpfad.

So sieht gut aus:

• Jede Systemaufforderung und jedes Beispiel mit wenigen Eingabeaufforderungen befindet sich in einer versionierten Prompt-Registrierung — nicht im Anwendungscode
• Änderungen werden anhand von Autorenschaft, Zeitstempeln und Diff-Views nachverfolgt
• Sie können innerhalb von Sekunden zu jeder vorherigen Version zurückkehren
• Staging- und Produktionsumgebungen verwenden explizit angeheftete Prompt-Versionen, niemals „neueste“

Schnelles Management ist das Fundament jeder seriösen LLMOPs üben. Jede andere Ebene des Stacks hängt davon ab, dass das Modell über stabile, überprüfbare Eingaben verfügt.

2. Zustands- und Speicherverwaltung

Mehrstufige Agenten sind zustandsabhängig. Das saubere Management dieses Zustands über Abfolgen, Tool-Calls und Sitzungen hinweg ist eines der schwierigsten ungelösten Probleme im Bereich produktionsagentischer KI — und eines der am wenigsten diskutierten.

Ein Agent in der Produktion muss den Kontext innerhalb einer Konversation, in allen Schritten einer Multitool-Aufgabe und manchmal sogar in Sitzungen für wiederkehrende Benutzer aufrechterhalten. Wenn Sie all diese Punkte falsch verstehen, vergessen Agenten während einer Aufgabe den kritischen Kontext, lassen Informationen zwischen Benutzern durcheinander geraten oder kommen zu falschen Schlüssen, weil sie über einen veralteten Zustand nachdenken.

Die Speicherfrage ist nicht nur technisch, sondern auch architektonisch. Was lebt im Kontextfenster? Was wird zusammengefasst? Was bleibt von einem Vector Store übrig? Was wird komplett verworfen? Es gibt keine allgemeingültigen Antworten, aber es muss eine bewusste Antwort für Ihren Anwendungsfall geben.

So sieht gut aus:

• Eine dokumentierte Speicherarchitektur: Kurzzeitkontext-, Langzeitspeicher- und Zusammenfassungsregeln sind alle explizit definiert
• Sitzungsstatus, der pro Benutzer ordnungsgemäß festgelegt ist und nicht zwischen Mandanten weitergegeben werden kann
• Abruf-Pipelines (RAG, Vektorsuche), die anhand echter Abfragen getestet wurden — es wird nicht davon ausgegangen, dass sie funktionieren
• Anmutige Degradierung: Der Agent sollte mit fehlendem oder verkürztem Kontext umgehen, ohne einen Ersatz zu halluzinieren

‍

Speichermanagement wird oft als Nebensache behandelt. In der Produktion ist das der Unterschied zwischen einem Agenten, der sich kohärent und vertrauenswürdig fühlt, und einem, der sich unberechenbar fühlt.

3. Mehrbenutzerarchitektur und Zugriffskontrolle

Wenn du für einen Benutzer baust, überspringe diesen Abschnitt. Wenn Sie für ein Team, ein Unternehmen oder einen Anwendungsfall mit mehreren Mandanten entwickeln — und zwar für den schwerwiegendsten LLM-Agenten in der Produktion sind — das ist vom ersten Tag an nicht verhandelbar.

Mehrbenutzerumgebungen bringen eine ganze Reihe von Problemen mit sich, die es bei Prototypen nicht gibt: Wer kann welche Agenten aufrufen, auf welche Daten kann jeder Benutzer zugreifen, wie werden die Kosten berechnet und wie sieht der Prüfpfad aus, wenn etwas schief geht? LLM-Agenten arbeiten oft mit erhöhten Berechtigungen — sie fragen Datenbanken ab, rufen externe APIs auf und schreiben in den Speicher. Ohne eine angemessene Verwaltung wird selbst ein Agent mit guten Absichten zu einem Risiko für Sicherheit und Compliance.

Die Nachrüstung einer Agentenarchitektur mit Zugriffskontrolle, die nicht dafür konzipiert wurde, ist teuer und fehleranfällig. Bauen Sie es von Anfang an ein.

So sieht gut aus:

• Rollenbasierte Zugriffskontrolle (RBAC), die festlegt, welche Benutzer welche Agenten auslösen und auf welche Tools zugreifen können
• Harte Datenisolierung zwischen Mandanten — keine Gefahr eines nutzerübergreifenden Kontextes
• Unveränderliche Auditprotokolle für jede Agentenaktion: wer hat sie ausgelöst, was hat sie getan, welche Daten wurden wann bearbeitet
• Raten- und Kostenobergrenzen pro Benutzer und Team, die unkontrollierbare Ausgaben verhindern
• Anpassung der Vorschriften: SOC 2, HIPAA und GDPR werden auf das tatsächliche Verhalten der Agenten abgebildet — nicht nur auf Infrastrukturzertifizierungen

4. Modellmanagement und KI-Gateway

In einem Prototyp ruft man ein Modell auf. In der Produktion verwalten Sie ein Portfolio: verschiedene Anbieter, unterschiedliche Modellgrößen, unterschiedliche Kompromisse zwischen Latenz, Kosten und Leistungsfähigkeit — und Sie benötigen ein intelligentes Routing zwischen ihnen. Diese Art von Orchestrierung von KI-Agenten — die richtige Aufgabe zum richtigen Modell zu den richtigen Kosten weiterzuleiten — das unterscheidet ein serienreifes System von einem Prototyp.

Ein KI-Gateway ist der Traffic Controller für all Ihre LLM-Anrufe. Es zentralisiert die API-Schlüsselverwaltung, setzt Ratenbeschränkungen durch, leitet Anfragen je nach Kosten oder Aufgabentyp weiter, bietet Fallback-Lösungen, wenn ein Anbieter ausfällt, und bietet Ihnen eine zentrale Beobachtbarkeit für jeden Modellaufruf im Unternehmen.

Ohne ein Gateway haben Sie am Ende Schatten-KI — Teams, die ihre eigenen Modellverbindungen mit ihren eigenen Schlüsseln, ihren eigenen Kosten und ohne Einblick in den Namen erstellen. Im großen Maßstab ist dies sowohl ein Versagen der Unternehmensführung als auch ein Kostenproblem.

So sieht gut aus:

• Der gesamte LLM-Verkehr der Agenten wird über ein zentrales Gateway geleitet — keine direkten Modellanrufe aus dem Anwendungscode
• Orchestrierung von KI-Agenten Regeln: komplexe Argumentation gehört zu Grenzmodellen, einfachere Aufgaben zu schnelleren/billigeren
• Provider-Fallback, damit Ihr Agent bei einem einzigen API-Ausfall nicht offline geht
• Einheitliche Kosten-Dashboards und Budgetdurchsetzung für Teams und Projekte
• API-Schlüssel werden zentral gespeichert und rotiert — niemals fest in Diensten codiert

5. Tools und MCP-Server

Dies ist eines der drei Prinzipien, die Sam im Video ausführlich behandelt — und das, dem er am meisten Zeit widmet.

Tools sind die Art und Weise, wie Ihr Agent in der Welt handelt. Im modernen Agenten-Ökosystem MCP-Server (Model Context Protocol) sind zur Standardschnittstelle für die Bereitstellung von Tools für Agenten geworden — eine strukturierte, auffindbare Möglichkeit für Agenten, mit externen Systemen zu interagieren: Datenbanken, APIs, Codeausführungsumgebungen, Suchmaschinen und mehr.

Werkzeuge sind aber auch die häufigste Ursache für stille Produktionsausfälle. Ein Agent, der ein defektes Tool anruft, fällt nicht ohne Fehler aus. Es kommt häufig zu einer Spirale — er versucht es erneut und generiert eine plausibel klingende Ausgabe auf der Grundlage eines Fehlers, den er fälschlicherweise als erfolgreich interpretiert hat, oder es werden nachgelagerte Aktionen für Datenmüll ausgelöst. Diese Fehler sind heimtückisch, weil sie wie Fehler bei der Argumentation von Agenten aussehen, obwohl das eigentliche Problem eine fehlerhafte Integration ist.

Sams Argument ist direkt: Jedes Tool benötigt Tests, und die Authentifizierung muss zentralisiert werden. Das sind keine netten Dinge. Das sind die Mindestanforderungen für die Produktion.

So sieht gut aus:

• Jedes Tool hat seine eigene Testsuite — Komponententests für einzelne Funktionen, Integrationstests gegen aktive oder simulierte Endpunkte —, die bei jeder Bereitstellung ausgeführt werden
• Die Authentifizierung für Tool-Aufrufe wird an einer zentralen Stelle verwaltet und ist nicht über den Agentencode verteilt; MCP-Server Anmeldeinformationen von einem Secure Secrets Manager erben
• Jeder Toolaufruf ist vollständig instrumentiert: Sie wissen genau, wann er aufgerufen wurde, welche Eingaben er erhalten hat, was er zurückgegeben hat und wie lange es gedauert hat
• Tools versagen laut und verursachen strukturierte, interpretierbare Fehler — keine stummen Nullen oder irreführenden Antworten, die den Agenten verwirren
• MCP-Server werden wie jeder andere Produktions-Microservice bereitgestellt, versioniert und überwacht — nicht als Ad-hoc-Skripte behandelt

‍

Die besten Produktionsteams behandeln Werkzeuge als erstklassige Dienstleistungen mit ihrem eigenen Betriebszyklus. Wenn Sie nicht wissen, ob Ihre Tools fehlerfrei sind, wissen Sie nicht, ob Ihr Agent gesund ist.

6. Überwachung, Rückverfolgung und LLM-Beobachtbarkeit

Sams sechstes Prinzip — und das, das alles freischaltet, was danach kommt.

Standard-APM- und Logging-Tools wurden nicht für die Ausführungsmuster entwickelt, die LLM-Agenten erzeugen. Eine einzelne Agentenaufgabe kann ein Dutzend LLM-Aufrufe, fünf Tool-Aufrufe, Verzweigungslogik, Wiederholungsversuche und die Delegierung von Subagenten umfassen — alles nicht deterministisch und potenziell langwierig. Ein Datadog-Trace oder ein CloudWatch-Protokoll können Ihnen die Reaktionszeit anzeigen. Es kann Ihnen nicht sagen, warum der Agent in Schritt vier zu dem falschen Ergebnis gekommen ist.

LLM-Rückverfolgung löst das. Es folgt einem kompletten Agentenlauf von Anfang bis Ende, bei dem jede gesendete Aufforderung, jede eingegangene Antwort, jeder getätigte Toolaufruf und jede Verzweigungsentscheidung erfasst wird — zusammengefasst in einem einzigen überprüfbaren Ausführungsdiagramm. Ohne LLM-Tracing ist das Debuggen eines Produktionsfehlers wie das Rekonstruieren einer Konversation aus dem Gedächtnis.

LLM-Beobachtbarkeit ist die umfassendere Praxis: nicht nur die Fähigkeit, einzelne Durchläufe zu verfolgen, sondern auch die Fähigkeit, das Verhalten der Agenten insgesamt zu überwachen. So werden Kostenanomalien, Qualitätsrückgänge, Latenzausreißer und ungewöhnliche Muster von Toolaufrufen erkannt, bevor die Benutzer sie bemerken.

Sam stellt das so dar, als wüsste er, „was funktioniert und was schief läuft“. Das ist das Minimum. Richtig gemacht, LLM-Beobachtbarkeit sagt dir auch warum die Dinge funktionieren und warum Dinge gehen schief — das ist der Input, den Sie für eine kontinuierliche Verbesserung benötigen.

So sieht gut aus:

• Framework-unabhängiges verteiltes Tracing, das über LangGraph-, CrewAI-, AutoGen- und benutzerdefinierte Stacks hinweg funktioniert
• Automatische Erfassung von: vollständigen Prompt/Response-Paaren, Token-Anzahl, Latenz pro Schritt, Ein- und Ausgaben für Tool-Calls, verwendete Modellversionen
• Warnmeldungen in Echtzeit bei Anomalien: Kostenspitzen über dem Schwellenwert, Latenzausreißer, erhöhte Fehlerraten, unerwartete Muster bei der Werkzeugnutzung
• Infrastrukturüberwachung zusammen mit Modellüberwachung — GPU-Auslastung, Cluster-Zustand, API-Kontingentverbrauch
• Ein gemeinsames Dashboard, auf das sowohl Konstruktions- als auch Produktteams zugreifen können — damit Qualitätsgespräche auf Daten und nicht auf Anekdoten basieren

‍

Überwachung macht Agent evaluiert möglich. Man kann nicht bewerten, was man nicht sieht.

7. Agentin Evals

Sams siebtes und letztes Prinzip — und das, das den Kreislauf schließt.

Agent evaluiert So wissen Sie, ob es Ihren LLM-Agenten in der Produktion mit jeder Änderung, die Sie vornehmen, tatsächlich besser oder schlechter geht.

Beim traditionellen maschinellen Lernen ist die Bewertung relativ sauber: ein ausgestreckter Testsatz, eine definierte Metrik, eine klare Antwort. Bei agentischer KI ist das schwieriger. Die Ausgaben sind langformatig und mehrstufig. Richtigkeit ist oft subjektiv. Der Agent interagiert mit Live-Tools, sodass selbst die Durchführung einer Evaluierung reale Nebenwirkungen haben kann. Und da Agenten nicht deterministisch sind, kann dieselbe Eingabe bei unterschiedlichen Durchläufen zu unterschiedlichen Ergebnissen führen.

Keine dieser Herausforderungen ist eine Ausrede zum Überspringen Agent evaluiert. Sams Argument ist eindeutig: Ohne eine Evaluierungsebene, die Regressionen erfasst, bevor sie die Benutzer erreichen, können Sie Änderungen an Agenten — neue Prompt-Versionen, Modell-Upgrades, Tool-Änderungen — nicht verantwortungsbewusst versenden. Du rätst schon, ohne dass die Agenten ausgleichen.

Die wichtigste Erkenntnis, die Sam hervorhebt: Agent Evals sollten aufbauend Ihre LLM-Observability- und Tracing-Infrastruktur. Ihre besten Evaluationsfälle sind nicht synthetisch — es handelt sich um echte Produktionsläufe, die anhand Ihrer Trace-Daten kommentiert und kuratiert wurden. Aus diesem Grund steht die Überwachung an erster Stelle.

So sieht gut aus:

• Ein kuratiertes Testset, das auf echten Produktionsspuren basiert: Die Randfälle, auf die Nutzer tatsächlich gestoßen sind, nicht die, die Sie sich im Voraus vorgestellt haben
• Eine Mischung aus automatisierten Metriken (Genauigkeit des Toolaufrufs, Abschlussrate der Aufgabe, sachliche Richtigkeit, Halluzinationserkennung) und LLM-As-Jud-Scoring für schwierigere qualitative Kriterien
• Agent evaluiert integriert in die Bereitstellungspipeline: Jede Änderung, jedes Modell-Upgrade oder jede Änderung des Tools löst einen automatisierten Testlauf aus, bevor sie in die Produktion gelangen
• Versionsübergreifendes Regressions-Tracking — Sie sollten sofort wissen, ob eine Änderung die Qualität eines Benchmarks beeinträchtigt hat
• Workflows zur menschlichen Überprüfung für Szenarien mit hohem Risiko, in denen automatische Bewertungen nicht ausreichen

‍

Agent evaluiert sind die Feedback-Engine. Die LLM-Observability sagt Ihnen, was passiert ist. Agent Evals sagt Ihnen, ob es gut genug war. Zusammen ermöglichen sie es Ihnen, einen LLM-Agenten in der Produktion kontinuierlich zu verbessern, ohne dass er kaputt geht.

Die Sieben als System

Diese Prinzipien sind keine Checkliste, aus der Sie auswählen können. Sie sind ein System, und die Reihenfolge ist wichtig.

Promptes Management gibt Ihnen ein stabiles LLMOPs Fundament, auf dem man aufbauen kann. Die Status- und Speicherverwaltung sorgt dafür, dass Ihr Agent im Laufe der Zeit kohärent bleibt. Die Mehrbenutzerarchitektur macht es sicher, es echten Benutzern zugänglich zu machen. Das KI-Gateway und Orchestrierung von KI-Agenten Layer gibt Ihnen die Kontrolle über das gesamte Modellportfolio. Mithilfe von Tools und MCP-Servern kann Ihr Agent weltweit zuverlässig agieren. Überwachung und LLM-Beobachtbarkeit gibt Ihnen die nötige Transparenz, um zu verstehen, was zur Laufzeit tatsächlich passiert. Und Agent evaluiert schließen Sie die Feedback-Schleife und verwandeln Sie Produktionsdaten in systematische Qualitätsverbesserungen.

Sams Video konzentriert sich auf die letzten drei, da dies die Punkte sind, die Teams am häufigsten überspringen, wenn sie zum Schiff eilen. Die ersten vier werden in der Regel standardmäßig teilweise behandelt — Sie haben einige schnelle Disziplin, einige authentifizierung, einige Modellmanagement. Aber Überwachung, LLM-Rückverfolgung und Agentenbewertung sind Dinge, die bewusst verschoben und dann nie wieder überprüft werden. Genau dann werden Produktionsunfälle unvermeidlich.

Die Teams, die erfolgreich sind mit LLM-Agenten in der Produktion sind diejenigen, die alle sieben ernst nehmen — unabhängig davon, welches Agenten-Framework sie verwenden, auf welcher Cloud sie sich befinden oder für welchen Anwendungsfall sie entwickeln.

Wie TrueFoundry alle sieben abdeckt

TrueFoundry ist eine KI-Plattform für Unternehmen, die von Grund auf für diese Herausforderung entwickelt wurde: LLM-Agenten in der Produktion vom Machbarkeitsnachweis bis zur Betriebsrealität, mit dem kompletten LLMOPs Stack- und Unternehmensführung sind auf jeder Ebene integriert.

Es deckt alle sieben ab:

• Prompte Verwaltung mit vollständiger Versionierung, Lebenszykluskontrollen und umgebungsbezogener Bereitstellung
• Agentenspeicher Sitzungsübergreifende Verwaltung und statusorientierte Orchestrierung
• RBAC und Multi-Tenant-Architektur mit unveränderlichen Auditprotokollen und Compliance-Zertifizierungen (SOC 2, HIPAA, GDPR)
• Orchestrierung von KI-Gateway und KI-Agenten für zentralisiertes LLM-Routing, Fallback für mehrere Anbieter, Kostenverfolgung und API-Schlüsselverwaltung
• Bereitstellung des MCP-Servers — Ihre Tools und Integrationen werden als Produktionsdienstleistungen behandelt, nicht als Skripte
• Framework-unabhängiges LLM-Tracing und LLM-Observability über LangGraph, CrewAI, AutoGen und benutzerdefinierte Stacks hinweg — von der prompten Ausführung bis zur GPU-Leistung
• Infrastruktur zur Agentenevaluierung das sich direkt in Produktionsspuren und Stecker in Ihre CI/CD-Pipeline integrieren lässt

Kunden, die TrueFoundry verwenden, berichten von einer um 80% höheren GPU-Cluster-Auslastung, einer dreimal schnelleren Amortisierung durch KI-Agenten und einer Reduzierung der Infrastrukturkosten um 35— 50%.

Sam erwähnt TrueFoundry am Ende des Videos: „Du kannst deine eigenen Modelle und deine eigenen Schlüssel anschließen, um wirklich loszulegen und es dir leicht zu machen, etwas zu nehmen und es mit deinem Team in Produktion zu nehmen.“

TrueFoundry testen — kostenlos loslegen →