Vom KI-Chaos zur Kontrolle: Ein Gespräch über Agentic AI bei Tesseract Talks

Während Unternehmen vom Experimentieren mit Large Language Models zum Production-Einsatz von Agentic-AI-Systemen übergehen, entstehen neue Herausforderungen. Teams bewegen sich schneller als je zuvor, aber oft in unterschiedliche Richtungen. Modelle, Tools, Frameworks und Agenten vervielfachen sich – und mit diesem Wachstum geht eine Fragmentierung einher.

In einer kürzlichen Episode von Tesseract Talks sprach John K. Thompson mit Nikunj Bajaj, Mitgründer und CEO von TrueFoundry, darüber, was es wirklich braucht, um Agentic AI in großen Unternehmen zu skalieren.

Hier sind einige der wichtigsten Erkenntnisse aus dem Gespräch.

Von einfachen LLM-Apps zu komplexen Agentic-Systemen

KI-Systeme haben sich drastisch weiterentwickelt, insbesondere im letzten Jahr.

Was früher ein einzelner LLM-Aufruf mit einem Tool war, ist heute ein Netzwerk von Komponenten, die zusammenarbeiten. Production-fähige Agenten kombinieren typischerweise:

• Mehrere LLMs (oft über verschiedene Anbieter und Clouds hinweg)
• Model Context Protocols (MCPs) und Tools
• Guardrails für Sicherheit, Datenschutz und Compliance
• Prompts und Orchestrierungslogik
• Weitere Agenten, die hierarchisch aufgebaut sind

Wie Nikunj erklärte, ist diese Komplexität kein Zufall, sondern das natürliche Ergebnis davon, dass Agenten leistungsfähiger werden. Es bedeutet aber auch, dass verschiedene Teams innerhalb desselben Unternehmens Agenten auf sehr unterschiedliche Weise bauen – mit unterschiedlichen Stacks und Frameworks.

Diese Flexibilität hilft den Teams, schnell zu agieren. Bei zunehmender Skalierung führt sie jedoch auch zu Chaos.

Die reale Herausforderung für Unternehmen: Geschwindigkeit und Kontrolle

Unternehmen stehen vor der Aufgabe, zwei gegensätzliche Kräfte auszubalancieren: Den Teams Autonomie zu geben, um schnell zu experimentieren und Mehrwert zu schaffen, und gleichzeitig eine unternehmensweite Konsistenz in Bezug auf Sicherheit, Governance und Kosten zu wahren. Nikunj bezeichnete dies als „föderierte Ausführung mit zentralisierter Governance“.

Zu Beginn, wenn die Teams noch klein sind, funktioniert Autonomie gut. Doch mit dem Wachstum von Organisationen werden Richtlinien, Budgets und Aufsicht unerlässlich. Menschliche Mitarbeiter agieren flexibel, aber innerhalb eines strukturierten Systems. Agentic AI braucht genau dasselbe.

Agentic AI braucht genau dasselbe.

Hier kommt das Konzept eines AI Gateway ins Spiel. Laut Nikunj hat sich das Gateway weit über einen einfachen Proxy zum Routing von Anfragen zwischen Modellen hinausentwickelt. Heute wird es zu:

• Einem einheitlichen Zugangspunkt für LLMs, MCPs, Agenten, Prompts und Guardrails
• Einer Normalisierungsschicht über Cloud-Provider und Modell-Anbieter hinweg
• Einem Ort zur Durchsetzung von Zugriffskontrollen, Budgetgrenzen und Compliance-Richtlinien
• Einer Grundlage für Observability und Debugging

Kurz gesagt: Es wird zur Zentrale für Agenten – der Control Plane, die Unternehmen bisher gefehlt hat. 

Wie wir die Rolle von TrueFoundry sehen

Bei TrueFoundry betrachten wir Agentic AI nicht als eine Reihe von Einzelleistungen. Wir sehen darin eine langfristige Transformation. Wie Nikunj ausführte, liegt unser Fokus darauf, Unternehmen zu unterstützen:

• Ihren KI-Stack zukunftssicher zu halten, während sich das Ökosystem weiterentwickelt
• Neue Agentic-Funktionen in bestehende Infrastrukturen zu integrieren
• Die falsche Wahl zwischen dem Eigenbau von allem und dem Kauf starrer Tools zu vermeiden

Durch die Bereitstellung einer flexiblen, API-gesteuerten Plattform können Teams auf einem starken Fundament aufbauen und schneller agieren, ohne die Kontrolle zu verlieren.

Wie Nikunj es ausdrückte: „Agenten brauchen Flexibilität zum Handeln. Unternehmen brauchen eine Zentrale, um sie zu steuern.“