Von GenAI zu Agentic AI: Episode 3 von Tesseract Talks

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Enterprise AI tritt in eine neue Phase ein.
In den letzten Jahren haben Unternehmen intensiv mit generativer KI experimentiert und Chatbots, Copiloten und modellgesteuerte Anwendungen getestet. Doch während die anfängliche Begeisterung den Implementierungen in der realen Welt weicht, zeichnet sich eine andere Herausforderung ab: Wie wechselt man von isolierten KI-Funktionen zu intelligenten Systemen, die sicher, zuverlässig und in großem Maßstab betrieben werden können?
Diese Frage stand im Mittelpunkt einer kürzlichen Episode von Tesseract-Vorträge, mit Anuraga Gutgutia, Mitbegründer und CEO von TrueFoundry und Raghu Sethuraman, Vizepräsident für Technik bei Automation Anywhere.
Gemeinsam untersuchten sie den Übergang von generativer KI zu agentischer KI — und was es wirklich braucht, damit dieser Übergang in großen Unternehmen funktioniert.
Folge 1 ansehen: Mit Nikunj Bajaj das KI-Chaos in Kontrolle bringen
Folge 2 ansehen: Die versteckte Infrastruktur, die KI in Unternehmen mit Abhishek Choudhary unterstützt
Hier sind einige der wichtigsten Erkenntnisse aus diesem Gespräch.
Der große Wandel: Von Modellen zu Systemen
In den letzten Jahren drehten sich die meisten KI-Gespräche um Modelle. Unternehmen verglichen Benchmarks, diskutierten über Anbieter und experimentierten mit Aufforderungen. Aber wie Raghu betonte, Magentische KI in Unternehmen unterscheidet sich grundlegend von früheren GenAI-Bereitstellungen.
Traditionelle generative KI-Anwendungen waren im Wesentlichen „als APIs verpackte Modelle“. Im Gegensatz dazu bestehen agentische KI-Systeme aus vielen beweglichen Teilen — Tools, Speicher, Workflows, Integrationen und Leitplanken. Modelle sind nur eine Komponente eines viel größeren Systems
Das bringt ganz neue Herausforderungen mit sich:
- Wie verwaltet man Eingabeaufforderungen und versioniert sie?
- Wie gewähren Sie Agenten sicheren Zugriff auf interne Tools?
- Wie stellen Sie Skalierbarkeit und Zuverlässigkeit sicher?
- Wie setzt man Leitplanken um leistungsstarke externe Modelle?
Laut Raghu hat sich das Problem entwickelt von das richtige Modell auswählen zu Planung der richtigen Infrastruktur.
„KI entwickelt sich von einem Model-as-an-API-Ansatz zu einer Herausforderung beim Systemdesign“, erklärte er. „Unternehmen müssen jetzt Plattformen entwickeln, die mehrere Komponenten auf sichere und kontrollierte Weise miteinander orchestrieren können.“
Warum Unternehmensführung unternehmenskritisch wird
Sobald KI-Systeme beginnen, Maßnahmen zu ergreifen — und nicht nur Text zu generieren —, ist Governance kein nettes Extra mehr. Es wird unverzichtbar.
Anurag veranschaulichte dies an einem konkreten Beispiel: Stellen Sie sich vor, ein Reiseunternehmen bringt einen KI-Assistenten auf den Markt, der Flüge im Namen von Nutzern buchen kann.
Was könnte schief gehen?
Reichlich.
- Ein Benutzer könnte das System dazu verleiten, unangemessenen Inhalt zu generieren
- Bots könnten das System mit Millionen teurer Abfragen überfluten
- Jemand könnte den Agenten manipulieren, um auf die Daten eines anderen Benutzers zuzugreifen
- Das Kosten generativer KI könnte ohne Nutzungsbeschränkungen außer Kontrolle geraten.
Jedes dieser Aspekte stellt eine andere behördliche Herausforderung dar: Sicherheit, Kostenkontrolle, Zugriffsmanagement und Identitätsdurchsetzung
Aus diesem Grund erfordert agentische KI eine Steuerung auf mehreren Ebenen:
- Datenverwaltung — Sicherstellung des Schutzes sensibler Informationen
- Zugriffskontrollen — Stellen Sie sicher, dass Agenten nur auf das zugreifen, was sie sollten
- Ratenbegrenzung und Kostenkontrolle
- Überprüfbarkeit und Abstammungsverfolgung
- Betriebsüberwachung und Leitplanken
Beyond Pilots: Die wahre KI-Herausforderung für Unternehmen
Wenn es eine klare Erkenntnis aus der Diskussion gab, dann ist es diese:
Beim Erfolg von KI in Unternehmen geht es nicht mehr um Modelle. Es geht um Lebenszyklusmanagement.
Eine clevere Demo zu erstellen ist einfach. Die sichere und zuverlässige Ausführung intelligenter Agenten auf Unternehmensebene ist der schwierige Teil.
In dem Maße, in dem Unternehmen nicht mehr nur Machbarkeitsstudien durchführen, sondern sich voll und ganz der Produktion widmen, muss sich der Schwerpunkt auf Folgendes verlagern:
- Unternehmensführung
- Skalierbarkeit
- Sicherheit
- Beobachtbarkeit
- Steuerung
Bei TrueFoundry bauen wir genau dafür. Um agentische KI in die Unternehmensrealität umzusetzen, sind mehr als Modelle erforderlich. Dazu ist eine Plattform erforderlich, die auf Kontrolle, Steuerung und Skalierung ausgelegt ist.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.
Der schnellste Weg, deine KI zu entwickeln, zu steuern und zu skalieren











.png)




.png)






.webp)

.webp)



