Unite AI: Nikunj Bajaj, Mitgründer und CEO von TrueFoundry – Interviewreihe

Nikunj Bajaj ist Mitgründer und CEO von TrueFoundry. Er verantwortet die Vision und Strategie des Unternehmens zur Entwicklung zuverlässiger KI-Plattformen auf Enterprise-Niveau. Mit seiner Erfahrung in der Skalierung von Technologieprodukten und Teams unterstützt er Unternehmen dabei, KI-Systeme sicher und effizient bereitzustellen und zu betreiben. Er schreibt regelmäßig über die Einführung von Enterprise-KI, KI-Plattformstrategien und aktuelle Trends in der produktiven KI-Nutzung.

TrueFoundry ist eine Enterprise-KI-Infrastrukturplattform, die Unternehmen dabei unterstützt, Machine-Learning- und generative KI-Anwendungen in Kubernetes-Umgebungen zu entwickeln, bereitzustellen, zu verwalten und zu skalieren – egal ob in der Cloud, On-Premises oder in hybriden Setups. Dabei bietet die Plattform umfassende Governance-, Sicherheits- und Kostenkontrollfunktionen. Sie kombiniert ein KI-Gateway zur zentralen Steuerung von Modellen, LLMs und Agenten-Workflows mit Tools für das Fine-Tuning, Deployment, Monitoring und Autoscaling von Modellen. Ziel ist es, MLOps zu vereinfachen und die Time-to-Value für Data-Science- und Engineering-Teams zu verkürzen. Der entwicklerorientierte, cloud-agnostische Ansatz von TrueFoundry legt den Fokus auf Compliance und Flexibilität, sodass Teams komplexe KI-Workloads ohne Vendor-Lock-in verwalten und Standards wie SOC 2, HIPAA und ITAR einhalten können.

Bevor Sie TrueFoundry gründeten, waren Sie in der Machine-Learning-Forschung, bei der produktiven KI-Nutzung bei Facebook und bei großen Empfehlungssystemen tätig. Welche Erfahrungen haben Sie am stärksten dazu bewegt, ein Unternehmen für Enterprise-KI-Infrastruktur zu gründen, und welches Problem wurde Ihrer Meinung nach damals nicht ausreichend gelöst?

Bei Meta betrachteten wir Machine Learning als einen speziellen Bereich der Softwareentwicklung und GenAI als einen speziellen Bereich des Machine Learnings. Das führte zu einem vertikalen Stack: Software als Basis, Machine Learning in der Mitte und GenAI an der Spitze. In diesem Setup folgen die Modelle, die ich als Machine-Learning-Entwickler baue, demselben Deployment-Muster wie der Rest der Software, was die Skalierung von Systemen sehr unkompliziert macht.

Die meisten Unternehmen setzten jedoch auf parallele Stacks – also getrennte Umgebungen für Software, Machine Learning und GenAI. Sobald man solche parallelen Stacks hat, wird die Skalierung komplexer, da die Übergaben zwischen der Machine-Learning-Welt und der Software-Welt zu aufwendig sind.

Unser Team hat schon immer an der Schnittstelle zwischen der Entwicklung von Machine-Learning-Modellen und der entsprechenden Infrastruktur gearbeitet. Dadurch hatten wir eine einzigartige Perspektive: Wir wussten, dass wir ähnliche vertikale Stacks auch für Unternehmen bereitstellen und an deren spezifische Anforderungen anpassen konnten. Ende 2021 hatten wir zudem die Hypothese, dass Machine Learning vor einem Wendepunkt steht und Unternehmen bald einen vertikal integrierten Stack benötigen würden, um diese Systeme effektiv bereitzustellen und zu skalieren. Das hat uns letztlich zur Gründung von TrueFoundry geführt – und unsere Hypothese hat sich bestätigt. Die KI-Einführung beschleunigte sich nach dem Start von ChatGPT Ende 2022 massiv.

Während KI-Systeme von der Experimentierphase in den operativen Alltag übergehen: Was hat sich in der Art und Weise geändert, wie Unternehmen über Zuverlässigkeit und Ausfälle nachdenken sollten?

Bei GenAI ist das Risiko deutlich höher als bei herkömmlichen Machine-Learning-Systemen. Da diese Systeme nun in die Produktion gehen, haben Unternehmen es mit einem viel höheren Maß an Unklarheit und Nicht-Determinismus zu tun, da LLMs von Natur aus stochastisch sind. Agentenbasierte Systeme, die darauf aufbauen, erhöhen diese Komplexität zusätzlich.

Zudem sind Ausfälle nicht mehr binär. Anstatt dass Systeme einfach funktionieren oder komplett ausfallen, treten viele Probleme als Teilfehler oder schleichende Verschlechterungen auf. Systeme reagieren möglicherweise mit höherer Latenz, minderer Qualität oder zeigen mit der Zeit ein fehlerhaftes Verhalten. Oft sind diese Verschlechterungen schwerer zu erkennen und manchmal sogar schädlicher als ein kompletter Systemausfall.

Unternehmen müssen Zuverlässigkeit nicht mehr nur als reine Verfügbarkeit (Uptime) betrachten, sondern auch die Leistungsverschlechterung im Zeitverlauf berücksichtigen.

TrueFailover wurde inmitten einer Welle von aufsehenerregenden Cloud- und KI-Service-Ausfällen gestartet. Welche Ereignisse haben verdeutlicht, dass KI-Zuverlässigkeit von einem „Nice-to-have“ zu einer zentralen architektonischen Anforderung geworden ist?

Einer unserer Kunden aus dem Gesundheitswesen, der zeitkritische Patientenanfragen zu Rezepten in Echtzeit verarbeitet, war von einem Ausfall aufgrund eines Modellfehlers betroffen. Ihre Workflows generieren pro Sekunde Umsätze in Tausenderhöhe, und der Ausfall unterbrach einige dieser kritischen Prozesse. Als einer der ersten TrueFailover-Kunden konnten wir bei der schnellen Wiederherstellung helfen und die Auswirkungen begrenzen.

Solche Vorfälle werfen eine wichtige Frage auf: Warum sind Wiederherstellungsprozesse immer noch weitgehend manuell, obwohl die Risiken bei GenAI-Systemen stetig steigen? Das hat uns in der Überzeugung bestärkt, dass Systeme mit der Annahme entwickelt werden müssen, dass Fehler passieren – und sie sollten so konzipiert sein, dass sie sich automatisch selbst korrigieren. Zuverlässigkeit muss direkt in den KI-Stack integriert werden, etwa durch KI-Gateways, die zentrales Routing, Observability, Leitplanken und intelligentes Modell-Switching zwischen verschiedenen Anbietern ermöglichen.

Viele KI-Ausfälle werden immer noch als technische Schluckaufs abgetan. Wo sehen Sie die tatsächlichen wirtschaftlichen und menschlichen Kosten, wenn KI-Systeme ausfallen?

Enterprise-KI hat sich so weit entwickelt, dass diese Schluckaufs nicht mehr nur interne Workflows betreffen. Heute wirken sich Ausfälle und Leistungsabfälle direkt und unmittelbar auf die öffentliche Wahrnehmung und den Umsatz aus, da die produktiven Anwendungsfälle nun kundenorientiert sind. Dieser Wandel von internen Tests hin zu geschäftskritischen, öffentlichen Anwendungen ist der Grund, warum wir eine steigende Nachfrage nach Aufmerksamkeit und Aufsicht durch die Führungsebene sehen.

Da KI-Systeme immer tiefer in operative Workflows eingebettet werden, sind Ausfälle keine rein technischen Probleme mehr. Sie haben zunehmend direkte geschäftliche, kundenbezogene und rufschädigende Konsequenzen.

Wie schnell kann sich KI-Ausfallzeit in geschäftskritischen Umgebungen wie Apotheken, im Gesundheitswesen oder im Kundenservice zu einem operativen oder Reputationsrisiko entwickeln?

In geschäftskritischen Umgebungen geschieht diese Eskalation fast sofort, da diese Systeme zeitkritische Echtzeit-Workflows unterstützen. Selbst eine kurze Unterbrechung kann kritische Prozesse stoppen, die Servicebereitstellung verzögern oder nachgelagerte Systeme unterbrechen, die von diesen Ergebnissen abhängen – was zu kaskadierenden operativen Auswirkungen im gesamten Unternehmen führt.

In Sektoren wie dem Gesundheitswesen gehen die Auswirkungen über operative Störungen hinaus und betreffen das Kundenerlebnis und die Behandlungsergebnisse. Wenn ein Patient sein Rezept nicht rechtzeitig einlösen kann, hat das reale Konsequenzen. Das ist nicht nur ein Problem für den Patienten, sondern kann auch den Ruf einer Apotheke oder eines Gesundheitsdienstleisters schädigen. In Bereichen, in denen Vertrauen entscheidend ist, ist es unerlässlich, dass Systeme online bleiben. Deshalb erkennen Unternehmen zunehmend, dass KI-Systeme mit der Annahme von Fehlern konzipiert werden müssen und Wiederherstellungsmechanismen automatisch aktiviert werden müssen, um Risiken zu minimieren.

Sie haben gesagt, dass viele Teams eher auf Leistungsfähigkeit als auf Kontinuität setzen. Warum wurde Resilienz beim Design von KI-Systemen Ihrer Meinung nach bisher vernachlässigt?

Das liegt größtenteils an den Anreizstrukturen innerhalb von Unternehmen. Neue Funktionen sind sichtbar und aufregend. Sie ermöglichen Demos, Features und Produktmöglichkeiten, die für die Führungsebene sofort erkennbar sind.

Kontinuität ist per Definition unsichtbar, solange alles reibungslos funktioniert. Daher neigen Belohnungssysteme dazu, die Bereitstellung neuer Funktionen zu bevorzugen, anstatt sicherzustellen, dass nichts ausfällt. Infolgedessen investieren Unternehmen oft unverhältnismäßig viel in die Entwicklung neuer Fähigkeiten statt in die Resilienz ihrer Systeme.

Da Unternehmen zunehmend auf externe Modelle und APIs angewiesen sind: Welche neuen Schwachstellen entstehen im KI-Stack, die Führungskräfte möglicherweise noch nicht vollständig erkennen?

LLMs sind grundlegend geteilte Ressourcen, die Unternehmen nicht wie herkömmliche Infrastruktur besitzen. Zudem laufen geschäftskritische Systeme in Unternehmen auf externen Plattformen, die noch nicht umfassend praxiserprobt sind. Da sich LLMs selbst rasant weiterentwickeln, können Modellanbieter nicht für Dinge wie Latenz oder leicht nachlassende Modellleistung haftbar gemacht werden, da sie ihre Forschung in sehr kurzen Zyklen vorantreiben.

Da LLMs geteilte Ressourcen sind, kann die Latenz sprunghaft ansteigen, wenn ein anderer Nutzer dieser LLMs eine bestimmte Aktion ausführt. Aufgrund der grundlegenden Natur von LLMs entstehen viele solcher Fehlerquellen, und Unternehmen haben in dieser neuen Welt schlichtweg keine vollständige Kontrolle. Ohne diese Kontrolle ist das Beste, was ein Unternehmen tun kann, genügend Systemredundanzen zu schaffen, um ein widerstandsfähiges System zu entwerfen.

Wie sollten Unternehmen ihre KI-Architektur überdenken, um von vornherein mit Fehlern zu rechnen, anstatt Ausfälle als seltene Ausnahmefälle zu behandeln, ohne sich dabei auf spezifische Produkte zu konzentrieren?

Unternehmen sollten zu den Grundprinzipien des Designs verteilter Systeme zurückkehren. Softwaresysteme wurden mit der Annahme entwickelt, dass Netzwerkkomponenten und Maschinen ausfallen können und dass eine ganze Region nicht erreichbar sein könnte.

Für KI-Systeme sollte das nicht anders sein. Wir sollten davon ausgehen, dass Modellanbieter Latenzprobleme, Leistungseinbußen oder Ausfälle haben werden, und Redundanzen einbauen, damit Anwendungen über verschiedene Fehlerszenarien hinweg resilient bleiben.

Erwarten Sie, dass KI-Resilienz zu einem entscheidenden Faktor bei der Auswahl von Plattformen und Anbietern wird, ähnlich wie Verfügbarkeit und Redundanz die Entscheidungen bei der Cloud-Infrastruktur geprägt haben?

Je mehr KI-Systeme in die Produktion gehen, desto mehr wird Resilienz zur Grundvoraussetzung. Wenn ein Anbieter seine Grafiken und Kennzahlen zu Verfügbarkeit und allgemeiner Resilienz nicht vorweisen kann, wird er gar nicht erst in Betracht gezogen. Sobald Resilienz bei allen Anbietern als Standard erwartet wird, verlagern sich die entscheidenden Faktoren auf Benutzererfahrung, Leistungsoptimierung, Observability und übergeordnete Produktfähigkeiten. Mit der Zeit werden Komponenten wie ein KI-Gateway und automatisierte Failover-Funktionen zu grundlegenden Elementen der KI-Infrastruktur in Unternehmen.

Was bedeutet „produktionsreife“ KI in einer Welt, in der KI als kontinuierlich verfügbar und nicht nur gelegentlich hilfreich erwartet wird?

Produktionsreife KI-Systeme müssen beobachtbar, steuerbar und wiederherstellbar sein. Alle drei Kriterien müssen erfüllt sein.

Damit KI in der Produktion beobachtbar ist, benötigen Teams tiefe Einblicke in das Modellverhalten, Latenzzeiten, Fehlerraten, Token-Verbrauch, Drift und Fehlermuster. Ohne eine starke Observability ist es sehr schwierig, Leistungseinbußen zu erkennen, bevor die Benutzer sie bemerken.

Steuerbarkeit umfasst Traffic-Shaping, Ratenbegrenzung, Sicherheitsleitplanken (Guardrails), Richtliniendurchsetzung und intelligentes Routing über verschiedene Modelle und Anbieter hinweg. Hier wird ein KI-Gateway zur zentralen Steuerungsebene, die Leitplanken erzwingt, eine konsistente Governance bietet und bei nachlassender Leistung oder Zuverlässigkeit ein dynamisches Umschalten zwischen Modellen ermöglicht.

Und schließlich sollten Systeme im Hinblick auf die Wiederherstellbarkeit mit der Annahme gebaut werden, dass Komponenten teilweise oder vollständig ausfallen können – sei es durch Anbieterausfälle, nachlassende Modellqualität, Ratenbegrenzungen oder unerwartete Eingaben durch böswillige Akteure. Automatisierte Failover- und Selbstheilungsmechanismen sollten nativ in der Architektur verankert sein, statt auf manuellen Playbooks zu basieren, die erst nach einem Vorfall ausgelöst werden.

Das ist die Richtung, in die wir bei TrueFoundry arbeiten. Anbieter, die Produktionsreife auf diese Weise definieren – durch die Kombination von Observability, zentraler Steuerung und automatisierter Wiederherstellung – werden langfristiges Kundenvertrauen gewinnen und in der Lage sein, neue Probleme bei ihrem Auftreten zu lösen.

Über TrueFoundry:

TrueFoundry bietet ein KI-Gateway der Enterprise-Klasse, das ein LLM-Gateway, ein MCP-Gateway und ein Agent-Gateway umfasst. Es ermöglicht Unternehmen, den Zugriff auf Modelle, Tools, Leitplanken und Agenten sicher zu verbinden, zu überwachen und zu steuern – alles über eine einzige Steuerungsebene. Das KI-Gateway ermöglicht agentenbasierte Workloads, die durch einheitliche und kombinierbare Verbindungen über verschiedene Anbieter hinweg sicher, effizient und zukunftssicher sind.

Über die Gateway-Ebene hinaus ermöglicht TrueFoundry Unternehmen das Bereitstellen und Trainieren benutzerdefinierter LLMs auf GPUs, das Hosten von MCP-Servern und das Ausführen eigener Agenten – alles über eine Kubernetes-native Schnittstelle. Es unterstützt On-Premise- und VPC-Installationen sowohl für das KI-Gateway als auch für die Bereitstellungsumgebungen. TrueFoundry gewährleistet Compliance auf Enterprise-Niveau gemäß SOC 2, HIPAA und ITAR-Standards. Mit integrierter Autoskalierung, Caching und Ressourcenoptimierung unterstützt TrueFoundry Unternehmen dabei, KI-Systeme sicher, effizient und auf einem zukunftssicheren Stack zu bauen, bereitzustellen und zu verwalten. Um mehr zu erfahren, besuchen Sie truefoundry.com