Kreativität, KI-Systeme und TrueFoundry mit Nikunj Bajaj

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Es gibt eine bestimmte Art von Gründern, die nicht aus bloßer Gelegenheit heraus bauen, sondern aus tief gelebter Erfahrung. Nikunj Bajaj, Mitgründer und CEO von TrueFoundry, ist genau so ein Gründer. In einem kürzlich geführten Gespräch im Arden Labs Podcast zeichnete er den gesamten Bogen seiner Reise nach: vom Aufwachsen in Kalkutta über das Bestehen einer der härtesten Aufnahmeprüfungen Indiens bis hin zu einem Pandemie-Lockdown auf einer Matratze in einem einzigen Raum mit seinen zwei Mitgründern, in dem sie Ideen für das Unternehmen entwickelten, das schließlich TrueFoundry werden sollte.
Es ist eine Geschichte, bei der es sich lohnt, sie in voller Länge zu hören.
Von Kalkutta zur IIT, von der IIT nach Berkeley
Nikunj wuchs in einem bodenständigen, bescheidenen Haushalt in Kalkutta auf – eine Erziehung, die er als stabil und beständig beschreibt: jahrelang dasselbe Haus, dieselben Freunde, dieselbe Nachbarschaft. Er war, wie er selbst zugibt, niemand, der als Kind von der IIT geträumt hatte. Die Idee kam ihm erst nach und nach durch Gespräche mit Menschen, die diesen Weg gegangen waren, und durch ein wachsendes Interesse an Ingenieurwesen und Mathematik.
Was folgte, waren zwei Jahre intensiver Vorbereitung auf die Aufnahmeprüfung für die indischen IITs. Jedes Jahr nehmen eine halbe Million Studenten an der Prüfung teil. Einige Tausend werden aufgenommen. Nikunj war einer von ihnen.
Am IIT Kharagpur, dem ältesten und größten der IITs, entschied er sich für Instrumentation Engineering, da er sich zu Robotik und dem Versprechen hingezogen fühlte, Dinge zu bauen, die sich bewegten und auf die Welt reagierten. Außerhalb des Hörsaals tat er genau das. Sein Team baute ein autonomes Landfahrzeug und vertrat als erstes Team aus Indien das Land bei einem Robotikwettbewerb in den USA. Es war seine erste Reise nach Amerika.
Es folgte ein Praktikum an der UC Berkeley, das er sich durch Empfehlungen von Forschungspartnern in Israel und Indien sicherte. Dieses Praktikum veränderte alles. Seine Forschung lief so gut, dass sein Betreuer ihn einlud, für einen Masterabschluss zurückzukehren. Dort lernte er auch seine Frau kennen, die über dasselbe Programm gekommen war – ihre Mitbewohnerin, sein Laborkollege. Ein einziges Praktikum, so reflektiert er, ordnete sowohl seine Karriere als auch sein Leben.
Die Meta-Jahre und die Erkenntnis, die alles veränderte
Nachdem er 2014 seinen Master in Berkeley abgeschlossen hatte, stieg Nikunj bei Reflektion ein, einem KI-Unternehmen für die E-Commerce-Branche, als einer der ersten Machine Learning Engineers. Im Laufe von dreieinhalb Jahren stieg er zum Leiter des ML-Teams auf und baute eine interne Machine Learning Developer Platform auf – sein erster echter Einblick in das Infrastrukturproblem, dessen Lösung er später seine Karriere widmen sollte.
Dann kam Meta.
Bei Meta arbeitete Nikunj im Conversational AI-Team zu einer Zeit, als das Unternehmen tief in Transformer-basierte Modelle vorstieß – dieselbe Technologie, die später ChatGPT und die Generative AI-Welle antreiben sollte. Aber abgesehen von der technischen Erfahrung war es die betriebliche Realität der internen ML-Plattform von Meta, die ihm in Erinnerung blieb.
„Als einzelner Entwickler bei Meta konnte ich selbstständig ein Machine-Learning-Modell bauen und es auf 10.000 Knoten starten, ohne von jemand anderem abhängig zu sein“, erzählte er im Podcast. Außerhalb von Meta existierte eine solche Fähigkeit im Public-Cloud-Ökosystem schlichtweg nicht. Unternehmen bauten Machine-Learning-Anwendungen auf fragmentierten, parallelen Stacks auf: einen für Software, einen für ML und zunehmend einen dritten für Generative AI. Die Ineffizienz war für jeden offensichtlich, der die Alternative gesehen hatte.
Diese Beobachtung wurde zur Gründungshypothese von TrueFoundry: Dass Machine Learning irgendwann einen Wendepunkt erreichen würde, an dem Unternehmen dringend eine einheitliche, vertikalisierte Infrastrukturplattform benötigen würden – ähnlich der, die Meta intern aufgebaut hatte. Die Frage war nicht, ob es passieren würde, sondern wann.
Eine Pandemie, ein Pivot und ein Neuanfang
Vor TrueFoundry gab es Enthire. Anfang 2020 kündigten Nikunj und seine zwei Mitgründer – Abhishek, der ebenfalls bei Meta gewesen war, und Anurag, der Machine Learning genutzt hatte, um Handelsstrategien bei WorldQuant zu entwickeln – ihre Jobs, um ein anderes Problem zu lösen: die Ineffizienz von technischen Bewerbungsgesprächen.
Der Zeitpunkt hätte, wie Nikunj es ausdrückt, nicht schlechter (oder erhellender!) sein können. Sie kamen im März 2020 in Bangalore an, wenige Tage bevor Indien in den Lockdown ging. Da sie nirgendwo anders hin konnten, teilten sich alle drei monatelang ein einzelnes Zimmer in der Zweizimmerwohnung eines Freundes, legten Matratzen aus und bauten ein Unternehmen von Grund auf auf.
Enthire wuchs. Innerhalb eines Jahres hatten sie 40 bis 50 Kunden und wurden bei Y Combinator aufgenommen. Doch ein entscheidendes Gespräch mit ihrem YC-Partner – jemandem, der vier Jahre und über 35 Millionen Dollar damit verbracht hatte, ein erstaunlich ähnliches Unternehmen vor seiner Zeit bei YC aufzubauen – gab ihnen die ehrliche Bestätigung, die sie hören mussten: Das Geschäftsmodell hatte eine Obergrenze, die sie nicht durchbrechen werden könnten. Es war zu betriebsintensiv, zu nischig und passte nicht gut zu drei Gründern mit tiefem technologischem Hintergrund.
Sie trafen die Entscheidung, das Geschäft zu veräußern – welches von einem großen indischen Unternehmen übernommen wurde – und kehrten an den Zeichenblock zurück. Was als Nächstes kam, war TrueFoundry, gebaut auf der Infrastrukturerkenntnis, die Nikunj und Abhishek seit ihrer Zeit bei Meta mit sich trugen.
Der Aufbau der Plattform, die der Enterprise-Welt fehlte
TrueFoundry wurde Ende 2021 gegründet, mehr als ein Jahr bevor ChatGPT Generative AI zu einem Mainstream-Thema machte. Dieser Vorsprung war von enormer Bedeutung. Denn die Plattform war von Anfang an mit Metas Architektur als Leitstern konzipiert worden: Generative AI wurde als Spezialfall von Machine Learning betrachtet, und Machine Learning als Spezialfall von Software. Sie war bereits in der Lage, Workloads für Large Language Models zu unterstützen, als der Markt plötzlich genau das verlangte.
„Als ChatGPT auf den Markt kam, mussten wir keine grundlegenden architektonischen Änderungen vornehmen“, sagte Nikunj. „Wir dachten an Machine Learning, und das unterstützte LLMs standardmäßig.“
Ihr erster großer Enterprise-Kunde war eines der weltweit größten Pharmaunternehmen. Seitdem ist TrueFoundry auf ein Team von fast 100 Mitarbeitern in der Bay Area, Boston, Bangalore und London angewachsen. Das Produkt hat sich von seiner ursprünglichen AI Deployments-Plattform – die es Unternehmen ermöglicht, benutzerdefinierte Modelle und Agenten auf ihrer eigenen Infrastruktur auszuführen – um ein AI Gateway erweitert: eine einheitliche Control Plane, die in der Mitte jedes API-Aufrufs sitzt, den ein Unternehmen an seine Modelle, Agenten und MCP-Server tätigt.
Das Gateway setzt Governance, Compliance und Kostenkontrollen durch. Es bietet vollständige Observability über den gesamten KI-Stack hinweg. Und es läuft weltweit über 17 Regionen hinweg, wobei es eine Verfügbarkeit von über 99,99 % bei einer Latenz von unter fünf Millisekunden erreicht und Zehntausende von Anfragen pro Sekunde für produktionskritische Anwendungen verarbeitet.
Was er seinem jüngeren Ich raten würde
Auf die Frage, welchen Rat er sich selbst zu Beginn dieser Reise geben würde, war Nikunjs Antwort charakteristisch bodenständig.
Mache die unscheinbare Arbeit und mache sie außergewöhnlich gut.
„Oft genießen wir es, wenn wir an coolen Problemstellungen arbeiten. Und wenn die Arbeit etwas weniger cool wird, fangen wir an, alles infrage zu stellen“, sagte er. „Mein Rat ist: Egal, was du tust, mache es so gut, dass du stolz auf die Arbeit selbst bist, selbst wenn die Arbeit nicht interessant war.“
Der Zinseszinseffekt dieses Ansatzes wird seiner Meinung nach unterschätzt. Menschen bemerken eine erstklassige Ausführung selbst bei alltäglichen Aufgaben. Das sind die Menschen, die später zurückkommen und mit Ihnen zusammenarbeiten wollen. Ihr persönliches Wachstum und Ihr Ökosystem wachsen gemeinsam.
Es ist in vielerlei Hinsicht die Philosophie, die sich durch jedes Kapitel seiner Geschichte gezogen hat: von zwei Jahren stiller Vorbereitung in Kalkutta über die Wahl eines Masterabschlusses anstelle eines sechsstelligen Gehalts bis hin zum Neuaufbau von Grund auf nach Enthire und einem Jahr intensiver Arbeit an der Infrastruktur, bevor TrueFoundry seinen ersten Produktions-Workload bediente.
Das langfristige Spiel, konsequent gespielt, zahlt sich am Ende aus.
Hören Sie das vollständige Gespräch mit Nikunj Bajaj im Arden Labs Podcast, ab sofort verfügbar auf Spotify und Apple Podcasts.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.












.png)
.png)
.png)
.png)

.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.webp)
.webp)

.png)
.png)





