Kreativität, KI-Systeme und Truefoundry mit Nikunj Bajaj

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Es gibt eine bestimmte Art von Gründer, der nicht aus einer Gelegenheit heraus gründet, sondern aus tiefgreifender Lebenserfahrung. Nikunj Bajaj, Mitbegründer und CEO von TrueFoundry, ist ein solcher Gründer. In einem kürzlichen Gespräch im Arden Labs Podcast zeichnete er den gesamten Verlauf seiner Reise nach, vom Aufwachsen in Kalkutta über das Bestehen einer der wettbewerbsintensivsten Aufnahmeprüfungen Indiens bis hin zum Verbringen eines Pandemie-Lockdowns auf einer Matratze in einem einzigen Zimmer mit seinen beiden Mitbegründern, wo sie die Idee für das Unternehmen entwickelten, das später TrueFoundry werden sollte.
Es ist eine Geschichte, die es wert ist, mit Geduld ganz angehört zu werden.
Kalkutta nach IIT, IIT nach Berkeley
Nikunj wuchs in einem bodenständigen, bescheidenen Haushalt in Kalkutta auf, eine Erziehung, die er als stabil und beständig beschreibt: dasselbe Haus, dieselben Freunde, dieselbe Nachbarschaft über Jahre hinweg. Er war, nach eigener Aussage, niemand, der als Kind von der IIT geträumt hatte. Die Idee kam ihm allmählich, durch Gespräche mit Menschen, die diesen Weg gegangen waren, und durch ein wachsendes Interesse an Ingenieurwissenschaften und Mathematik.
Es folgten zwei Jahre intensiver Vorbereitung auf die Aufnahmeprüfung für Indiens IITs. Eine halbe Million Studenten legen die Prüfung jedes Jahr ab. Einige Tausend werden aufgenommen. Nikunj war einer von ihnen.
An der IIT Kharagpur, der ältesten und größten der IITs, wählte er Instrumentierungstechnik, da er sich zur Robotik hingezogen fühlte und dem Versprechen, Dinge zu bauen, die sich bewegten und auf die Welt reagierten. Außerhalb des Hörsaals tat er genau das. Sein Team baute ein autonomes Bodenfahrzeug und war das erste Team aus Indien, das das Land bei einem Robotik-Wettbewerb in den Vereinigten Staaten vertrat. Es war seine erste Reise nach Amerika.
Es folgte ein Praktikum an der UC Berkeley, das er durch Forschungsempfehlungen von Beratern aus Israel und Indien erhielt. Dieses Praktikum änderte alles. Seine Forschung verlief so gut, dass sein Betreuer ihn einlud, für einen Master-Abschluss zurückzukehren. Dort lernte er auch seine Frau kennen, die ebenfalls an diesem Programm teilgenommen hatte; sie war die Mitbewohnerin seines Laborkollegen. Ein einziges Praktikum, so reflektiert er, ordnete sowohl seine Karriere als auch sein Leben.
Die Meta-Jahre und die Erkenntnis, die alles in Gang setzte
Nach Abschluss seines Masterstudiums in Berkeley im Jahr 2014 trat Nikunj Reflektion bei, einem KI-Unternehmen, das die E-Commerce-Branche bedient, als einer der ersten Machine-Learning-Ingenieure. Innerhalb von dreieinhalb Jahren stieg er zum Leiter des ML-Teams auf und baute eine interne Entwicklerplattform für maschinelles Lernen auf, was ihm einen ersten echten Einblick in das Infrastrukturproblem gab, dessen Lösung er später seine Karriere widmen sollte.
Dann kam Meta.
Bei Meta arbeitete Nikunj im Team für konversationelle KI zu einer Zeit, als das Unternehmen tief in transformatorbasierte Modelle vordrang, dieselbe Technologie, die später ChatGPT und die Welle der generativen KI antreiben sollte. Doch über die technische Erfahrung hinaus war es die operative Realität von Metas interner ML-Plattform, die ihm im Gedächtnis blieb.
„Als einzelner Entwickler bei Meta konnte ich ein Machine-Learning-Modell erstellen und es auf 10.000 Knoten selbst starten, ohne von jemand anderem abhängig zu sein“, erzählte er im Podcast. Außerhalb von Meta existierte diese Art von Fähigkeit im öffentlichen Cloud-Ökosystem einfach nicht. Unternehmen bauten Machine-Learning-Anwendungen auf fragmentierten, parallelen Stacks auf: einen für Software, einen für ML und zunehmend einen dritten für generative KI. Die Ineffizienz war jedem offensichtlich, der die Alternative gesehen hatte.
Diese Beobachtung wurde zur Gründungshypothese von TrueFoundry: dass maschinelles Lernen irgendwann einen Wendepunkt erreichen würde, an dem Unternehmen dringend eine einheitliche, vertikalisierte Infrastrukturplattform benötigen würden, ähnlich der, die Meta intern aufgebaut hatte. Die Frage war nicht, ob es passieren würde, sondern wann.
Eine Pandemie, ein Pivot und ein Neuanfang
Vor TrueFoundry gab es Enthire. Anfang 2020 kündigten Nikunj und seine beiden Mitbegründer – Abhishek, der ebenfalls bei Meta gewesen war, und Anurag, der maschinelles Lernen zum Aufbau von Handelsstrategien bei WorldQuant eingesetzt hatte – ihre Jobs, um ein anderes Problem zu lösen: die Ineffizienz technischer Einstellungsinterviews.
Der Zeitpunkt, wie Nikunj es ausdrückt, hätte nicht schlechter sein können (oder aufschlussreicher!). Sie kamen im März 2020 in Bangalore an, Tage bevor Indien in den Lockdown ging. Da sie nirgendwo anders hingehen konnten, teilten sich alle drei monatelang ein einziges Zimmer in der Zweizimmerwohnung eines Freundes, legten Matratzen aus und bauten ein Unternehmen von Grund auf neu auf.
Enthire wuchs. Innerhalb eines Jahres hatten sie 40 bis 50 Kunden und waren in den Y Combinator aufgenommen worden. Doch ein entscheidendes Gespräch mit ihrem YC-Partner, jemandem, der vier Jahre und über 35 Millionen Dollar in den Aufbau eines frappierend ähnlichen Unternehmens investiert hatte, bevor er zu YC kam, gab ihnen die ehrliche Bestätigung, die sie hören mussten: Das Geschäftsmodell hatte eine Grenze, die sie nicht durchbrechen konnten. Es war zu betriebsintensiv, zu nischig und passte nicht gut zu drei Gründern mit tiefgreifendem technologischem Hintergrund.
Sie entschieden sich, das Geschäft zu verlassen, das von einem großen indischen Unternehmen übernommen wurde, und gingen zurück ans Reißbrett. Was danach kam, war TrueFoundry, aufgebaut auf den Infrastruktur-Erkenntnissen, die Nikunj und Abhishek seit ihrer Zeit bei Meta mit sich trugen.
Aufbau der Plattform, die der Unternehmenswelt fehlte
TrueFoundry wurde Ende 2021 gegründet, mehr als ein Jahr bevor ChatGPT generative KI zu einem Mainstream-Thema machte. Dieser Vorsprung war von enormer Bedeutung. Denn die Plattform wurde von Anfang an mit Metas Architektur als Leitstern konzipiert, wobei generative KI als Spezialfall des maschinellen Lernens und maschinelles Lernen als Spezialfall von Software behandelt wurde. Sie war bereits in der Lage, Workloads für große Sprachmodelle zu unterstützen, als der Markt genau das plötzlich verlangte.
„Als ChatGPT auf den Markt kam, mussten wir keine grundlegenden architektonischen Änderungen vornehmen“, sagte Nikunj. „Wir dachten an maschinelles Lernen, und es würde LLMs standardmäßig unterstützen.“
Ihr erster großer Unternehmenskunde war eines der weltweit größten Pharmaunternehmen. Seitdem ist TrueFoundry auf ein Team von fast 100 Mitarbeitern in der Bay Area, Boston, Bangalore und London angewachsen. Das Produkt hat sich von seiner ursprünglichen KI-Bereitstellungsplattform, die Unternehmen die Ausführung benutzerdefinierter Modelle und Agenten auf ihrer eigenen Infrastruktur ermöglicht, um ein AI Gateway erweitert – eine einheitliche Steuerungsebene, die bei jedem API-Aufruf eines Unternehmens an seine Modelle, Agenten und MCP-Server zwischengeschaltet ist.
Das Gateway erzwingt Governance, Compliance und Kostenkontrollen. Es bietet vollständige Beobachtbarkeit über den gesamten KI-Stack hinweg. Und es läuft in 17 Regionen weltweit, erreicht eine Verfügbarkeit von über vier Neunen mit einer Latenzzeit von unter fünf Millisekunden und verarbeitet Zehntausende von Anfragen pro Sekunde für produktionskritische Anwendungen.
Was er seinem jüngeren Ich sagen würde
Auf die Frage, welchen Rat er sich selbst am Anfang dieser Reise geben würde, war Nikunjs Antwort typisch bodenständig.
Erledige die unglamouröse Arbeit und erledige sie außergewöhnlich gut.
„Oftmals, wenn wir an spannenden Problemstellungen arbeiten, genießen wir das. Und wenn die Arbeit etwas weniger spannend wird, fangen wir an, alles zu hinterfragen“, sagte er. „Mein Rat ist: Egal, was du tust, mach es so gut, dass du stolz auf die Arbeit selbst bist, auch wenn die Arbeit nicht interessant war.“
Der kumulative Effekt dieses Ansatzes, so argumentiert er, wird unterschätzt. Menschen bemerken erstklassige Ausführung selbst bei alltäglichen Aufgaben. Das sind die Leute, die später wieder mit dir zusammenarbeiten wollen. Dein persönliches Wachstum und dein Ökosystem wachsen gemeinsam.
Es ist in vielerlei Hinsicht die Philosophie, die sich durch jedes Kapitel seiner Geschichte zieht – von zwei Jahren stiller Vorbereitung in Kalkutta über die Entscheidung für einen Master-Abschluss statt eines sechsstelligen Gehalts bis zum Wiederaufbau von Grund auf nach Enthire und einem Jahr intensiver Arbeit an der Infrastruktur, bevor TrueFoundry seine erste Produktionslast bediente.
Das lange Spiel, konsequent gespielt, zahlt sich tendenziell aus.
Hören Sie das vollständige Gespräch mit Nikunj Bajaj im Arden Labs Podcast, jetzt verfügbar auf Spotify und Apple Podcasts.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.












.webp)



.png)

.png)
.png)




.png)
.png)
.png)
.png)
.png)







