Het bouwen van de infrastructuurlaag die enterprise AI miste

‍

In 2022, voordat ChatGPT deel uitmaakte van ons dagelijks taalgebruik, waren onze oprichters Nikunj Bajaj, Abhishek en Anuraag al aan het bouwen. Niet reagerend op een trend, niet jagend op een hype, maar bouwend vanuit de overtuiging dat de bedrijfswereld op het punt stond een omslagpunt te bereiken waar ze niet op voorbereid was.

Die overtuiging kwam van binnenuit. Voordat hij TrueFoundry oprichtte, werkte Nikunj bij Meta. De ervaring met het op schaal werken met machine learning-infrastructuur veranderde daar fundamenteel zijn kijk op het probleem.

"De manier waarop je bij Meta machine learning-modellen bouwt, is wezenlijk anders dan hoe je dat doet met het publieke cloud-ecosysteem daarbuiten," deelde Nikunj in de Code Story Podcast. "Meta ziet machine learning als een speciaal geval van software engineering en generatieve AI als een speciaal geval van machine learning."

Dat mentale model software aan de basis, ML in het midden, GenAI aan de top, allemaal draaiend via één geïntegreerde interface op een gedeelde infrastructuur is niet hoe de meeste bedrijven werken. De meeste organisaties gebruiken twee, soms drie, parallelle stacks: één voor software, één voor ML, en nu steeds vaker een aparte voor GenAI. Het resultaat is fragmentatie, redundantie en een systeem dat onder zijn eigen gewicht bezwijkt naarmate het schaalt.

TrueFoundry is opgericht om precies dat op te lossen.

De gok waar een jaar aan gebouwd is

Wanneer mensen het over MVP's hebben, bedoelen ze meestal iets simpels een snel prototype om een hypothese te testen. De versie van TrueFoundry zag er heel anders uit.

"We hebben meer dan een jaar in alle rust gewerkt aan de ontwikkeling van het platform," legde Nikunj uit. "We bouwden aan de kerninfrastructuur waarop bedrijven hun machine learning- en generatieve AI-toepassingen kunnen bouwen en naar productie kunnen brengen."

De technische gok die centraal stond bij dat werk was Kubernetes. Het team geloofde dat net zoals softwareworkloads waren samengekomen op Kubernetes voor orchestratie, ML-workloads zouden volgen. Destijds was Kubeflow de dominante tool die organisaties hielp ML op Kubernetes te draaien, maar de bijdragen daaraan namen af toen Google zijn investeringen verlegde naar Vertex. Het TrueFoundry-team zag die ruimte en sprong er bewust in door hun volledige ML- en GenAI-stack native op Kubernetes te bouwen. Die beslissing leverde iets van onschatbare waarde op: infrastructuur die overal kan draaien AWS, GCP, Azure of on-premise zonder vast te zitten aan één enkele cloudprovider.

Het was een geduldig, principieel begin. En het legde de basis voor alles wat volgde.

Aanpassen aan een wereld die niet stopt met bewegen

Een van de meest opvallende dingen aan het producttraject van TrueFoundry is hoe consequent de wereld om hen heen veranderde en hoe bewust zij zich aanpasten.

In 2022 werden grote taalmodellen voor het eerst echt nuttig. In 2023 ontdekten bedrijven dat nuttige antwoorden verankering in hun eigen data vereisten, en werd RAG (Retrieval Augmented Generation) het dominante paradigma. Tegen 2024 werden agents werkelijkheid en begonnen organisaties serieus na te denken over het inzetten van AI in productieworkflows. In 2025 kwamen MCP (Model Context Protocol) en agent-to-agent-communicatie op als de nieuwe grens.

Elk jaar veranderde het operationele model. De aanpak van TrueFoundry was om de fundamentele architectuur constant te houden, terwijl de laag die erboven zit werd aangepast- de ontwikkelaarservaring, de interfaces, het verbindingsweefsel tussen componenten.

"We passen ons aan de modus operandi aan," zei Nikunj. "We bouwen de UX-laag eromheen, maar we brengen alles terug naar hetzelfde fundamentele uitgangspunt over hoe je deze workloads uitvoert op dezelfde onderliggende infrastructuur."

Het product van vandaag weerspiegelt die filosofie. De AI Gateway van TrueFoundry bevindt zich in het midden van elke API-call die een bedrijf maakt naar zijn LLM's en agents. Het omvat een LLM gateway, een MCP gateway en een agent gateway,  een geïntegreerd control plane voor observability, governance, kostenbeheer en compliance over de gehele agentic stack. Daarnaast stelt het AI Deployments-product bedrijven in staat om aangepaste modellen uit te voeren, MCP-servers te hosten en agents te orchestreren op hun eigen compute- alles via een Kubernetes-native interface.

De fout waar ze open over durven te zijn

Niet alles verliep volgens plan. In 2024 geloofde TrueFoundry, net als het grootste deel van de sector, dat de LLM-proxylaag die bedrijven intern bouwden dun zou blijven. De logica was destijds begrijpelijk: model-API's waren grotendeels consistent, de laag was lichtgewicht en teams vonden het prettig om deze zelf te bouwen.

"We geloofden dat dit een laag is die meer in-house gebouwd zou worden," gaf Nikunj toe. "Door die fout hebben we wat ontwikkeling gemist die we in het jaar tussen 2024 en 2025 hadden kunnen maken."

Wat veranderde was de complexiteit. Model-API-signatures begonnen af te wijken. Nieuwe protocollen zoals MCP kwamen op. Agentic toepassingen gingen in productie, wat betekende dat uptime essentieel werd. En wat begonnen was als een dunne proxylaag, moest plotseling een enterprise-grade control plane worden met guardrails, complianceregels, kostentracking en gecentraliseerde observability voor elke agent in de organisatie.

Toen TrueFoundry die verschuiving zag gebeuren, handelden ze snel. Binnen zes maanden herbouwden en breidden ze hun AI gateway uit tot een van de krachtigste producten in de markt. Vandaag de dag draait de gateway in 17 regio's wereldwijd, behaalt deze meer dan vier negens uptime, voegt deze minder dan vijf milliseconden latency toe en verwerkt deze tenslotte tientallen duizenden requests per seconde voor productie-kritische bedrijfstoepassingen.

Snelheid van handelen veranderde een gemiste kans in een marktleidende positie.

Het team achter dit alles

Als je Nikunj vraagt waar hij het meest trots op is bij TrueFoundry, noemt hij niet de productstatistieken of de klantenlijst. Hij heeft het over het team.

Het bedrijf begon met drie co-founders die samen waren opgegroeid Nikunj, Anurag en Abhishek wier aanvullende achtergronden in ML, infrastructuur en strategie het bedrijf vanaf dag één de juiste vorm gaven. Abhishek had de video-infrastructuurorganisatie van Meta geleid. Anurag had machine learning gebruikt om handelsstrategieën te bouwen bij WorldQuant en leidde geografische uitbreidingen voor de firma. Samen brachten ze de technische diepgang en operationele reikwijdte die het bouwen van enterprise-infrastructuur vereist.

TrueFoundry heeft nu bijna 90 tot 100 medewerkers, maar vereist nog steeds dat elke nieuwe medewerker een gesprek met een oprichter voert. De criteria zijn niet veranderd: harde vaardigheden, zeker, maar nog belangrijker, een oprechte betrokkenheid bij de missie en het soort eigenaarschapsmentaliteit dat bedrijven in een vroeg stadium succesvol maakt.

"Wij denken dat dit de hoogste waarde is die een oprichter in een bedrijf kan creëren," zei Nikunj.

Waar dit alles naartoe gaat

De kortetermijnuitdaging die Nikunj ziet voor de sector is de overgang van honderden kleine AI-agents met een laag risico, persoonlijke productiviteitstools en functionele experimenten naar agents die zich in het kritieke pad van echte bedrijfsactiviteiten bevinden. Die overgang vereist een niveau van controle, betrouwbaarheid en governance dat de meeste bedrijven nog niet hebben opgebouwd.

De langetermijnambitie van TrueFoundry is nog groter. De vergelijking die Nikunj maakt is Databricks of Snowflake- bedrijven die waarde ontsluiten door de data van een organisatie te centraliseren. TrueFoundry wil hetzelfde doen voor compute. Één enkel platform waar agents worden ontwikkeld, ingezet en georchestreerd. Een centraal control plane voor alle compute die door de AI-systemen van een bedrijf stroomt.

Het is een grote visie. Maar het is een visie die in 2022 helder werd gedefinieerd en sindsdien alleen maar relevanter is geworden.

Beluister het volledige gesprek met Nikunj Bajaj in de Code Story Podcast, Seizoen 12, Aflevering 16, beschikbaar op Spotify en Apple Podcast.