De verborgen infrastructuur achter schaalbare Enterprise AI: Tesseract Talks met Abhishek Choudhary

In de nieuwste aflevering van Tesseract Talks zat host Oliver Rochford samen met Abhishek Choudhary, Co-Founder en CTO van TrueFoundry, om een van de grootste uitdagingen voor bedrijven van vandaag te ontrafelen: hoe je AI-systemen bouwt die zowel geavanceerd als veilig zijn, zonder te bezwijken onder operationele complexiteit.

Van model wildgroei en agent frameworks tot governance en kostenbeheersing, het gesprek maakte één ding duidelijk: enterprise AI draait niet langer alleen om het kiezen van het beste model. Het gaat om het bouwen van de juiste infrastructuur eromheen, zodat experimenten kunnen transformeren in betrouwbare, schaalbare productiesystemen.

Hier zijn de belangrijkste thema's en inzichten uit de discussie.

‍

‍

De realiteit van AI bouwen in een snel veranderend ecosysteem

Bedrijven opereren in een AI-omgeving die in een ongekend tempo verandert. Nieuwe modellen en providers verschijnen voortdurend, en elk daarvan heeft verschillende sterke punten, zwaktes en API's. Tegelijkertijd ontwikkelen protocollen zoals MCP (Model Context Protocol) zich nog steeds, terwijl agent frameworks zoals LangGraph, Google ADK, AWS-frameworks en andere zich blijven vermenigvuldigen.

Voordat teams überhaupt beginnen met het bouwen van waardevolle toepassingen, moeten ze fundamentele beslissingen nemen over welke modellen ze gebruiken, hoe ze prompts en versies beheren, op welke frameworks ze standaardiseren en hoe ze uiteindelijk deployen en schalen wat ze bouwen. En net als teams vertrouwd raken met één stack, verschuift het ecosysteem opnieuw, waarbij voice agents en multimodale systemen geheel nieuwe technische vereisten introduceren.

Waarom de meeste AI-projecten moeite hebben in productie

Zoals Abhishek uitlegt: "het bouwen van een demo die voor 80% van de gevallen werkt, is heel eenvoudig. Het probleem ontstaat wanneer je gaat opschalen." Zodra echte gebruikers op onvoorspelbare wijzen met systemen communiceren, komen randgevallen, storingen en betrouwbaarheidsproblemen snel bovendrijven. Zodra systemen worden blootgesteld aan echte klanten, leggen onverwachte prompts en randgevallen al snel hiaten in de betrouwbaarheid bloot.

Een ander groot knelpunt is de beschikbaarheid en prestaties van modellen. "Als de model provider eruit ligt, ligt jouw applicatie eruit," merkte Abhishek op. Zelfs toonaangevende model providers hebben te maken met outages, vertragingen en regionale storingen. Wanneer een applicatie rechtstreeks afhankelijk is van één enkel extern model-endpoint, wordt elke instabiliteit onmiddellijk downtime voor de klant, wat het vertrouwen in het product kan schaden.

Kosten zijn de derde kritische factor. In tegenstelling tot traditionele software brengen AI-systemen continue inference-kosten met zich mee die rechtstreeks meeschalen met het gebruik. Verschillende bedrijven kiezen initieel voor hosted closed-source modellen vanwege de snelheid, om er later achter te komen dat token-kosten hun use cases economisch onhoudbaar maken. Als reactie hierop investeren sommige organisaties in hun eigen GPU-infrastructuur en fine-tunen ze kleinere open-source modellen, waarbij ze gemak op de korte termijn inruilen voor kostenbeheersing op de lange termijn en een voorspelbare ROI.

Waarom AI Gateways de nieuwe kerninfrastructuur worden

Een jaar geleden spraken weinig teams over AI gateways als een afzonderlijke architecturale component. Vandaag de dag worden ze snel de standaard voor elke organisatie die serieus werk wil maken van AI in productie.

Volgens Abhishek zijn AI gateways ontstaan om drie fundamentele enterprise-problemen op te lossen:

• API-standaardisatie: Een AI gateway abstraheert verschillen in interfaces van model providers, waardoor teams kunnen wisselen of routen tussen modellen zonder applicatiecode te herschrijven.
• Beveiliging en sleutelbeheer: Met een AI gateway authenticeren ontwikkelaars zich tegen interne systemen, terwijl credentials van providers centraal worden beheerd, geroteerd en beschermd.
• Governance en observability: Guardrails, budgetlimieten, audit logs en compliance-checks kunnen allemaal consistent worden afgedwongen, in plaats van te vertrouwen op elk applicatieteam om zelf best practices te implementeren. In sommige gevallen, zo opgemerkt door Abhishek, is "naar productie gaan letterlijk één klik" zodra agents zijn gevalideerd.

Waarom AI Gateways niet zomaar API Gateways zijn

Hoewel de term "gateway" bekend mag klinken, verschillen AI gateways aanzienlijk van traditionele API gateways. Conventionele gateways zijn ontworpen rond kortstondige request-response-patronen en eenvoudige authenticatieflows. Ze meten gebruik ook in termen van requests, niet volgens de op tokens gebaseerde dynamiek die AI-kosten drijft.

AI-workloads zijn fundamenteel anders. Antwoorden worden vaak gestreamd, interacties kunnen langdurig zijn, en voice-gebaseerde systemen introduceren permanente verbindingen en real-time beperkingen. Bovendien zijn veel AI-gerelateerde risico's semantisch in plaats van syntactisch, wat betekent dat beleidshandhaving moet plaatsvinden op het niveau van betekenis, niet alleen op trefwoorden of schema's.

Hoewel het technisch mogelijk is om bestaande API gateways uit te breiden voor AI use cases, zijn speciaal gebouwde AI gateways vanaf de grond af ontworpen om deze patronen native af te handelen.

De toekomst: AI Gateways als Enterprise AI Orchestrators

Kijkend naar de toekomst zal de rol van de AI gateway zich waarschijnlijk ver buiten request routing uitbreiden. Abhishek beschreef een toekomst waarin de gateway een centrale registry wordt voor modellen, tools, MCP-servers en zelfs agents zelf.

In een dergelijke omgeving zouden enterprise-systemen zoals Slack, GitHub, Confluence en interne databases allemaal kunnen worden ontsloten als ontdekbare AI-services. Wanneer gebruikers complexe zakelijke vragen stellen, zou de gateway dynamisch meerdere agents en tools kunnen orchestreren om antwoorden samen te stellen, in plaats van te vertrouwen op toepassingen voor een enkel doel.

In plaats van geïsoleerde AI-functies te bouwen, zouden organisaties intelligente workflows samenstellen uit herbruikbare componenten. Deze aanpak weerspiegelt hoe moderne softwareplatforms zich hebben ontwikkeld, verschuivend van monoliettoepassingen naar ecosystemen van interoperabele services.

Een toegewijde AI gateway zoals TrueFoundry biedt het fundament dat nodig is om verder te gaan dan experimenteren. Het maakt consistente governance, betrouwbare routing, kostenbeheersing en diepgaande observability over de gehele AI-stack mogelijk. Belangrijker nog: het stelt organisaties in staat om innovatie te schalen zonder in te boeten op beveiliging of compliance.

Bekijk de vorige aflevering van Tesseract Talks met Nikunj Bajaj hier Turning AI Chaos into Control: A Conversation on Agentic AI with Tesseract Talks