Unified AI Gateway als nieuwe fundamentele bouwsteen voor de onderneming

LLM routing, MCP/A2A, inference en de agent harness convergeren in een enkel Control en Action Plane

De AI-stack sublimeert tot één laag

Er is al een stille architecturale verschuiving gaande.

Ondernemingen begonnen met het verbinden van toepassingen met OpenAI, Anthropic, Gemini, open-source en interne modellen. Ze voegden gateways toe voor API keys, rate limits, provider-routing en het bijhouden van gebruik. Toen kwamen de agents.

Plotseling had de stack ook MCP-servers, A2A-communicatie, tool-autorisatie, geheugen, contextbeheer, menselijke goedkeuringen, inference-routing, retries, evaluatie en policy-handhaving nodig. Elke vereiste zorgde voor weer een nieuw product, proxy, bibliotheek of team.

Het resultaat voelt bekend: meerdere goede tools, meerdere controlepunten en geen enkele plek die het totale overzicht heeft.

Een agent kan drie modellen aanroepen, vijf tools gebruiken, delegueren aan een sub-agent, pauzeren voor goedkeuring, hervatten vanuit het geheugen en een productiesysteem bijwerken. Kosten, risico, latency en bedrijfswaarde veranderen bij elke stap.

Dit is waarom de gateway evolueert naar een Control Plane en een Action Plane over modellen, tools, agents, data en compute.

Token-Maxxing ontmoet Value-Maxxing

Ik zie de AI gateway een fundamentele bouwsteen worden voor ondernemingen, zowel vanuit een token-maxxing als een value-maxxing perspectief.

Token-maxxing betekent dat er meer nuttig werk wordt gehaald uit elke token, modelaanroep, GPU-cyclus en eenheid van uitgaven.

Value-maxxing betekent dat elke taak wordt gekoppeld aan het model, de tool, de workflow en de control-set die het sterkste bedrijfsresultaat oplevert.

Een documentclassificatietaak kan perfect draaien op een klein intern model. Een complexe kredietanalyse heeft mogelijk een frontier-model nodig. Een klantenservice-agent kan een snel model gebruiken voor retrieval, een sterker model voor redeneren en een deterministische tool voor de uiteindelijke transactie. Een Gereguleerde workflow vereist mogelijk een soeverein model, een privaat eindpunt en een menselijk controlepunt.

De gateway wordt de plek waar die keuzes worden gemaakt.

Mijn stelling is eenvoudig: AI gateways zullen verder evolueren dan eenvoudige routing en de orchestratielaag worden voor agentic systemen. Ze zullen dynamisch modellen selecteren en wisselen op basis van kosten, latency, guardrails, governance, datagevoeligheid en taakvereisten.

Elke taak draagt een ander economisch en risicoprofiel met zich mee. De gateway moet het ook zo behandelen.

Naarmate agents schalen, wordt het intelligent afstemmen van workloads op het juiste model cruciaal voor het optimaliseren van kosten en bedrijfswaarde. Dit biedt een grote kans, aangezien ondernemingen prestaties, governance en economie balanceren over duizenden workflows.

AI-verkeer is bedrijfsuitvoering geworden

Traditionele gateways waren gebouwd rond eindpunten, requests, responses en service-identiteiten.

Agents introduceren sessies, plannen, gedelegeerde autoriteit, geheugen, tool-aanroepen en langlopende status. De gateway moet nu weten wie de taak heeft geïnitieerd, welke agent handelt, welke autoriteit is gedelegeerd, tot welke data deze toegang heeft, welke tools deze kan aanroepen, hoeveel deze kan uitgeven, welk model bij de stap past en welke goedkeuring vereist is.

Deze vragen veranderen de gateway in een beslissingsmotor.

Het opzoeken van een betaling en het vrijgeven van een betaling kunnen dezelfde toepassing en hetzelfde protocol gebruiken. Hun risicoprofielen verschillen echter drastisch. De gateway heeft policy nodig op het niveau van intentie en actie.

Dat is waar het Action Plane van belang is. Het regelt wat de agent kan doen, hoe deze het kan doen en wat er moet gebeuren voordat de actie een system of record bereikt.

Vier architecturale lagen convergeren tot één geünificeerde AI Runtime

De LLM Gateway wordt de Model Decision Engine

De LLM gateway beheert al provider-toegang, fallback, rate limits, tokenbudgetten en observeerbaarheid.

De volgende taak is diepgaander: kies het beste model voor elke stap op basis van capaciteit, prijs, latency, contextlengte, datapolicy en bedrijfskritikaliteit. Routing verschuift van statische regels naar workload-bewuste orchestratie.

De MCP/A2A Gateway wordt de Trust Fabric

MCP verbindt agents met tools, data en enterprise-systemen. A2A stelt agents in staat om te communiceren en te delegueren.

De gateway moet de delegatieketen dragen, permissies op tool-niveau afdwingen, OAuth-tokens verhandelen, scopes valideren, tenants isoleren en elke actie vastleggen. Agent-identiteit wordt een primair beveiligingsconcept.

De Inference Gateway wordt de Compute Broker

Ondernemingen zullen modellen draaien over publieke API's, private clouds, on-premises clusters, soevereine omgevingen en edge-infrastructuur.

De inference gateway beslist waar een workload draait op basis van capaciteit, loaktie, residentie, GPU-beschikbaarheid, kosten en prestaties. Dit creëert een directe brug tussen applicatie-intentie en infrastructuureconomie.

De Agent Harness wordt de Execution Engine

De agent harness beheert tool-gebruik, retries, foutherstel, contextcompactie, geheugenretentie, status-offloading, sub-agent-status, lifecycle-hooks, permissies, menselijke goedkeuringen, verificatie en telemetrie.

Zodra deze functionaliteiten zich naast routing en policy bevinden, begint de grens tussen gateway en harness te verdwijnen.

Één Gateway, Twee Taken

Het Control Plane Beslist

Het Control Plane definieert identiteit, policy, routing, budgetten, geschiktheid van modellen, dataresidentie, tool-permissies, risicodrempels en goedkeuringsvereisten.

Het beantwoordt: wat moet er gebeuren, onder welke voorwaarden en met welke middelen?

Het Action Plane Voert Uit

Het Action Plane roept modellen aan, gebruikt tools, beheert sessies, coördineert agents, verwerkt retries, legt status vast, vraagt om goedkeuring, valideert outputs en legt bewijslast vast.

Het beantwoordt: hoe beweegt het werk veilig van intentie naar resultaat?

Het verbonden houden van deze verantwoordelijkheden biedt een groot voordeel. Een uitval van een model kan een veilige fallback activeren. Een budgetdrempel kan werk omleiden naar een kleiner model. Gevoelige data kan de uitvoering omleiden naar een privaat eindpunt. Een risicovolle actie kan een menselijke beoordeling activeren.

De workflow blijft dynamisch terwijl enterprise-policy consistent blijft.

Geheugen, Bewijslast en Verificatie Horen Thuis in de Gateway

De gateway moet het volledige traject vastleggen: gebruikersintentie, agentplan, modelkeuzes, contextbronnen, tool-aanroepen, policybeslissingen, goedkeuringen, kosten, latency en het uiteindelijke resultaat.

Die trace ondersteunt audits, incidentbeoordelingen, modelvergelijkingen, policy-tuning en de meting van kosten per voltooide taak.

De gateway kan gesprekken compacter maken, status offloaden, geheugen van sub-agents isoleren en controleren welke context terugkeert naar een model. Verificatie sluit de cirkel via schemacontroles, bedrijfsregels, groundedness-tests, deterministische validatie, beoordeling door secundaire modellen en menselijke goedkeuring.

De gateway wordt de plek waar output verandert in vertrouwde actie.

Prestaties Worden Onderdeel van het Businessmodel

Agent-vloten veroorzaken een massale waaier aan aanroepen (fan-out) over modellen, tools en sub-agents. Een enkele gebruikersvraag kan tientallen stroomafwaartse aanroepen activeren, wat betekent dat gateway-latency, geheugengebruik en doorvoer snel kosten- en betrouwbaarheidsproblemen worden.

Een agent gateway kiest voor een first-principles aanpak met Rust, een lichtgewicht runtime, hoge doorvoer en native ondersteuning voor agentic protocollen. De gepubliceerde benchmark-omgeving meldt ongeveer 30 MB geheugen, 165.000 requests per seconde en 0,09 milliseconden latency.

De exacte aantallen zullen variëren afhankelijk van workload en infrastructuur, maar het principe is helder: elke extra milliseconde, retry en geheugentoewijzing stapelt zich op over duizenden agents. Op enterprise-schaal beïnvloeden gateway-prestaties rechtstreeks de inference-kosten, de gebruikerservaring en hoe ver het platform kan schalen voordat infrastructuur de knelregel wordt.

 De Echte Prijs is Enterprise-Leverage

Een geünificeerde AI gateway geeft ondernemingen één plek om modellen, tools, agents, inference, identiteit, kosten en bewijslast te beheren.

Teams krijgen modelportabiliteit. Beveiligingsteams krijgen handhaving op actieniveau. Financiële teams krijgen budgetcontroles gekoppeld aan workflows. Platformteams krijgen routing over providers en private infrastructuur. Risicoteams krijgen traceerbaarheid van gebruikersintentie tot uiteindelijke actie.

Productteams winnen aan snelheid omdat het platform de moeilijke onderdelen eenmalig afhandelt.

Nieuwe modellen kunnen snel worden geïntegreerd. Nieuwe tools kunnen bestaande policy's erven. Nieuwe agents kunnen dezelfde identiteits-, geheugen-, observeerbaarheids- en goedkeuringspatronen gebruiken. Elke use-case bouwt voort op hetzelfde fundament.

De AI Gateway wordt de Besturingslaag

De volgende fase van enterprise AI zal worden gedefinieerd door de kwaliteit van de orchestratie.

Modellen zullen blijven veranderen. Protocollen zullen volwassen worden. Inference zal zich verspreiden over clouds en private infrastructuur. Agents zullen autonomer worden en dieper verbonden raken met kernsystemen.

Ondernemingen hebben één laag nodig die het gehele uitvoeringspad kan zien en dit in real-time kan vormgeven.

Die laag is de AI gateway.

Het fungeert als een Control Plane voor policy, identiteit, routing, governance en economie.

Het fungeert als een Action Plane voor orchestratie, tools, geheugen, verificatie en executie.

De winnende gateway zal elke agent helpen om bij elke stap een betere keuze te maken: het juiste model, de juiste tool, compute, control en het juiste niveau van menselijke betrokkenheid.

Dat is hoe ondernemingen bewegen van meer AI-activiteit naar meer bedrijfswaarde.

TrueFoundry Bouwt de Geünificeerde AI Control- en Action-laag

Wat voor mij opvalt, is hoe TrueFoundry model-routing, MCP-toegang, agent-executie en inference-beheer samenbrengt in één beheerd platform. De gateway verwerkt authenticatie, rate limits, budgetten, guardrails, observeerbaarheid en failover over zowel gehoste als zelfbeheerde modellen. De MCP-laag voegt gecontroleerde tool-discovery, OAuth, token exchange en policy op tool-niveau toe, terwijl Agent Hub diezelfde controls meeneemt naar sub-agent-orchestratie en -executie. In de praktijk krijgen ondernemingen één consistent pad van modelselectie tot tool-gebruik en uiteindelijke actie. Dat is precies hoe een bruikbaar Control en Action Plane eruit moet zien.