5 Lessen over het draaien van Agentic AI in productie - Van de Fireside chat

De meeste enterprises hebben tegenwoordig al agents in productie voordat ze een manier hebben om te zien wat die agents precies doen. In die kloof ontstaan de kostenoverschrijdingen, de niet-traceerbare fouten en de shadow AI. We hoorden hetzelfde verhaal van 200 AI-leiders in enterprise-bedrijven uit 18 sectoren, en opnieuw tijdens een live sessie met Daniel, VP of Engineering bij Via, en Meenal, die data en enterprise AI leidt bij SurveyMonkey.

De rode draad in bijna elk antwoord was hetzelfde idee, zelfs wanneer niemand het woord expliciet gebruikte: je hebt een AI gateway nodig. Niet nog een observability-tool die achteraf wordt toegevoegd, maar één centrale controlelaag waar modellen, MCP servers en agents doorheen worden geleid, zodat kosten, logging en toegang op één plek worden afgehandeld in plaats van in elke afzonderlijke codebase. Dit is wat de leiders die we spraken hebben geleerd tijdens hun reis hiernaartoe.

Bekijk de gedetailleerde fireside chat hier - 

Waarom governance voor agentic AI belangrijk is op schaal

De meest onthullende bevinding in ons rapport was een paradox. Toen we leiders vroegen waar hun budgetten voor 2026 en 2027 naartoe gingen, stond het uitbreiden van AI-use-cases op de eerste plaats. Toen we afzonderlijk vroegen wat zij zagen als het grootste risico om zich tegen te beschermen, scoorde de beveiliging en governance van diezelfde uitbreiding even hoog. De twee budgetposten liggen vrijwel boven op elkaar.

Die spanning is waar het allemaal om draait. Druk te hard op uitbreiding en de kosten en risico's lopen uit de hand. Beweeg te voorzichtig en je raakt achterop. Elke leider die we spraken probeert beide tegelijk te financieren, en degenen die dat goed doen, beschouwen governance als iets dat hen in staat stelt sneller uit te breiden, niet als iets dat hen vertraagt. Zoals Meenal het verwoordde: elke dollar die je uitgeeft aan de juiste risico- en beveiligingshouding wordt een hefboom om sneller meer geld in uitbreiding te steken.

Les 1: De factuur voor inference is het kleinste deel van de kosten

Er was veel ophef over Uber dat naar verluidt al vroeg door zijn AI-budget heen was, en het is makkelijk om dat te lezen als een probleem met de inference-prijs. Dat is het meestal niet. De rekening loopt op door de context waarmee je het model voedt, niet door het tarief per token.

Meenal omschreef het als huiswerk dat de organisatie moet doen voordat ze gaat schalen. Context komt uit drie bronnen: de data in je databases, de beslissingslogica die je teams toepassen, en de institutionele en informele kennis die in de hoofden van mensen zit. Als je dat goed samenvoegt, krijgt de agent wat hij nodig heeft in zo min mogelijk tokens. Sla je dit over, dan betaal je ervoor dat hetzelfde model herhaaldelijk naar dezelfde oplossing gokt.

Ze maakte ook een vergelijking die ons bijbleef. Dit is opnieuw het verhaal van on-premise naar de cloud. Bedrijven stapten over naar de cloud, zagen de kosten alsnog de pan uit rijzen, en leerden pas daarna hoe ze die moesten beheren. AI volgt dezelfde curve, maar dan gecomprimeerd. De kosten zullen blijven stijgen naarmate tools manieren vinden om AI te prijzen en de onderliggende compute duurder wordt, dus de discipline moet dit keer eerder komen.

Door te werken met diverse enterprises ziet onze co-founder Anurag kostenbeheersing op drie niveaus terechtkomen, en een AI gateway is de plek waar ze alle drie worden afgedwongen:

• Zichtbaarheid. Als je modellen over Bedrock, OpenAI en Anthropic heen toestaat, heb je één overzicht nodig van waar de uitgaven naartoe gaan, per gebruiker, team en applicatie. Je kunt niet beheren wat je niet kunt zien.
• Controle. Zodra je zichtbaarheid hebt, stel je limieten in: budgetten en rate limits op gebruiker-, team- of applicatieniveau, afgestemd op de ROI van de waarde van elke app.
• Routing. De slimste laag. Een verzoek dat naar een groot frontier model wordt gestuurd, kan vaak hetzelfde resultaat opleveren via een kleiner model. De centrale laag ziet al het verkeer, zodat deze elk verzoek naar het juiste model kan routen, en na verloop van tijd wordt de routing-logica beter omdat deze leert van de observability-logs.

Hier is het verschil tussen het draaien van agents zonder die laag en het draaien van agents achter een gateway.

Les 2: Je kunt niet tracen wat je niet hebt ontworpen om te tracen

Meer dan de helft van de door ons ondervraagde enterprises kon de agents die ze in productie hadden draaien niet volledig tracen. Sommige van die agents waren goedgekeurd. Sommige waren shadow AI, uitgerold zonder dat IT of de leiding ervan afwist.

Daniel verwoordde de belangen op de meest scherpe manier. Stel je voor dat je een werknemer een laptop geeft met toestemming om alles te installeren, volledige netwerktoegang en geen enkele monitoring. Geen enkel modern bedrijf doet dat. Agents hebben dezelfde guardrails nodig, en ze hebben ze vanaf het begin nodig, omdat het achteraf tracen van een niet-deterministisch systeem vrijwel onmogelijk is. De agent doet niet twee keer hetzelfde, dus als het audittrail niet is ingebouwd, is het er niet wanneer je ernaar zoekt.

Bij Via beschouwen ze dat als minimale basisvereiste. Goede infrastructuur om agents te draaien doet twee dingen tegelijk: het maakt de uitrol veiliger en het maakt de uitrol eenvoudig, wat betekent dat mensen er veel meer gaan uitrollen. Daarom moet agent observability deel uitmaken van het platform, en niet een project zijn waar je pas later aan toekomt. Een praktische techniek die voor hen werkte, was het opsplitsen van de prompt van een agent in gestructureerde tussenstappen (checkpoints), zodat ze elke reactie in de keten konden inspecteren en konden achterhalen waar iets misging.

Les 3: 76% mist unified logging, en dat is een governance-probleem

Zesenzeventig procent van de organisaties in ons rapport miste volledig gecentraliseerde logging (unified logging) over al hun modellen en workflows. Dat is een kostenprobleem en een controleprobleem tegelijk. Als je niet kunt zien welk model wordt gebruikt, door wie, in welke afdeling, kun je niet oordelen over de kostenstructuur en kun je er niets van beheren.

SurveyMonkey voerde LLM observability als eerste in, nog vóór het schalen, precies omdat deze systemen anders escaleren. Hun logging strekt zich nu uit voorbij kosten naar kwaliteit: ze monitoren op hallucinaties en gebruiken evals en LLM-as-judge om de outputs te controleren. Daniel stipte een addertje onder het gras aan waar veel teams door verrast worden. De output van een agent kan PII van gebruikers bevatten, zelfs als je normale logs dat nooit doen, dus je moet ontwerpen wat er wordt gelogd en wat wordt opgeschoond, in plaats van standaard alles te loggen.

Beiden waren het eens over het lastige gedeelte: observability voelt zelden als het eerste wat je moet bouwen. De drang is om snel iets op te leveren en waarde te tonen. Dat is begrijpelijk, maar achteraf toegevoegde governance is vele malen duurder dan vanaf het begin ingebouwde governance, en een AI gateway is de plek waar die logging automatisch wordt in plaats van iets dat elke ontwikkelaar moet onthouden.

Les 4: Intern versus extern bepaalt je risicohouding

Waar je uitkomt op het vraagstuk van uitbreiding versus risico hangt voornamelijk af van één ding: of de AI intern of extern gericht is. Dat was de conclusie van Anurag bij de enterprises waarmee we werken, en beide experts bevestigden dit.

Interne productiviteitstools kunnen snel bewegen, omdat de kosten als er iets licht misgaat laag zijn. Via bouwde interne infrastructuur zodat hun eigen mensen, inclusief niet-technisch personeel, een dashboard, een kleine site of een automatisering kunnen opzetten vanuit een kant-en-klaar template. Alles wat gericht is op klanten is een ander verhaal. Meenal was duidelijk: externe AI staat onder strenger toezicht omdat klanten willen weten hoe hun data wordt gebruikt, dus doorloopt het een strenger beoordelingsproces dan interne projecten. De bedrijven die beide goed in balans houden, zijn de bedrijven die eerst investeren in de risicohouding en die ruimte vervolgens gebruiken om uit te breiden.

Les 5: Begin met 8 tot 10 use-cases met een hoge ROI, niet met 200

Het sterkste advies uit de sessie ging over terughoudendheid. Probeer niet alles tegelijk te doen. Meenal's regel was om te starten vanuit de use-case, niet vanuit de technologie, omdat beginnen bij het probleem je naar de juiste tools en de daadwerkelijke ROI leidt. Daniel's advies was om het doel verstandig te kiezen: te klein en het is betekenisloos, te ver weg en het is niet haalbaar. Voer het vervolgens uit als een wendbare POC, bouw de guardrails en lever het op wanneer het overeind blijft.

Anurag heeft deze verandering van dichtbij meegemaakt. Een paar jaar geleden kwamen teams binnen met lijsten van 200 use-cases die ze wilden oplossen met AI, waarvan de meeste evenveel gekost zouden hebben om te bouwen als ze zouden besparen. De organisaties die tegenwoordig aan de top staan, brengen er 8 tot 10 in, elk met een solide ROI, en ze bouwen de kostenbeheersing, governance en observability vanaf dag nul in. Dat laatste is cruciaal: teams die dit overslaan rollen uit naar productie, stuiten op één fout, en moeten vervolgens de hele oplossing terugdraaien en opnieuw bouwen. Zet de controlelaag er vroeg tussen en de goede use-cases krijgen de ruimte om te groeien.

Hoe TrueFoundry governance voor agentic AI uitvoert via één control plane

We bouwen TrueFoundry als een enterprise AI control plane voor agentic AI. Het idee sluit direct aan op de zes lessen hierboven: breng modellen, MCP's en agents samen in één enkele laag, en plaats kostenbeheersing, governance en observability boven op het geheel.

De AI gateway is het toegangspunt. Het biedt je één OpenAI-compatibele API naar meer dan 1.000 LLM's bij verschillende providers, zodat het wisselen van model slechts een naamsverandering in het verzoek is in plaats van een herschrijving van de code. Het voegt slechts ongeveer 3 tot 4 ms aan overhead toe en verwerkt 350+ RPS op een enkele vCPU, waardoor het in het snelle pad blijft zonder de bottleneck te worden. Omdat elk verzoek er doorheen stroomt, worden het bijhouden van uitgaven, budgetten, rate limits en model-routing centraal afgedwongen in plaats van opnieuw te worden geïmplementeerd in elke afzonderlijke service.

De MCP gateway en het agent-register lossen het N-bij-M-probleem uit Les 3 op. MCP-servers en agents registreren zich op één plek met toegangsbeheer op tool-niveau, zodat je een specifieke gebruiker toegang kunt verlenen tot een specifieke tool zonder de rest bloot te stellen, en elke aanroep wordt geauthenticeerd en getraceerd. Guardrails worden op deze laag als policy toegepast, wat het patroon is dat SurveyMonkey beschreef met vooraf goedgekeurde agent-templates: de data-, context- en observability-controles zijn ingebakken in het template, zodat teams ze standaard overnemen.

Voor observability is de gateway OpenTelemetry-compliant en traceert deze elk verzoek van prompt tot tool en modeluitvoering, om vervolgens aan te sluiten op Grafana, Datadog of Prometheus. Als een CTO aankomt met 30 agents, drie model-providers en geen controlelaag, is de eerste stap niet een herschrijving. Het is het registreren van alles wat die agents gebruiken op één plek en het verwijzen van hun eindpunten naar de centrale laag, zodat unified logging en kostenbeheersing beschikbaar komen zonder dat ontwikkelaars hun code hoeven aan te raken.

Gerelateerde artikelen

• What is an LLM Gateway? de architectonische basis achter dit artikel
• Best MCP Gateways hoe je de laag beoordeelt die je MCP-servers beheert
• LLM Cost Tracking Solution dieper ingaan op zichtbaarheid van uitgaven
• MCP vs RAG hoe de twee manieren om agents van context te voorzien zich tot elkaar verhouden

Conclusie

Zes lessen, één rode draad. Kosten, tracing, MCP-toegang, logging, risicohouding en de selectie van use-cases komen allemaal neer op de vraag of je één centrale plek hebt om te zien en te beheren wat je agents doen. Een AI gateway is die plek, och het vroegtijdig plaatsen van deze gateway is wat teams in staat stelt om agentic AI in productie uit te breiden in plaats van het na de eerste fout te moeten terugdraaien.

Bekijk hoe de AI gateway van TrueFoundry kosten, MCP-governance en observability afhandelt in één control plane, of boek een demo om het samen met je eigen stack door te nemen.