De agentische tokenexplosie: kostentoewijzing & budgetten voor Claude Code in CI/CD

Wanneer agents overstappen van interactieve sessies naar CI/CD-pipelines, verdwijnt het menselijke tempomechanisme en groeit de context in ReAct-loops kwadratisch. De factuur van de provider vertelt je hoeveel je hebt uitgegeven. Het kan je niet vertellen waarom — of waar je kunt snijden zonder de snelheid te belemmeren.

Waarom CI/CD de economische dynamiek verandert

Interactieve AI-sessies hebben een ingebouwd tempomechanisme: de mens voor het toetsenbord. De mens leest de output van de agent, beslist wat er nu moet gebeuren en verbruikt ongeveer één prompt per paar minuten. Dat tempo is een zachte rate limit, zelfs als geen enkel beleid dit afdwingt.

CI/CD-pipelines hebben dat niet. Een agent die is geconfigureerd voor geautomatiseerde PR-reviews kan honderden keren per uur worden geactiveerd door gewoon commit-verkeer, en er is niets in zijn omgeving dat hem vertraagt. De wiskunde is erger dan de triggerfrequentie doet vermoeden, omdat de kosten per aanroep zelf groeien — agentische frameworks zoals ReAct voegen het resultaat van elke actie weer toe aan het contextvenster vóór de volgende redeneerstap. Het tokenverbruik per agent-run groeit ongeveer O(n²) in het aantal stappen.

.

‍

De blinde vlek in de providerfacturering

Dashboards van Anthropic en OpenAI vertellen je precies hoeveel tokens je organisatie afgelopen dinsdag heeft verbruikt. Ze vertellen je niet waarom. De provider heeft geen applicatiecontext — ze kunnen een kritieke productie-datapipeline niet onderscheiden van een oneindig lussend nevenproject van een junior engineer. Beide worden hetzelfde gefactureerd.

Zonder gedetailleerde toewijzing valt finance terug op het enige beschikbare middel: algehele verboden. AI-gebruik wordt gepauzeerd in afwachting van een beoordeling. Legitieme werkbelastingen worden gecapt samen met de uit de hand gelopen processen. Engineering-leiders leren het maandelijkse afsluitgesprek te vrezen. Het fundamentele probleem is dat toewijzing moet plaatsvinden bij binnenkomst, niet bij de facturering — tegen de tijd dat de factuur arriveert, zijn de labels die je nodig had verdwenen.

De factuur van de provider beantwoordt "hoeveel". Het aan de gateway toegewezen grootboek beantwoordt "welke repo, welke pipeline, welke agentstap en wat er moet worden gerepareerd". Dat verschil verandert een financiële crisis in een engineering-ticket.

Metadatatagging op gateway-niveau

De basis van kostentoewijzing is verplichte tagging bij de gateway. Elke request vanuit een CI/CD-pipeline injecteert een klein JSON-object via de X-TFY-METADATA header, waarmee het team, de repository, de pipeline, de agentstap en het verantwoordelijke kostenplaatscentrum worden geïdentificeerd. De vorm is eenvoudig, bewust gekozen en hetzelfde voor elk team:

HTTP  ·  verplichte header bij elke CI-request

Tags zijn verplicht, niet adviserend. Ongetagde requests worden geweigerd bij de gateway en niet stilzwijgend doorgegeven. Dit is het beleid dat 100% observeerbaarheid oplevert — er is geen "onbekende" categorie in het dashboard, omdat er geen route is die er een produceert. De kosten van handhaving zijn één Cedar/OPA-regel. De kosten van niet-handhaving zijn een kwartaal-escalatie naar finance.

‍

‍

Met tags in de hand telt de gateway de invoer-, uitvoer- en gecachte tokens voor elke call, prijst het resultaat af tegen de huidige tarieven van de provider en schrijft een volledig toegewezen grootboekregel. Kostenoverzichten worden direct gesplitst per gebruiker, model en team, met een optie 'Download Raw Data' waarmee je kunt exporteren met aangepaste groupBy-velden (username, model_name, teams of elke metadata-sleutel die je hebt getagd). Elke euro heeft een naam.

Budgetten per project met circuit breakers

Zichtbaarheid zonder handhaving is een dashboard waar niemand iets mee doet. TrueFoundry koppelt hiërarchische, wiskundig afgedwongen budgetten aan elk kostenplaatscentrum dat de tagging oplevert. Budgetten zijn een geordende lijst met regels, elk met een bereik op basis van onderwerpen, modellen of metadata-sleutels. Twee semantische principes onderscheiden budgetregels van rate-limit-regels en het is de moeite waard om deze precies te begrijpen:

• Budgettracking vindt plaats voor elke overeenkomende regel. Als een request overeenkomt met drie regels, worden de kosten ingehouden op alle drie. Gelaagde budgetten — een teambudget van $ 500 bovenop een budget van $ 50 per repo bovenop een budget van $ 10 per developer — blijven allemaal tegelijkertijd gesynchroniseerd.
• Toestaan/blokkeren-beslissingen komen alleen voort uit de eerste overeenkomende regel. Regels worden van boven naar beneden geëvalueerd en de eerste regel waarvan de voorwaarden overeenkomen, bepaalt of de request wordt doorgelaten of wordt geweigerd. Plaats overrides met hoge prioriteit bovenaan en standaardwaarden onderaan.

Budgetwaarschuwingen worden geactiveerd op vier configureerbare drempels — 75%, 90%, 95% en 100% van het limiet — met notificatiekanalen voor e-mail, Slack-webhook en Slack-bot. De controle wordt elke 20 minuten uitgevoerd op het nieuwste toegewezen grootboek:

Tabel 1 — Budgetdrempels. Elke drempel wordt eenmaal per budgetperiode (dag / week / maand) geactiveerd en wordt gereset aan het begin van de volgende periode. Waarschuwingen worden elke 20 minuten gecontroleerd.

Het gedrag bij 100% is onderdeel van het ontwerp, geen bijgedachte. De gateway retourneert een gestructureerde foutmelding die het uitgeputte budget noemt en de beheerder naar het dashboard verwijst:

JSON  ·  429-respons bij harde limiet

Een pipeline die zijn budget bereikt, moet weten wat hij nu moet doen, zonder dat de ontwikkelaar het platformteam om context hoeft te vragen. CI-runners interpreteren 429 als een standaard backoff-signaal; de build faalt netjes met een actiegerichte melding in plaats van op verwarrende wijzen te crashen.

Er is nog een gedrag dat het vermelden waard is: de auditmodus. Door block_on_budget_exceed: false in te stellen op een regel, blijven tracking en waarschuwingen actief, maar worden requests wel doorgelaten. Dit is de juiste standaardinstelling tijdens de eerste maand van de uitrol. Kijk hoe waarschuwingen afgaan tegen gesimuleerde limieten; pas de limieten aan; schakel pas daarna de handhaving in. Het overslaan van de auditmodus is de manier waarop je wakker wordt met een boos team van wie alle pipelines om 03:00 uur zijn mislukt.

YAML  ·  configuratie gelaagd budget

Het bouwen van een kostentoewijzingsdashboard

Getagde gegevens die de metrieklaag van de gateway binnenstromen, stellen het platformteam in staat dashboards te bouwen die eigenaarschapsvragen beantwoorden in plaats van meer geaggregeerde ruis te produceren. In plaats van naar een piek te staren en te vragen "wie heeft dit gedaan?", vertelt het dashboard je al dat om 02:00 UTC het frontend-team een nieuwe agent heeft geïmplementeerd in react-monorepo die een ontbrekende afhankelijkheid hallucineerde en in een afhandelingsloop van 400 stappen terechtkwam.

Dat soort operationele context verandert kosten van een financieel probleem in een engineering-probleem. Zodra je kunt zien dat het overschakelen van de initiële codesamenvattingsstap van Sonnet naar Haiku de kosten van die stap met 80% verlaagt zonder de kwaliteit van de PR-review te beïnvloeden, voer je de wijziging uit. Je hebt geen discussies over budgetlimieten in een stuurgroep. De cost-trackingweergaven van TrueFoundry worden standaard geleverd voor User-, Model- en Team-perspectieven, en met de export van ruwe gegevens kun je filteren op elke metadata-sleutel — dus een weergave per repo, per pipeline of per agentstap is een download van één klik, geen data-engineeringproject.

‍

‍

Maandelijkse uitgaven voorspellen voordat de factuur arriveert

Geaggregeerde tagginggegevens maken voorspellen ook haalbaar. Agentische werkbelastingen zijn piekerig — periodieke zware CI-taken domineren de factuur — wat verklarend is waarom eenvoudige voortschrijdende gemiddelden de uitgaven systematisch onderschatten. Het gemiddelde van de afgelopen 7 dagen is de verkeerde prognose voor een werkbelasting waarvan het 95e percentiel 4× het gemiddelde is.

Het juiste model is een P95-voortschrijdende prognose, uitgevoerd per repo en per team. P95 legt het piekrisico vast dat door een gemiddelde wordt gladgestreken, en projecteert de uitgaven aan het einde van de maand met voldoende doorlooptijd om budgetten aan te passen, quotums te verhogen of een veroorzakende pipeline te stoppen voordat finance de verrassing ziet. "Verrassing" is hier het sleutelwoord: dit is een prognose die is ontworpen om ze niet te genereren. In de praktijk heeft een 7-daagse P95 de werkelijke uitgaven aan het einde van de maand gevolgd binnen een marge van 8–12% bij de werkbelastingen die we hebben gemeten — dicht genoeg in de buurt om op te treden, en veel beter dan het alternatief van een voortschrijdend gemiddelde.

Een echt voorbeeld: $ 8.400 → onder $ 800

Een organisatie van 50 engineers bouwde een Claude Code-reviewagent met drie stappen die op elke pull request werd uitgevoerd: (1) de diff samenvatten, (2) de diff beoordelen op basis van het beveiligingsbeleid via een MCP-documentatieserver, (3) codewijzigingen voorstellen. Verstandige architectuur, nuttige workflow, geen duidelijke waarschuwingssignalen.

Bij ~15 PR's per engineer per week, rekening houdend met retries en de kosten van het contextvenster voor het injecteren van hele bestanden in prompts, verbruikte de agent gemiddeld ongeveer 400.000 invoertokens per PR. Factuur voor de eerste maand voor CI/CD-automatisering: $ 8.400.

Tabel 2 — Stappenplan van een kostentoewijzingsanalyse. Vijf gateway-klikken, één configuratiewijziging. Zonder toewijzing zou de reactie een algeheel verbod op Sonnet voor CI-workflows zijn geweest. Met toewijzing was de reactie een configuratiewijziging van één regel.

Die kloof — tussen "het model verbieden" en "één prompt cachen" — is de volledige winst van het correct uitvoeren van toewijzing. De kostengegevens bestaan in beide gevallen; de vraag is of je de labels hebt om ze te lezen.

Veelgestelde vragen

Moeten budgetten luiden in dollars of tokens?

Beide, gelijktijdig. Dollars sluiten aan bij finance en operationele planning. Tokens zijn de engineering-metriek waarmee je prompt-efficiëntie kunt analyseren. TrueFoundry houdt beide bij — finance is eigenaar van de dollar-dashboards, engineering is eigenaar van de token-dashboards en de gateway is de bron van waarheid voor beide. Prijswijzigingen van providers worden verwerkt in de dollarlaag zonder dat engineering iets hoeft te refacteren; nieuwe fine-tunes worden opgevangen in de tokenlaag zonder dat finance de modelnaam hoeft te kennen.

Wat gebeurt er als een harde limiet halverwege de pipeline wordt bereikt?

De pipeline ontvangt een 429 met de eerder getoonde beschrijvende foutmelding en een link naar het budgetdashboard. CI-runners interpreteren 429 als een standaard backoff-signaal; de build faalt netjes met een actiegerichte melding in plaats van op verwarrende wijzen te crashen. Quotumverhogingen worden ingediend als standaard tickets bij het platformteam — de dashboard-URL in de foutmelding omzeilt de gebruikelijke ronde van "ik begrijp niet waarom dit faalt".

Vertraagt verplichte tagging de uitrol?

In de praktijk niet — de SDK-wrappers verwerken de injectie automatisch binnen CI-templates, zodat individuele ontwikkelaars nooit headers bewerken. De eenmalige kosten bestaan uit het bijwerken van de pipeline-templates van het team; de terugkerende kosten zijn nul. Het terugkerende voordeel is elk dashboard, elke waarschuwing en elke post-mortem die volgt.

Wat is het verschil tussen rate limits en budgetlimieten — wanneer gebruik ik welke?

Rate limits stoppen pieken; budgetlimieten stoppen uitgaven. Rate limits worden uitgedrukt in requests/minuut of tokens/minuut — ze beschermen downstream-services tegen overbelasting en worden per request geëvalueerd. Budgetten worden uitgedrukt in dollars per dag/week/maand — ze beschermen de portemonnee van het bedrijf en worden geëvalueerd op basis van het gecumuleerde grootboek. De meeste productie-stacks draaien beide, toegespitst op verschillende entiteiten. De patronen zijn complementair, niet redundant.

‍

‍