Van token-uitgaven naar workflow-economie: wat het Return-on-AI-framework van BCG vereist

Een factuur voor tokens kan u vertellen wat inferentie heeft gekost. Het kan u niet vertellen of het werk is geaccepteerd, of een mens het opnieuw heeft moeten doen, of dat het zakelijke resultaat twee weken later werd behaald. Het beheren van AI-economie vereist een nieuwe controle-eenheid: de workflow-run, gekoppeld aan het uiteindelijke resultaat.

BCG maakt een nuttige stap: stop met het behandelen van de token als de beheer-eenheid en begin met het meten van de kosten van een succesvol resultaat. Het return-on-AI-kader stelt economisch rendement boven de gecombineerde kosten van menselijke intelligentie en tokens. Het pleit ook voor een operationeel model op workflow-niveau dat uitgaven kan inzien, kosten kan vormgeven en waarde kan bewijzen—of de activiteit kan stopzetten.

Het idee is goed. Het moeilijke gedeelte is de implementatie.

Model gateways observeren requests. Agent-runtimes observeren turns, tools, retries en pauzes. Financiën ziet facturen. Bedrijfssystemen observeren of een dossier is gesloten, een betaling is afgewikkeld, een pull request is opgeleverd of een escalatie heropend is. Geen van die records op zichzelf is return on AI.

1. De token is een factuureenheid, geen bedrijfseenheid

Tokens blijven essentiële telemetrie. Ze verklaren inputgrootte, outputgrootte, cachegedrag en een deel van de kosten van een model call. Maar ze hebben geen stabiele zakelijke betekenis voor verschillende modellen of providers. Tokenizers verschillen. Input, output, gecachete input, het aanmaken van cache, reasoning, audio en andere modaliteiten kunnen verschillende facturatieregels hebben. Een miljoen eenheden in het ene product is niet automatisch gelijk aan een miljoen eenheden in het andere.

Zelfs binnen één prijscategorie, waar gefactureerde kosten lineair kunnen meeschalen met het tokenvolume, hoeft dat voor workflow-economie niet te gelden. Een grotere context kan het modelgedrag veranderen. Een goedkoper model kan meer retries veroorzaken. Een beknopt antwoord kan het menselijke beoordelingswerk verhogen. Een cache-hit kan een inferentie call elimineren, maar een antwoord teruggeven dat verouderd is voor de huidige status van de gebruiker. Een agent kan in een tool-loop terechtkomen die weinig kost per call, maar erg veel per opgelost dossier.

BCG identificeert vier op elkaar inwerkende kostenkrachten: adoptiebreedte en -diepte, taakintensiteit, context en loops, en modelmix. Dat kader is belangrijk omdat elke kracht boven de individuele request bestaat. Eén request is vaak te klein om het werk te tonen; een maandelijkse factuur van een provider is te groot om verantwoordelijkheid of waarde aan toe te wijzen.

2. Definieer twee contracten voordat u het dashboard bouwt

Een geloofwaardig systeem voor workflow-economie begint met twee expliciete contracten: een kostenenveloppe en een resultaatcontract. De eerste geeft aan welke middelen meetellen. De tweede geeft aan wat succes betekent. Als een van beide impliciet blijft, worden de kosten per resultaat een getal met een onstabiele noemer of een onderhandelbare teller.

De kostenenveloppe

Leg voor elke workflow-run de kosten vast die de beslissing wezenlijk veranderen. Dat omvat meestal modelinferentie, tool- en infrastructuurgebruik, menselijk toezicht, en fouten of herstelwerk. De categorieën moeten wederzijds uitsluitend zijn of worden beheerd door een toewijzingsregel, zodat dezelfde correctietijd niet dubbel wordt geteld. Het doel is geen valse precisie. Menselijke tijd kan bijvoorbeeld worden bemonsterd per workflow en rol in plaats van meten bij elke klik. De vereiste is consistentie: gebruik dezelfde insluitingsregels bij het vergelijken van beleid.

Het resultaatcontract

"Succesvol" moet een geparametriseerde, testbare definitie zijn. Voor een support-workflow is sluiting niet genoeg als het ticket binnen zeven dagen wordt heropend. Voor codering zijn gegenereerde regels niet genoeg als de wijziging zakt voor de beoordeling of nooit wordt opgeleverd. Voor documentverwerking wordt een veldextractie pas geaccepteerd als deze slaagt voor domeinvalidatie of stroomafwaartse afstemming.

Dit is een operationele maatstaf, geen formule voor financiële verslaglegging. Wanneer de resultaatwaarde niet op verantwoorde wijze te gelde kan worden gemaakt, gebruik dan de kosten per geaccepteerd resultaat en rapporteer kwaliteit, latentie, risico en beoordelingslast daarnaast. Comprimeer niet elke doelstelling in één schatting in geld, enkel om een ratio te creëren.

3. Bouw de attributie-koppeling

De kosten- en resultaatcontracten worden pas nuttig wanneer hun records kunnen worden gekoppeld. De koppeling moet worden ontworpen voordat de optimalisatie begint, omdat het achteraf aanpassen van eigenaarschap en resultaat-ID's na een kostenpiek meestal hiaten achterlaat.

Een praktisch record bevat ten minste:

• Workflow-identiteit: workflow-naam en -versie, run-ID, omgeving, eigenaar, team en kostenplaats.
• Uitvoeringsidentiteit: agent, sessie, turn, request- of trace-ID, modelbeleid, provider, tools, en prompt- of skill-versies.
• Kostenbewijs: inferentie-, cache-, tool-, infrastructuur-, menselijke beoordelings-, retry- en herstelkosten, met de prijsbron en versie die nodig zijn om de berekening te reproduceren.
• Resultaatidentiteit: resultaat-ID, bronsysteem, voorlopige of definitieve status, waardemethode en timestamp van afwikkeling.

Aangepaste metadata vormt het bindweefsel. Een gateway-request moet het workflow-run-ID, de eigenaar, omgeving, klant- of productgrens en de kostenplaats dragen waar van toepassing. De runtime moet dezelfde run-identiteit behouden gedurende turns en tool-activiteiten. De applicatie moet dat run-ID naast het uiteindelijke resultaat in het system of record schrijven.

Plaats geen gevoelige inhoud in tags louter omdat metadata handig is. Gebruik ondoorzichtige identificatoren, dwing een allowlist af en los zakelijke details op binnen de geautoriseerde analytics-omgeving. Attributie moet de verantwoordelijkheid verbeteren zonder van observatievelden een nieuw datalekkagerisico te maken.

4. Resultaten komen later dan kosten

Inferentie-kosten zijn meestal binnen enkele seconden bekend. Zakelijke resultaten worden mogelijk pas minuten, dagen of maanden later afgewikkeld. Een coding-agent kan zijn turn vandaag voltooien terwijl de wijziging volgende week pas live gaat. Een servicegesprek kan nu sluiten en later weer heropenen. Een verkoopassistent kan een e-mail opstellen waarvan het commerciële effect pas over een kwartaal bekend is.

Het grootboek heeft daarom statussen nodig:

• Open: de workflow is nog actief of wacht op een mens.
• Voorlopig: de uitvoering is beëindigd, maar het observatievenster staat nog open.
• Geaccepteerd of geweigerd: de bron van de waarheid heeft het gedefinieerde resultaat beoordeeld.
• Gereverteerd: een eerder geaccepteerd resultaat is ongedaan gemaakt, heropend, teruggerold of betwist.

Dit voorkomt een subtiele rapportagefout: het vergelijken van de volledige kosten van vandaag met de onvolledige resultaten van vandaag. Dashboards moeten cohortvensters en afwikkelingsdekking tonen. Als slechts 60% van de runs rijp genoeg is om te beoordelen, zijn de schijnbare kosten per succes voorlopig.

5. Scheid correlatie van causaliteit

Een resultaat dat is gekoppeld aan een AI-run is toewijsbaar in de zin van een database; het is niet automatisch veroorzaakt door AI. Seizoensinvloeden, bezetting, beleidswijzigingen, productwijzigingen en selectie-effecten kunnen dezelfde maatstaf beïnvloeden.

Stel voor belangrijke beslissingen een referentiepunt in en gebruik waar mogelijk een experimenteel of quasi-experimenteel ontwerp: gerandomiseerde controlegroepen, gefaseerde uitrol, gematchte cohorten of onderbroken tijdreeksanalyse. Leg ten minste de versie van het productiebeleid vast en vergelijk vergelijkbare workflow-segmenten.

Dit onderscheid is vooral belangrijk wanneer menselijke inspanning verschuift in plaats van verdwijnt. Als een assistent sneller concepten maakt maar stroomafwaarts meer beoordelingswerk veroorzaakt, kan een lokale productiviteitsmaatstaf stijgen terwijl de totale kosten niet dalen. De noemer moet de workflow volgen over organisatiegrenzen heen.

6. Optimaliseer één knop tegelijk—en behoud kwaliteit als randvoorwaarde

BCG stelt voor om onnodig modelgebruik te verwijderen, te routen op basis van taakcomplexiteit, context en componenten te hergebruiken, en te trainen op token-discipline. Dat zijn verstandige knoppen. Maar elk ervan kan de kwaliteit, latentie en het risico beïnvloeden, dus optimalisatie vereist een bewaakte cyclus in plaats van een eenmalige kostenbesparing.

Verwijder het model waar de taak deterministisch is

Rekenkundige bewerkingen, exacte opzoekingen, beleidsdrempels, schemavalidatie en deterministische routing horen vaak thuis in conventionele software. Dit kan de kosten verlagen en de betrouwbaarheid verbeteren. De belangrijke ontwerpstap is niet om reasoning willekeurig te elimineren, maar om deze te bewaren voor ambiguïteit en oordeelsvorming.

Routeer op basis van taakcomplexiteit

Een kleiner model of een open-weights model kan het juiste werkpaard zijn voor routinetaken, terwijl een capabeler model gereserveerd blijft voor moeilijkere gevallen. Maar routing is een experiment, geen belofte. Meet escalatiesnelheid, retries, geaccepteerde kwaliteit, latentie en beoordelingstijd per route. Een lagere request-prijs die tot meer foutlussen leidt, kan het resultaat duurder maken.

Hergebruik context bewust

Stabiele prefixes, provider prompt caching, gateway response caching, batch-uitvoering, retrieval-discipline en lazy loading kunnen herhaald werk verminderen. Het zijn verschillende mechanismen met verschillende semantiek. Provider prompt caching hergebruikt de verwerking van de prompt terwijl er nog steeds een nieuw antwoord wordt gegenereerd. Exacte of semantische response caching kan de model call vermijden, maar vereist isolatie, vervaldatum en correctheidscontroles. Geparametriseerde prompts en skills verbeteren hergebruik en governance; ze garanderen op zichzelf geen cachebaarheid.

Begrens loops en output

Stel maximale turns, toolpogingen, reasoning-inspanning, contextbudgetten en outputlimieten in die passen bij de workflow. Leg vast waarom een run is gestopt. Een stopregel moet onderscheid maken tussen succes, menselijke overdracht, beleidsblokkade, timeout, uitgeput budget en onherstelbare fout. Anders kan een kostenverlaging simpelweg verschijnen als meer afgebroken werk.

7. Een illustratieve vergelijking: goedkopere requests, duurdere resultaten

Overweeg een workflow voor documentbeoordeling die kiest tussen een lichter model en een capabeler model. De onderstaande cijfers zijn geschaalde kosteneenheden ter illustratie, geen benchmarkgegevens.

Beleid A wint op inferentiekosten en verliest op de workflow. Beleid B geeft drie keer zoveel uit aan de model call, maar kost in dit voorbeeld ongeveer 47% minder per geaccepteerd resultaat. Het punt is niet dat grotere modellen altijd beter zijn. Het is dat de prijs van een model een workflow-beslissing niet kan doorslaan.

8. Hoe de stack van TrueFoundry en TrueForge aansluit op het probleem

TrueFoundry levert diverse onderdelen van de noemer en de controlelus. Het produceert niet de zakelijke teller. Die grens is de sleutel tot een geloofwaardige architectuur.

Die verdeling voorkomt ook drie veelvoorkomende categoriefouten:

• Een budget is een grens aan uitgaven, geen bewijs van waarde.
• Een trace is uitvoeringsbewijs, geen evaluator.
• Het uiteindelijke antwoord van een agent is geen bewijs dat een extern effect is doorgevoerd.

9. Een implementatievolgorde van 90 dagen

BCG formuleert het operationele model als inzien, vormgeven en bewijzen of stoppen. Het volgende is onze voorgestelde technische startvolgorde, geen BCG-benchmark.

Dagen 1–30: maak aanzienlijke uitgaven toewijsbaar

1. Selecteer vijf tot tien productieworkflows met aanzienlijke kosten of risico's.
2. Wijs een eigenaar, kostenplaats, omgeving en de classificatie product-versus-intern toe.
3. Definieer een geparametriseerd geaccepteerd resultaat en observatievenster voor elke workflow.
4. Geef workflow- en run-ID's door via modelrequests, runtime-events en het resultaatsysteem.
5. Weiger of quarantaineer niet-toegewezen productieverkeer in plaats van het voor onbepaalde tijd als "overig" te labelen.

Dagen 31–60: wikkelt het grootboek af

1. Exporteer gateway-kosten en trace-gegevens naar de analytics-omgeving.
2. Voeg TrueForge turn- en event-records toe voor agent-workflows.
3. Schat menselijke beoordeling en herstelwerk in per workflow-segment.
4. Koppel definitieve resultaten en maak onderscheid tussen voorlopige, geaccepteerde, geweigerde en gereverteerde statussen.
5. Publiceer dashboards voor kosten per geaccepteerd resultaat met cohortbewustzijn en afwikkelingsdekking.

Dagen 61–90: verander één knop en bewijs het

1. Rangschik workflows op totale kosten, kosten per geaccepteerd resultaat en onzekerheid in de meting.
2. Kies één knop per experiment: modelroute, contextbeleid, cachebeleid, toolpad, outputlimiet of stopregel.
3. Evalueer op een regressieset, pas vervolgens een canary-uitrol toe in productie met hetzelfde resultaatscontract.
4. Gebruik budgetten en waarschuwingen als veiligheidsrails terwijl het nieuwe beleid actief is.
5. Schaal, herzie of rol terug op basis van afgewikkelde resultaten—niet op basis van vroege token-besparingen.

10. De vragen die een nuttig dashboard moet beantwoorden

Een dashboard voor workflow-economie moet iemand helpen een beslissing te nemen. Ten minste:

• Welke workflows hebben de hoogste totale kosten en de hoogste kosten per geaccepteerd resultaat?
• Welk percentage van de uitgaven heeft een eigenaar, run-ID en gedefinieerd resultaat?
• Welk beleid valt standaard terug op de nieuwste modellen, en verbeteren die routes de geaccepteerde resultaten?
• Hoeveel input wordt geserveerd vanuit provider prompt caches, en hoeveel verkeer wordt geserveerd vanuit gateway response caches?
• Waar domineren retries, tool-loops, menselijke beoordeling en reversies de kostenenveloppe?
• Hoeveel resultaten zijn nog voorlopig, en hoe verandert de afwikkeling het resultaat?
• Welke schijnbare besparingen overleven een gecontroleerde vergelijking met de nulmeting?

Uitgaven aan providers horen nog steeds op het dashboard. Het moet alleen niet de laatste regel zijn.

11. Wat niet te beweren

12. De managementvraag verandert

De eerste nuttige vraag is niet "Hoe kopen we minder tokens?" Het is "Welke workflow geeft geld uit, welk geaccepteerd resultaat levert het op, en wat zijn de totale kosten van dat resultaat?"

Zodra die koppeling bestaat, wordt token-optimalisatie preciezer. Teams kunnen vermijdbare model calls schrappen, routinematig werk naar geschikte modellen routen, veilig cachen, alleen de context laden die een taak nodig heeft, en budgetten instellen rond experimenten en productieworkloads. Ze kunnen ook het tegenovergestelde ontdekken: een capabeler model, een langere context of een extra verificatiestap kan de inferentie-kosten verhogen en de kosten van het geaccepteerde resultaat verlagen.

Dat is de praktische bijdrage van het return-on-AI-idee van BCG. Het verplaatst de discussie van gemeten activiteit naar workflow-economie. Het gevolg voor de infrastructuur is even helder: modeltelemetrie, agent-events, menselijk werk en zakelijke resultaten hebben een gedeelde identiteit en een gedisciplineerd afwikkelingsproces nodig.

Veelgestelde vragen

Is kosten per token nog steeds nuttig?

Ja. Het is nuttig voor prijsvalidatie, analyse van model-calls en kostendiagnostiek binnen een vergelijkbare facturatiecategorie. Het is onvoldoende om te bepalen of een workflow waarde creëert.

Wat is de beste eenheid voor AI-kostenbeheer?

Voor productie-applicaties is dat meestal de workflow-run: een afgebakende eenheid die model-calls, tools, retries, menselijke controlepunten en een verwijdering naar een uiteindelijk resultaat bevat.

Berekent TrueFoundry de return on AI?

TrueFoundry levert modelkosten, routing, cache, budget, identiteit, metadata en trace-bewijsmateriaal; TrueForge voegt daar agent-runtime-events en gebruik aan toe. De evaluatoren van de klant, systemen van vastlegging, menselijke-kostenmodellen en de analyselaag moeten de zakelijke teller leveren en afwikkelen.

Kan een goedkoper model de totale kosten verhogen?

Ja. Als het leidt tot meer retries, langere loops, escalaties of menselijke correctie, kunnen de kosten per geaccepteerd resultaat hoger uitvallen dan die van een duurder model.

Moeten alle AI-kosten worden gecategoriseerd als CapEx, OpEx of COGS?

BCG gebruikt die categorieën als een managementframework. De werkelijke boekhoudkundige classificatie hangt af van de toepasselijke boekhoudnormen, contracten, materialiteit en het organisatiebeleid; de eigenaren van finance en accounting moeten hierover beslissen.

Referenties

1. BCG — Return on AI: How CFOs and CIOs Can Manage the Token Meter
2. TrueFoundry AI Gateway — Cost Tracking
3. TrueFoundry AI Gateway — Request Logs
4. TrueFoundry AI Gateway — Request Log Span Attributes
5. TrueFoundry AI Gateway — Metadata Validation
6. TrueFoundry AI Gateway — Virtual Model Routing
7. TrueFoundry AI Gateway — Exact and Semantic Caching
8. TrueFoundry AI Gateway — Budget Limiting
9. TrueFoundry AI Gateway — Prompt Management
10. TrueForge — Agent Events and Turn Metrics
11. TrueFoundry Agent Platform — Skills

Productdocumentatie is gevalideerd op 5 september 2026. Functionaliteiten en interfaces kunnen wijzigen; verifieer de huidige documentatie vóór implementatie.

‍