Agent Gateway Series (Deel 4 van 7) | FinOps voor autonome systemen

In traditionele software is een oneindige lus een vervelende zaak. Het veroorzaakt een piek in uw CPU-gebruik, vertraagt misschien een server, en u lost het op door de pod opnieuw te starten. De kosten zijn verwaarloosbaar—elektriciteit is goedkoop.

In Agentic Software is een oneindige lus een financiële ramp.

Stel u twee agents voor die vastraken in een beleefdheidslus: "Nee, gaat u voor!" "Ik sta erop, u eerst!"

Als deze agents draaien op GPT-4 tegen $30 per miljoen tokens, en ze wisselen één keer per seconde berichten uit, kunt u in één enkele middag duizenden dollars verbranden.

Om agents in productie te laten draaien, kunt u ze niet zomaar API-sleutels geven en het beste ervan hopen. U heeft een Interne Economie nodig.

De TrueFoundry Agent Gateway fungeert als de Centrale Bank voor uw digitale personeelsbestand. Het verstrekt subsidies, dwingt quota af, vaardigt stop-loss-orders uit en beheert de wisselkoersen tussen verschillende afdelingen. Voor meer details: .https://www.truefoundry.com/docs/ai-gateway/budgetlimiting. 

‍

Het probleem: de verborgen rekening van autonomie

Het fundamentele risico van agency is onvoorspelbaar verbruik.

• API Call: Deterministisch. 1 Request = 1 Kosteneenheid.
• Agent Task: Niet-deterministisch. U vraagt een agent om "Concurrenten te onderzoeken." Het zoekt misschien één keer op Google (Kosten: $0,05). Of het besluit om 500 websites te crawlen, 50 PDF-rapporten samen te vatten en 10 sub-agents te maken om de data te analyseren (Kosten: $50,00).

U heeft een systeem nodig dat Consumption Intent reguleert, niet alleen het verzoekvolume.

Een concreet voorbeeld: de "Slaat op de hol geslagen onderzoeker"

Laten we kijken naar een nachtmerriescenario uit de praktijk: De recursieve marktanalyse.

De instelling:

Een gebruiker vraagt de Research Agent: "Vind alle AI-startups in Californië voor mij."

De agent is ontworpen om:

1. Google te doorzoeken.
2. Voor elk resultaat de website te bezoeken.
3. Als de website "AI" vermeldt, deze op te slaan.

De foutmodus:

De agent vindt een gids met een "Lijst van 1.000 Startups". Het besluit plichtsgetrouw om alle 1.000 links te bezoeken.

Elk bezoek vereist een browser tool call en een samenvattingscall (GPT-4).

• Kosten per link: $0,10
• Totaal aantal links: 1.000
• Totale kosten: $100,00 voor één enkele query.

De oplossing (met de A2A-economie):

De best agent gateway implementeert een Budget Grant.

1. Het verzoek van de gebruiker krijgt een Grant (toewijzing): $5,00.
2. De Agent begint te werken. Het kost $0,10, $0,20, $0,30...
3. Bij Link #50 bereikt de wallet $5,00.
4. Actie: De Gateway weigert de volgende tool call met 402 Payment Required.
5. Resultaat: De Agent wordt gedwongen te stoppen en te rapporteren: "Ik heb 50 startups gevonden, maar mijn budget was op om de rest te controleren."

Het systeem faalde op een gecontroleerde en goedkope manier, in plaats van op een dure manier te slagen.

‍

Fig 1: De stroom van het Budget Granting-proces

‍

Het Token Grant-systeem

We behandelen rekenkracht als een valuta. Elk verzoek dat de Gateway binnenkomt, moet een Budget Context dragen.

Dit is geen statisch maandelijks quotum. Het is een Micro-Budget Per Verzoek.

Wanneer een Manager Agent een Worker Agent aanroept, moet deze de Worker "betalen" vanuit zijn eigen wallet. Dit creëert een natuurlijke prikkel voor efficiëntie. Als de Manager geld verspilt, faalt hij in zijn eigen taak.

• Budget Manager Agent: $10,00
• Kosten subtaak: $2,00
• Beslissing Manager: "Ik kan het me veroorloven om de 'Premium Coder Agent' ($2,00) in te huren, of ik kan de 'Cheap Coder Agent' ($0,50) proberen."

Dit maakt Economic Reasoning mogelijk binnen de logica van de agent.

De Volatility Circuit Breaker

Budgetlimieten vangen de "Totale kosten" op. Maar we moeten ook de "Snelheid van uitgaven" beheren.

Een "op de hol geslagen agent" (oneindige lus) ziet eruit als een piek in financiële snelheid.

De Gateway bewaakt de veranderingssnelheid van de kosten.

• Normaal: $1,00 uitgeven over 10 minuten.
• Anomalie: $1,00 uitgeven in 10 seconden.

Als de snelheid de drempel overschrijdt, slaat de Circuit Breaker uit. De sessie wordt bevroren. Een menselijke beheerder krijgt een melding. Dit beschermt tegen code-bugs waarbij een agent een mislukte tool call 100 keer in een milliseconde opnieuw probeert.

‍

Fig 2: Het beheren van de "Snelheid van uitgaven"

‍

Interdepartementale Chargebacks: Oost-West facturatie

In een grote onderneming zijn agents gedeelde diensten.

• Marketingafdeling: Is eigenaar van de Copywriter Agent.
• Engineeringafdeling: Is eigenaar van de Database Agent.

Wanneer de agent van Marketing de agent van Engineering om data vraagt, wie betaalt dan de OpenAI-rekening?

Als Engineering betaalt, zullen zij Marketing blokkeren om geld te besparen. Dit creëert silo's.

Als Marketing betaalt, hoe houden we dat dan bij?

De Agent Gateway implementeert East-West Chargebacks.

1. Identiteit: Het verzoek komt van Principal: Marketing.
2. Uitvoering: De Database Agent draait (Kosten: $0,05).
3. Grootboek: De Gateway registreert een transactie: Debet Marketing $0,05, Credit Engineering $0,05.

Aan het einde van de maand genereert de Gateway een rapport voor de CFO. Dit transformeert agents van kostenposten naar Interne Service Providers.

‍

‍

Shadow FinOps: kosten voorspellen

Kúnnen we de rekening al inschatten voordat een agent überhaupt begint? Dit is waar Finops for AI bijzonder nuttig wordt om kosten voorafgaand aan de uitvoering te voorspellen.

De Gateway bevat een Shadow FinOps Model. Dit is een klein regressiemodel dat is getraind op historische agent-runs.

Wanneer een gebruiker een prompt stuurt: "Vat de financiële rapporten van Q3 samen," voorspelt het Shadow Model:

• Verwachte stappen: 12
• Verwachte tokens: 8.000
• Geschatte kosten: $0,45

Als de persoonlijke limiet van de gebruiker $0,20 is, weigert de Gateway het verzoek onmiddellijk, voordat er ook maar één GPU-cyclus verloren gaat. Het meldt de gebruiker: "Deze taak vereist goedkeuring van de manager."

Conclusie

Autonomie zonder verantwoording is anarchie. De A2A-economie biedt de financiële waarborgen waarmee bedrijven met vertrouwen agents kunnen inzetten. Door budgetten af te dwingen, op de hol geslagen lussen te voorkomen en eerlijke chargebacks mogelijk te maken, veranderen we AI van een "black box van uitgaven" in een meetbaar, beheersbaar kapitaalactivum.

‍