Budgets en Quotas op de AI Gateway: Beheer AI-uitgaven per Team

Waarom dollarbudgetten, en niet alleen rate limits

Een GPU-endpoint of een provider account brengt kosten in rekening, ongeacht of er iemand kijkt. Rate limits beperken de doorvoer, maar ze voorkomen niet dat een team ongemerkt tienduizend dollar aan tokens in een maand uitgeeft. Budgetten maximering de uitgaven in dollars, en dat is wat finance echt belangrijk vindt.

Op de AI Gateway helpt budget limiting u om de uitgaven aan LLM-workloads te beheersen door kostengrenzen per tenant of per team in te stellen, met ingebouwde waarschuwingen en handhaving.

Tenant budgetten vs team budgetten

De budget limiting documentatie beschrijft twee niveaus, en het verschil bepaalt wie de eigenaar is van de limiet.

• Tenant budget. Wordt alleen beheerd door tenant admins en is van toepassing op alle verzoeken binnen de tenant die overeenkomen met de regelfilters. Gebruik dit voor organisatiebrede limieten, zoals een maandelijks uitgavenlimiet voor een specifiek model.
  

• Team budget. Wordt beheerd door tenant admins en team managers, en is alleen van toepassing op verzoeken van leden van één enkel team. Gebruik dit wanneer een teamlead zijn eigen teamuitgaven moet beheren zonder tenant admin-toegang.

Een budgetregel aanmaken, stap voor stap

• Open de regel-editor. Ga naar AI Gateway, vervolgens naar Policies, dan naar Budget Limiting en klik op Add Rule.
  

• Selecteer het niveau, hetzij Tenant Budget of Team Budget.
  

• Voeg niveau-filters toe op subjects, models, provider accounts of metadata. Als u alle filters leeg laat, geldt de regel voor elk verzoek binnen dat niveau.
  

• Stel budgetlimieten in met een of meer periodes: dagelijks, wekelijks, maandelijks, per kwartaal of lifetime. Eén enkele regel kan meerdere periodes tegelijk handhaven, en het verzoek wordt geblokkeerd als een van de periodes wordt overschreden.
  

• Kies hoe de limiet van toepassing is, hetzij aggregate, per user, per model, per virtual account of per metadata. Dit kan niet meer worden gewijzigd nadat de regel is aangemaakt.
  

• Kies een handhavingsmodus: enforce om te blokkeren bij overschrijding, audit om alleen te waarschuwen, of soft enforce om alleen te blokkeren wanneer geen enkel ander overeenkomend budget het verzoek kan toestaan.

Een belangrijk detail uit de documentatie: wanneer u een budgetregel aanmaakt, begint de verbruiksteller vanaf dat moment op nul, ongeacht hoeveel er eerder in die periode is uitgegeven. Eerdere uitgaven worden niet met terugwerkende kracht meegeteld.

Bezorgd dat een doorgedraaide agent het maandbudget overschrijdt?

We stellen tenant- en teamlimieten in met mijlpaalwaarschuwingen op uw gateway, live.

Boek een demo

Waarschuwingen voordat u de limiet bereikt

Budgetten zijn het nuttigst voordat ze worden overschreden. Bij het aanmaken van een regel kunt u budget milestone alerts inschakelen en drempels selecteren op 75, 90, 95 of 100 procent. Vervolgens kiest u een notificatiedoel zoals e-mail, Slack, PagerDuty of Microsoft Teams. Dit geeft eigenaren de tijd om te reageren in plaats van de limiet pas te ontdekken wanneer verzoeken beginnen te mislukken.

Budgetten bekijken in analytics

Het analytics dashboard toont budgetresultaten onder routing metrics. Tellers op het hoogste niveau tonen model calls geblokkeerd door rate limit en model calls geblokkeerd door budget limit. De budgetgrafieken tonen de checks rate, de exceeded rate en een overzicht van toegestaan versus geblokkeerd per budgetregel.

U kunt deze bekijken per configs, users, virtual accounts of teams. De teams-weergave ondersteunt chargebacks en zorgt ervoor dat elk team zijn eigen budget kan beheren.

Budgetten vs rate limiting

|  | Budgetten | Rate limiting |

| --- | --- | --- |

| Limieten | Kosten in dollars | Doorvoer (verzoeken, tokens, tool calls) |

| Niveaus | Tenant en team | Alleen tenant |

| Drempelwaarschuwingen | Ja (75, 90, 95, 100%) | Nee |

| Periodes | Dagelijks tot lifetime | Per minuut, uur, dag |

De twee vullen elkaar aan. Gebruik rate limiting om capaciteit te beschermen en budgetten om de geldbuidel te beschermen. Beide retourneren een HTTP 429 bij overschrijding, en

Wijs elke dollar toe en maximeer uitgaven per team

Bekijk tenant- en teambudgetten, mijlpaalwaarschuwingen en chargeback-weergaven op uw eigen verkeer.

Spreek met een expert