Warum Dollar-Budgets statt nur Ratenbegrenzungen

Ein GPU-Endpunkt oder ein Anbieterkonto verursacht Kosten, egal ob jemand den Verbrauch überwacht oder nicht. Ratenbegrenzungen deckeln zwar den Durchsatz, verhindern aber nicht, dass ein Team unbemerkt tausende Dollar für Tokens ausgibt. Budgets begrenzen die Ausgaben in Dollar – genau das, was für die Finanzabteilung zählt.

Auf dem AI Gateway hilft Ihnen die Budgetbegrenzung dabei, die Ausgaben für LLM-Workloads zu kontrollieren, indem Sie Kostenobergrenzen pro Mandant oder Team festlegen – inklusive integrierter Benachrichtigungen und Durchsetzung.

‍

Mandanten-Budgets vs. Team-Budgets

‍

Die Dokumentation zur Budgetbegrenzung beschreibt zwei Geltungsbereiche, wobei die Unterscheidung festlegt, wer die Kontrolle über das Limit hat.

‍

• Mandanten-Budget. Wird ausschließlich von Mandanten-Administratoren verwaltet und gilt für alle Anfragen innerhalb des Mandanten, die den Regelfiltern entsprechen. Nutzen Sie es für unternehmensweite Obergrenzen, wie etwa ein monatliches Ausgabenlimit für ein bestimmtes Modell.
• Team-Budget. Wird von Mandanten-Administratoren und Teamleitern verwaltet und gilt nur für Anfragen von Mitgliedern eines einzelnen Teams. Nutzen Sie es, wenn ein Teamleiter die Ausgaben seines eigenen Teams ohne Mandanten-Administratorrechte verwalten soll.

‍

Erstellen einer Budgetregel unter Richtlinien, dann Budgetbegrenzung.

‍

Schritt-für-Schritt-Anleitung zum Erstellen einer Budgetregel

‍

• Öffnen Sie den Regeleditor. Gehen Sie zu AI Gateway, dann zu Richtlinien, weiter zu Budgetbegrenzung und klicken Sie auf Regel hinzufügen.
• Wählen Sie den Geltungsbereich, entweder Mandanten-Budget oder Team-Budget.
• Geltungsbereichsfilter hinzufügen für Themen, Modelle, Anbieterkonten oder Metadaten. Wenn Sie alle Filter leer lassen, greift die Regel für jede Anfrage innerhalb ihres Geltungsbereichs.
• Budgetlimits festlegen mit einem oder mehreren Zeiträumen: täglich, wöchentlich, monatlich, vierteljährlich oder auf die gesamte Laufzeit bezogen. Eine einzelne Regel kann mehrere Zeiträume gleichzeitig erzwingen; die Anfrage wird blockiert, sobald einer der Zeiträume überschritten wird.
• Wählen Sie aus, wie das Limit angewendet wird, ob als Gesamtwert, pro Benutzer, pro Modell, pro virtuellem Konto oder pro Metadaten. Dies kann nach der Erstellung der Regel nicht mehr geändert werden.
• Wählen Sie einen Durchsetzungsmodus: „Erzwingen“ zum Blockieren bei Überschreitung, „Audit“ nur zur Warnung oder „Soft-Erzwingen“, um nur dann zu blockieren, wenn kein anderes passendes Budget die Anfrage zulässt.

‍

Festlegen von Zeiträumen und der Anwendungsoption für eine Budgetregel.

‍

Ein wichtiger Hinweis aus der Dokumentation: Wenn Sie eine Budgetregel erstellen, beginnt der Nutzungszähler ab diesem Moment bei null, unabhängig davon, wie viel zuvor in diesem Zeitraum ausgegeben wurde. Frühere Ausgaben werden nicht rückwirkend angerechnet.

‍