Pourquoi des budgets en dollars plutôt que de simples limites de débit

Un point de terminaison GPU ou un compte fournisseur génère des factures, que quelqu'un surveille ou non. Les limites de débit plafonnent le volume, mais n'empêchent pas une équipe de dépenser discrètement dix mille dollars en jetons en un mois. Les budgets plafonnent les dépenses en dollars, ce qui est la préoccupation réelle du service financier.

Sur l'AI Gateway, la limitation budgétaire vous aide à contrôler les dépenses liées aux charges de travail LLM en définissant des seuils de coûts par locataire ou par équipe, avec des alertes et une application automatique des règles.

‍

Budgets par locataire vs budgets par équipe

‍

La documentation sur la limitation budgétaire décrit deux périmètres, et la distinction détermine qui est responsable du plafond.

‍

• Budget par locataire. Géré uniquement par les administrateurs du locataire, il s'applique à toutes les requêtes du locataire correspondant aux filtres de la règle. Utilisez-le pour des plafonds à l'échelle de l'organisation, comme une limite de dépenses mensuelle sur un modèle spécifique.
• Budget par équipe. Géré par les administrateurs du locataire et les responsables d'équipe, il s'applique uniquement aux requêtes des membres d'une seule équipe. Utilisez-le lorsqu'un chef d'équipe doit gérer ses propres dépenses sans avoir accès aux droits d'administration du locataire.

‍

Création d'une règle budgétaire sous Politiques, puis Limitation budgétaire.

‍

Créer une règle budgétaire, étape par étape

‍

• Ouvrez l'éditeur de règles. Accédez à AI Gateway, puis à Politiques, puis à Limitation budgétaire, et cliquez sur Ajouter une règle.
• Sélectionnez le périmètre, soit Budget par locataire, soit Budget par équipe.
• Ajoutez des filtres de périmètre sur les sujets, les modèles, les comptes fournisseurs ou les métadonnées. Si vous laissez tous les filtres vides, la règle s'applique à chaque requête dans son périmètre.
• Définir des limites budgétaires avec une ou plusieurs périodes : quotidienne, hebdomadaire, mensuelle, trimestrielle ou sur toute la durée de vie. Une seule règle peut appliquer plusieurs périodes simultanément, et la requête est bloquée si l'une de ces périodes est dépassée.
• Choisissez comment la limite s'applique, qu'il s'agisse d'un cumul, par utilisateur, par modèle, par compte virtuel ou par métadonnée. Ce paramètre ne pourra plus être modifié une fois la règle créée.
• Choisissez un mode d'application : application stricte pour bloquer en cas de dépassement, audit pour un simple avertissement, ou application souple pour bloquer uniquement lorsqu'aucun autre budget correspondant ne permet la requête.

‍

Configuration des périodes et de l'option d'application sur une règle budgétaire.

‍

Un détail important de la documentation : lorsque vous créez une règle budgétaire, le compteur d'utilisation repart de zéro à partir de ce moment, indépendamment des dépenses effectuées plus tôt dans la période. Les dépenses antérieures ne sont pas comptabilisées rétroactivement.

‍