Por que orçamentos em dólares, e não apenas limites de taxa

Um endpoint de GPU ou uma conta de provedor gera cobranças independentemente de monitoramento. Limites de taxa restringem o throughput, mas não impedem que uma equipe gaste silenciosamente dez mil dólares em tokens em um mês. Orçamentos limitam os gastos em dólares, que é o que realmente importa para o financeiro.

No AI Gateway, a limitação de orçamento ajuda você a controlar os gastos com cargas de trabalho de LLM definindo limites de custo por tenant ou por equipe, com alertas e aplicação de regras integrados.

‍

Orçamentos de tenant vs. orçamentos de equipe

‍

Odocumentação de limitação de orçamento descreve dois escopos, e a distinção define quem é o responsável pelo limite.

‍

• Orçamento de tenant. Gerenciado apenas por administradores do tenant, aplica-se a todas as solicitações em todo o tenant que correspondam aos filtros da regra. Use-o para limites em toda a organização, como um limite de gastos mensal em um modelo específico.
• Orçamento de equipe. Gerenciado por administradores do tenant e gerentes de equipe, aplica-se apenas a solicitações de membros de uma única equipe. Use-o quando um líder de equipe precisar gerenciar os gastos da sua própria equipe sem acesso de administrador do tenant.

‍

Criando uma regra de orçamento em Políticas, depois em Limitação de Orçamento.

‍

Criando uma regra de orçamento, passo a passo

‍

• Abra o editor de regras. Vá para AI Gateway, depois Políticas, em seguida Limitação de Orçamento e clique em Adicionar Regra.
• Selecione o escopo, seja Orçamento de Tenant ou Orçamento de Equipe.
• Adicione filtros de escopo em assuntos, modelos, contas de provedores ou metadados. Se você deixar todos os filtros vazios, a regra corresponderá a todas as solicitações dentro do seu escopo.
• Defina limites de orçamento com um ou mais períodos: diário, semanal, mensal, trimestral ou vitalício. Uma única regra pode aplicar vários períodos simultaneamente, e a solicitação é bloqueada caso qualquer um dos períodos seja excedido.
• Escolha como o limite é aplicado, seja de forma agregada, por usuário, por modelo, por conta virtual ou por metadados. Isso não pode ser alterado após a criação da regra.
• Escolha um modo de aplicação: aplicar para bloquear quando excedido, auditar apenas para avisar ou aplicação flexível para bloquear apenas quando nenhum outro orçamento correspondente permitir a solicitação.

‍

Definindo períodos e a opção de aplicação em uma regra de orçamento.

‍

Um detalhe importante da documentação: ao criar uma regra de orçamento, o contador de uso começa do zero a partir daquele momento, independentemente de quanto foi gasto anteriormente no período. Gastos anteriores não são contabilizados retroativamente.

‍