May 8, 2024
|
5 min de lecture
Équilibrage de charge dans AI Gateway : optimisation des performances
Par Abhishek Choudhary
Mis à jour : June 2, 2025
.webp)
Résumez avec
Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Une méthode incroyablement rapide pour créer, suivre et déployer vos modèles !
- Gère plus de 350 RPS sur un seul processeur virtuel, aucun réglage n'est nécessaire
- Prêt pour la production avec un support complet pour les entreprises
L'équilibrage de charge entre plusieurs grands modèles de langage dans une passerelle d'IA consiste à acheminer les demandes d'inférence entrantes sur un ensemble de points de terminaison du modèle (qu'ils proviennent de différents fournisseurs ou de différentes versions du même modèle) afin qu'aucun modèle ne devienne un goulot d'étranglement ou un point de défaillance unique. La passerelle surveille en permanence l'état de santé de chaque terminal en suivant des indicateurs tels que les demandes par minute, les jetons par minute et les taux d'erreur. Lorsqu'un modèle dépasse les limites d'utilisation configurées, renvoie des erreurs ou présente un retard dans le temps de réponse, il est marqué comme défectueux et exclu du routage. Vous pouvez choisir un routage basé sur le poids pour attribuer des proportions de trafic fixes à chaque modèle ou un routage basé sur la latence pour préférer dynamiquement le modèle le plus rapide en fonction des données de performances récentes. Tous les comportements sont définis de manière déclarative dans une configuration YAML qui spécifie les limites d'utilisation globales, les tolérances de panne et les règles de routage. Cette approche garantit une haute disponibilité, des performances constantes et un basculement fluide sans aucune modification du code de l'application.
Ce blog explique ce qu'implique l'équilibrage de charge et pourquoi il est essentiel, et montre comment Passerelle TrueFoundry AI l'implémente sous le capot, passe en revue les étapes de configuration YAML, passe en revue les modèles de configuration courants et conclut par les meilleures pratiques pratiques pour les déploiements en production.
Pourquoi avons-nous besoin d'un équilibrage de charge dans la passerelle AI ?
Les entreprises comptent sur un accès ininterrompu aux modèles linguistiques pour les flux de travail critiques. Pourtant, certains fournisseurs peuvent subir des interruptions de service ou des fenêtres de maintenance planifiées qui laissent les applications hors ligne. C'est pourquoi Équilibrage de charge LLM est l'une des fonctionnalités essentielles de la meilleure passerelle d'IA utilisée dans les systèmes de production.
En configurant l'équilibrage de charge sur plusieurs terminaux de modèles, TrueFoundry garantit que lorsque le service d'un fournisseur devient indisponible, le trafic est automatiquement transféré vers des alternatives saines. Ce basculement transparent évite les interruptions de service pour les utilisateurs finaux et garantit une disponibilité constante des applications.
Les fluctuations de latence constituent un autre défi. Les temps de réponse varient en fonction de l'architecture du modèle, de la région géographique et de la capacité du fournisseur. Une configuration de routage statique risque d'envoyer le trafic vers un terminal plus lent, dégradant ainsi l'expérience utilisateur. Le routage basé sur la latence de TrueFoundry mesure en permanence les temps de réponse par jeton par rapport aux demandes récentes et achemine dynamiquement chaque appel d'inférence vers le modèle le plus rapide disponible. Cela garantit une faible latence constante, même en cas de modification des conditions du réseau ou de la charge du fournisseur.
API limites de taux imposer des limites strictes aux demandes ou au débit de jetons par minute. Si le quota d'un seul fournisseur est épuisé, les appels suivants échouent, ce qui entraîne des erreurs d'application. Grâce au routage basé sur le poids dans TrueFoundry, vous pouvez répartir le trafic selon des proportions définies afin qu'aucun point de terminaison ne dépasse ses limites. Combinée aux limites d'utilisation globales dans la section model_configs, la passerelle maintient automatiquement chaque modèle dans les limites de son quota et redirige les appels lorsque les seuils sont atteints, évitant ainsi des pannes inattendues.
Les essais de nouvelles versions de modèles par Canary en production comportent des risques inhérents. Une mise à jour défectueuse peut introduire des erreurs ou dégrader les performances. TrueFoundry simplifie les déploiements de Canary en vous permettant d'attribuer un faible pourcentage de poids à un nouveau modèle selon une règle basée sur le poids. Le trafic est acheminé de manière incrémentielle, peut-être 10 % vers le modèle Canary et 90 % vers le modèle stable, afin que vous puissiez surveiller les taux d'erreur et les mesures de latence avant de déplacer la charge complète. En cas de problème, la passerelle conserve simplement le mix de trafic d'origine, préservant ainsi l'expérience utilisateur.
Ensemble, ces fonctionnalités, le basculement automatique, l'optimisation dynamique de la latence, la gestion des limites de débit et les déploiements contrôlés de Canary font de l'équilibrage de charge une pratique essentielle pour des déploiements LLM robustes et performants sur la passerelle TrueFoundry AI Gateway.
Key Metrics for Evaluating Gateway
| Criteria | What should you evaluate ? | Priority | TrueFoundry |
|---|---|---|---|
| Latency | Adds <10ms p95 overhead for time-to-first-token? | Must Have | ✅ Supported |
| Data Residency | Keeps logs within your region (EU/US)? | Depends on use case | ✅ Supported |
| Latency-Based Routing | Automatically reroutes based on real-time latency/failures? | Must Have | ✅ Supported |
| Key Rotation & Revocation | Rotate or revoke keys without downtime? | Must Have | ✅ Supported |
| Key Rotation & Revocation | Rotate or revoke keys without downtime? | Must Have | ✅ Supported |
| Key Rotation & Revocation | Rotate or revoke keys without downtime? | Must Have | ✅ Supported |
| Key Rotation & Revocation | Rotate or revoke keys without downtime? | Must Have | ✅ Supported |
| Key Rotation & Revocation | Rotate or revoke keys without downtime? | Must Have | ✅ Supported |
Evaluating an AI Gateway?
A practical guide used by platform & infra teams
Comment fonctionne l'équilibrage de charge dans TrueFoundry AI Gateway
La passerelle IA de TrueFoundry orchestre la distribution du trafic en surveillant en permanence trois indicateurs principaux pour chaque point de terminaison du modèle configuré : les demandes par minute, les jetons traités par minute et les défaillances par minute. Ces mesures alimentent le moteur d'évaluation de la santé et déterminent quels modèles sont « sains » à un moment donné.
- Évaluation de la santé
- Limites d'utilisation : Si un modèle dépasse ses limites de débit de requêtes ou de jetons configurées (définies dans model_configs), il est marqué comme défectueux.
- Tolérance aux pannes : Les modèles qui génèrent plus d'erreurs que ce qui est autorisé, sur la base de allowed_failures_per_minute et délimités par des codes d'état HTTP spécifiques, sont également mis de côté pendant la durée de leur période de recharge.
- Limites d'utilisation : Si un modèle dépasse ses limites de débit de requêtes ou de jetons configurées (définies dans model_configs), il est marqué comme défectueux.
- Évaluation des règles
La passerelle évalue les règles de routage dans l'ordre dans lequel elles apparaissent dans votre configuration YAML. Dans chaque règle, le bloc filtre les demandes entrantes par nom de modèle, par sujet d'utilisateur ou d'équipe ou par métadonnées personnalisées. Seule la première règle de correspondance est appliquée, garantissant un comportement de routage déterministe. - Routage basé sur le poids
Selon une règle basée sur le poids, vous spécifiez une liste de modèles cibles ainsi que des pondérations entières dont la somme est égale à 100. Par exemple, vous pouvez acheminer 90 % du trafic vers azure/gpt-4o et 10 % vers openai/gpt-4o. La passerelle distribue aléatoirement chaque demande proportionnellement à ces poids parmi les cibles actuellement saines. Vous pouvez également inclure override_params pour modifier des paramètres tels que la température ou les jetons maximum, par modèle. - Routage basé sur la latence
Lorsque vous utilisez des règles basées sur la latence, aucune pondération manuelle n'est nécessaire. La passerelle calcule la latence moyenne par jeton de chaque modèle par rapport au trafic récent, en tenant compte soit des vingt dernières minutes de demandes, soit des cent derniers appels, la valeur la plus faible étant retenue. Les modèles comportant moins de trois points de données sont considérés comme « rapides » afin de recueillir davantage de statistiques. Tout point de terminaison dont la latence est inférieure à 1,2 fois celle du modèle le plus rapide est considéré comme également éligible, ce qui empêche une commutation rapide due à de légères fluctuations de performances. Les demandes entrantes sont ensuite dirigées vers le modèle sain le plus rapide.
Toutes les décisions de routage sont prises en temps réel au sein de la passerelle. Les modèles défectueux sont automatiquement exclus et le trafic circule de manière fluide vers les meilleurs terminaux disponibles, le tout sans qu'il soit nécessaire de modifier le code de l'application.
TrueFoundry Load Balancing: The Best AI Gateway Solution
Tired of single-model bottlenecks and unpredictable downtime? TrueFoundry’s load balancing lets you distribute traffic across multiple LLMs, ensuring low latency, high availability, and seamless scaling.
Experience rock-solid performance with these capabilities:
- Intelligent request distribution: Evenly route queries across multiple models to optimize throughput and prevent overload.
- Health-aware routing: Automatically detects unhealthy endpoints and reroutes traffic to available models, avoiding downtime.
- Weighted and latency-based strategies: Assign weights or route to the lowest-latency models for cost-effective performance.
- Declarative YAML configuration: Manage all load-balancing rules in a simple gateway-load-balancing-config file—no code changes needed.
- Near-zero overhead and auto-scaling: Add only ~3 ms latency at 250 RPS, and scale to tens of thousands of requests per second with more CPU or replicas.
Comment configurer l'équilibrage de charge dans True Foundry ?
La passerelle AI de TrueFoundry prend en charge deux méthodes principales pour appliquer des configurations d'équilibrage de charge via YAML : directement via l'interface utilisateur de Gateway ou par programmation avec GitOps et la CLI tfy.
Pour mettre à jour l'équilibrage de charge dans l'interface utilisateur de Gateway, accédez à la passerelle AI de votre projet et sélectionnez l'onglet Configuration sous « Équilibrage de charge ». L'éditeur YAML affiche votre manifeste gateway-load-balancing-config actuel, y compris des champs de niveau supérieur tels que le nom et le type, des model_configs facultatifs pour les limites de débit et le tableau de règles de base pour les stratégies de routage.
Il vous suffit de modifier le YAML en ligne, de modifier les identificateurs de modèle, d'ajuster usage_limits ou failure_tolerance et de redéfinir load_balance_targets avec des pondérations ou des stratégies de latence, puis de cliquer sur Enregistrer pour valider et déployer immédiatement sans interruption. En arrière-plan, TrueFoundry valide la syntaxe, applique les nouvelles règles dans l'ordre et achemine instantanément le trafic conformément à votre politique mise à jour.
Sinon, pour les équipes qui utilisent GitOps, stockez votre manifeste d'équilibrage de charge (par exemple, loadbalancer-config.yaml) dans un référentiel dont les versions sont contrôlées, à côté de votre code d'infrastructure. Après avoir validé et poussé les modifications, exécutez la CLI TrueFoundry :
- pip installez truefoundry et essayez login --host https://app.truefoundry.com pour vous authentifier
- tfy apply -f loadbalancer-config.yaml pour envoyer le YAML dans la passerelle
Ce flux de travail applique les révisions par pull-request, les validations CI/CD et une auditabilité complète avant que tout changement de politique n'entre en production. Que vous préfériez les modifications directes de l'interface utilisateur pour des itérations rapides ou GitOps pour une gouvernance robuste, l'approche déclarative YAML de TrueFoundry garantit que vos politiques d'équilibrage de charge sont transparentes, versionnées et appliquées de manière cohérente sans toucher au code de l'application.
Comprendre la configuration d'équilibrage de charge de True Foundry
La configuration d'équilibrage de charge de TrueFoundry est entièrement définie dans un manifeste déclaratif YAML composé de deux sections principales : model_configs et rules. Au niveau supérieur, vous spécifiez name, un identifiant lisible par l'homme utilisé pour la journalisation, et tapez, qui doit être gateway-load-balancing-config pour que la plate-forme reconnaisse ce fichier comme une spécification d'équilibrage de charge.
Le bloc optionnel model_configs vous permet d'appliquer des contraintes globales à chaque point de terminaison du modèle. Pour chaque entrée, vous incluez :
modèle :l'identifiant de la passerelle (par exemple, azure/gpt4)limites_d'utilisation :plafonne les valeurs tokens_per_minute et requests_per_minute pour empêcher tout modèle de dépasser le débit allouétolérance_aux défaillances :les paramètres qui indiquent à quel moment un modèle est considéré comme défectueux, notamment allowed_failures_per_minute, cooldown_period_minutes et une liste de codes d'état HTTP considérés comme des échecs
Lorsqu'un modèle dépasse un seuil d'utilisation ou de défaillance, la passerelle le marque comme étant défectueux pendant la période de recharge spécifiée et l'exclut du routage jusqu'à ce qu'il soit rétabli.
Le cœur de la configuration est le tableau de règles. Chaque règle doit déclarer :
identifiant :un nom unique utilisé pour les métriques et les journauxtype :soit un routage basé sur le poids, soit un routage basé sur la latencequand :conditions qui étendent la règle à des demandes spécifiques par modèles et éventuellement par sujets ou métadonnées
Les règles sont évaluées dans l'ordre dans lequel elles apparaissent et seule la première règle correspondante prend effet. Cela garantit un routage du trafic prévisible et déterministe.
Sous load_balance_targets, répertoriez un ou plusieurs modèles cibles. Pour le routage basé sur le poids, chaque cible a besoin d'un poids entier compris entre 0 et 100, tous les poids étant totalisés à 100. Pour le routage basé sur la latence, aucun poids n'est nécessaire ; la passerelle mesure la latence récente par jeton et achemine chaque demande vers le modèle sain le plus rapide. Les deux stratégies prennent en charge les override_params facultatifs par cible, ce qui permet de personnaliser les paramètres d'exécution tels que la température ou max_tokens.
En centralisant les politiques de distribution du trafic dans un seul fichier YAML, TrueFoundry permet le contrôle des versions, la révision des demandes d'extraction et l'itération rapide des stratégies d'équilibrage de charge sans aucune modification du code de l'application.
Configurations d'équilibrage de charge couramment utilisées
Les entreprises adoptent souvent des modèles d'équilibrage de charge distincts pour atteindre différents objectifs opérationnels. Vous trouverez ci-dessous quatre configurations largement utilisées sur TrueFoundry AI Gateway, chacune adaptée à un cas d'utilisation spécifique.
1. Déploiement Canary
Les déploiements progressifs permettent aux équipes d'introduire de nouvelles versions de modèles en toute sécurité. Vous affectez un faible pourcentage du trafic au modèle Canary et le reste à la version stable. La surveillance des taux d'erreur et de la latence sur le Canary garantit que toutes les régressions sont détectées avant la coupure complète.
nom : loadbalancing-config
type : configuration d'équilibrage de charge de la passerelle
règles :
- identifiant : « gpt4-canary »
type : « routage basé sur le poids »
quand :
modèles :
- « GPT-4 »
objectifs_de_balance de charge :
- cible : « azure/gpt4-v1"
poids : 90
- cible : « azure/gpt4-v2"
poids : 10
2. Un routage basé sur le poids tenant compte de la santé
Les utilisateurs premium ou les flux de travail prioritaires peuvent être orientés vers les modèles les plus performants. En définissant des tolérances de défaillance dans model_configs, tout modèle dépassant les seuils d'erreur est automatiquement supprimé jusqu'à ce qu'il soit rétabli. Les proportions de trafic se maintiennent ensuite parmi les autres paramètres sains.
nom : loadbalancing-config
type : configuration d'équilibrage de charge de la passerelle
model_configs :
- modèle : « azure/gpt4 »
tolérance_aux défaillances :
failles_autorisées_par minute : 3
période de recharge en minutes : 5
codes d'état d'échec : [429, 500, 502, 503, 504]
- modèle : « openai/gpt4 »
tolérance_aux défaillances :
failles_autorisées_par minute : 5
période de recharge en minutes : 10
codes d'état d'échec : [429, 500, 502, 503, 504]
règles :
- identifiant : « utilisateurs premium »
type : « routage basé sur le poids »
quand :
sujets :
- « compte virtuel : premium »
modèles :
- « GPT-4 »
objectifs_de_balance de charge :
- cible : « azure/gpt4 »
poids : 80
override_params :
température : 0,7
- cible : « openai/gpt4 »
poids : 20
3. Routage basé sur la latence prenant en compte les jetons
Pour équilibrer les coûts et les performances, vous pouvez limiter l'utilisation des jetons sur un modèle tout en permettant à un autre point de terminaison de gérer le dépassement. Le routage basé sur la latence garantit ensuite que chaque demande est dirigée vers le modèle le plus rapide parmi ceux qui respectent encore le quota.
nom : loadbalancing-config
type : configuration d'équilibrage de charge de la passerelle
model_configs :
- modèle : « azure/gpt4 »
limites_d'utilisation :
jetons_par minute : 50000
requêtes_par minute : 100
règles :
- id : « rentable »
type : « routage basé sur la latence »
quand :
modèles :
- « GPT-4 »
objectifs_de_balance de charge :
- cible : « azure/gpt4 »
override_params :
nombre maximum de jetons : 500
- cible : « openai/gpt4 »
override_params :
nombre maximum de jetons : 1000
4. Routage basé sur l'environnement
Différents environnements tels que le développement, la préparation ou la production nécessitent souvent des politiques de routage distinctes. Les métadonnées d'environnement vous permettent d'appliquer des règles basées sur le poids ou la latence en fonction du contexte de la demande.
nom : loadbalancing-config
type : configuration d'équilibrage de charge de la passerelle
règles :
- id : « environnement de développement »
type : « routage basé sur le poids »
quand :
modèles :
- « GPT-4 »
métadonnées :
environnement : « développement »
objectifs_de_balance de charge :
- cible : « openai/gpt4 »
poids : 100
override_params :
température : 0,8
- id : « environnement de production »
type : « routage basé sur la latence »
quand :
modèles :
- « GPT-4 »
métadonnées :
environnement : « production »
objectifs_de_balance de charge :
- cible : « azure/gpt4 »
- cible : « openai/gpt4 »
Chacune de ces configurations illustre la manière dont le YAML déclaratif de TrueFoundry permet aux équipes de mettre en œuvre rapidement une logique de routage sophistiquée, que ce soit pour des déploiements progressifs, une répartition du trafic tenant compte de l'état de santé, une optimisation des performances sensible aux coûts ou des politiques axées sur l'environnement, le tout sans toucher au code de l'application.
Conclusion
Transformations d'équilibrage de charge Passerelle IA des routeurs simples aux gestionnaires de trafic intelligents, garantissant une haute disponibilité, des performances constantes et un basculement fluide sur plusieurs terminaux LLM. En définissant des limites d'utilisation et des tolérances de panne globales, vous évitez que les modèles surchargés ou sujets aux erreurs ne perturbent le service. Le routage basé sur le poids vous permet de contrôler les proportions de trafic avec précision, ce qui est idéal pour les versions Canary ou les flux de travail premium, tandis que le routage basé sur la latence oriente dynamiquement les requêtes vers les modèles sains les plus rapides. La configuration déclarative YAML rend ces politiques transparentes, contrôlées par version et faciles à réviser. Grâce aux fonctionnalités d'équilibrage de charge de TrueFoundry, les équipes peuvent déployer des LLM en toute confiance, sachant que la distribution du trafic s'adapte automatiquement aux conditions en temps réel sans aucune modification du code de l'application.
Questions fréquemment posées
Qu'est-ce que l'équilibrage de charge dans une passerelle IA ?
L'équilibrage de charge dans les systèmes de passerelle d'IA implique la distribution des demandes d'inférence sur différents points de terminaison du modèle afin d'éviter les goulots d'étranglement. Il garantit qu'aucun fournisseur ou instance de modèle ne soit submergé, ce qui permet de maintenir la disponibilité du système. En surveillant les indicateurs de santé tels que le nombre de demandes et les taux d'erreur, la passerelle garantit une expérience utilisateur fluide et fiable.
Comment une passerelle IA effectue-t-elle l'équilibrage de charge entre plusieurs fournisseurs LLM ?
La passerelle utilise des algorithmes spécialisés pour acheminer le trafic en fonction des performances du fournisseur en temps réel. Des techniques telles que le routage basé sur le poids permettent de répartir le trafic de manière fixe, tandis que les stratégies basées sur la latence sélectionnent de manière dynamique le point de terminaison le plus rapide. Si un fournisseur atteint une limite de débit ou échoue, la passerelle redirige automatiquement le trafic vers une alternative fonctionnelle.
En quoi l'équilibrage de charge est-il différent dans les passerelles IA par rapport aux passerelles API ?
Alors que les passerelles API se concentrent sur des mesures au niveau du réseau telles que la charge du processeur, l'équilibrage de charge dans les architectures de passerelles d'IA est sensible à la sémantique. Il suit les données spécifiques à l'IA, telles que les jetons par minute et les codes d'erreur spécifiques au modèle. Cela permet une gestion du trafic plus précise qui respecte les limites de débit et les comportements de traitement uniques des différents LLM.
L'équilibrage de charge est-il nécessaire pour les déploiements d'IA multimodèles ?
Oui, c'est essentiel pour maintenir une haute disponibilité et faire évoluer efficacement les applications d'IA de production. Sans cela, votre système reste vulnérable aux pannes ou aux retards de performance de chaque fournisseur. La répartition des demandes sur plusieurs modèles fournit la redondance nécessaire pour gérer un trafic à grande échelle tout en garantissant des temps de réponse cohérents pour tous les utilisateurs finaux.
Comment TrueFoundry aide-t-il à équilibrer la charge dans les passerelles IA ?
TrueFoundry simplifie l'équilibrage de charge dans la gestion des passerelles IA grâce à une configuration déclarative basée sur YAML. Il fournit des contrôles de santé automatisés, un routage basé sur la latence et des basculements transparents pour garantir une fiabilité critique. En hébergeant cette infrastructure au sein de votre propre VPC, la plateforme vous permet d'optimiser les performances et les coûts sans sacrifier la sécurité des données.
TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.
Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Le moyen le plus rapide de créer, de gérer et de faire évoluer votre IA
INSCRIVEZ-VOUS
Comment pouvez-vous empêcher les coûts de GenAI de grimper en flèche à grande échelle ?
Table des matières
.webp)
.png)
.webp)
.webp)
