LiteLLM vs agentgateway : comparaison de deux passerelles IA open source
.webp)
Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Une méthode incroyablement rapide pour créer, suivre et déployer vos modèles !
- Gère plus de 350 RPS sur un seul processeur virtuel, aucun réglage n'est nécessaire
- Prêt pour la production avec un support complet pour les entreprises
LiteLLM vs agentgateway semble être un duel à armes égales sur le papier. Tous deux sont open source, auto-hébergés, placent un point de terminaison compatible OpenAI devant de nombreux fournisseurs de modèles, et gèrent désormais les appels d'outils MCP et le trafic d'agent à agent ainsi que les appels aux modèles. Ils proviennent toutefois d'horizons très différents. LiteLLM est un proxy Python créé par BerriAI, né d'un SDK populaire, qui possède la liste de fonctionnalités et la communauté les plus importantes de cette catégorie. agentgateway est un proxy Rust écrit à partir de zéro par Solo.io et confié à la Linux Foundation ; il est plus compact, plus rapide et doté d'un périmètre plus ciblé. Si vous recherchez des alternatives à LiteLLM, c'est l'une des rares passerelles capables d'égaler LiteLLM sur les fonctionnalités dédiées aux agents.
Nous avons déployé et testé les deux solutions. Notre équipe a évalué directement la version open source d'agentgateway (v1.5.0, avec une vérification des résultats principaux sur la v1.6.0) et a soumis LiteLLM au même protocole de banc d'essai. Nous avons ensuite vérifié les affirmations de cet article au regard de la documentation de chaque projet en novembre 2026, époques auxquelles les versions courantes étaient agentgateway v1.7.0 et LiteLLM v1.106.6.
LiteLLM : vue d'ensemble
LiteLLM est né au sein de BerriAI, une entreprise issue du Y Combinator, et a été publié en open source en août 2023. La plupart des utilisateurs le découvrent d'abord sous la forme d'un SDK Python avant d'exécuter le proxy LiteLLM comme passerelle partagée. Il compte aujourd'hui plus de 61 000 étoiles sur GitHub et des utilisateurs publics comme Netflix, Okta et NVIDIA. La documentation répertorie plus de 100 fournisseurs (la page d'accueil en annonce plus de 140), et vous pouvez router le trafic vers des modèles auto-hébergés comme vLLM ou Ollama aux côtés des API commerciales.
La version gratuite couvre un périmètre étendu. Vous disposez de clés virtuelles, de budgets et de limites de débit au niveau des clés, des utilisateurs, des équipes, des organisations, des utilisateurs finaux et des tags, ainsi que d'une mise en cache exacte et sémantique, d'une demi-douzaine de stratégies de routage, de mécanismes de secours (fallbacks), de métriques Prometheus et de dizaines d'intégrations de journalisation. La passerelle MCP de LiteLLM peut restreindre l'accès jusqu'aux outils individuels et même à leurs paramètres, et une passerelle d'agent à agent (A2A) est intégrée depuis la version v1.80.8.
Le coût réside dans l'exploitation. Le proxy est une application Python (FastAPI) qui nécessite Postgres pour la gestion des clés, l'interface d'administration et le suivi des dépenses, ainsi que Redis dès lors que vous exécutez plus d'une instance. LiteLLM migre son chemin critique vers Rust, et sa page d'accueil met en avant une passerelle Rust, mais la documentation qualifie toujours ce cœur Rust de bêta ne couvrant que quelques routes, la prise en charge complète du chemin Anthropic Messages étant prévue pour décembre 2026. Les fonctionnalités enterprise telles que le SSO pour plus de cinq utilisateurs, le SCIM, les journaux d'audit et l'authentification JWT pour les charges de travail nécessitent une licence payante.
agentgateway : vue d'ensemble
agentgateway est la solution de remplacement conçue par Solo.io pour succéder à Gloo AI Gateway, écrite en Rust plutôt que basée sur Envoy. Elle est sous licence Apache 2.0 et hébergée par l'Agentic AI Foundation (membre de la Linux Foundation). Solo commercialise une édition payante appelée Solo Enterprise pour agentgateway. La solution s'exécute sous la forme d'un binaire unique lisant un fichier YAML, d'un conteneur, ou sur Kubernetes avec son propre contrôleur implémentant la Gateway API. Elle n'a pas besoin de base de données pour router le trafic. Notre équipe l'a faite répondre à des requêtes en moins de 11 secondes à partir d'un démarrage à froid, avec une consommation mémoire d'environ 18 Mo au repos.
Elle régit les appels LLM, le trafic MCP et les interactions A2A au moyen d'un modèle de politique unique. L'autorisation MCP constitue son point fort : des règles CEL déterminent les outils que chaque appelant peut utiliser, et la passerelle filtre la liste des outils afin qu'un agent ne voie que ce qu'il est autorisé à appeler. L'édition gratuite valide également les jetons JWT auprès de votre fournisseur d'identité, restreint les modèles par clé, applique des budgets par clé dans le mode autonome et masque les données sensibles (adresses e-mail, numéros de carte) avant que le prompt n'atteigne le fournisseur. Les limites de débit à l'échelle d'un parc, les ressources budgétaires partagées et l'interface de gestion des coûts sont des fonctionnalités enterprise. Notre évaluation d'agentgateway la détaille en profondeur.
Comparaison face à face
La colonne LiteLLM s'appuie sur la documentation de LiteLLM et sur nos propres bancs d'essai. La colonne agentgateway reflète nos tests pratiques et la documentation de Solo pour la version v1.7.0. Les données des deux colonnes ont été vérifiées en novembre 2026.
Les atouts de LiteLLM
Il met en cache les réponses. La mise en cache exacte et sémantique est gratuite et prend en charge Redis, Valkey, Qdrant, S3 et d'autres backends. agentgateway ne dispose d'aucun cache de réponses intégré : les charges de travail répétitives comme les robots de support payent donc le plein tarif pour chaque requête, à moins d'ajouter un cache externe.
Sa liste de fonctionnalités est plus vaste sur presque tous les plans. LiteLLM prend en charge davantage de fournisseurs, de stratégies de routage (notamment basées sur le coût et la latence), de périmètres budgétaires et d'intégrations d'observabilité qu'agentgateway. Si une fonctionnalité existe dans cette catégorie de logiciels, LiteLLM propose très probablement un paramètre pour la configurer.
Ses limites sont partagées gratuitement entre les instances. Comme LiteLLM conserve son état dans Postgres et Redis, les budgets et les limites de débit s'appliquent à l'ensemble des répliques sans nécessiter d'abonnement payant. Les contrôles gratuits d'agentgateway se limitent à une seule instance.
Ses autorisations MCP sont plus granulaires. LiteLLM peut autoriser un outil tout en bloquant certains de ses paramètres, et superpose les autorisations sur six niveaux d'identité. Les règles d'agentgateway s'appliquent par outil.
Sa communauté est plus importante. Plus de 61 000 étoiles, des publications hebdomadaires et des utilisateurs de renom signifient que la plupart des problèmes que vous rencontrerez ont déjà été résolus par d'autres. Vous pouvez également obtenir une clé d'essai Enterprise de 30 jours sans contacter le service commercial, ce que Solo ne propose pas.
Les atouts d'agentgateway
Il est beaucoup plus rapide et plus compact. Sur la même configuration de test dotée de 1 vCPU, agentgateway a ajouté environ 2 à 5 ms par requête, tandis que LiteLLM ajoutait 12 à 15 ms à faible charge et commençait à accumuler des requêtes en file d'attente bien avant 50 requêtes par seconde. agentgateway consomme environ 18 Mo de mémoire au repos ; LiteLLM en utilisait environ 1,2 Go à 10 requêtes par seconde.
Son exploitation est plus simple. Un seul binaire, sans base de données ni Redis, suffit à faire fonctionner la passerelle. L'architecture de production de LiteLLM exige un équilibreur de charge, Postgres, Redis et un gestionnaire de secrets, ce qui correspond à une empreinte cloud classique mais s'avère bien plus lourd qu'un simple conteneur.
Davantage de contrôles de sécurité sont gratuits. La validation JWT auprès de votre fournisseur d'identité et le masquage des PII font partie intégrante de la version open source. Chez LiteLLM, l'authentification JWT et les garde-fous par équipe requièrent une licence Enterprise.
Le projet dépend d'une fondation. Le code d'agentgateway est publié sous licence Apache 2.0 au sein d'un projet de la Linux Foundation ; il ne dépend donc pas de la feuille de route d'une seule entreprise. LiteLLM est sous licence MIT mais ses mainteneurs sont majoritairement des employés de BerriAI, et le dossier enterprise est propriétaire.
Il s'intègre nativement à Kubernetes. agentgateway implémente la Gateway API avec son propre contrôleur et ses CRD, de sorte que la configuration du routage s'administre comme n'importe quelle ressource du cluster. LiteLLM fournit des Helm charts mais ni opérateur ni CRD.
Performances
Nous avons soumis les deux passerelles au même banc d'essai : un conteneur limité à 1 vCPU et 2 Go de RAM, un fournisseur factice local répondant en 50 ms de manière fixe, et chaque mesure comparée à un appel direct au mock. Une nuance en faveur de LiteLLM : sa documentation préconise de dimensionner les instances de production à 4 vCPU et 8 Go, ce qui fait de 1 vCPU un environnement étroit pour un proxy Python.
Chaque éditeur publie également ses propres chiffres. La page de bancs d'essai de LiteLLM fait état de 1 170 requêtes par seconde avec un surcoût au p95 de 8 ms sur quatre instances de 4 vCPU. Solo a publié des bancs d'essai comparatifs contre LiteLLM affichant 0,44 ms contre 30,6 ms au p99 à un débit fixe de 3 000 requêtes par seconde, avec 13 Mio de mémoire contre 11,7 Gio. S'agissant de tests réalisés par les éditeurs face à des backends factices, ces résultats doivent être interprétés comme une tendance plutôt que comme une preuve absolue. Nos propres mesures vont dans le même sens.
Cet écart a-t-il une importance pratique ? Pour une application de dialogue traitant quelques requêtes par seconde, probablement pas : un appel de modèle prend plusieurs centaines de millisecondes, au sein desquelles 10 ms de temps de passerelle deviennent imperceptibles. En revanche, cela devient critique lorsque vous exécutez des agents qui effectuent de nombreux appels en boucle, ou lorsque vous devez financer les instances supplémentaires dont LiteLLM a besoin pour absorber une charge équivalente.
Tarification
Les deux solutions sont gratuites en auto-hébergement. L'édition open source de LiteLLM ne comporte pas de limite d'utilisation ; vous ne payez que si vous avez besoin du SSO pour plus de cinq administrateurs, du SCIM, des journaux d'audit, de l'authentification JWT, des garde-fous par équipe ou de la séparation entre nœuds d'administration et de traitement. LiteLLM Enterprise est un contrat annuel dimensionné selon le volume de requêtes de la passerelle, sans tarif public, et vous pouvez démarrer un essai de 30 jours via une clé instantanée.
L'édition gratuite d'agentgateway inclut les budgets par clé, le masquage des PII, la validation JWT et l'autorisation MCP sur une instance unique. Solo Enterprise pour agentgateway ajoute les limites de débit à l'échelle du parc, une ressource budgétaire partagée, une interface de gestion des coûts, l'identité déléguée (on-behalf-of), des builds FIPS et un support technique. Son prix est également établi sur devis par l'équipe commerciale, sans essai en libre-service. Notre analyse détaillée des tarifs de la passerelle IA de Solo fournit plus de précisions.
La licence représente souvent la part mineure du coût global pour l'une comme pour l'autre. Avec LiteLLM, il convient de budgétiser l'hébergement administré de Postgres et Redis ainsi que les instances supplémentaires qu'un proxy Python requiert à grande échelle. Avec agentgateway, il faut prévoir le coût de l'édition enterprise dès lors que vous avez besoin de limites partagées entre plusieurs instances.
Pièges à connaître
Figez les versions de LiteLLM et vérifiez les images. LiteLLM a subi deux compromissions de sa chaîne d'approvisionnement en 2026. Le 24 mars, des versions PyPI malveillantes (1.82.7 et 1.82.8) ont embarqué un voleur d'identifiants. Le 21 octobre, une version v1.107.0 compromisе a été accessible sur PyPI et Docker Hub pendant environ deux heures, et ses images portaient une signature valide. LiteLLM a publié des comptes rendus détaillés, renouvelé sa clé de signature et modifié son processus de publication, mais le fait de figer les versions exactes relève désormais d'une hygiène élémentaire.
Suivez attentivement les correctifs de LiteLLM. Une injection SQL critique (CVE-2026-42208) a touché les versions v1.81.16 à v1.83.6 avant d'être corrigée dans la v1.83.7. Avec des publications hebdomadaires, planifiez des mises à jour fréquentes. En novembre 2026, LiteLLM a également lancé un programme pilote de support à long terme (LTS) sur la branche 1.108.
Déterminez qui détient la responsabilité de la configuration de LiteLLM. Les modèles étant stockés en base de données, les modifications effectuées dans l'interface d'administration prévalent sur le fichier YAML, ce qui peut amener la passerelle en exécution à s'écarter de la configuration stockée dans Git.
Redis est indispensable au bon fonctionnement de LiteLLM, et pas seulement à sa rapidité. Sans Redis, chaque instance applique ses propres limites de débit au lieu de respecter la limite globale que vous avez définie.
agentgateway effectue une re-tentative de plus que ce que sa documentation indique. Un paramètre de re-tentative réglé sur 1 engendre deux appels au fournisseur, sans temporisation à moins d'en ajouter une explicitement.
Les flux en streaming d'agentgateway peuvent se bloquer en l'absence de délai d'expiration. Définissez responseIdleTimeout (v1.6.0 et ultérieures) sur les routes en streaming, sans quoi un fournisseur qui s'interrompt en cours de flux maintiendra la connexion ouverte.
Quand choisir LiteLLM
- Vous souhaitez bénéficier de la mise en cache, du routage basé sur les coûts ou du plus grand catalogue de fournisseurs sans rien payer.
- Vous avez besoin de budgets et de limites de débit appliqués sur plusieurs instances dans l'offre gratuite.
- Votre équipe est à l'aise avec l'exploitation de Postgres et Redis et la rédaction de plugins Python.
- Vous privilégiez une vaste communauté et la possibilité d'essayer la version enterprise en libre-service.
Quand choisir agentgateway
- La latence, la mémoire ou le nombre d'instances sont déterminants, par exemple pour des agents effectuant de nombreux appels.
- Vous recherchez une passerelle sans base de données à administrer, idéalement sur Kubernetes avec la Gateway API.
- Vous avez besoin de la validation JWT et du masquage des PII sans souscrire de licence enterprise.
- Vous préférez un projet gouverné par une fondation sous licence Apache 2.0.
L'alternative TrueFoundry
Ces deux passerelles vous laissent une partie du travail d'intégration. LiteLLM fournit de nombreuses fonctionnalités mais vous délègue la gestion de Postgres, Redis, l'application des correctifs et l'achat d'une licence enterprise pour le SSO et les journaux d'audit. agentgateway est très léger mais vous oblige à souscrire une offre payante chez Solo pour toute fonctionnalité partagée entre instances, tout en étant dépourvu de cache. La passerelle TrueFoundry AI Gateway s'exécute en mode SaaS géré, en passerelle dans votre VPC avec un plan de contrôle que nous hébergeons, ou entièrement auto-hébergée dans votre VPC, sur site ou en environnement isolé (air-gap). Les pods de la passerelle reçoivent leur configuration et leurs règles d'accès depuis le plan de contrôle en temps réel, aux côtés de compteurs de budget et de limites de débit centralisés, de sorte que les restrictions s'appliquent sur l'ensemble des répliques sans surcoût d'extension.
Elle donne accès à plus de 1 000 LLM à travers une unique API compatible OpenAI, route vers des modèles auto-hébergés depuis le même plan de contrôle, et régit le trafic LLM, MCP et agents au moyen d'un contrôle d'accès au niveau des outils et d'une validation humaine avant l'exécution d'outils destructeurs. Les budgets peuvent être définis par équipe, par modèle ou par compte fournisseur, tandis que le SSO, le RBAC et la journalisation d'audit sont intégrés de série. Si vous comparez des passerelles open source parce que vous devez concilier contrôle des coûts et gouvernance des agents, découvrez comment TrueFoundry AI Gateway répond à ces deux enjeux ou réservez une démonstration.
Lectures complémentaires
- agentgateway (anciennement Gloo AI Gateway) : une analyse sans concession
- Alternatives à LiteLLM
- Tarification de la passerelle IA de Solo : une analyse complète
- Concurrents et alternatives à Solo.io
- Les meilleures passerelles MCP
- Qu'est-ce qu'une passerelle LLM ?
Conclusion
Le choix entre LiteLLM et agentgateway revient à déterminer ce que vous valorisez le plus : la richesse fonctionnelle ou l'efficacité. LiteLLM offre le pannel de fonctionnalités le plus complet gratuitement, y compris la mise en cache et les limites partagées, au prix d'une infrastructure plus lourde et d'un rythme de mise à jour soutenu. agentgateway propose une passerelle rapide et compacte dotée de contrôles solides pour les agents et MCP, mais toute fonctionnalité partagée entre instances nécessite une licence payante. Si vous souhaitez combiner ces deux approches sans avoir à en gérer l'infrastructure, réservez une démonstration de TrueFoundry.
TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.













.webp)








