Blank white background with no objects or features visible.

Bonjour, zone EMEA ! TrueFoundry étend sa présence en Europe, au Moyen-Orient et en Afrique. En savoir plus. →

LiteLLM vs agentgateway : comparaison de deux passerelles IA open source

Published: novembre 20, 2026

En résumé
  • LiteLLM vs agentgateway est un choix entre richesse fonctionnelle et efficacité — tous deux sont open source, auto-hébergés et gèrent le trafic des LLM, MCP et agents. LiteLLM est un proxy Python proposant la liste de fonctionnalités la plus étendue et la plus grande communauté, mais il nécessite Postgres et Redis. agentgateway est un proxy Rust léger sans base de données, offrant une latence et une empreinte mémoire bien plus faibles, avec des contrôles d'agents intégrés.
  • Choisissez LiteLLM pour la mise en cache gratuite, le plus large choix de fournisseurs et des limites partagées entre les instances dans la version gratuite — si vous êtes disposé à administrer Postgres et Redis.
  • Choisissez agentgateway lorsque la latence, la mémoire ou l'empreinte globale sont critiques, que vous ne voulez pas gérer de base de données, ou que vous avez besoin de la validation JWT et du masquage de PII sans licence enterprise.
  • Points de vigilance : la pile matérielle plus lourde de LiteLLM et ses incidents de chaîne d'approvisionnement en 2026 (figez les versions, appliquez les correctifs fréquemment) ; agentgateway ne possède pas de cache intégré, et toute fonctionnalité partagée entre instances requiert une licence payante.

LiteLLM vs agentgateway semble être un duel à armes égales sur le papier. Tous deux sont open source, auto-hébergés, placent un point de terminaison compatible OpenAI devant de nombreux fournisseurs de modèles, et gèrent désormais les appels d'outils MCP et le trafic d'agent à agent ainsi que les appels aux modèles. Ils proviennent toutefois d'horizons très différents. LiteLLM est un proxy Python créé par BerriAI, né d'un SDK populaire, qui possède la liste de fonctionnalités et la communauté les plus importantes de cette catégorie. agentgateway est un proxy Rust écrit à partir de zéro par Solo.io et confié à la Linux Foundation ; il est plus compact, plus rapide et doté d'un périmètre plus ciblé. Si vous recherchez des alternatives à LiteLLM, c'est l'une des rares passerelles capables d'égaler LiteLLM sur les fonctionnalités dédiées aux agents.

Nous avons déployé et testé les deux solutions. Notre équipe a évalué directement la version open source d'agentgateway (v1.5.0, avec une vérification des résultats principaux sur la v1.6.0) et a soumis LiteLLM au même protocole de banc d'essai. Nous avons ensuite vérifié les affirmations de cet article au regard de la documentation de chaque projet en novembre 2026, époques auxquelles les versions courantes étaient agentgateway v1.7.0 et LiteLLM v1.106.6.

LiteLLMagentgateway (Solo.io)
DescriptionProxy et SDK Python pour plus de 100 fournisseurs de LLM, augmenté de passerelles MCP et agentsProxy Rust pour le trafic LLM, MCP et d'agent à agent
Licence et gouvernanceCœur sous licence MIT, dossier enterprise propriétaire. Géré par BerriAIApache 2.0. Hébergé par l'Agentic AI Foundation au sein de la Linux Foundation
Édition payanteLiteLLM Enterprise, tarif fondé sur le volume de requêtes via l'équipe commercialeSolo Enterprise pour agentgateway, tarif établi sur devis par l'équipe commerciale
Usage idéalÉquipes recherchant la plus large couverture de fournisseurs et de fonctionnalités, prêtes à opérer Postgres et RedisÉquipes plateforme recherchant une passerelle compacte et rapide avec contrôles intégrés pour MCP et agents

LiteLLM : vue d'ensemble

LiteLLM est né au sein de BerriAI, une entreprise issue du Y Combinator, et a été publié en open source en août 2023. La plupart des utilisateurs le découvrent d'abord sous la forme d'un SDK Python avant d'exécuter le proxy LiteLLM comme passerelle partagée. Il compte aujourd'hui plus de 61 000 étoiles sur GitHub et des utilisateurs publics comme Netflix, Okta et NVIDIA. La documentation répertorie plus de 100 fournisseurs (la page d'accueil en annonce plus de 140), et vous pouvez router le trafic vers des modèles auto-hébergés comme vLLM ou Ollama aux côtés des API commerciales.

La version gratuite couvre un périmètre étendu. Vous disposez de clés virtuelles, de budgets et de limites de débit au niveau des clés, des utilisateurs, des équipes, des organisations, des utilisateurs finaux et des tags, ainsi que d'une mise en cache exacte et sémantique, d'une demi-douzaine de stratégies de routage, de mécanismes de secours (fallbacks), de métriques Prometheus et de dizaines d'intégrations de journalisation. La passerelle MCP de LiteLLM peut restreindre l'accès jusqu'aux outils individuels et même à leurs paramètres, et une passerelle d'agent à agent (A2A) est intégrée depuis la version v1.80.8.

Le coût réside dans l'exploitation. Le proxy est une application Python (FastAPI) qui nécessite Postgres pour la gestion des clés, l'interface d'administration et le suivi des dépenses, ainsi que Redis dès lors que vous exécutez plus d'une instance. LiteLLM migre son chemin critique vers Rust, et sa page d'accueil met en avant une passerelle Rust, mais la documentation qualifie toujours ce cœur Rust de bêta ne couvrant que quelques routes, la prise en charge complète du chemin Anthropic Messages étant prévue pour décembre 2026. Les fonctionnalités enterprise telles que le SSO pour plus de cinq utilisateurs, le SCIM, les journaux d'audit et l'authentification JWT pour les charges de travail nécessitent une licence payante.

agentgateway : vue d'ensemble

agentgateway est la solution de remplacement conçue par Solo.io pour succéder à Gloo AI Gateway, écrite en Rust plutôt que basée sur Envoy. Elle est sous licence Apache 2.0 et hébergée par l'Agentic AI Foundation (membre de la Linux Foundation). Solo commercialise une édition payante appelée Solo Enterprise pour agentgateway. La solution s'exécute sous la forme d'un binaire unique lisant un fichier YAML, d'un conteneur, ou sur Kubernetes avec son propre contrôleur implémentant la Gateway API. Elle n'a pas besoin de base de données pour router le trafic. Notre équipe l'a faite répondre à des requêtes en moins de 11 secondes à partir d'un démarrage à froid, avec une consommation mémoire d'environ 18 Mo au repos.

Elle régit les appels LLM, le trafic MCP et les interactions A2A au moyen d'un modèle de politique unique. L'autorisation MCP constitue son point fort : des règles CEL déterminent les outils que chaque appelant peut utiliser, et la passerelle filtre la liste des outils afin qu'un agent ne voie que ce qu'il est autorisé à appeler. L'édition gratuite valide également les jetons JWT auprès de votre fournisseur d'identité, restreint les modèles par clé, applique des budgets par clé dans le mode autonome et masque les données sensibles (adresses e-mail, numéros de carte) avant que le prompt n'atteigne le fournisseur. Les limites de débit à l'échelle d'un parc, les ressources budgétaires partagées et l'interface de gestion des coûts sont des fonctionnalités enterprise. Notre évaluation d'agentgateway la détaille en profondeur.

Comparaison face à face

La colonne LiteLLM s'appuie sur la documentation de LiteLLM et sur nos propres bancs d'essai. La colonne agentgateway reflète nos tests pratiques et la documentation de Solo pour la version v1.7.0. Les données des deux colonnes ont été vérifiées en novembre 2026.

CapacitéLiteLLM (open source)agentgateway (open source)
Langage et moteur d'exécutionPython (FastAPI). Cœur Rust en bêta pour quelques routesRust, binaire unique
DépendancesPostgres pour les clés, l'interface utilisateur et les dépenses. Redis dès lors que vous exécutez plus d'une instanceAucune pour le routage du trafic. Journal des requêtes dans SQLite embarqué ou Postgres
KubernetesDeux Helm charts. Pas d'opérateur ni de CRDImplémentation de la Gateway API avec ses propres CRD et Helm charts
FournisseursPlus de 100 fournisseurs, plus tout point de terminaison compatible OpenAI23 fournisseurs répertoriés, plus tout point de terminaison compatible OpenAI
Trafic régiLLM, MCP et A2ALLM, MCP, A2A ainsi que HTTP et gRPC généraux
Contrôle d'accès MCPPermissions sur six niveaux (clé, équipe, utilisateur final, agent, utilisateur interne, organisation), jusqu'aux outils et leurs paramètresRègles CEL par outil, avec filtrage de la liste d'outils par appelant
Identité des charges de travailClés virtuelles. Authentification JWT et OIDC réservée à la version EnterpriseClés d'API, ou validation gratuite des jetons JWT auprès de votre fournisseur d'identité
RoutagePondéré, basé sur la charge, la latence, l'utilisation ou le coût, avec secours (fallbacks), re-tentatives et périodes de refroidissementPondéré, basculement par priorité, routage conditionnel, re-tentatives et éviction des valeurs aberrantes
BudgetsPar clé, utilisateur, équipe, organisation, utilisateur final, agent et tag. Partagés entre instances via Postgres et RedisPar clé dans la version autonome, restreints à l'instance. Budgets partagés en version Enterprise
Limites de débitRPM, TPM et concurrence à plusieurs échelles, partagés via RedisLocales à chaque instance. Limites à l'échelle du parc en version Enterprise
Mise en cache des réponsesMise en cache exacte et sémantique gratuitePas de cache de réponses intégré
Masquage des PII avant le fournisseurFiltre de contenu regex intégré, ou Microsoft Presidio dans des conteneurs séparésIntégré nativement
Garde-fous par équipeEnterpriseConfigurés par route dans l'édition gratuite
ObservabilitéPrometheus, OpenTelemetry et des dizaines d'intégrations (Langfuse, Datadog, etc.)Prometheus, OpenTelemetry et journal de requêtes interrogeable en SQL
SSO d'administrationGratuit jusqu'à cinq utilisateurs, puis Enterprise. SCIM réservé à la version EnterpriseConnexion OIDC pour l'interface autonome (v1.6.0 et ultérieures)
Conformité (entreprise)SOC 2 Type II ; ISO 27001 revendiqué sur la page EnterpriseSolo affiche la certification SOC 2 Type II

Les atouts de LiteLLM

Il met en cache les réponses. La mise en cache exacte et sémantique est gratuite et prend en charge Redis, Valkey, Qdrant, S3 et d'autres backends. agentgateway ne dispose d'aucun cache de réponses intégré : les charges de travail répétitives comme les robots de support payent donc le plein tarif pour chaque requête, à moins d'ajouter un cache externe.

Sa liste de fonctionnalités est plus vaste sur presque tous les plans. LiteLLM prend en charge davantage de fournisseurs, de stratégies de routage (notamment basées sur le coût et la latence), de périmètres budgétaires et d'intégrations d'observabilité qu'agentgateway. Si une fonctionnalité existe dans cette catégorie de logiciels, LiteLLM propose très probablement un paramètre pour la configurer.

Ses limites sont partagées gratuitement entre les instances. Comme LiteLLM conserve son état dans Postgres et Redis, les budgets et les limites de débit s'appliquent à l'ensemble des répliques sans nécessiter d'abonnement payant. Les contrôles gratuits d'agentgateway se limitent à une seule instance.

Ses autorisations MCP sont plus granulaires. LiteLLM peut autoriser un outil tout en bloquant certains de ses paramètres, et superpose les autorisations sur six niveaux d'identité. Les règles d'agentgateway s'appliquent par outil.

Sa communauté est plus importante. Plus de 61 000 étoiles, des publications hebdomadaires et des utilisateurs de renom signifient que la plupart des problèmes que vous rencontrerez ont déjà été résolus par d'autres. Vous pouvez également obtenir une clé d'essai Enterprise de 30 jours sans contacter le service commercial, ce que Solo ne propose pas.

Les atouts d'agentgateway

Il est beaucoup plus rapide et plus compact. Sur la même configuration de test dotée de 1 vCPU, agentgateway a ajouté environ 2 à 5 ms par requête, tandis que LiteLLM ajoutait 12 à 15 ms à faible charge et commençait à accumuler des requêtes en file d'attente bien avant 50 requêtes par seconde. agentgateway consomme environ 18 Mo de mémoire au repos ; LiteLLM en utilisait environ 1,2 Go à 10 requêtes par seconde.

Son exploitation est plus simple. Un seul binaire, sans base de données ni Redis, suffit à faire fonctionner la passerelle. L'architecture de production de LiteLLM exige un équilibreur de charge, Postgres, Redis et un gestionnaire de secrets, ce qui correspond à une empreinte cloud classique mais s'avère bien plus lourd qu'un simple conteneur.

Davantage de contrôles de sécurité sont gratuits. La validation JWT auprès de votre fournisseur d'identité et le masquage des PII font partie intégrante de la version open source. Chez LiteLLM, l'authentification JWT et les garde-fous par équipe requièrent une licence Enterprise.

Le projet dépend d'une fondation. Le code d'agentgateway est publié sous licence Apache 2.0 au sein d'un projet de la Linux Foundation ; il ne dépend donc pas de la feuille de route d'une seule entreprise. LiteLLM est sous licence MIT mais ses mainteneurs sont majoritairement des employés de BerriAI, et le dossier enterprise est propriétaire.

Il s'intègre nativement à Kubernetes. agentgateway implémente la Gateway API avec son propre contrôleur et ses CRD, de sorte que la configuration du routage s'administre comme n'importe quelle ressource du cluster. LiteLLM fournit des Helm charts mais ni opérateur ni CRD.

Performances

Nous avons soumis les deux passerelles au même banc d'essai : un conteneur limité à 1 vCPU et 2 Go de RAM, un fournisseur factice local répondant en 50 ms de manière fixe, et chaque mesure comparée à un appel direct au mock. Une nuance en faveur de LiteLLM : sa documentation préconise de dimensionner les instances de production à 4 vCPU et 8 Go, ce qui fait de 1 vCPU un environnement étroit pour un proxy Python.

Mesure (1 vCPU, 2 Go)LiteLLMagentgateway
Latence ajoutée, non-streaming, faible chargeEnviron 12 à 15 ms à 10 req/sEnviron 2 à 5 ms
Débit en mode non-streamingEnviron 40 à 50 req/s avant mise en file d'attente ; la moitié des requêtes en délai dépassé à 200 req/sAu moins 3 200 req/s (notre générateur de charge a atteint sa limite en premier)
StreamingEnviron 65 ms ajoutées avant le premier jeton à 10 req/s ; saturation à 50 req/sFlux courts fluides quelle que soit la charge ; dégradation sur les longs documents à environ 30 req/s
MémoireEnviron 1,2 Go à 10 req/sEnviron 18 Mo au repos, 31 Mo après 5 000 requêtes

Chaque éditeur publie également ses propres chiffres. La page de bancs d'essai de LiteLLM fait état de 1 170 requêtes par seconde avec un surcoût au p95 de 8 ms sur quatre instances de 4 vCPU. Solo a publié des bancs d'essai comparatifs contre LiteLLM affichant 0,44 ms contre 30,6 ms au p99 à un débit fixe de 3 000 requêtes par seconde, avec 13 Mio de mémoire contre 11,7 Gio. S'agissant de tests réalisés par les éditeurs face à des backends factices, ces résultats doivent être interprétés comme une tendance plutôt que comme une preuve absolue. Nos propres mesures vont dans le même sens.

Cet écart a-t-il une importance pratique ? Pour une application de dialogue traitant quelques requêtes par seconde, probablement pas : un appel de modèle prend plusieurs centaines de millisecondes, au sein desquelles 10 ms de temps de passerelle deviennent imperceptibles. En revanche, cela devient critique lorsque vous exécutez des agents qui effectuent de nombreux appels en boucle, ou lorsque vous devez financer les instances supplémentaires dont LiteLLM a besoin pour absorber une charge équivalente.

Tarification

Les deux solutions sont gratuites en auto-hébergement. L'édition open source de LiteLLM ne comporte pas de limite d'utilisation ; vous ne payez que si vous avez besoin du SSO pour plus de cinq administrateurs, du SCIM, des journaux d'audit, de l'authentification JWT, des garde-fous par équipe ou de la séparation entre nœuds d'administration et de traitement. LiteLLM Enterprise est un contrat annuel dimensionné selon le volume de requêtes de la passerelle, sans tarif public, et vous pouvez démarrer un essai de 30 jours via une clé instantanée.

L'édition gratuite d'agentgateway inclut les budgets par clé, le masquage des PII, la validation JWT et l'autorisation MCP sur une instance unique. Solo Enterprise pour agentgateway ajoute les limites de débit à l'échelle du parc, une ressource budgétaire partagée, une interface de gestion des coûts, l'identité déléguée (on-behalf-of), des builds FIPS et un support technique. Son prix est également établi sur devis par l'équipe commerciale, sans essai en libre-service. Notre analyse détaillée des tarifs de la passerelle IA de Solo fournit plus de précisions.

La licence représente souvent la part mineure du coût global pour l'une comme pour l'autre. Avec LiteLLM, il convient de budgétiser l'hébergement administré de Postgres et Redis ainsi que les instances supplémentaires qu'un proxy Python requiert à grande échelle. Avec agentgateway, il faut prévoir le coût de l'édition enterprise dès lors que vous avez besoin de limites partagées entre plusieurs instances.

Pièges à connaître

Figez les versions de LiteLLM et vérifiez les images. LiteLLM a subi deux compromissions de sa chaîne d'approvisionnement en 2026. Le 24 mars, des versions PyPI malveillantes (1.82.7 et 1.82.8) ont embarqué un voleur d'identifiants. Le 21 octobre, une version v1.107.0 compromisе a été accessible sur PyPI et Docker Hub pendant environ deux heures, et ses images portaient une signature valide. LiteLLM a publié des comptes rendus détaillés, renouvelé sa clé de signature et modifié son processus de publication, mais le fait de figer les versions exactes relève désormais d'une hygiène élémentaire.

Suivez attentivement les correctifs de LiteLLM. Une injection SQL critique (CVE-2026-42208) a touché les versions v1.81.16 à v1.83.6 avant d'être corrigée dans la v1.83.7. Avec des publications hebdomadaires, planifiez des mises à jour fréquentes. En novembre 2026, LiteLLM a également lancé un programme pilote de support à long terme (LTS) sur la branche 1.108.

Déterminez qui détient la responsabilité de la configuration de LiteLLM. Les modèles étant stockés en base de données, les modifications effectuées dans l'interface d'administration prévalent sur le fichier YAML, ce qui peut amener la passerelle en exécution à s'écarter de la configuration stockée dans Git.

Redis est indispensable au bon fonctionnement de LiteLLM, et pas seulement à sa rapidité. Sans Redis, chaque instance applique ses propres limites de débit au lieu de respecter la limite globale que vous avez définie.

agentgateway effectue une re-tentative de plus que ce que sa documentation indique. Un paramètre de re-tentative réglé sur 1 engendre deux appels au fournisseur, sans temporisation à moins d'en ajouter une explicitement.

Les flux en streaming d'agentgateway peuvent se bloquer en l'absence de délai d'expiration. Définissez responseIdleTimeout (v1.6.0 et ultérieures) sur les routes en streaming, sans quoi un fournisseur qui s'interrompt en cours de flux maintiendra la connexion ouverte.

Quand choisir LiteLLM

  • Vous souhaitez bénéficier de la mise en cache, du routage basé sur les coûts ou du plus grand catalogue de fournisseurs sans rien payer.
  • Vous avez besoin de budgets et de limites de débit appliqués sur plusieurs instances dans l'offre gratuite.
  • Votre équipe est à l'aise avec l'exploitation de Postgres et Redis et la rédaction de plugins Python.
  • Vous privilégiez une vaste communauté et la possibilité d'essayer la version enterprise en libre-service.

Quand choisir agentgateway

  • La latence, la mémoire ou le nombre d'instances sont déterminants, par exemple pour des agents effectuant de nombreux appels.
  • Vous recherchez une passerelle sans base de données à administrer, idéalement sur Kubernetes avec la Gateway API.
  • Vous avez besoin de la validation JWT et du masquage des PII sans souscrire de licence enterprise.
  • Vous préférez un projet gouverné par une fondation sous licence Apache 2.0.

L'alternative TrueFoundry

Ces deux passerelles vous laissent une partie du travail d'intégration. LiteLLM fournit de nombreuses fonctionnalités mais vous délègue la gestion de Postgres, Redis, l'application des correctifs et l'achat d'une licence enterprise pour le SSO et les journaux d'audit. agentgateway est très léger mais vous oblige à souscrire une offre payante chez Solo pour toute fonctionnalité partagée entre instances, tout en étant dépourvu de cache. La passerelle TrueFoundry AI Gateway s'exécute en mode SaaS géré, en passerelle dans votre VPC avec un plan de contrôle que nous hébergeons, ou entièrement auto-hébergée dans votre VPC, sur site ou en environnement isolé (air-gap). Les pods de la passerelle reçoivent leur configuration et leurs règles d'accès depuis le plan de contrôle en temps réel, aux côtés de compteurs de budget et de limites de débit centralisés, de sorte que les restrictions s'appliquent sur l'ensemble des répliques sans surcoût d'extension.

Elle donne accès à plus de 1 000 LLM à travers une unique API compatible OpenAI, route vers des modèles auto-hébergés depuis le même plan de contrôle, et régit le trafic LLM, MCP et agents au moyen d'un contrôle d'accès au niveau des outils et d'une validation humaine avant l'exécution d'outils destructeurs. Les budgets peuvent être définis par équipe, par modèle ou par compte fournisseur, tandis que le SSO, le RBAC et la journalisation d'audit sont intégrés de série. Si vous comparez des passerelles open source parce que vous devez concilier contrôle des coûts et gouvernance des agents, découvrez comment TrueFoundry AI Gateway répond à ces deux enjeux ou réservez une démonstration.

Lectures complémentaires

Conclusion

Le choix entre LiteLLM et agentgateway revient à déterminer ce que vous valorisez le plus : la richesse fonctionnelle ou l'efficacité. LiteLLM offre le pannel de fonctionnalités le plus complet gratuitement, y compris la mise en cache et les limites partagées, au prix d'une infrastructure plus lourde et d'un rythme de mise à jour soutenu. agentgateway propose une passerelle rapide et compacte dotée de contrôles solides pour les agents et MCP, mais toute fonctionnalité partagée entre instances nécessite une licence payante. Si vous souhaitez combiner ces deux approches sans avoir à en gérer l'infrastructure, réservez une démonstration de TrueFoundry.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

INSCRIVEZ-VOUS
Table des matières

Gouvernez, déployez et suivez l'IA dans votre propre infrastructure

Réservez un séjour de 30 minutes avec notre Expert en IA

Réservez une démo

Le moyen le plus rapide de créer, de gérer et de faire évoluer votre IA

Démo du livre
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Découvrez-en plus

Aucun article n'a été trouvé.
novembre 20, 2026
|
5 min de lecture

Grok 4.3 on Amazon Bedrock: We Routed Four Frontier Models Through One Gateway and Measured the Cost

Outils LLM
comparaison
novembre 20, 2026
|
5 min de lecture

Alternatives au bifrost : les meilleurs outils que vous pouvez envisager en 2026

Aucun article n'a été trouvé.
novembre 20, 2026
|
5 min de lecture

GPT-6.1 Terra : API, benchmarks, tarification et mode d'emploi

Aucun article n'a été trouvé.
novembre 20, 2026
|
5 min de lecture

GPT-5.1 vs GPT-5 : 9 améliorations majeures à connaître

LLM et GenAI
Aucun article n'a été trouvé.
Faites un rapide tour d'horizon des produits
Commencer la visite guidée du produit
Visite guidée du produit