5 leçons pour exécuter l'IA agentique en production - Extraits de notre table ronde
.webp)
Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Une méthode incroyablement rapide pour créer, suivre et déployer vos modèles !
- Gère plus de 350 RPS sur un seul processeur virtuel, aucun réglage n'est nécessaire
- Prêt pour la production avec un support complet pour les entreprises
La plupart des entreprises ont aujourd'hui des agents en production avant même de disposer d'un moyen de visualiser ce que font ces agents. C'est dans cet écart qu'apparaissent les dépassements de coûts, les défaillances intraduisibles et la shadow AI. Nous avons entendu la même histoire auprès de 200 leaders de l'IA en entreprise répartis dans 18 secteurs d'activité, ainsi que lors d'une session en direct avec Daniel, VP of Engineering chez Via, et Meenal, qui dirige la data et l'IA d'entreprise chez SurveyMonkey.
Le fil conducteur de presque toutes les réponses repose sur la même idée, même lorsque personne n'a employé le terme : vous avez besoin d'une AI gateway. Pas un autre outil d'observabilité greffé après coup, mais une couche de contrôle unique par laquelle passent les modèles, les serveurs MCP et les agents, afin que le coût, la journalisation et l'accès soient gérés en un seul endroit au lieu d'être éparpillés dans chaque base de code. Voici ce que les leaders avec lesquels nous avons échangé ont appris pour y parvenir.
Visionnez la table ronde détaillée ici -

Pourquoi la gouvernance de l'IA agentique compte à grande échelle
Le résultat le plus révélateur de notre rapport réside dans un paradoxe. Lorsque nous avons demandé aux décideurs où seraient alloués leurs budgets 2026 et 2027, l'extension des cas d'usage de l'IA est arrivée en tête. Lorsque nous leur avons demandé séparément quel était selon eux le risque majeur nécessitant un financement, la sécurité et la gouvernance de cette même expansion ont obtenu un rang tout aussi élevé. Ces deux lignes budgétaires se chevauchent pratiquement.
Cette tension résume tout l'enjeu. Insistez trop sur l'expansion, et les coûts ainsi que les risques vous échapperont. Avancez avec trop de prudence, et vous prendrez du retard. Chaque leader avec lequel nous avons discuté tente de financer les deux simultanément, et ceux qui y parviennent traitent la gouvernance comme un levier accélérant l'expansion, et non comme un frein. Comme l'a souligné Meenal, chaque dollar investi dans une posture de sécurité et de gestion des risques adéquate devient un levier pour consacrer davantage d'investissements à l'expansion, à un rythme plus soutenu.
Leçon 1 : La facture d'inférence représente la plus petite part du coût
Il y a eu beaucoup de bruit autour d'Uber qui aurait épuisé son budget IA de manière précoce, et il est facile d'interpréter cela comme un problème de tarif d'inférence. Ce n'est généralement pas le cas. La facture s'alourdit en raison du contexte que vous fournissez au modèle, et non du coût par token.
Meenal a présenté cela comme un travail préalable que l'organisation doit accomplir avant toute mise à l'échelle. Le contexte provient de trois sources : les données de vos bases de données, la logique de décision appliquée par vos équipes et le savoir institutionnel ou informel détenu par les collaborateurs. Assemblez correctement ces éléments, et l'agent obtiendra ce dont il a besoin avec un minimum de tokens. Négligez cette étape, et vous paierez pour qu'un même modèle devine à plusieurs reprises la solution d'un même problème.
Elle a également établi une analogie marquante : c'est l'histoire de la transition du on-premise vers le cloud qui se répète. Les entreprises ont migré vers le cloud, ont vu leurs coûts s'envoler, et c'est seulement après qu'elles ont appris à les maîtriser. L'IA suit la même courbe, de manière compressée. Les coûts continueront d'augmenter à mesure que les éditeurs affineront la tarification de l'IA et que la puissance de calcul sous-jacente deviendra plus coûteuse ; cette fois-ci, la discipline doit donc intervenir plus tôt.
En travaillant au contact de diverses entreprises, notre cofondateur Anurag observe que le contrôle des coûts s'articule autour de trois niveaux, et qu'une AI gateway est le point d'application de ces trois axes :
- La visibilité. Si vous autorisez des modèles sur Bedrock, OpenAI et Anthropic, vous devez disposer d'une vue consolidée des dépenses par utilisateur, par équipe et par application. On ne peut pas gérer ce qu'on ne peut pas visualiser.
- Le contrôle. Une fois la visibilité acquise, vous définissez des limites : des budgets et des limites de débit (rate limits) au niveau de l'utilisateur, de l'équipe ou de l'application, alignés sur le ROI de chaque application.
- Le routage. La couche la plus intelligente. Une requête envoyée à un grand modèle de pointe (frontier model) peut souvent obtenir un résultat équivalent via un modèle plus restreint. La couche centrale supervisant l'ensemble du trafic, elle peut acheminer chaque requête vers le modèle approprié, et la logique de routage s'améliore au fil du temps grâce aux journaux d'observabilité.
Voici la différence entre l'exécution d'agents sans cette couche et leur exécution derrière elle.
Leçon 2 : Vous ne pouvez pas tracer ce que vous n'avez pas conçu pour être tracé
Plus de la moitié des entreprises interrogées n'étaient pas en mesure de tracer pleinement les agents qu'elles exécutaient en production. Certains de ces agents étaient approuvés. D'autres relevaient de la shadow AI, déployés à l'insu de la DSI ou de la direction.
Daniel a résumé les enjeux de la manière la plus percutante. Imaginez confier à un employé un ordinateur portable avec l'autorisation de tout installer, un accès réseau complet et aucune surveillance. Aucune entreprise moderne ne procède ainsi. Les agents nécessitent les mêmes garde-fous, et ce dès le départ, car tracer un système non déterministe a posteriori est presque impossible. L'agent ne réagit pas deux fois de la même manière ; si la piste d'audit n'a pas été intégrée dès la conception, elle sera absente lorsque vous chercherez à la consulter.
Chez Via, ce principe est considéré comme un prérequis fondamental. Une infrastructure performante pour exécuter des agents remplit deux fonctions simultanées : elle sécurise le déploiement et elle le simplifie, ce qui incite les équipes à en déployer beaucoup plus. C'est pourquoi l'observabilité des agents doit faire partie intégrante de la plateforme, et non constituer un projet reporté à plus tard. Une technique pratique qui a porté ses fruits chez eux a consisté à découper le prompt d'un agent en étapes intermédiaires (checkpoints), afin de pouvoir inspecter chaque réponse dans la chaîne et identifier l'origine d'une défaillance.
Leçon 3 : 76 % manquent de journalisation unifiée, et c'est un problème de gouvernance
Soixante-seize pour cent des organisations de notre rapport ne disposaient pas d'une journalisation entièrement unifiée sur l'ensemble de leurs modèles et workflows. Il s'agit à la fois d'un problème de coût et d'un problème de contrôle. Si vous ne pouvez pas identifier quel modèle est utilisé, par qui et au sein de quel service, vous ne pouvez pas analyser la structure des coûts ni exercer le moindre contrôle.
SurveyMonkey a mis en place l'observabilité LLM en priorité, avant toute mise à l'échelle, précisément parce que ces systèmes dérivent rapidement sans elle. Leur journalisation s'étend désormais au-delà des coûts pour couvrir la qualité : ils surveillent les hallucinations et utilisent des évaluations ainsi que le concept de LLM-as-judge pour contrôler les sorties. Daniel a soulevé une subtilité qui prend de nombreuses équipes au dépourvu. Les sorties des agents peuvent contenir des PII d'utilisateurs même lorsque vos journaux habituels n'en contiennent jamais ; vous devez donc définir ce qui doit être journalisé et ce qui doit être nettoyé, plutôt que de tout enregistrer par défaut.
Tous deux s'accordent sur un point délicat : l'observabilité apparaît rarement comme la première brique à construire. La tentation est forte de livrer rapidement pour démontrer de la valeur. C'est une démarche compréhensible, mais une gouvernance ajoutée après coup s'avère bien plus coûteuse qu'une gouvernance intégrée dès la conception, et une AI gateway est précisément l'endroit où cette journalisation devient automatique au lieu d'être une tâche que chaque développeur doit penser à implémenter.
Leçon 4 : L'usage interne ou externe détermine votre posture de risque
Votre positionnement sur l'arbitrage entre expansion et gestion des risques dépend principalement d'un facteur : l'IA est-elle destinée à un usage interne ou externe ? C'est le constat dressé par Anurag au vu des entreprises avec lesquelles nous collaborons, et les deux experts l'ont confirmé.
Les outils de productivité interne peuvent évoluer rapidement, car les conséquences d'un dysfonctionnement mineur restent faibles. Via a mis en place une infrastructure interne permettant à ses propres collaborateurs, y compris au personnel non technique, de générer un tableau de bord, un site léger ou une automatisation à partir de modèles prêts à l'emploi. Tout ce qui est orienté client relève d'une autre logique. Meenal a été catégorique : l'IA externe fait l'objet d'un examen plus rigoureux car les clients exigent de savoir comment leurs données sont exploitées ; elle est donc soumise à un cycle de validation nettement plus strict que les projets internes. Les entreprises qui parviennent à équilibrer ces deux aspects sont celles qui investissent d'abord dans la maîtrise des risques pour utiliser ensuite cette marge de manœuvre afin d'accélérer leur expansion.
Leçon 5 : Commencez par 8 à 10 cas d'usage à fort ROI, pas 200
Le conseil le plus appuyé de la session portait sur la sobriété. Ne cherchez pas à tout embrasser à la fois. La règle de Meenal consistait à partir du cas d'usage et non de la technologie, car c'est en analysant le problème initial que l'on identifie les outils adéquats et le ROI réel. Celle de Daniel était de choisir l'objectif avec discernement : trop restreint, il perd de son intérêt ; trop distant, il devient irréaliste. Il convient ensuite de le mener comme un POC agile, d'établir les garde-fous et de procéder au déploiement une fois la solution éprouvée.
Anurag a constaté cette évolution en première ligne. Il y a quelques années, les équipes se présentaient avec des listes de 200 cas d'usage qu'elles souhaitaient traiter avec l'IA, dont la plupart auraient coûté autant à développer qu'ils n'auraient permis d'économiser. Les organisations les plus performantes aujourd'hui sélectionnent 8 à 10 cas d'usage, chacun associés à un ROI solide, et intègrent le contrôle des coûts, la gouvernance et l'observabilité dès le jour zéro. Ce dernier point est déterminant : les équipes qui font l'impasse sur cette étape déploient en production, rencontrent un échec, puis doivent faire marche arrière et tout reconstruire. Installez la couche de contrôle dès le départ, et les cas d'usage pertinents disposeront de l'espace nécessaire pour se développer.
Comment TrueFoundry assure la gouvernance de l'IA agentique via un plan de contrôle unique
Nous avons conçu TrueFoundry comme un plan de contrôle de l'IA d'entreprise dédié à l'IA agentique. Cette approche répond directement aux six leçons énoncées ci-dessus : rassembler les modèles, les MCP et les agents au sein d'une couche unique, puis appliquer le contrôle des coûts, la gouvernance et l'observabilité sur l'ensemble du dispositif.
L'AI gateway constitue le point d'entrée. Elle met à votre disposition une API unique compatible OpenAI donnant accès à plus de 1 000 LLM auprès de multiples fournisseurs ; changer de modèle se résume ainsi à modifier un nom dans la requête plutôt qu'à réécrire du code. Elle n'ajoute qu'environ 3 à 4 ms de latence et prend en charge plus de 350 RPS sur un seul vCPU, ce qui lui permet de rester sur le chemin critique sans devenir un goulot d'étranglement. Chaque requête passant par cette passerelle, le suivi des dépenses, les budgets, les limites de débit et le routage des modèles sont appliqués de manière centralisée plutôt que d'être réimplémentés dans chaque service.
La MCP gateway et le registre d'agents résolvent la complexité N-à-M évoquée dans la Leçon 3. Les serveurs MCP et les agents s'enregistrent en un lieu unique bénéficiant d'un contrôle d'accès au niveau des outils ; vous pouvez ainsi accorder à un utilisateur spécifique l'accès à un outil donné sans exposer le reste, chaque appel étant authentifié et tracé. Les guardrails s'appliquent sous forme de politiques à ce niveau, selon le modèle décrit par SurveyMonkey avec les modèles d'agents pré-approuvés : les contrôles de données, de contexte et d'observabilité sont intégrés au modèle de base pour que les équipes en héritent par défaut.
Concernant l'observabilité, la gateway est conforme à la norme OpenTelemetry et trace chaque requête, du prompt jusqu'à l'exécution des outils et des modèles, avant de s'interconnecter avec Grafana, Datadog ou Prometheus. Si un CTO se présente avec 30 agents, trois fournisseurs de modèles et aucune couche de contrôle, la première action ne consiste pas à tout réécrire. Elle consiste à enregistrer l'ensemble des ressources consommées par ces agents en un endroit unique et à pointer leurs endpoints vers la couche centrale, afin d'obtenir une journalisation unifiée et un contrôle des coûts sans que les développeurs n'aient à modifier leur code.
Lectures associées
- Qu'est-ce qu'une LLM Gateway ? les fondamentaux architecturaux à l'origine de cet article
- Meilleures MCP Gateways comment évaluer la couche qui gouverne vos serveurs MCP
- Solution de suivi des coûts LLM pour approfondir la visibilité sur les dépenses
- MCP vs RAG comparaison entre les deux méthodes permettant de fournir du contexte aux agents
Conclusion
Six leçons, un seul fil conducteur. Les coûts, le traçage, l'accès MCP, la journalisation, la posture de risque et la sélection des cas d'usage dépendent tous de l'existence d'un point unique permettant de visualiser et de contrôler ce que font vos agents. Une AI gateway remplit ce rôle, et son intégration précoce est ce qui permet aux équipes d'étendre l'IA agentique en production au lieu d'avoir à faire marche arrière après le premier incident.
Découvrez comment l'AI gateway de TrueFoundry gère les coûts, la gouvernance MCP et l'observabilité au sein d'un plan de contrôle unique, ou réservez une démonstration pour étudier son intégration avec votre propre stack.
TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.



Gouvernez, déployez et suivez l'IA dans votre propre infrastructure
Blogs récents
Questions fréquemment posées
Qu'est-ce que la gouvernance de l'IA agentique ?
La gouvernance de l'IA agentique est l'ensemble des contrôles qui garantissent la sécurité, la traçabilité et la maîtrise des coûts des agents autonomes en production : visibilité et limites des coûts, journalisation unifiée, contrôle d'accès aux outils et aux MCPs que les agents peuvent appeler, et garde-fous appliqués sous forme de politique. En pratique, les entreprises l'appliquent par l'intermédiaire d'un plan de contrôle centralisé, ou d'une passerelle d'IA, par lequel passe chaque requête d'agent.
Comment une passerelle IA aide-t-elle à contrôler le coût de l'IA agentique ?
Une passerelle IA voit tout le trafic, elle peut donc afficher les dépenses par utilisateur, équipe et application, appliquer des budgets et des limites de débit avant que les coûts n'augmentent, et acheminer chaque requête vers le modèle le mieux adapté. Cela couvre les trois niveaux de coût : visibilité, contrôle et routage.
Qu'est-ce qu'une passerelle MCP et pourquoi les entreprises en ont-elles besoin ?
Une passerelle MCP est une couche centrale qui enregistre vos serveurs MCP et applique un contrôle d'accès au niveau des outils, vous permettant ainsi de décider quels utilisateurs accèdent à quels outils avec quelle authentification. Elle transforme la prolifération N-par-M de clients, serveurs et outils en un système que vous pouvez gouverner et auditer depuis un seul endroit.
Comment gérez-vous l'IA de l'ombre et les agents intraçables ?
Vous acheminez les agents via une infrastructure qui enregistre et authentifie par défaut, plutôt que de les laisser déployer de manière ad hoc. Intégrez la traçabilité dès le départ, car les agents non déterministes ne peuvent pas être tracés de manière fiable après coup, et nécessitent des comptes de service plutôt que des identifiants personnels pour tout ce qui est déployé.
Puis-je exécuter TrueFoundry dans mon propre VPC ou sur site ?
Oui. TrueFoundry fonctionne dans votre VPC, sur site, en environnement isolé (air-gapped), en mode hybride ou sur plusieurs clouds, et aucune donnée ne quitte votre domaine. C'est la principale raison pour laquelle les entreprises réglementées le préfèrent aux passerelles SaaS uniquement.
S'intègre-t-elle à ma pile d'observabilité existante ?
Oui. La passerelle est compatible OpenTelemetry et s'intègre à Grafana, Datadog, Prometheus, ou à votre pile technologique préférée. Elle trace chaque requête, du prompt à l'exécution de l'outil et du modèle, vous offrant ainsi une journalisation unifiée sans avoir à remplacer ce que vous utilisez déjà.












.webp)
.webp)


.webp)
.webp)

.webp)
.webp)
.png)

.png)
.png)






