De GenAI à l'IA agentique : épisode 3 de Tesseract Talks

Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Une méthode incroyablement rapide pour créer, suivre et déployer vos modèles !
- Gère plus de 350 RPS sur un seul processeur virtuel, aucun réglage n'est nécessaire
- Prêt pour la production avec un support complet pour les entreprises
L'IA d'entreprise entre dans une nouvelle phase.
Ces dernières années, les entreprises ont beaucoup expérimenté l'IA générative pour tester les chatbots, les copilotes et les applications pilotées par des modèles. Mais alors que l'enthousiasme des premiers jours laisse place aux déploiements dans le monde réel, un autre défi se pose : comment passer de fonctionnalités d'IA isolées à des systèmes intelligents capables de fonctionner de manière sûre, fiable et à grande échelle ?
Cette question était au cœur d'un récent épisode de Discussions Tesseract, avec Anuraag Gutgutia, cofondateur et PDG de TrueFoundry et Raghu Sethuraman, vice-président de l'ingénierie chez Automation Anywhere.
Ensemble, ils ont exploré le passage de l'IA générative à l'IA agentique et ce qu'il faut réellement pour que cette transition fonctionne au sein des grandes organisations.
Regardez l'épisode 1 : Transformer le chaos de l'IA en contrôle avec Nikunj Bajaj
Regardez l'épisode 2 : L'infrastructure cachée qui alimente l'IA d'entreprise avec Abhishek Choudhary
Voici quelques-unes des principales conclusions de cette conversation.
Le grand changement : des modèles aux systèmes
Ces dernières années, la plupart des conversations sur l'IA ont tourné autour de modèles. Les entreprises ont comparé des points de référence, ont débattu des fournisseurs et ont expérimenté des invites. Mais comme Raghu l'a fait remarquer, L'IA agentique en entreprise devient fondamentalement différent des déploiements GenAI précédents.
Les applications d'IA générative traditionnelles étaient essentiellement des « modèles encapsulés sous forme d'API ». En revanche, les systèmes d'IA agentiques comportent de nombreux éléments mobiles : outils, mémoire, flux de travail, intégrations et garde-corps. Les modèles ne sont qu'un élément d'un système beaucoup plus vaste
Cela pose de tout nouveaux défis :
- Comment gérez-vous les invites et comment les versionner ?
- Comment permettre aux agents d'accéder aux outils internes en toute sécurité ?
- Comment garantissez-vous l'évolutivité et la fiabilité ?
- Comment placer des garde-fous autour de modèles externes puissants ?
Selon Raghu, le problème a évolué depuis choisir le bon modèle pour concevoir la bonne infrastructure.
« L'IA est en train de passer d'une approche modèle en tant qu'API à un défi de conception de système », a-t-il expliqué. « Les entreprises doivent désormais créer des plateformes capables d'orchestrer plusieurs composants ensemble de manière sécurisée et gouvernée ».
Pourquoi la gouvernance devient essentielle
Une fois que les systèmes d'IA commencent à prendre des mesures, au lieu de simplement générer du texte, la gouvernance cesse d'être un avantage. Cela devient essentiel.
Anurag l'a illustré par un exemple concret : imaginez qu'une agence de voyages lance un assistant intelligent capable de réserver des vols pour le compte des utilisateurs.
Qu'est-ce qui pourrait mal tourner ?
Beaucoup.
- Un utilisateur peut inciter le système à générer du contenu inapproprié
- Les robots pourraient inonder le système de millions de requêtes coûteuses
- Quelqu'un peut manipuler l'agent pour qu'il accède aux données d'un autre utilisateur
- Le coût de l'IA générative pourrait devenir incontrôlable sans aucune limite d'utilisation.
Chacun d'entre eux représente un défi de gouvernance différent : sécurité, contrôle des coûts, gestion des accès et contrôle des identités
C'est pourquoi l'IA agentique nécessite une gouvernance à plusieurs niveaux :
- Gouvernance des données — garantir la protection des informations sensibles
- Contrôles d'accès — s'assurer que les agents n'accèdent qu'à ce qu'ils devraient
- Limitation des taux et contrôle des coûts
- Auditabilité et suivi du lignage
- Surveillance opérationnelle et garde-corps
Au-delà des projets pilotes : le véritable défi de l'IA d'entreprise
S'il y a un point clair à retenir de la discussion, c'est celui-ci :
Le succès de l'IA d'entreprise n'est plus une question de modèles. Il s'agit de la gestion du cycle de vie.
Il est facile de créer une démo intelligente. Gérer des agents intelligents en toute sécurité et fiabilité à l'échelle de l'entreprise est la partie la plus difficile.
Alors que les entreprises vont au-delà des preuves de concept pour passer à des déploiements de production complets, l'accent doit désormais être mis sur :
- Gouvernance
- Évolutivité
- Sécurité
- Observabilité
- Contrôle
Chez TrueFoundry, c'est exactement pour cela que nous construisons. Faire de l'IA agentique une réalité d'entreprise ne se limite pas à des modèles. Cela nécessite une plate-forme conçue pour le contrôle, la gouvernance et l'évolutivité.
TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.
Le moyen le plus rapide de créer, de gérer et de faire évoluer votre IA











.webp)



.png)


.webp)




.webp)







