De GenAI a Agentic AI: episodio 3 de Tesseract Talks

Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
¡Una forma increíblemente rápida de crear, rastrear e implementar sus modelos!
- Gestiona más de 350 RPS en solo 1 vCPU, sin necesidad de ajustes
- Listo para la producción con soporte empresarial completo
La IA empresarial está entrando en una nueva fase.
En los últimos años, las organizaciones han experimentado intensamente con la IA generativa, probando chatbots, copilotos y aplicaciones basadas en modelos. Sin embargo, a medida que el entusiasmo inicial da paso a las implementaciones en el mundo real, surge un desafío diferente: ¿cómo pasar de funciones de IA aisladas a sistemas inteligentes que puedan funcionar de manera segura, confiable y a gran escala?
Esa pregunta estaba en el centro de un episodio reciente de Charlas sobre Tesseract, con Anuraga Gutgutia, cofundador y director ejecutivo de TrueFoundry y Raghu Sethuraman, vicepresidente de ingeniería de Automation Anywhere.
Juntos exploraron el cambio de la IA generativa a la IA agencial, y lo que realmente se necesita para que esa transición funcione en las grandes organizaciones.
Mira el episodio 1: Convirtiendo el caos de la IA en control con Nikunj Bajaj
Mira el episodio 2: La infraestructura oculta que impulsa la IA empresarial con Abhishek Choudhary
Estas son algunas de las ideas clave de esa conversación.
El gran cambio: de los modelos a los sistemas
Durante los últimos años, la mayoría de las conversaciones sobre IA han girado en torno a los modelos. Las empresas compararon los puntos de referencia, debatieron sobre los proveedores y experimentaron con las indicaciones. Sin embargo, como señaló Raghu, IA agencial en la empresa se vuelve fundamentalmente diferente de las implementaciones anteriores de GenAI.
Las aplicaciones de IA generativa tradicionales eran esencialmente «modelos empaquetados como API». Por el contrario, los sistemas de IA de agencia incluyen muchas partes móviles: herramientas, memoria, flujos de trabajo, integraciones y barreras de protección. Los modelos son solo un componente de un sistema mucho más grande
Esto introduce desafíos completamente nuevos:
- ¿Cómo administras las solicitudes y las versionas?
- ¿Cómo se permite que los agentes accedan a las herramientas internas de forma segura?
- ¿Cómo se garantiza la escalabilidad y la fiabilidad?
- ¿Cómo se colocan las barandillas alrededor de los potentes modelos externos?
Según Raghu, el problema ha evolucionado desde elegir el modelo correcto a diseñar la infraestructura adecuada.
«La IA está pasando de un enfoque de modelo como API a un desafío de diseño de sistemas», explicó. «Las empresas ahora deben crear plataformas que puedan organizar varios componentes juntos de forma segura y gobernada».
Por qué la gobernanza se convierte en una misión crítica
Una vez que los sistemas de IA comienzan a tomar medidas, en lugar de solo generar texto, la gobernanza deja de ser algo bueno. Se convierte en algo esencial.
Anurag ilustró esto con un ejemplo concreto: imagine que una empresa de viajes lanza un asistente de inteligencia artificial que puede reservar vuelos en nombre de los usuarios.
¿Qué puede salir mal?
Abundante.
- Un usuario puede engañar al sistema para que genere contenido inapropiado
- Los bots podrían inundar el sistema con millones de consultas costosas
- Alguien podría manipular al agente para que acceda a los datos de otro usuario
- El coste de la IA generativa podría salirse de control sin límites de uso.
Cada uno de ellos representa un desafío de gobierno diferente: seguridad, control de costos, administración de acceso y cumplimiento de la identidad
Esta es la razón por la que la IA agencial requiere una gobernanza en varios niveles:
- Gobernanza de datos — garantizar la protección de la información confidencial
- Controles de acceso — asegurarse de que los agentes solo accedan a lo que deberían
- Limitación de tarifas y controles de costos
- Auditabilidad y seguimiento del linaje
- Monitoreo operativo y barandas
Más allá de los pilotos: el verdadero desafío de la IA empresarial
Si hubo una conclusión clara de la discusión, es la siguiente:
El éxito de la IA empresarial ya no depende de los modelos. Se trata de la gestión del ciclo de vida.
Crear una demostración inteligente es fácil. La parte más difícil es gestionar agentes inteligentes de forma segura y fiable a escala empresarial.
A medida que las organizaciones van más allá de las pruebas de concepto y pasan a las implementaciones de producción completas, el enfoque debe cambiar a:
- Gobernanza
- Escalabilidad
- Seguridad
- Observabilidad
- Controlar
En TrueFoundry, eso es exactamente para lo que estamos creando. Convertir la IA de la agencia en una realidad empresarial requiere más que modelos. Requiere una plataforma diseñada para el control, la gobernanza y la escalabilidad.
TrueFoundry AI Gateway ofrece una latencia de entre 3 y 4 ms, gestiona más de 350 RPS en una vCPU, se escala horizontalmente con facilidad y está listo para la producción, mientras que LitellM presenta una latencia alta, tiene dificultades para superar un RPS moderado, carece de escalado integrado y es ideal para cargas de trabajo ligeras o de prototipos.
La forma más rápida de crear, gobernar y escalar su IA















.png)


.webp)




.webp)







