La infraestructura oculta que impulsa la IA empresarial escalable: Tesseract habla con Abhishek Choudhary

En el último episodio de Tesseract Talks, el presentador Oliver Rochford conversó con Abhishek Choudhary, cofundador y director de tecnología de TrueFoundry, para analizar uno de los mayores desafíos a los que se enfrentan las empresas en la actualidad: cómo diseñar sistemas de IA que sean a la vez vanguardistas y seguros sin colapsar debido a la complejidad operativa.

Desde la expansión de modelos y los marcos de agentes hasta la gobernanza y el control de costos, la conversación dejó una cosa clara: la IA empresarial ya no consiste solo en elegir el mejor modelo. Se trata de crear la infraestructura adecuada en torno a él para que la experimentación pueda convertirse en sistemas de producción fiables y escalables.

Estos son los temas clave y las ideas de la discusión.

‍

‍

La realidad de construir inteligencia artificial en un ecosistema en rápido movimiento

Las empresas operan en un entorno de IA que cambia a un ritmo sin precedentes. Constantemente aparecen nuevos modelos y proveedores, y cada uno tiene diferentes puntos fuertes, débiles y API. Al mismo tiempo, protocolos como MCP (Protocolo de contexto modelo) siguen evolucionando, mientras que los marcos de agentes, como LangGraph, Google ADK, los marcos de AWS y otros, siguen multiplicándose.

Antes de que los equipos comiencen a crear aplicaciones significativas, deben tomar decisiones fundamentales sobre qué modelos usar, cómo administrar las instrucciones y las versiones, en qué marcos estandarizar y cómo, en última instancia, implementar y escalar lo que crean. Y justo cuando los equipos comienzan a sentirse cómodos con un solo paquete, el ecosistema vuelve a cambiar, con agentes de voz y sistemas multimodales introduciendo requisitos técnicos completamente nuevos.

Por qué la mayoría de los proyectos de IA tienen dificultades en la producción

Como explica Abhishek, «crear una demostración que funcione en el 80% de los casos es realmente fácil. El problema es cuando empiezas a ampliarla». Una vez que los usuarios reales interactúan con los sistemas de manera impredecible, surgen rápidamente casos extremos, fallos y brechas de confiabilidad. Una vez que los sistemas están expuestos a clientes reales, las indicaciones inesperadas y los casos extremos ponen rápidamente de manifiesto las brechas en la confiabilidad.

Otro obstáculo importante es la disponibilidad y el rendimiento de los modelos. «Si el proveedor del modelo no funciona, su aplicación deja de funcionar», señaló Abhishek. Incluso los principales proveedores de modelos sufren interrupciones, ralentizaciones e interrupciones regionales. Cuando una aplicación depende directamente de un único modelo de punto final externo, cualquier inestabilidad se convierte inmediatamente en un tiempo de inactividad que afecta al cliente, lo que puede dañar la confianza en el producto.

El costo es el tercer factor crítico. A diferencia del software tradicional, los sistemas de IA conllevan costos de inferencia continuos que aumentan directamente con el uso. Al principio, varias empresas adoptaron modelos alojados de código cerrado para aumentar la velocidad, pero más tarde se dieron cuenta de que los costos simbólicos hacen que sus casos de uso sean insostenibles desde el punto de vista económico. En respuesta, algunas organizaciones invierten en su propia infraestructura de GPU y perfeccionan modelos de código abierto más pequeños, cambiando la comodidad a corto plazo por un control de costos a largo plazo y un ROI predecible.

Por qué las pasarelas de IA se están convirtiendo en una infraestructura central

Hace un año, pocos equipos hablaban de las pasarelas de IA como un componente arquitectónico diferenciado. Hoy en día, se están convirtiendo rápidamente en una práctica estándar para cualquier organización que se tome en serio la implementación de la IA en la producción.

Según Abhishek, las pasarelas de IA surgieron para resolver tres problemas empresariales fundamentales:

• Estandarización de API: una puerta de enlace de IA elimina las diferencias en las interfaces de los proveedores de modelos, lo que permite a los equipos cambiar o enrutar entre modelos sin tener que volver a escribir el código de la aplicación.
• Seguridad y administración de claves: con una puerta de enlace de inteligencia artificial, los desarrolladores se autentican en los sistemas internos, mientras que las credenciales de los proveedores permanecen administradas, rotadas y protegidas de forma centralizada.
• Gobernanza y observabilidad: las barreras, los límites presupuestarios, los registros de auditoría y las comprobaciones de cumplimiento se pueden aplicar de manera coherente, en lugar de depender de que cada equipo de aplicaciones implemente las mejores prácticas por su cuenta. En algunos casos, señaló Abhishek, una vez que se validan los agentes,»pasar a la producción es literalmente un clic.»

Por qué las pasarelas de IA no son solo pasarelas de API

Si bien el término «puerta de enlace» puede resultar familiar, las puertas de enlace de IA difieren significativamente de las puertas de enlace de API tradicionales. Las pasarelas convencionales se diseñaron en torno a patrones de solicitud-respuesta de corta duración y flujos de autenticación sencillos. También miden el uso en términos de solicitudes, no en función de la economía basada en los tokens que impulsa los costos de la IA.

Las cargas de trabajo de IA son fundamentalmente diferentes. Las respuestas suelen transmitirse por streaming, las interacciones pueden prolongarse y los sistemas basados en la voz introducen conexiones persistentes y restricciones en tiempo real. Además, muchos riesgos relacionados con la IA son semánticos más que sintácticos, lo que significa que la aplicación de las políticas debe operar en función del significado, no solo de las palabras clave o los esquemas.

Si bien es técnicamente posible ampliar las pasarelas de API existentes para admitir los casos de uso de la IA, pasarelas de IA diseñadas específicamente están diseñados desde cero para manejar estos patrones de forma nativa.

El futuro: las pasarelas de IA como orquestadores de IA empresariales

De cara al futuro, es probable que la función de la puerta de enlace de IA se extienda mucho más allá del enrutamiento de solicitudes. Abhishek describió un futuro en el que la puerta de enlace se convertiría en un registro central para los modelos, las herramientas, los servidores MCP e incluso los propios agentes.

En un entorno de este tipo, los sistemas empresariales como Slack, GitHub, Confluence y las bases de datos internas podrían quedar expuestos como servicios de IA detectables. Cuando los usuarios formulan preguntas empresariales complejas, la pasarela podría organizar de forma dinámica varios agentes y herramientas para recopilar respuestas, en lugar de depender de aplicaciones de un solo propósito.

En lugar de crear funciones de IA aisladas, las organizaciones compondrían flujos de trabajo inteligentes a partir de componentes reutilizables. Este enfoque refleja cómo evolucionaron las plataformas de software modernas, pasando de aplicaciones monolíticas a ecosistemas de servicios interoperables.

Un portal de IA dedicado como TrueFoundry proporciona la base necesaria para ir más allá de la experimentación. Permite una gobernanza coherente, un enrutamiento fiable, un control de costes y una profunda capacidad de observación en todo el conjunto de sistemas de IA. Y lo que es más importante, permite a las organizaciones ampliar la innovación sin sacrificar la seguridad ni el cumplimiento.

Mira el episodio anterior de Tesseract Talks con Nikunj Bajaj aquí Convertir el caos de la IA en control: una conversación sobre la IA de agencia con Tesseract Talks