TrueFoundry lanza TrueFailover para redirigir automáticamente el tráfico de IA empresarial durante las interrupciones de los modelos

Cuando OpenAI sufrió una caída en diciembre, uno de los clientes de TrueFoundry se enfrentó a una crisis que nada tenía que ver con chatbots o generación de contenido. La empresa utiliza modelos de lenguaje de gran tamaño para ayudar a surtir recetas médicas. Cada segundo de inactividad se traducía en miles de dólares en ingresos perdidos y en pacientes que no podían acceder a sus medicamentos a tiempo.

TrueFoundry, una empresa de infraestructura de IA para empresas, anunció el miércoles un nuevo producto llamado TrueFailover, diseñado precisamente para evitar ese escenario. El sistema detecta automáticamente cuando los proveedores de IA experimentan interrupciones, ralentizaciones o degradación de la calidad, y redirige el tráfico sin problemas a modelos y regiones de respaldo antes de que los usuarios noten que algo ha fallado.

"El desafío es que, en el mundo de la IA, la conmutación por error ya no es tan sencilla", afirmó Nikunj Bajaj, cofundador y director ejecutivo de TrueFoundry, en una entrevista exclusiva con VentureBeat. "Al pasar de un modelo a otro, también hay que considerar aspectos como la calidad de la respuesta, la latencia y si el prompt funciona de la misma manera. En muchos casos, el prompt debe ajustarse en tiempo real para evitar que los resultados se degraden. Eso no es algo que la mayoría de los equipos estén preparados para gestionar manualmente".

El anuncio llega en un momento crucial para la adopción de la IA empresarial. Las empresas han ido mucho más allá de la experimentación. La IA ahora impulsa el resurtido de recetas en farmacias, genera propuestas de ventas, ayuda a desarrolladores de software y gestiona consultas de atención al cliente. Cuando estos sistemas fallan, las consecuencias repercuten en organizaciones enteras.

Por qué los sistemas de IA empresarial siguen dependiendo peligrosamente de un solo proveedor

Los modelos de lenguaje de gran tamaño de OpenAI, Anthropic, Google y otros proveedores se han convertido en una infraestructura esencial para miles de empresas. Pero a diferencia de los servicios en la nube tradicionales de Amazon Web Services o Microsoft Azure —que ofrecen garantías de tiempo de actividad sólidas respaldadas por décadas de experiencia operativa—, los proveedores de IA operan sistemas complejos y de gran consumo de recursos que siguen siendo propensos a fallos inesperados.

"Los principales proveedores de LLM experimentan interrupciones, ralentizaciones o picos de latencia cada pocas semanas o meses, y vemos regularmente el impacto en cascada en las empresas que dependen de un solo proveedor", comentó Bajaj a VentureBeat.

La interrupción de OpenAI en diciembre que afectó al cliente de farmacia de TrueFoundry ilustra lo que está en juego. "A su escala, incluso segundos de inactividad pueden traducirse en miles de dólares en ingresos perdidos", explicó Bajaj. "Más allá del impacto económico, también hay una consecuencia humana cuando los pacientes no pueden acceder a sus recetas a tiempo. Debido a que este cliente tenía nuestra solución de conmutación por error, pudieron redirigir las solicitudes a otro proveedor de modelos a los pocos minutos de detectar la interrupción. Sin esa configuración, la recuperación probablemente habría llevado horas".

El problema va más allá de las interrupciones totales. Los fallos parciales —donde un modelo se ralentiza o produce respuestas de menor calidad sin dejar de estar operativo— pueden destruir silenciosamente la experiencia del usuario e incumplir los acuerdos de nivel de servicio. Estos escenarios de "lento pero técnicamente activo" suelen ser más perjudiciales que los fallos drásticos, ya que evaden los sistemas de monitoreo tradicionales mientras erosionan constantemente el rendimiento.

La tecnología que mantiene las aplicaciones de IA en línea cuando los proveedores fallan

TrueFailover opera como una capa de resiliencia sobre el AI Gateway de TrueFoundry, que ya procesa más de 10 mil millones de solicitudes al mes para empresas de Fortune 1000. El sistema integra varias capacidades interconectadas en una red de seguridad unificada para la IA empresarial.

En esencia, el producto permite la conmutación por error entre múltiples modelos al permitir que las empresas definan modelos principales y de respaldo entre proveedores. Si OpenAI deja de estar disponible, el tráfico cambia automáticamente a Anthropic, Gemini de Google, Mistral o alternativas alojadas localmente. El enrutamiento ocurre de forma transparente, sin necesidad de que los equipos de desarrollo reescriban código o intervengan manualmente.

El sistema extiende esta protección a través de fronteras geográficas mediante la resiliencia multirregión y multinube. Al distribuir los puntos finales de IA entre zonas y proveedores de nube, el enrutamiento basado en el estado de salud puede detectar problemas en regiones específicas y desviar el tráfico a alternativas funcionales. Lo que de otro modo se convertiría en un incidente global se transforma en un ajuste de infraestructura invisible que los usuarios nunca perciben.

Quizás lo más importante es que TrueFailover emplea un enrutamiento consciente de la degradación que monitorea continuamente la latencia, las tasas de error y las señales de calidad. "Observamos una combinación de señales que, en conjunto, indican cuándo el rendimiento de un modelo comienza a degradarse", explicó Bajaj. "Los modelos de lenguaje de gran tamaño son recursos compartidos. Los proveedores ejecutan la misma instancia de modelo para muchos clientes, por lo que cuando la demanda aumenta para un usuario o carga de trabajo, puede afectar a todos los demás que utilizan ese modelo".

El sistema vigila el aumento de los tiempos de respuesta, el incremento de las tasas de error y los patrones que sugieren inestabilidad. "Individualmente, ninguna de estas señales cuenta la historia completa", dijo Bajaj. "Pero tomadas en conjunto, nos permiten detectar señales tempranas de que un modelo se está ralentizando o volviendo poco fiable. Esas señales alimentan un sistema impulsado por IA que puede decidir cuándo y cómo redirigir el tráfico antes de que los usuarios experimenten una caída notable en la calidad".

El almacenamiento en caché estratégico completa la protección al blindar a los proveedores contra picos repentinos de tráfico y evitar cascadas de límites de tasa durante períodos de alta demanda. Esto permite que los sistemas absorban aumentos de demanda y límites de proveedores sin apagones ni sorpresas de estrangulamiento.

El enfoque representa un cambio fundamental en cómo las empresas deben pensar sobre la fiabilidad de la IA. "TrueFailover está diseñado para manejar esa complejidad automáticamente", dijo Bajaj. "Monitorea continuamente cómo se comportan los modelos en muchos clientes y casos de uso, busca señales de advertencia tempranas como el aumento de la latencia y toma medidas antes de que las cosas fallen. La mayoría de las empresas individuales no tienen ese tipo de visibilidad porque solo pueden ver sus propios sistemas".

El desafío de ingeniería de cambiar de modelo sin sacrificar la calidad de la respuesta

Uno de los desafíos más difíciles en la conmutación por error de IA implica mantener una calidad de respuesta consistente al cambiar entre modelos. Un prompt optimizado para GPT-5 puede producir resultados diferentes en Claude o Gemini. TrueFoundry aborda esto a través de varios mecanismos que equilibran la velocidad con la precisión.

"Algunos equipos confían en el hecho de que los modelos grandes se han vuelto lo suficientemente buenos como para que las pequeñas diferencias en los prompts no afecten materialmente el resultado", explicó Bajaj. "En esos casos, el cambio de un proveedor a otro puede ocurrir con cierto impacto visible; no es lo ideal, pero algunos equipos optan por hacerlo".

Las implementaciones más sofisticadas mantienen prompts específicos para cada proveedor dentro de la misma aplicación. "Cuando el tráfico cambia de un modelo a otro, el prompt cambia con él", señaló Bajaj. "En ese caso, la conmutación por error no es solo cambiar de modelo. Es cambiar a una configuración que ya ha sido probada".

TrueFailover automatiza este proceso. El sistema enruta las solicitudes de forma dinámica y ajusta los prompts según el modelo que gestione la consulta, manteniendo la calidad dentro de rangos aceptables sin intervención manual. La clave, enfatizó Bajaj, es que "la conmutación por error es planificada, no reactiva. La lógica, los prompts y las barreras de seguridad se definen con antelación, por lo que los usuarios finales normalmente no notan cuándo ocurre un cambio".

Es importante destacar que muchas situaciones de conmutación por error no requieren cambiar de proveedor en absoluto. "Puede tratarse de enrutar el tráfico del mismo modelo de una región a otra, como de la costa este a la costa oeste, donde no se requieren cambios en los prompts", señaló Bajaj. Esta flexibilidad geográfica proporciona una primera línea de defensa antes de que sean necesarios cambios más complejos entre proveedores.

Cómo las industrias reguladas pueden utilizar la conmutación por error de IA sin comprometer el cumplimiento normativo

Para las empresas de atención médica, servicios financieros y otros sectores regulados, la posibilidad de que el tráfico de IA se enrute automáticamente a diferentes proveedores plantea preocupaciones inmediatas de cumplimiento. Los datos de los pacientes no pueden simplemente fluir hacia cualquier modelo que esté disponible. Los registros financieros requieren controles estrictos sobre dónde viajan. TrueFoundry creó barreras de seguridad explícitas para abordar estas limitaciones.

"TrueFailover nunca enrutará datos a un modelo o proveedor que una empresa no haya aprobado explícitamente", afirmó Bajaj. "Todo se controla a través de una capa de configuración administrativa donde los equipos establecen barreras de seguridad claras desde el principio".

Las empresas definen exactamente qué modelos califican para la conmutación por error, qué proveedores pueden recibir tráfico e incluso qué regiones o categorías de modelos —como los de código cerrado frente a los de código abierto— son aceptables. Una vez que esas reglas entran en vigor, TrueFailover opera únicamente dentro de ellas.

"Si un modelo no está en la lista aprobada, simplemente no es una opción para el enrutamiento", enfatizó Bajaj. "No existe ningún escenario en el que el tráfico se envíe automáticamente a un lugar inesperado. La idea es dar a los equipos un control total sobre el cumplimiento y los límites de los datos, permitiendo al mismo tiempo que el sistema responda rápidamente cuando algo sale mal. De esa manera, la fiabilidad mejora sin comprometer la seguridad ni los requisitos normativos".

Este diseño refleja las lecciones aprendidas de las implementaciones empresariales existentes de TrueFoundry. Una empresa de atención médica de Fortune 50 ya utiliza la plataforma para gestionar más de 500 millones de llamadas IVR al año a través de un sistema de IA agente. Ese cliente requería la capacidad de ejecutar cargas de trabajo tanto en la nube como en infraestructura local, manteniendo estrictos controles de residencia de datos; exactamente el tipo de entorno híbrido donde las políticas de conmutación por error deben definirse con precisión.

Dónde la conmutación por error automática no puede ayudar y para qué deben planificar las empresas

TrueFoundry reconoce que TrueFailover no puede resolver todos los problemas de fiabilidad. El sistema opera dentro de las barreras de seguridad que configuran las empresas, y esas configuraciones determinan qué protección es posible.

"Si un equipo permite la conmutación por error de un modelo grande de alta capacidad a uno mucho más pequeño sin ajustar los prompts o las expectativas, TrueFailover no puede garantizar la misma calidad de salida", explicó Bajaj. "El sistema puede enrutar el tráfico, pero no puede hacer que un modelo más pequeño se comporte como uno más grande sin la configuración adecuada".

Las limitaciones de infraestructura también limitan la protección. Si una empresa aloja sus propios modelos y todos ellos se ejecutan en el mismo clúster de GPU, TrueFailover no puede ayudar cuando esa infraestructura falla. "Cuando no hay una infraestructura alternativa disponible, no hay nada a lo que recurrir", dijo Bajaj.

La cuestión de los fallos simultáneos de múltiples proveedores surge ocasionalmente en las discusiones sobre riesgos empresariales. Bajaj argumenta que este escenario, aunque teóricamente posible, rara vez coincide con la realidad. "En la práctica, 'caerse' generalmente no significa que todo un proveedor esté fuera de línea en todos los modelos y regiones", explicó. "Lo que sucede con mucha más frecuencia es una ralentización o interrupción en un modelo o región específica debido a picos de tráfico o problemas de capacidad".

Cuando eso ocurre, la conmutación por error puede suceder en múltiples niveles: de local a nube, de nube a local, de una región a otra, de un modelo a otro, o incluso dentro del mismo proveedor antes de cambiar de proveedor por completo. "Eso por sí solo hace que sea muy poco probable que todo falle a la vez", dijo Bajaj. "El punto clave es que la fiabilidad se basa en capas de redundancia. Cuantos más proveedores, regiones y modelos se incluyan en las barreras de seguridad, menor será la posibilidad de que los usuarios experimenten una interrupción total".

Una startup que construyó su plataforma dentro de implementaciones de IA de Fortune 500

TrueFoundry se ha consolidado como infraestructura para algunas de las implementaciones de IA más grandes del mundo, proporcionando un contexto crucial para sus ambiciones de conmutación por error. La compañía recaudó 19 millones de dólares en financiación de serie A en febrero de 2025, liderada por Intel Capital con la participación de Eniac Ventures, Peak XV Partners y Jump Capital. Inversores ángeles, incluidos Gokul Rajaram y Mohit Aron, también se unieron a la ronda, elevando la financiación total a 21 millones de dólares.

La empresa con sede en San Francisco fue fundada en 2021 por Bajaj y los cofundadores Abhishek Choudhary y Anuraag Gutgutia, todos ellos ex ingenieros de Meta que se conocieron como compañeros de clase en el IIT Kharagpur. Inicialmente centrada en acelerar las implementaciones de aprendizaje automático, TrueFoundry cambió su enfoque para respaldar las capacidades de IA generativa a medida que la tecnología se generalizó en 2023.

La lista de clientes de la compañía demuestra una adopción a escala empresarial que pocas startups de infraestructura de IA pueden igualar. Nvidia emplea a TrueFoundry para construir sistemas multiagente que optimizan la utilización de clústeres de GPU en centros de datos de todo el mundo, un caso de uso donde incluso pequeñas mejoras en la utilización se traducen en un impacto comercial sustancial dada la demanda insaciable de capacidad de GPU. Adopt AI enruta más de 15 millones de solicitudes y 40 mil millones de tokens de entrada a través de la puerta de enlace de IA de TrueFoundry para potenciar sus flujos de trabajo de agentes empresariales.

La empresa de juegos Games 24x7 sirve modelos de aprendizaje automático a más de 100 millones de usuarios a través de la plataforma a escalas que superan las 200 solicitudes por segundo. La plataforma de adopción digital Whatfix migró a una arquitectura de microservicios en TrueFoundry, reduciendo su ciclo de lanzamiento seis veces y recortando el tiempo de prueba en un 40 por ciento.

TrueFoundry cuenta actualmente con más de 30 clientes de pago en todo el mundo y ha indicado que superó los 1,5 millones de dólares en ingresos recurrentes anuales el año pasado, cuadruplicando su base de clientes. La empresa gestiona más de 1.000 clústeres para cargas de trabajo de aprendizaje automático en toda su base de clientes.

TrueFailover se ofrecerá como un módulo adicional sobre la plataforma y el AI Gateway de TrueFoundry existentes, con un modelo de precios basado en el uso vinculado al volumen de tráfico, así como al número de usuarios, modelos, proveedores y regiones involucrados. En las próximas semanas se abrirá un programa de acceso anticipado para socios de diseño.

Por qué las garantías de tiempo de actividad de la nube tradicional podrían no aplicarse nunca a los proveedores de IA

Los compradores de tecnología empresarial llevan mucho tiempo exigiendo compromisos de tiempo de actividad a los proveedores de infraestructura. Amazon Web Services, Microsoft Azure y Google Cloud ofrecen acuerdos de nivel de servicio con sanciones financieras por fallos. ¿Se enfrentarán los proveedores de IA a expectativas similares en el futuro?

Bajaj observa limitaciones fundamentales que hacen que los SLA tradicionales sean difíciles de lograr en la generación actual de infraestructura de IA. "La mayoría de los LLM fundamentales operan hoy como recursos compartidos, lo cual es lo que permite los precios estándar que se anuncian públicamente", explicó. "Los proveedores ofrecen compromisos de mayor tiempo de actividad, pero eso suele significar capacidad dedicada o infraestructura reservada, y el coste aumenta significativamente".

Incluso con presupuestos considerables, las empresas se enfrentan a cuotas de uso que crean una exposición inesperada. "Si el tráfico supera esos límites, las solicitudes pueden volver a la infraestructura compartida", dijo Bajaj. "Eso hace que sea difícil lograr el tipo de garantías estrictas a las que las empresas están acostumbradas con los proveedores de la nube".

La economía de ejecutar modelos de lenguaje grandes crea barreras adicionales que pueden persistir durante años. "Los LLM siguen siendo extremadamente complejos y costosos de ejecutar. Requieren una infraestructura y una energía masivas, y no esperamos un futuro a corto plazo en el que la mayoría de las empresas ejecuten múltiples instancias de modelos totalmente dedicadas solo para garantizar el tiempo de actividad".

Esta realidad impulsa la demanda de soluciones como TrueFailover que proporcionan resiliencia independientemente de lo que los proveedores individuales puedan prometer. "Las empresas se están dando cuenta de que la fiabilidad no puede provenir solo del proveedor del modelo", dijo Bajaj. "Requiere capas adicionales de protección para manejar las realidades de cómo operan estos sistemas hoy en día".

El nuevo cálculo para las empresas que integraron la IA en procesos de negocio críticos

El momento del anuncio de TrueFoundry refleja un cambio fundamental en la forma en que las empresas utilizan la IA y lo que pueden perder cuando falla. Lo que comenzó como una experimentación interna ha evolucionado hacia aplicaciones orientadas al cliente donde las interrupciones afectan directamente a los ingresos y la reputación.

"Muchas empresas experimentaron con IA generativa y sistemas de agentes en el pasado, y los casos de uso de producción estaban orientados principalmente al interior", observó Bajaj. "No hubo un impacto inmediato en sus ingresos ni en la percepción pública de la empresa".

Esa era ha terminado. "Ahora que estas empresas han lanzado aplicaciones orientadas al público, donde tanto los ingresos como la percepción pública pueden verse afectados si ocurre una interrupción, lo que está en juego es mucho mayor que hace seis meses. Por eso estamos viendo cada vez más atención en esto ahora".

Para las empresas que han integrado la IA en procesos de negocio críticos —desde la renovación de recetas hasta la atención al cliente y las operaciones de ventas—, el cálculo ha cambiado por completo. La pregunta ya no es qué modelo funciona mejor en los puntos de referencia o qué proveedor ofrece las características más atractivas. La pregunta que ahora quita el sueño a los líderes tecnológicos es mucho más sencilla y urgente: ¿qué sucede cuando la IA desaparece en el peor momento posible?

En algún lugar, un farmacéutico está surtiendo una receta. Un agente de atención al cliente está resolviendo una queja. Un equipo de ventas está generando una propuesta para un trato que se cierra mañana. Todos ellos dependen de sistemas de IA que dependen de proveedores que, a pesar de su escala y sofisticación, siguen quedando fuera de servicio sin previo aviso.

TrueFoundry apuesta a que las empresas pagarán generosamente para garantizar que esos momentos de oscuridad nunca lleguen a las personas que más importan: sus clientes.

Publicado originalmente en VentureBeat

Sobre TrueFoundry:

TrueFoundry proporciona un AI Gateway de nivel empresarial que abarca un LLM Gateway, un MCP Gateway y un Agent Gateway, lo que permite a las empresas conectar, observar y gobernar de forma segura el acceso a modelos, herramientas, barreras de seguridad y agentes desde un único plano de control. El AI Gateway permite cargas de trabajo de agentes que son seguras, eficientes y preparadas para el futuro a través de conexiones unificadas y componibles entre proveedores.

Más allá de la capa de puerta de enlace, TrueFoundry permite a las organizaciones implementar y entrenar LLM personalizados en GPU, alojar servidores MCP y ejecutar agentes personalizados, todo a través de una interfaz nativa de Kubernetes. Admite instalaciones locales y de VPC tanto para AI Gateway como para entornos de implementación. TrueFoundry garantiza el cumplimiento de nivel empresarial con los estándares SOC 2, HIPAA e ITAR. Con escalado automático, almacenamiento en caché y optimización de recursos integrados, TrueFoundry permite a las organizaciones crear, implementar y gobernar sistemas de IA de forma segura, eficiente y en una pila preparada para el futuro. Para obtener más información, visite truefoundry.com