Adopt AI Scales Multi-Model Agents with TrueFoundry

Cómo

básculas

Agentes multimodelo con

True Foundry

Adopte AI crea una IA de agencia de nivel empresarial en sistemas modernos y heredados.
Al utilizar AI Gateway de TrueFoundry, la plataforma unifica el acceso a la LLM de múltiples proveedores, gestionando más de 15 millones de solicitudes y más de 40 000 millones de tokens de entrada de forma centralizada.

¿Quieres saber más sobre este éxito?

Hable con nuestro experto

Esta estrategia multimodelo era esencial para el rendimiento y la calidad, pero introdujo la fragmentación en el acceso, la observabilidad, el seguimiento de los costos y la administración de la confiabilidad. Al adoptar AI Gateway de TrueFoundry, Adopt AI estableció un plano de control único y centralizado para todo el tráfico de LLM. El Gateway ahora permite el acceso unificado a modelos, la supervisión en tiempo real, el enrutamiento con reconocimiento de la latencia y la visibilidad de los costos en cientos de miles de solicitudes de producción, sin necesidad de realizar cambios a nivel de aplicación.

Acerca de

Adopte AI permite a las empresas crear e implementar flujos de trabajo de agencia que integren las API, los procesos empresariales y el contenido empresarial en sistemas modernos y heredados. Su infraestructura de agentes e ingestión Zero-Shot permite a los equipos modernizar las aplicaciones sin interrumpir las arquitecturas existentes, lo que brinda experiencias de agentes seguras y de nivel de producción a gran escala.

A medida que los clientes adoptaron flujos de trabajo de agentes cada vez más complejos, la plataforma de Adopt AI comenzó a gestionar interacciones de IA de gran volumen y sensibles a la latencia en varios equipos y entornos.

Creación de una base de IA multimodelo para agencias con Control centralizado

A medida que la plataforma de agentes de Adopt AI maduraba, surgieron varios desafíos:

Complejidad multimodelo

A medida que la plataforma de agentes de Adopt AI maduraba, la empresa tomó la decisión deliberada de operar con varios proveedores de LLM. Los diferentes flujos de trabajo requerían diferentes concesiones en cuanto a calidad, latencia, disponibilidad y costo, y ningún modelo por sí solo podía atender todos los casos de uso de manera eficaz.

Aprenda más

Permitir el rastreo y la toma de decisiones unificados

Sin una capa de acceso de IA centralizada, la observabilidad estaba fragmentada en los paneles de control específicos del proveedor. Era difícil responder a las preguntas críticas en tiempo real:

¿Qué modelos se utilizan y por quién?
¿Cuántas solicitudes circulan por el sistema?

Aprenda más

Riesgos de costo y confiabilidad

Los picos de uso de los tokens, la latencia elevada del P99 y los problemas relacionados con el proveedor podían afectar directamente a la capacidad de respuesta de los agentes, pero el diagnóstico y la corrección de estos problemas entre los proveedores eran lentos y manuales.

Aprenda más

Complejidad multimodelo

Aprenda más

Permitir el rastreo y la toma de decisiones unificados

Sin una capa de acceso de IA centralizada, la observabilidad estaba fragmentada en los paneles de control específicos del proveedor. Era difícil responder a las preguntas críticas en tiempo real:

¿Qué modelos se utilizan y por quién?
¿Cuántas solicitudes circulan por el sistema?

Aprenda más

Riesgos de costo y confiabilidad

Aprenda más

«Para nosotros, el TrueFoundry AI Gateway se basa en la abstracción total. Nuestras aplicaciones nunca se comunican directamente con los proveedores de modelos. Podemos cambiar de modelo, gestionar la limitación y rastrear el comportamiento de forma centralizada sin cambiar el código. Esa separación es fundamental a medida que ampliamos los flujos de trabajo de las agencias entre los clientes».

— Rahul Bhattacharya, cofundador y director de tecnología de Adopt AI

Solución: TrueFoundry AI Gateway como plano de control central

Adopte AI estandarizó todas las interacciones de LLM a través del AI Gateway de TrueFoundry, tratándolo como una capa de abstracción estricta entre las aplicaciones y los proveedores de modelos. Las aplicaciones ya no interactúan directamente con los proveedores individuales de LLM; en cambio, todas las solicitudes fluyen a través de una única puerta de enlace que permite el enrutamiento, el seguimiento y la selección de proveedores de forma centralizada

Acceso unificado entre proveedores

El Gateway proporciona una interfaz uniforme para los modelos de OpenAI, Anthropic, Google Vertex, AWS Bedrock y Groq. Los equipos pueden incorporar nuevos modelos o retirar los existentes de forma centralizada, sin tocar el código de la aplicación.

Aprenda más

Observabilidad centralizada

Todas las solicitudes fluyen a través del Gateway, lo que permite la visibilidad en tiempo real de:

Número total de solicitudes: más de 15 millones en los últimos 90 días
Uso de tokens: ~ 40 000 millones de tokens de entrada y ~ 2.2 000 millones de tokens de salida
Métricas de latencia: incluidas P50, P90 y P99

Aprenda más

Riesgos de costo y confiabilidad

Aprenda más

Complejidad multimodelo

Aprenda más

Permitir el rastreo y la toma de decisiones unificados

Sin una capa de acceso de IA centralizada, la observabilidad estaba fragmentada en los paneles de control específicos del proveedor. Era difícil responder a las preguntas críticas en tiempo real:

¿Qué modelos se utilizan y por quién?
¿Cuántas solicitudes circulan por el sistema?

Aprenda más

Riesgos de costo y confiabilidad

Aprenda más

Por qué es importante para la IA de las agencias

Los sistemas agentic son tan confiables como la infraestructura que controla sus interacciones con los modelos. Para Adopt AI, el AI Gateway se convirtió en la base que permitió:

Flexibilidad multimodelo sin caos
Tráfico de agentes de gran volumen sin puntos ciegos
Optimización de costes y latencia sin ralentizar la innovación

Al centralizar las interacciones de LLM en la capa de puerta de enlace, Adopte AI preservó la flexibilidad sin sacrificar el control. La plataforma ahora admite la experimentación rápida entre modelos, un comportamiento operativo predecible bajo carga y una ruta clara para escalar los flujos de trabajo de las agencias, al tiempo que mantiene la complejidad fuera del código de la aplicación.