Residencia de datos en TrueFoundry AI Gateway

Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
¡Una forma increíblemente rápida de crear, rastrear e implementar sus modelos!
- Gestiona más de 350 RPS en solo 1 vCPU, sin necesidad de ajustes
- Listo para la producción con soporte empresarial completo
Introducción
Los sistemas de IA ya no son herramientas pasivas. Lo son cada vez más agente - funciona de forma autónoma en todos los flujos de trabajo, las API y los datos empresariales confidenciales. En los sistemas tradicionales, la residencia de los datos se definía según el lugar donde se almacenaban los datos. Una vez que las bases de datos y el almacenamiento se instalaron en las regiones aprobadas, el cumplimiento se consideró resuelto.
La IA de las agencias rompe ese modelo. Cada interacción genera nuevas superficies de datos - solicitudes, memoria del agente, registros, seguimientos y datos de inferencia transitoria, que se procesan y observan en tiempo de ejecución, a menudo en todas las regiones, incluso cuando no se conserva nada.
Como resultado, la residencia de datos ya no es una casilla de verificación de cumplimiento. Es un preocupación principal en materia de infraestructura ahora se discute a nivel de junta. La pregunta que las empresas deben responder es sencilla: ¿A dónde se mueven los datos generados por la IA en tiempo de ejecución y quién controla esas rutas?
En True Foundry, la residencia de datos se aplica en el Puerta de enlace de IA, donde convergen la inferencia, los agentes y las herramientas. La residencia se trata como propiedad del sistema, que se aplica en condiciones normales de funcionamiento, fallos y escala. Este blog explica cómo se define, aplica y verifica la residencia de los datos en el TrueFoundry AI Gateway.
Por qué la residencia de datos es más difícil en los sistemas de IA
La residencia de datos era más sencilla cuando las aplicaciones tenían rutas de datos predecibles. Las solicitudes pasaban de los usuarios a los servicios y a las bases de datos, por lo general dentro de una sola región, y los controles de cumplimiento eran en gran medida estáticos.
Los sistemas de IA rompen este modelo en tiempo de ejecución.
En las arquitecturas de IA modernas, el movimiento de datos es dinámico y se basa en la toma de decisiones, no está arreglado. Una solicitud de un solo usuario puede activar varias rutas de ejecución, todas ellas orquestadas por el AI Gateway. Aquí es donde la residencia de los datos se vuelve frágil.
Durante el tiempo de ejecución, una puerta de enlace de IA puede:
- Seleccione un modelo en función de la disponibilidad, la latencia o la política
- Vuelva a intentar una solicitud si se agota el tiempo de espera de un punto final modelo
- ConMUTACIÓN POR ERROR A UN PUNTO FINAL ALTERNATIVO DURANTE LAS INTERRUPCIONES PARCIALES
- Invoque herramientas descendentes o servidores MCP como parte de los flujos de trabajo de los agentes
- Emita indicaciones, respuestas y rastreos a las canalizaciones de observabilidad
Cada una de estas decisiones puede introducir movimiento de datos implícito, a menudo sin que la aplicación lo sepa.
Los fallos de residencia de datos más comunes en los sistemas de IA se producen:
- Durante conmutación por error, cuando el tráfico se dirige silenciosamente a otra región
- Durante enrutamiento multimodelo, cuando solo algunos modelos son de ámbito regional
- A través de invocación de herramientas impulsada por agentes, donde las herramientas se encuentran en diferentes regiones
- A través de registros y telemetría, que a menudo se exportan de forma predeterminada
Fundamentalmente, estas fallas ocurren incluso cuando:
- La aplicación está implementada en la región
- El modelo principal se aloja localmente
- Los sistemas de almacenamiento están restringidos por región
Por qué la puerta de enlace de IA se convierte en el punto de aplicación
Todas estas fallas tienen una cosa en común: ocurren en tiempo de ejecución, impulsado por el enrutamiento, los reintentos, la ejecución del agente y el comportamiento de registro.
El AI Gateway es la única capa que:
- Ve todas las solicitudes antes de la ejecución
- Controla la selección, los reintentos y la conmutación por error del modelo
- Interviene en la invocación de agentes y herramientas
- Emite datos de observabilidad
Esta es la razón por la que la residencia de los datos en los sistemas de IA no se puede garantizar únicamente mediante la configuración de la implementación. Debe hacerse cumplir en el AI Gateway, donde las rutas de ejecución se deciden en tiempo real.
En plataformas como True Foundry, la residencia se trata como restricción de tiempo de ejecución estricta, no es una preferencia basada en el mejor esfuerzo para garantizar que ninguna ruta de ejecución, incluidos los escenarios de fracaso, pueda infringir los límites regionales.
La nueva responsabilidad de los datos de la IA: indicaciones, registros y datos transitorios
Los sistemas de IA agentic no solo utilizar datos, ellos generar continuamente nuevas superficies de datos en tiempo de ejecución. Estas superficies no existían en las aplicaciones tradicionales y cambian radicalmente lo que debe tener en cuenta la residencia de los datos.
En los sistemas de IA, la residencia de datos ya no se limita a los datos en reposo. Se extiende a todos los datos creados, procesados u observados durante la inferencia y la ejecución del agente, incluso si esos datos solo existen brevemente.
Los más importantes de estos nuevos pasivos relacionados con los datos suelen ser los menos visibles.
Indicaciones y estado del agente
Las solicitudes de inferencia llevan indicaciones y respuestas a través de AI Gateway, que con frecuencia contiene lógica patentada, datos de clientes o contexto interno confidencial. A diferencia de las API tradicionales, estos datos son de formato libre y no están desinfectados, lo que los hace particularmente riesgosos.
Los flujos de trabajo de agencia presentan contexto y memoria persistentes en todas las interacciones. Si este estado se procesa o reproduce fuera de las regiones aprobadas, se infringe la residencia, incluso cuando las llamadas de inferencia individuales parezcan cumplir con las normas.
Registros, telemetría y datos transitorios
Los sistemas de IA también generan registros, trazas, incrustaciones y metadatos de ejecución que puede codificar información confidencial. Si las canalizaciones de observabilidad exportan estos datos de una región a otra, las infracciones se producen de forma silenciosa.
Fundamentalmente, no es necesario almacenar los datos para no cumplir con las normas. Datos de inferencia transitoria, procesada solo en la memoria durante milisegundos, sigue estando sujeta a los requisitos de residencia si cruza un límite jurisdiccional.
Por qué esto cambia la aplicación de la residencia
Los controles de residencia tradicionales se diseñaron para sistemas estáticos, no para el enrutamiento dinámico, los reintentos, la conmutación por error y la ejecución impulsada por agentes. En los sistemas de IA, se debe hacer cumplir la residencia en tiempo de ejecución, donde se crean estas rutas de datos.
En plataformas como True Foundry, esta aplicación se lleva a cabo en el Puerta de enlace de IA, donde convergen las solicitudes, el contexto del agente, los reintentos y la telemetría, lo que convierte la residencia en una propiedad del sistema y no en una suposición.
Arquitectura TrueFoundry: dónde se impone la residencia de datos

Imponer la residencia de datos en los sistemas de IA requiere más que un despliegue regional. Requiere clara separación de responsabilidades en toda la pila de IA, de modo que la ejecución, el control y las rutas de datos se puedan gestionar de forma independiente.
TrueFoundry está diseñado en torno a un plano dividido arquitectura eso hace que esto sea posible.
En un nivel alto, la plataforma se compone de tres planos distintos:
Esta separación es fundamental para la forma en que la residencia de los datos se aplica de manera confiable en tiempo de ejecución.
Plano de control: configuración y orquestación

El plano de control es la capa de orquestación de la plataforma TrueFoundry. Es responsable de:
- Administración de la configuración y las políticas de la plataforma
- Definición de reglas de enrutamiento, residencia y acceso
- Coordinar las implementaciones de puertas de enlace en todas las regiones
- Administración de los metadatos, el estado de la configuración y los ajustes de gobierno
Fundamentalmente, el plano de control no procesa el tráfico de inferencia y no ejecuta cargas de trabajo. Define qué debería suceder, no donde los datos fluyen en tiempo de ejecución.
Para las empresas con requisitos de cumplimiento estrictos, TrueFoundry es compatible con:
- Implementaciones de planos de control hospedados
- Implementaciones de planos de control autohospedados (opción empresarial)
Esto permite a las organizaciones elegir el equilibrio adecuado entre la simplicidad operativa y los requisitos de soberanía, sin cambiar la forma en que se hace cumplir la ley de residencia en etapas posteriores.
Plano de puerta de enlace: capa de cumplimiento de la ejecución

El plano de puerta de enlace es donde la residencia de datos se aplica activamente.
Las pasarelas de IA de TrueFoundry se encuentran entre las aplicaciones y todos los proveedores de modelos, y actúan como:
- UN controlador de tráfico, decidir hacia dónde se envían las solicitudes
- UN firewall de cumplimiento, evitando rutas de ejecución no conformes
- UN punto de aplicación de políticas, aplicando las normas de residencia en tiempo de ejecución
Todos los eventos de solicitud de inferencia, reintento, conmutación por error, invocación de agentes y observabilidad pasan por la puerta de enlace. Esto le da una visibilidad total de:
- Selección de modelos
- Decisiones de enrutamiento y respaldo
- Ejecución de herramientas de agentes y MCP
- Indicaciones, respuestas y telemetría
Debido a esto, el plano de puerta de enlace es el única capa capaz de imponer la residencia de datos como una restricción estricta.
Si una solicitud no puede satisfacerse dentro de los límites de residencia configurados, la puerta de enlace falla la solicitud cerrada en lugar de dirigirlo silenciosamente a una región que no cumpla con las normas.
Esta es la diferencia clave entre cumplimiento del tiempo de ejecución y configuración con el máximo esfuerzo.
Compute Plane: entorno de ejecución propiedad del cliente

El plano de cómputos es donde realmente se ejecutan las aplicaciones, los agentes y las cargas de trabajo.
En TrueFoundry, el plano de cálculo:
- Siempre corre por dentro infraestructura propiedad del cliente
- Suele ser uno o más clústeres de Kubernetes (EKS, GKE, AKS, OpenShift o locales)
- TrueFoundry nunca lo opera ni accede a él directamente
Este diseño garantiza que:
- El código de la aplicación nunca sale del entorno del cliente
- Las solicitudes de inferencia se originan en una infraestructura controlada por el cliente
- Las garantías de residencia de datos no se ven socavadas por los entornos de ejecución compartidos
TrueFoundry no ejecuta las cargas de trabajo de los clientes en cómputos compartidos. En su lugar, se integra con los clústeres existentes del cliente o ayuda a aprovisionar otros nuevos, manteniendo la ejecución dentro de los límites de confianza de la organización.
Por qué esta arquitectura es importante para la residencia de datos
Esta separación de planos permite a TrueFoundry imponer la residencia de los datos. sin compromiso:
- Plano de control define la política de residencia
- Plano Gateway lo hace cumplir en tiempo de ejecución
- Plano de cálculo garantiza que la ejecución se mantenga dentro de los límites del cliente
Dado que la aplicación se aplica en la puerta de enlace, donde convergen el enrutamiento, los reintentos, los agentes y los registros, la residencia de los datos se mantiene incluso en los siguientes casos:
- Fallos y reintentos
- Enrutamiento multimodelo
- Flujos de trabajo de agencia
- Observabilidad de alto volumen
Esto es lo que permite que la residencia de datos se convierta en propiedad del sistema, no es una suposición vinculada a los diagramas de despliegue.
Cómo aplica TrueFoundry la residencia de datos
La residencia de datos en los sistemas de IA no es un cambio único, sino que debe aplicarse en todos los sistemas ejecución, enrutamiento y almacenamiento. En True Foundry, esto se logra mediante tres modos de aplicación complementarios que, en conjunto, cubren todo el ciclo de vida de los datos de IA.
Cada modo aborda una clase diferente de riesgo de residencia y se puede usar de forma independiente o en combinación, según los requisitos de la empresa.
1. Los datos nunca salen de su entorno
Para las organizaciones con las necesidades de residencia y cumplimiento más estrictas, TrueFoundry permite un modelo de implementación donde los datos nunca salen del entorno del cliente.
En este modo:
- Todas las cargas de trabajo de las aplicaciones se ejecutan en clústeres de Kubernetes propiedad del cliente
- Los modelos, los artefactos y el tráfico de inferencias permanecen en la cuenta de nube o en el entorno local del cliente
- No se procesan los datos de los clientes en la computación compartida propiedad de TrueFoundry
- La salida de datos a sistemas externos se puede eliminar por completo
Esto se aplica tanto a:
- Implementaciones de planos de control autohospedados
- Despliegues de planos de control gestionados, donde los clientes aún mantienen el control sobre la región de la puerta de enlace, el almacenamiento y los límites de ejecución
Al garantizar que la ejecución y las rutas de datos permanezcan completamente dentro de la infraestructura controlada por el cliente, este modo proporciona las garantías de residencia más sólidas posibles y simplifica las auditorías reglamentarias.
2. Datos restringidos a un país o región específicos

Muchas empresas necesitan operar a nivel mundial y, al mismo tiempo, garantizar que los datos de una geografía determinada nunca cruzan los límites jurisdiccionales.
TrueFoundry refuerza esto a través de despliegues de AI Gateway específicos de la región:
- Los puntos finales de puerta de enlace se implementan en regiones o países específicos
- Las solicitudes dirigidas a través de un punto final de puerta de enlace determinado se procesan solo dentro de esa región.
- El enrutamiento, los reintentos y las rutas de conmutación por error están restringidos a la infraestructura regional y local
Las aplicaciones eligen explícitamente qué punto final de puerta de enlace regional usar. Esto hace que la residencia de datos:
- Explícito, no implícito
- Configurable por carga de trabajo o entorno
- Aplicable en tiempo de ejecución, no solo durante el despliegue
Si no existe una ruta de ejecución que cumpla con los requisitos de residencia para una solicitud, la puerta de enlace falla la solicitud cerrada en lugar de dirigirlo a otra región. Esto garantiza que los mecanismos de disponibilidad nunca anulen la intención de cumplimiento.
3. Almacenamiento específico de la región por carga de trabajo
La inferencia y la ejecución son solo una parte de la historia de residencia de datos. Registros, trazas, indicaciones y telemetría a menudo contienen información igualmente confidencial y deben seguir las mismas reglas de residencia.
TrueFoundry permite a las empresas imponer la residencia en la capa de almacenamiento de la siguiente manera:
- Uso proyectos de rastreo y tala específicos de la región
- Apoyando depósitos de almacenamiento gestionados por el cliente desplegado en regiones específicas
- Garantizar que los datos de observabilidad se escriban solo en el almacenamiento regional aprobado
Esto permite:
- Almacene los datos europeos exclusivamente en las regiones de la UE
- Mantenga las cargas de trabajo reguladas (por ejemplo, ITAR, financieras, sanitarias) limitadas a las fronteras nacionales
- Aísle los datos en todas las regiones, incluso dentro de la misma implementación global
Como estas opciones de almacenamiento se integran directamente en la configuración del SDK y la puerta de enlace de IA, los datos de observabilidad siguen las mismas garantías de residencia que el tráfico de inferencia.
Por qué estos tres modos son importantes juntos
Cada modo de aplicación resuelve un problema diferente:
- Aislamiento a nivel de entorno evita la salida incontrolada de datos
- Puertas de enlace a nivel regional restringir las rutas de ejecución en tiempo de ejecución
- Almacenamiento específico de la región cierra las brechas de observabilidad y registro
Juntos, garantizan que se haga cumplir la residencia de los datos:
- Al otro lado inferencia, agentes y herramientas
- Al otro lado escenarios normales de ejecución y error
- Al otro lado datos en reposo y datos en movimiento
Este enfoque por capas es lo que permite a TrueFoundry convertir la residencia de datos en un configuración óptima en un propiedad del sistema verificable y aplicada en tiempo de ejecución.
En True Foundry, la residencia de los datos se aplica mediante capas múltiples y explícitas dentro de AI Gateway, cada uno de los cuales aborda una clase diferente de riesgo de ejecución.
Estas capas trabajan en conjunto para garantizar que las garantías de residencia se mantengan en condiciones reales.
Cómo se aplica la residencia de datos en tiempo de ejecución en TrueFoundry AI Gateway
En los sistemas de IA, las garantías de residencia de datos solo se mantienen si se cumplen en tiempo de ejecución, en todas las rutas de ejecución, no solo durante la operación en estado estacionario. En True Foundry, el AI Gateway es el punto de cumplimiento en el que convergen las decisiones de enrutamiento, los reintentos, la ejecución de los agentes y la observabilidad.
Los siguientes mecanismos explican cómo se aplica la residencia de datos de manera determinista dentro del TrueFoundry AI Gateway.
Enrutamiento de inferencia y residencia de modelos
Los modelos de TrueFoundry están registrados en afinidad de región explícita. El AI Gateway evalúa las restricciones de residencia antes del enrutamiento cualquier solicitud y solo selecciona puntos finales modelo que sean aptos para la región permitida de la carga de trabajo.
Esto evita:
- Uso accidental de modelos alojados en todo el mundo o no residentes
- Enrutamiento entre regiones durante el equilibrio de carga
- La residencia se desvía a medida que se agregan nuevos modelos o se actualizan los modelos existentes
Porque la residencia se trata como restricción de enrutamiento estricto, no es una preferencia, nunca se consideran los modelos que no cumplen con las normas, incluso si están disponibles o son más rápidos.
Controles de reintento, conmutación por error y alta disponibilidad
Los reintentos y las rutas de conmutación por error son la fuente más común de violaciones silenciosas de residencia de datos en sistemas de IA.
La puerta de enlace de IA de TrueFoundry aplica:
- Grupos de reintentos bloqueados por región, garantizando que los reintentos nunca salgan de la región permitida
- Conmutación por error con reconocimiento de residencia, donde los objetivos alternativos se limitan a la misma jurisdicción
- Comportamiento cerrado por error, donde las solicitudes se rechazan si no existe una ruta de ejecución que cumpla con los requisitos de residencia
Esto garantiza que los mecanismos de disponibilidad nunca anulen la intención de cumplimiento. Si una ruta compatible no está disponible, el sistema falla de forma explícita en lugar de enrutar los datos entre regiones.
Ejecución de herramientas Agent & MCP
Para las cargas de trabajo de las agencias, la residencia de los datos debe permanecer uniforme en todas partes inferencia de modelos e invocación de herramientas posteriores.
TrueFoundry aplica:
- Entornos de ejecución de agentes con ámbito regional
- Prevención de la invocación de la herramienta MCP entre regiones
- Políticas de residencia coherentes en los flujos de trabajo de agentes de varios pasos
Esto elimina un modo de error común en el que la inferencia sigue siendo compatible, pero los agentes filtran datos de forma indirecta a través de herramientas o servidores MCP implementados en otras regiones.
Observabilidad, registros y telemetría

Los canales de observabilidad con frecuencia se pasan por alto en los diseños de residencia de datos, a pesar de que a menudo contienen datos altamente sensibles.
La puerta de enlace de IA de TrueFoundry garantiza que:
- Las indicaciones, las respuestas y los seguimientos se pueden almacenar dentro de la región
- La exportación de telemetría respeta las mismas restricciones de residencia que la inferencia
- Las rutas de depuración y monitoreo no filtran datos a través de las fronteras regionales
Esto cierra una de las brechas de residencia más persistentes en los sistemas de IA, donde la inferencia cumple con las normas, pero los registros y las trazas no.
Por qué importa el cumplimiento del tiempo de ejecución
Estos mecanismos de cumplimiento se aplican de manera uniforme en:
- Rutas de ejecución normales
- Reintentos y errores parciales
- Enrutamiento multimodelo
- Flujos de trabajo basados en agencias y herramientas
Porque la aplicación ocurre antes de la ejecución, la residencia de datos se convierte en propiedad verificable del sistema, no es una configuración óptima vinculada a la ubicación de la infraestructura.
Escenarios comunes de fallas en la residencia de datos y cómo los previene TrueFoundry
La mayoría de las infracciones de residencia de datos en los sistemas de IA no se deben a errores de configuración obvios. Surgen de casos extremos y rutas de excepción que rara vez se prueban hasta que algo sale mal.
A continuación se muestran los escenarios de fracaso más comunes a los que se enfrentan las empresas y cómo Puerta de enlace de IA TrueFoundry está diseñado para prevenirlas.
Escenario de error 1: conmutación por error entre regiones durante interrupciones
Qué ocurre en muchos sistemas
Un punto final del modelo regional deja de estar disponible. El AI Gateway vuelve a intentarlo automáticamente o conmuta por error al siguiente punto final disponible, a menudo en otra región.
Desde el punto de vista de la disponibilidad, esto parece un éxito.
Desde el punto de vista del cumplimiento, se trata de una violación silenciosa.
Cómo evita esto TrueFoundry
- Los objetivos de conmutación por error están restringidos a la misma región
- Los grupos de reintentos están bloqueados por región
- Si no existe un punto final compatible, la solicitud no se cierra
Esto asegura que los mecanismos de disponibilidad nunca anulan la política de residencia.
Escenario de error 2: Residencia parcial en configuraciones multimodelo

Qué ocurre en muchos sistemas
Algunos modelos se implementan en la región, mientras que otros (a menudo copias de seguridad o modelos más nuevos) se alojan en todo el mundo. Las políticas de enrutamiento seleccionan involuntariamente modelos no residentes.
Cómo evita esto TrueFoundry
- Los modelos se registran con una afinidad regional explícita
- La residencia se aplica como una restricción de ruta estricta
- Los modelos que no cumplen con los requisitos nunca son aptos para la selección
Esto hace que las garantías de residencia sean resistentes a la rotación de modelos y a la experimentación.
Escenario de error 3: Invocación de herramientas interregionales impulsada por agentes
Qué ocurre en muchos sistemas
La inferencia se ejecuta localmente, pero los agentes invocan herramientas o servidores MCP implementados en otras regiones, lo que genera un movimiento indirecto de datos.
Cómo evita esto TrueFoundry
- La ejecución del agente y el acceso a la herramienta MCP están regulados por regiones
- La invocación de herramientas entre regiones está bloqueada en la puerta de enlace
- Las políticas de residencia se aplican de manera uniforme en los flujos de trabajo de varios pasos
Esto mantiene la residencia uniforme en todas las inferencias y ejecución posterior.
Escenario de falla 4: Observabilidad y fuga de telemetría
Qué ocurre en muchos sistemas
Las indicaciones, las respuestas y los seguimientos se exportan a servicios centralizados de registro o supervisión fuera de la región, a menudo de forma predeterminada.
Cómo evita esto TrueFoundry

- Los oleoductos de observabilidad tienen en cuenta la residencia
- La exportación de telemetría está configurada y restringida de forma explícita
- Las rutas de depuración respetan las mismas reglas de residencia que la inferencia
Esto cierra una de las brechas de cumplimiento que más se pasan por alto en los sistemas de IA.
Cómo las empresas pueden verificar la residencia de los datos en TrueFoundry
Las garantías de residencia solo tienen sentido si pueden ser verificado y demostrado. TrueFoundry permite a las empresas validar la residencia de los datos mediante visibilidad y auditabilidad del tiempo de ejecución, no suposiciones posthoc.
Visibilidad de cumplimiento de la ejecución
El AI Gateway proporciona visibilidad de:
- Qué modelo de punto final gestionó una solicitud
- En qué región se llevó a cabo la ejecución
- Si se activó alguna ruta de reintento o alternativa
Esto permite a los equipos confirmar que cada ruta de ejecución siguió cumpliendo con los requisitos.
Registros y rastreos listos para la auditoría
Para las revisiones de cumplimiento y seguridad, TrueFoundry presenta:
- Registros estructurados que muestran las decisiones de enrutamiento y ejecución
- Metadatos de región asociados a la inferencia y las acciones del agente
- Evidencia de que las rutas no conformes estaban bloqueadas
Esto hace posible demostrar la residencia durante las auditorías, en lugar de basarse únicamente en diagramas arquitectónicos.
Probar la residencia en condiciones de fracaso
Una ventaja clave de la aplicación a nivel de puerta de enlace es la capacidad de prueba.
Las empresas pueden:
- Simule interrupciones regionales
- Observe el comportamiento de conmutación por error
- Valide que las solicitudes no se cierren correctamente en lugar de redirigirlas entre regiones
Esto convierte la residencia de un requisito estático en un propiedad del sistema verificable de forma continua.
Conclusión
En los sistemas de IA modernos, la residencia de los datos no se puede garantizar únicamente con las opciones de implementación. El enrutamiento dinámico, los reintentos, los flujos de trabajo de los agentes y los canales de observabilidad introducen rutas de ejecución en las que los datos pueden cruzar silenciosamente las fronteras regionales.
El Puerta de enlace de IA es la única capa con suficiente contexto para evitarlo. Ve cada solicitud de inferencia, cada reintento, cada acción del agente y cada rastreo emitido por el sistema. Si la residencia no se aplica aquí, no se puede hacer cumplir de manera uniforme en ningún otro lugar.
En True Foundry, la residencia de datos se trata como propiedad del sistema de ejecución. Las rutas de ejecución están restringidas por el diseño, los casos de excepción no se cierran y la aplicación es observable y auditable. Esto hace que las garantías de residencia sean resilientes no solo durante el estado estacionario, sino también en caso de fracaso, escala y cambio.
Para las empresas que implementan la IA en entornos regulados o multirregionales, esa distinción es importante. La residencia de datos ya no es una casilla de verificación, sino un compromiso arquitectónico. Y el AI Gateway es el lugar donde ese compromiso se hace realidad.
TrueFoundry AI Gateway ofrece una latencia de entre 3 y 4 ms, gestiona más de 350 RPS en una vCPU, se escala horizontalmente con facilidad y está listo para la producción, mientras que LitellM presenta una latencia alta, tiene dificultades para superar un RPS moderado, carece de escalado integrado y es ideal para cargas de trabajo ligeras o de prototipos.
La forma más rápida de crear, gobernar y escalar su IA















.png)


.webp)




.webp)







