TrueFoundry frente a OpenRouter: despliegue y arquitectura. ¿Se puede ejecutar autoalojado? (2026)
.webp)
Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
¡Una forma increíblemente rápida de crear, rastrear e implementar sus modelos!
- Gestiona más de 350 RPS en solo 1 vCPU, sin necesidad de ajustes
- Listo para la producción con soporte empresarial completo
OpenRouter es un enrutador SaaS gestionado que no dispone de edición autoalojada, en VPC o local (on-prem) en ningún nivel, y cada prompt que le envías sale de tu red. Esto no es una crítica al producto; es su arquitectura. Sin embargo, es el hecho único que pone fin a la mayoría de las evaluaciones empresariales de OpenRouter antes de comenzar la comparación de funciones, y es la razón por la que los equipos de plataforma y seguridad terminan comparándolo con un AI gateway que puedan ejecutar ellos mismos.
Esta publicación está dirigida a quienes tienen que responder "dónde se ejecuta y adónde van los prompts": ingenieros de plataforma que dimensionan un despliegue en producción, responsables de seguridad con requisitos de límites de datos y arquitectos que desean saber qué hacen realmente un plano de control y un plano de pasarela. Comparamos el modelo exclusivamente alojado de OpenRouter con los cuatro modos de despliegue de TrueFoundry AI Gateway (SaaS gestionado, SaaS con almacenamiento propio, híbrido y totalmente autoalojado o desconectado), analizamos la arquitectura que hace posibles estos modos y explicamos claramente qué tendrías que operar en cada uno. Cada afirmación proviene de la documentación pública de ambos proveedores.
Si ya sabes que necesitas una pasarela dentro de tus propios límites, puedes reservar una demostración de TrueFoundry e ir directamente a la tabla comparativa a continuación.
De un vistazo
Por qué "OpenRouter autoalojado" no tiene respuesta
OpenRouter ejecuta tanto su plano de control como su plano de datos en su propia infraestructura. Tú no operas ninguno de los dos, por lo que no hay nada que desplegar, no hay integración con Kubernetes, no existen dependencias con estado de tu lado ni hay actualizaciones que ejecutar. La arquitectura orientada al cliente consiste en un punto de extremo y una clave. En lugar de modos de despliegue, lo que varía es el punto de extremo: el global openrouter.ai/api/v1 por defecto, y para los clientes Enterprise, URL base específicas de la región en eu.openrouter.ai y us.openrouter.ai, donde las solicitudes se descifran y procesan únicamente dentro de esa región y se enrutan solo a proveedores que operan allí. Private Models, también en Enterprise, permite a OpenRouter llamar a un punto de extremo de modelo alojado por ti, integrado manualmente por su equipo (Models).
Nada de eso es autoalojamiento. Los prompts, las respuestas y los metadatos transitan por OpenRouter y, a continuación, por el proveedor que atienda la solicitud. OpenRouter documenta tres controles adyacentes, y vale la pena ser preciso sobre lo que hace cada uno: el enrutamiento dentro de la región restringe la jurisdicción en la que se descifran los datos; el enrutamiento sin retención de datos limita las solicitudes a proveedores que no almacenan prompts ni respuestas; y provider.data_collection: "deny" enruta solo a proveedores que no recopilan datos de los usuarios. Los tres gobiernan adónde van los datos y qué se conserva. Ninguno de ellos cambia el hecho de si salen de la red. La conmutación por error entre los dos puntos de extremo regionales no está documentada.
La otra cara de la moneda merece el mismo peso. La ausencia de infraestructura a cualquier escala es una ventaja real, y el trabajo operativo no desaparece, sino que se traslada a tu aplicación: gestión de reintentos y tiempos de espera en el cliente, un saldo de crédito monitorizado y la decisión de mantener o no una ruta directa al proveedor como segunda vía, ya que una pasarela alojada es un punto único en la ruta de la solicitud.
Los cuatro modos de despliegue de TrueFoundry
Un AI gateway autoalojado suele ser un fork del producto de un proveedor: un binario diferente, un conjunto de funciones distinto, un contrato de soporte diferente. TrueFoundry ofrece cuatro modos como un único producto sobre un solo plano de control, lo que constituye la diferencia estructural en este tema (modes of deployment):
- Totalmente gestionado en SaaS. Nosotros alojamos todo; cero costes de infraestructura; una pasarela distribuida globalmente.
- SaaS con almacenamiento de datos propiedad del cliente. La misma pasarela gestionada, con trazas y registros almacenados en tu propio bucket de almacenamiento en la región que elijas.
- Híbrido. Un plano de pasarela autoalojado en tu VPC, de modo que la ruta de datos permanezca en el interior, junto con un plano de control alojado por TrueFoundry. Aproximadamente 600 $/mes en infraestructura base.
- Totalmente autoalojado. El plano de control y el plano de pasarela se encuentran en tu VPC o en tus instalaciones, con soporte para entornos desconectados (air-gapped). Aproximadamente 800–1000 $/mes en infraestructura base.
Los modos resuelven diferentes problemas, y confundirlos es el error más común que vemos en las evaluaciones. El Modo 2 resuelve la residencia de datos sin resolver la salida de la ruta de datos: los prompts siguen transitando por nuestra pasarela. El Modo 3 resuelve la salida de la ruta de datos, porque los prompts nunca salen de tu VPC, al tiempo que mantiene las operaciones cerca de cero, ya que el plano de pasarela no almacena estado. El Modo 4 resuelve todo excepto una llamada de respuesta divulgada: el inicio de sesión y las licencias transitan por nuestro servidor de autenticación global, que recibe las direcciones de correo electrónico de los usuarios y el recuento de solicitudes, pero nada de la ruta de la solicitud. Si ya estás ejecutando modelos en tu propio entorno, nuestra guía sobre on-premise LLM deployment explica cómo la pasarela se sitúa junto a ellos.
Dos notas al pie honestas. No existe una edición autoalojada de código abierto; el nivel Developer de 0 $ es un nivel SaaS, no un binario autoalojable, y el autoalojamiento es una capacidad del plan Enterprise. Además, pasar de un modo a otro (comenzar en SaaS y pasar a híbrido) está implícito en la arquitectura de plano de control compartido, pero aún no está documentado como un procedimiento de migración oficialmente admitido.
Arquitectura de pasarela LLM: lo que aporta un plano de pasarela sin estado
La razón por la que los cuatro modos pueden ser un solo producto es la separación entre el plano de control y el plano de pasarela, y la razón por la que el modo híbrido es económico de ejecutar es por lo que el plano de pasarela no hace.
El plano de pasarela es completamente sin estado. La configuración (modelos, claves, directivas, RBAC) se sincroniza desde el plano de control a través de una cola de NATS y se mantiene en memoria. Cada comprobación en la ruta de la solicitud (autenticación, RBAC, límites de velocidad, presupuestos) se ejecuta en memoria, sin llamadas a bases de datos en la ruta crítica (hot path). Los registros y las métricas se envían de forma asíncrona tras la respuesta, de modo que la escritura de un registro nunca bloquea una solicitud. El plano de control mantiene todo el estado: Postgres para la configuración y los usuarios, NATS para la sincronización, ClickHouse respaldado por almacenamiento de blobs para registros y analíticas (gateway plane architecture, control plane architecture). Esto es lo que proporciona a la pasarela aproximadamente 3–4 ms de latencia añadida y más de 350 solicitudes por segundo en un solo vCPU mientras gestiona más de 2500 LLM a través de un único punto de extremo compatible con OpenAI, y es la razón por la que varios planos de pasarela pueden conectarse a un solo plano de control para despliegues en múltiples VPC y regiones.

Dos puntos de precisión mantienen honesta esta afirmación sobre la arquitectura del AI gateway. "Sin llamadas externas en la ruta de la solicitud" tiene excepciones documentadas: Redis en rutas con caché activada, y cualquier guardarraíl gestionado por TrueFoundry adjunto a una ruta añade un salto de red. Además, la separación no es una función exclusiva del modo híbrido; el SaaS completo ejecuta la misma arquitectura, por lo que el modo híbrido es el mismo producto con un plano reubicado en lugar de un fork.
La separación también responde a la pregunta que se hacen todos los equipos de plataforma: ¿qué ocurre cuando el plano de control no está accesible? La pasarela sigue prestando servicio con la última configuración sincronizada. Lo que se degrada es la frescura de la configuración, la precisión del presupuesto agregado y la capacidad de iniciar nuevos pods. El peor de los casos es que NATS y el backend del plano de control estén caídos al mismo tiempo, momento en el que la sincronización en tiempo real se detiene, la canalización de registros se frena, los contadores agregados se congelan y el reinicio de pods falla. Con NATS activo y solo el backend caído, la sincronización, la agregación y los registros continúan, afectando únicamente a la interfaz de usuario y a la API (deployment FAQ). El equivalente en OpenRouter es más simple y más severo: el plano de control y el plano de datos son un único sistema alojado sin alternativa gestionada por el cliente, por lo que una interrupción allí elimina todos los proveedores a la vez, que es precisamente el fallo que se busca evitar al adoptar un enrutador multiproveedor.

El plano de pasarela está escrito en Hono sobre Node.js y se distribuye como el chart de Helm tfy-llm-gateway para Kubernetes 1.27+ (compatible con EKS, GKE, AKS, OpenShift y entornos locales según la documentación). No hay CRD ni operadores: los objetos de la pasarela residen en el plano de control y se sincronizan a través de NATS, por lo que kubectl nunca toca la configuración de la pasarela. Un solo cerebro, sin desviaciones por clúster, con un coste honesto: la directiva de la pasarela no se puede gestionar mediante GitOps a través de manifiestos de Kubernetes, y GitOps/IaC es una capacidad del nivel Enterprise (deploy gateway plane).

Entorno desconectado (air-gapped) y residencia de datos: las afirmaciones precisas
Las afirmaciones de "entorno desconectado" en este mercado se dividen en tres niveles, y un comprador debe saber cuál le están vendiendo. Un entorno desconectado a nivel de marketing es SaaS con redes privadas. Un entorno desconectado en la ruta de datos significa que ningún dato de la solicitud sale jamás, con la excepción divulgada del canal de control. Un entorno desconectado literalmente significa que no hay salida de ningún tipo, con licencias fuera de línea.
TrueFoundry se sitúa firmemente en el segundo nivel. Las instalaciones totalmente autoalojadas en entornos restringidos están documentadas, con réplicas de imágenes y charts en registros privados y sin dependencia de la internet pública para el tráfico de servicio. La licencia es una clave almacenada como un Kubernetes Secret, validada en el momento del inicio y de la sincronización en lugar de por solicitud; los pods en ejecución siguen prestando servicio indefinidamente sin conectividad con el servidor de licencias, y solo el inicio de nuevos pods requiere el plano de control y NATS. No existe una licencia fuera de línea basada en archivos, lo que marca la distancia con respecto al tercer nivel. Un límite que debe tenerse en cuenta al evaluar la afirmación de LLM desconectado: nuestro guardarraíl de PII integrado utiliza Azure AI Language y se ejecuta en la infraestructura gestionada de TrueFoundry, por lo que activarlo en un despliegue autoalojado envía el contenido de las solicitudes a través del límite. Las configuraciones desconectadas deben utilizar guardarraíles autoalojados o personalizados en su lugar (PII guardrail).
OpenRouter no encaja en esta escala. En cuanto a la residencia de datos en OpenRouter específicamente, el hallazgo más destacado en su documentación es que el registro de entradas y salidas (Input & Output Logging) no se aplica a las solicitudes enrutadas a través de los puntos de extremo de la UE o EE. UU.; esas solicitudes se procesan normalmente, pero se omite el registro. Por lo tanto, el procesamiento en la región y el contenido de los prompts almacenados son mutuamente excluyentes, de modo que un comprador empresarial que requiera residencia en la UE no puede disponer al mismo tiempo de depuración o auditoría a nivel de prompt a través de la plataforma. Dónde se almacenan los metadatos de las solicitudes retenidas por OpenRouter, y en qué región, es algo que no está documentado.
En cuanto a la multirregión: TrueFoundry SaaS conmuta por error automáticamente a la pasarela saludable más cercana (globally distributed SaaS); el entorno autoalojado multirregión consiste en varios planos de pasarela bajo un solo plano de control (Enterprise), quedando el enrutamiento de tráfico y la recuperación ante desastres del plano de control bajo tu propio diseño.

TrueFoundry frente a OpenRouter: comparación directa de despliegue y arquitectura
Las capacidades de TrueFoundry proceden de nuestra documentación; las capacidades de OpenRouter reflejan su funcionalidad documentada públicamente en el momento de escribir este artículo.
Qué operas y cuánto cuesta
La base de producción de TrueFoundry se define por el modo y no por la escala. En modo híbrido es un clúster de Kubernetes distribuido en dos zonas de disponibilidad, dos o más réplicas de pasarela sin estado con escalado automático y antiafinidad, Ingress con TLS, salida hacia el plano de control y proveedores, y Redis solo si usas caché o necesitas presupuestos exactos entre réplicas. La alta disponibilidad consiste simplemente en réplicas. Pasar a un entorno totalmente autoalojado multiplica tus componentes con estado de uno opcional a cuatro obligatorios: Postgres gestionado multizona, un clúster NATS de tres nodos, ClickHouse replicado y almacenamiento de blobs duradero, siendo cada uno de ellos un servicio gestionado o parte de las responsabilidades de tu equipo de guardia. Por eso los costes base son de unos 600 $/mes para el modo híbrido y de 800–1000 $/mes para el totalmente autoalojado antes de escalar, y por lo que estimamos aproximadamente 0,1–0,15 EJC (equivalente a jornada completa) para el modo híbrido y 0,3–0,5 EJC para un plano de control autoalojado (estimaciones propias, no cifras publicadas).

El coste de OpenRouter es de 0 $ y aproximadamente 0,02 EJC para un equipo pequeño, lo cual representa una ventaja real. La comparación que un comprador debería hacer no es "gratis frente a 800 $": es si el requisito que le llevó a buscar un LLM gateway empresarial puede cumplirse con un producto alojado. Si los prompts deben permanecer dentro del límite, el coste de infraestructura es el precio de cumplir el requisito. El campo más amplio de opciones autoalojadas se cubre en nuestra guía sobre OpenRouter alternatives.
Cuándo elegir cada uno
- Elige OpenRouter cuando no quieras infraestructura en absoluto y tus prompts puedan transitar por un tercero. Planifícalo como una API SaaS con resiliencia en el cliente: reintentos, un saldo de crédito monitorizado y una ruta de respaldo directa al proveedor para cualquier proceso crítico.
- Elige TrueFoundry SaaS cuando quieras cero infraestructura hoy pero preveas la necesidad de un despliegue en VPC o híbrido durante el próximo año. Es el mismo producto sobre el mismo plano de control, por lo que la vía existe aunque el procedimiento de migración no esté documentado formalmente todavía.
- Elige TrueFoundry híbrido cuando los prompts deban permanecer en tu VPC pero no quieras operar un plano de control con estado. La huella de infraestructura es de dos o más réplicas sin estado y Redis opcional, que es el modo en el que la arquitectura demuestra su valor.
- Elige TrueFoundry totalmente autoalojado cuando el propio plano de control deba estar dentro de tus límites: entornos desconectados, regulados o impulsados por soberanía de datos. Presupuesta la pila de cuatro componentes con estado y un grupo de nodos dedicado, utiliza guardarraíles autoalojados en lugar del guardarraíl de PII integrado y diseña tu propio plan de recuperación ante desastres para el plano de control.
Lecturas relacionadas
- On-Premise LLM Deployment: ejecución de modelos y de la pasarela dentro de tu propio entorno
- On-Premise AI Platform: cómo es una pila de IA completa en instalaciones locales
- OpenRouter Alternatives: el espectro más amplio de opciones empresariales y autoalojadas
- What is an LLM Gateway?: la introducción arquitectónica
- OpenRouter vs AI Gateway: la diferencia de categoría detrás de esta comparación
Conclusión
OpenRouter autoalojado no es un producto existente, y ninguna cantidad de enrutamiento regional o configuración sin retención convierte un mercado alojado en uno autoalojado. OpenRouter gana en el apartado de despliegue por simplicidad y pierde en opciones: nada que ejecutar, nada que puedas mantener dentro de tu red. TrueFoundry gana en opciones y lo paga en huella de infraestructura: cuatro modos en un solo plano de control, un plano de pasarela sin estado que sigue prestando servicio durante las caídas del plano de control y una opción autoalojada cuyo coste es una pila con estado y el tiempo de un ingeniero. Para cualquier organización con requisitos de límites de datos, la decisión se toma únicamente en este apartado.
Si estás evaluando un AI gateway para un despliegue en VPC, híbrido o desconectado, reserva una demostración para ver el plano de pasarela ejecutándose dentro de tu propio clúster, o explora TrueFoundry AI Gateway para comenzar en SaaS gestionado y trasladar el plano más adelante.
TrueFoundry AI Gateway ofrece una latencia de entre 3 y 4 ms, gestiona más de 350 RPS en una vCPU, se escala horizontalmente con facilidad y está listo para la producción, mientras que LitellM presenta una latencia alta, tiene dificultades para superar un RPS moderado, carece de escalado integrado y es ideal para cargas de trabajo ligeras o de prototipos.













.webp)

.webp)






