Enrutamiento inteligente de LLM: Selección de modelos en el gateway optimizando costes, latencia y calidad

Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
¡Una forma increíblemente rápida de crear, rastrear e implementar sus modelos!
- Gestiona más de 350 RPS en solo 1 vCPU, sin necesidad de ajustes
- Listo para la producción con soporte empresarial completo
Una aplicación en 2026 no habla con un solo modelo: habla con un catálogo de ellos, que abarca modelos punteros (frontier), de gama media, económicos y alojados en infraestructura propia (self-hosted). El enrutamiento es la directiva que elige uno por cada solicitud, equilibrando tres objetivos que compiten entre sí: coste, latencia y calidad. Este artículo recorre las estrategias de enrutamiento, desde reglas estáticas hasta el enrutamiento semántico y las cascadas de modelos, el complejo problema de medir la calidad en la que se basa el enrutamiento, por qué el enrutamiento no es una conmutación por error (failover) y la instrumentación necesaria para evitar que un enrutador falle en silencio.
Martes en Northwind. Omar, ingeniero de plataforma, se sentía orgulloso de una cifra al cerrar el trimestre: una reducción del 41 % en la factura de LLM de la empresa. Había construido un enrutador. Las llamadas sencillas de clasificación y detección de intenciones se enviaban a un modelo económico; solo las solicitudes realmente complejas —razonamiento multipasos, generación de código— llegaban al modelo puntero. Funcionó. El departamento financiero lo notó.
Entonces llegó la factura de la segunda semana: el triple que la de la primera, sin ningún aumento de tráfico. Omar investigó el origen. Su cascada incluía un verificador: la respuesta del modelo económico se validaba mediante un esquema y, si la comprobación fallaba, la solicitud se escalaba al modelo puntero. Una actualización por parte del proveedor había modificado sutilmente el formato de salida del modelo económico, la validación del esquema empezó a fallar en la mayoría de las respuestas y el enrutador escaló en silencio alrededor del 90 % del tráfico al modelo más caro. Sin errores. Sin alertas. El enrutador hizo exactamente lo que se le ordenó; simplemente dejó de hacer lo que Omar pretendía. La tasa de escalada llevaba nueve días subiendo y nadie la estaba monitorizando.
El enrutamiento suele ser una de las palancas con mayor impacto en el coste dentro de una arquitectura de LLM y una de las más fáciles de configurar mal de forma silenciosa. Este artículo detalla las estrategias, sus consideraciones y la instrumentación necesaria para mantener la precisión de un enrutador.
Qué ofrece el AI Gateway de TrueFoundry en este ámbito
Las estrategias de enrutamiento de este artículo no son abstracciones: es cómo se configura el AI Gateway de TrueFoundry. Su configuración de enrutamiento evalúa cada solicitud por modelo, por sujeto (usuario, equipo o cuenta virtual) o mediante una cabecera X-TFY-METADATA, aplica las reglas de arriba a abajo asignando la primera coincidencia y envía la solicitud a un modelo de destino; todo ello mediante YAML aplicado en el gateway, en lugar de lógica condicional en la aplicación.
Las tres estrategias se corresponden con la escala de la sección 2: basada en pesos para divisiones y despliegues canary, basada en latencia para favorecer el destino saludable con menor latencia, y basada en prioridad para preferencias ordenadas con fallback. Las personalizaciones por destino también resuelven el problema de los prompts específicos por modelo expuesto en este artículo: puede adjuntar un prompt_version_fqn diferente por destino para que cada modelo reciba un prompt optimizado, junto con reintentos y fallbacks por destino. (Para nuevas configuraciones, la documentación recomienda Virtual Models, que empaquetan las mismas estrategias, reintentos y fallbacks con una gestión de accesos y propiedad por modelo más clara).


Llamar al gateway desde una aplicación solo requiere cambiar una línea de código para cualquier integración que ya utilice el SDK de OpenAI —mismo cliente, diferente URL base y clave API—, y la decisión de enrutamiento ocurre en el gateway, no en su código. La aplicación también puede enviar una cabecera X-TFY-METADATA para que el gateway enrute por tarea, entorno o cliente (tenant) sin necesidad de rutas condicionales en el código:
Llamada al gateway desde Python (API compatible con OpenAI)
1. El problema del enrutamiento: Múltiples modelos, una sola solicitud
Una aplicación empresarial en 2026 dispone de un catálogo de modelos con economías de uso muy diversas. Los modelos económicos (como Claude Haiku 4.5, a unos 1 $ por millón de tokens de entrada) son notablemente más baratos que los modelos punteros según las tarifas estándar actuales y, en la práctica, suelen ofrecer menor latencia. Los modelos de gama media (Sonnet 4.6, a 3 $ por millón de tokens de entrada) se sitúan en un punto intermedio. Los modelos de código abierto alojados en infraestructura propia (Llama, Mistral) cambian el precio por token por una capacidad fija de GPU y control de datos: resultan más económicos con una utilización alta y sostenida, pero caros si la utilización es baja. Además, cada modelo presenta un perfil de calidad distinto según la tarea: un modelo excelente para código puede ser mediocre extrayendo información, y viceversa.
El enrutamiento es la directiva que asigna cada solicitud entrante a uno de estos modelos. Los tres objetivos compiten entre sí: el modelo más barato rara vez ofrece la mayor calidad, el más rápido no siempre es el más económico y el modelo de mayor calidad para una tarea compleja se desaprovecha en una sencilla. La opción por defecto —enviar todo al mejor modelo puntero— maximiza la calidad, pero es la más costosa y, con frecuencia, la más lenta, al aplicar un modelo de razonamiento multipasos a solicitudes que un modelo económico respondería correctamente en una fracción de tiempo y coste. El enrutamiento es el punto donde se equilibra esa relación entre coste y calidad, solicitud a solicitud.

2. Estrategias de enrutamiento: De reglas estáticas a enrutamiento semántico
Las estrategias de enrutamiento se organizan en niveles. Cada nivel añade capacidades y coste; el punto óptimo para detenerse es aquel donde el beneficio medido deje de justificar la complejidad añadida.
Estático / basado en reglas. Enrute por endpoint, cabecera o una etiqueta de tarea fijada por la aplicación —la clasificación va al modelo económico y la generación de código al de gama media. Ejecución en submilisegundos, determinista y fácil de depurar. Funciona siempre que la aplicación ya conozca el tipo de tarea, algo más habitual de lo que se suele pensar.
Ponderado / con equilibrio de carga. Distribuya el tráfico por porcentaje entre modelos. Es la base para realizar pruebas A/B con un nuevo modelo y para despliegues canary: envíe el 5 % del tráfico al nuevo modelo, monitorice las métricas y aumente el caudal si los resultados se mantienen.
Basado en latencia. Cuando varios modelos son aceptables para una solicitud, enrute hacia aquel con el percentil 95 (p95) saludable más bajo en ese instante. Útil para rutas sensibles a la latencia donde cualquiera de los modelos seleccionados sea adecuado.
Basado en costes. Elija el modelo más económico que supere un umbral de calidad para la tarea. Requiere conocer el nivel de calidad exigido por tarea (sección 5), que es la parte más compleja.
Conviene precisar qué significa «más barato»: enrute según el coste total de la solicitud, no por la tarifa nominal por token de entrada. La cifra real es el total de tokens de entrada previstos más los tokens de salida previstos, ajustado por la tasa de acierto en caché, la probabilidad de reintentos y hedging, la probabilidad de escalada en cascada y cualquier multiplicador regional, de prioridad o modo rápido. Los tokenizadores también varían según la familia de modelos —Anthropic señala que Opus 4.7 y versiones posteriores pueden generar hasta un 35 % más de tokens para el mismo texto—, por lo que un prompt idéntico produce diferentes recuentos facturables en distintos modelos. Estime el coste de la ruta a partir de trazas reales, no copiando una tabla de tarifas a una tabla estática.
Los dos últimos niveles —enrutamiento semántico y cascadas de modelos— se analizan en sus propias secciones. La mayoría de los enrutadores en producción combinan varios enfoques: reglas estáticas para etiquetas de tareas conocidas, una opción por defecto basada en costes o latencia para el resto, y una lista de fallback independiente para garantizar la disponibilidad. La configuración siguiente es ilustrativa; el esquema exacto depende de cada gateway.
Directiva de enrutamiento ilustrativa (conceptual; el esquema exacto depende del gateway)
A continuación se muestra cómo se aplica la escala anterior en el AI Gateway de TrueFoundry, que es donde se ejecutan estas estrategias. El enrutamiento es una gateway-load-balancing-config YAML: cada regla coincide con un segmento de tráfico —por modelo, equipo o una cabecera X-TFY-METADATA— y enruta entre sus destinos usando selección por weight-based, latency-based o priority-based. Añadir un modelo o cambiar una proporción es un cambio de configuración, no un nuevo despliegue de código:
Cómo expresa TrueFoundry estas estrategias (gateway-load-balancing-config)
Cada destino también puede incluir reintentos, una lista de fallback e incluso un prompt específico por destino (prompt_version_fqn) para que cada modelo reciba un prompt adaptado. Al expresar en un solo archivo la directiva de enrutamiento y la cadena de fallback, ambas se mantienen independientes y observables por separado, marcando la diferencia que establece la sección 6. El esquema completo se encuentra en la documentación de configuración de enrutamiento.

El mismo archivo permite gestionar un despliegue canary —el patrón de división ponderada que este artículo recomienda para evaluar un nuevo modelo mediante pruebas A/B— sin añadir lógica condicional en la aplicación:
Despliegue canary con enrutamiento basado en pesos (extraído de la documentación)
Algunas funcionalidades de TrueFoundry a destacar para las decisiones de enrutamiento de este artículo: los Virtual Models son la opción recomendada por el gateway para sustituir la configuración de enrutamiento global —empaquetan las mismas estrategias de peso/latencia/prioridad, reintentos y fallbacks bajo un único nombre lógico de modelo con su propio control de acceso, permitiendo promocionar o cambiar una ruta sin modificar cada aplicación cliente. El almacenamiento en caché exacto y semántico se sitúa por delante de la decisión de enrutamiento y devuelve una respuesta almacenada para consultas repetidas, reduciendo tanto el coste como la latencia en cargas de trabajo con un volumen alto de lecturas. Además, la misma configuración de enrutamiento evalúa coincidencias en X-TFY-METADATA, por lo que un solo archivo de reglas puede gestionar entornos de desarrollo/producción y enrutamiento por cliente (tenant): la capa de enrutamiento lee lo que envió el cliente en lugar de requerir que este codifique la elección de la ruta.
3. Enrutamiento semántico: Embedding de la solicitud para seleccionar el modelo
Las etiquetas estáticas asumen que quien realiza la llamada conoce la tarea. A veces no es así: un asistente general expone un único endpoint y todas las peticiones llegan allí. El enrutamiento semántico infiere la tarea a partir de la propia solicitud: genera el embedding del prompt, busca el centroide de intención más cercano (o ejecuta un clasificador ligero) y enruta según la intención inferida.
Enrutamiento semántico: embedding de la solicitud y enrutamiento por la intención más cercana
El coste asociado es una llamada de embedding (aproximadamente 5–20 ms y un pequeño cargo por token) más un paso de clasificación ligero. Conviene evaluar objetivamente cuándo aporta valor: solo cuando la intención no se conoce de antemano en el punto de llamada. Si el código que realiza la llamada puede enviar una cabecera como x-task=classify, esa opción es gratuita, determinista y más eficiente. El enrutamiento semántico resulta adecuado en el punto de entrada de un asistente general con solicitudes no etiquetadas, no integrado en una canalización interna que ya conoce el propósito de cada llamada. Entre sus inconvenientes: los centroides y clasificadores varían a medida que cambian las intenciones del producto y requieren mantenimiento; además, una clasificación errónea enruta hacia un modelo equivocado, por lo que un enrutador semántico sigue necesitando una opción por defecto adecuada y un fallback. Independientemente de dónde se ejecute el paso de embedding y clasificación, el gateway es el lugar natural para registrar en la traza la intención inferida y el modelo seleccionado, ofreciendo la visibilidad por ruta que el AI Gateway de TrueFoundry proporciona para las estrategias más sencillas, transformando un enrutamiento erróneo en algo diagnosticable en lugar de invisible.
4. Cascadas de modelos: Primero el económico, escalada en caso de fallo
Una cascada prueba primero un modelo económico, evalúa el resultado y escala a un modelo más potente solo si la comprobación falla. La validación puede ser una verificación de esquema (¿la salida cumple con la estructura esperada?), una señal de confianza o autoconsistencia, o un modelo evaluador (judge).
Cascada con modelo económico primero y verificación de esquema

Los costes pueden ser muy competitivos. Si el nivel económico resuelve la mayoría de las solicitudes, el coste medio se aproxima al precio del nivel económico. Como modelo ilustrativo: con una diferencia de tarifa estándar de aproximadamente 5 veces entre Haiku y los modelos punteros indicados, una tasa de resolución económica del 70 % reduce el coste medio a casi la mitad que usar siempre el modelo puntero, incluso tras pagar el intento económico en el 30 % que escala. (Si la diferencia aumenta a 10 veces, como ocurre en algunas tarifas premium, pro o prioritarias, la misma cascada se sitúa cerca del 40 %). El ahorro exacto depende de su tasa de resolución y de la diferencia real de precios, por lo que debe medirse en lugar de asumirse.
Una cascada también añade la latencia del modelo económico a cada solicitud escalada: se suma el tiempo de la llamada económica más el de la puntera. Para rutas interactivas sensibles a la latencia, ese doble salto puede ser una decisión inadecuada; las cascadas son más eficientes en cargas de trabajo orientadas a procesamiento en lote o asíncronas, donde el ahorro en coste medio compensa la latencia en las escaladas.
5. Medir la «calidad» para poder enrutar en función de ella
Enrutar por coste o latencia es sencillo porque ambos factores son observables directamente. Enrutar por calidad es más complejo, ya que exige medir la calidad antes de poder optimizarla. Existen tres enfoques, ordenados por nivel de precisión y coste:
Conjuntos de evaluación offline. Un conjunto de datos etiquetado y preparado para cada tipo de tarea. Se ejecuta cada modelo candidato contra este conjunto y se construye la tabla de enrutamiento a partir de los resultados: este modelo para SQL, aquel para resúmenes. Es económico de ejecutar periódicamente, pero su validez depende de lo representativo que sea el conjunto de datos.
LLM-as-judge online. Muestree tráfico real de producción y evalúe las respuestas utilizando un modelo juez. Refleja mejor la distribución real, pero añade coste y latencia, y el juez también puede fallar: un juez con los mismos sesgos que el generador validará respuestas incorrectas.
Pruebas A/B frente a métricas de negocio. El estándar de referencia: enrute una fracción del tráfico a un candidato y mida la métrica de negocio relevante (tasa de resolución, valoraciones positivas, conversión posterior). Requiere más tiempo y esfuerzo, pero mide el resultado real en lugar de un indicador aproximado.
La recomendación que unifica estos tres enfoques: no enrute por impresiones subjetivas. Un modelo económico que «parece funcionar bien» en una demostración puede degradar progresivamente una métrica de negocio durante semanas. Vincule cada cambio de enrutamiento a un control de calidad medido y recuerde que la calidad varía según la tarea: una posición general en una clasificación global (leaderboard) no equivale a una tabla de enrutamiento, ya que el modelo que lidera un benchmark general puede ser mediocre en su tarea de extracción de datos. La señal en producción que requieren los tres métodos —qué modelo procesó cada solicitud y cuál fue el resultado— es lo que el gateway ya registra; las trazas por ruta de TrueFoundry constituyen una fuente de datos natural para las evaluaciones offline y el muestreo online descritos.
Un aspecto que los tres métodos deben considerar: un enrutador en producción solo observa el modelo que ha seleccionado. Si enruta una solicitud a Haiku, no sabrá si Sonnet, Opus o GPT-5.5 habrían ofrecido un mejor resultado: la alternativa no es visible. Para mantener la precisión de la tabla de enrutamiento, muestree una fracción del tráfico para evaluación en la sombra (shadow evaluation), reejecute solicitudes reales en modo offline con otros candidatos o realice pruebas periódicas de tipo champion/challenger. Sin estas comprobaciones, un enrutador seguirá aplicando una directiva obsoleta y dejará de detectar cuándo otro modelo ha pasado a ser más eficiente, económico o seguro para una tarea.
6. Enrutamiento vs. Conmutación por error (failover): Optimización no es disponibilidad
El enrutamiento y la conmutación por error comparten mecanismos —una lista de modelos candidatos y una directiva para elegir entre ellos—, lo que facilita que se confundan. Sin embargo, responden a objetivos distintos y mezclarlos genera incidentes operacionales.
El enrutamiento es optimización: cuando todos los candidatos están operativos, selecciona el más adecuado según coste, latencia o calidad. La conmutación por error es disponibilidad: cuando el modelo elegido no está disponible o supera el tiempo de espera, conmuta a otro para que la solicitud se complete con éxito (tema que se abordará en el siguiente artículo de esta serie). La distinción es relevante a nivel operativo. Una conmutación por error hacia un modelo más económico debido a una caída de servicio puede degradar la calidad en silencio, y ese evento debe registrarse como «conmutación por error por indisponibilidad del primario», no interpretarse como una decisión deliberada de optimización de costes. Del mismo modo, un error 500 puntual debe activar el failover, no modificar de forma permanente la directiva de enrutamiento. Mantenga ambas directivas separadas y observables de forma independiente: «enrutado a X por coste» y «conmutado a Y por indisponibilidad de X» son eventos distintos que deben identificarse por separado en las trazas. Un gateway como el de TrueFoundry permite gestionar ambos mecanismos de forma paralela y clara: la directiva de enrutamiento y la cadena de fallback se configuran y supervisan como entidades independientes.
7. Dónde se ejecuta el enrutamiento: El gateway como punto de decisión
La lógica de enrutamiento puede residir en la aplicación, pero el gateway es la ubicación adecuada por dos motivos. En primer lugar, ya normaliza las API de los distintos proveedores, por lo que cambiar la ruta de un modelo a otro requiere una modificación de configuración y no un cambio de código; además, alternar entre un modelo de OpenAI y uno de Anthropic no implica reestructurar el formato de la solicitud. En segundo lugar, el gateway recopila la telemetría de costes y latencia en la que se fundamentan las decisiones de enrutamiento; los datos necesarios para enrutar con precisión son los que el gateway ya registra.
Centralizar el enrutamiento en el AI Gateway de TrueFoundry permite aplicar una directiva uniforme entre servicios, disponer de un punto único para realizar pruebas A/B con nuevos modelos y supervisar tanto el coste medio como la tasa de escalada en cascada descrita en el caso inicial. El gateway ofrece reglas de enrutamiento, equilibrio de carga ponderado y cadenas de fallback entre modelos alojados y self-hosted mediante una API unificada compatible con OpenAI; además, los datos de coste y latencia por ruta se integran en la misma vista de atribución analizada en el artículo sobre atribución de costes. La división de funciones es clara: el gateway enruta y proporciona las métricas; la aplicación define los criterios de calidad y los conjuntos de evaluación que determinan qué modelo es el adecuado para cada tarea.
8. Latencia y sobrecoste computacional: El impacto del enrutamiento
El enrutamiento introduce un procesamiento adicional cuyo impacto varía según la estrategia. Una regla estática se evalúa en menos de un milisegundo. El enrutamiento basado en latencia requiere telemetría en tiempo real del percentil 95 (p95), una lectura ligera en cómputo. El enrutamiento semántico añade la llamada de embedding —entre 5 y 20 ms aproximadamente— más un clasificador ligero. Una cascada suma la latencia completa del modelo económico en cada solicitud que escala.
El principio de diseño consiste en mantener el tiempo de decisión de enrutamiento bajo en comparación con la llamada al modelo posterior. Una regla de menos de un milisegundo es insignificante frente a una generación de más de 500 ms; una fase semántica es asumible en el punto de entrada de un asistente; mientras que el incremento de latencia por escalada en una cascada debe evaluarse con precisión en rutas interactivas. Asimismo, evite añadir una llamada a un modelo juez en cada ruta para medir la calidad, a menos que la cascada o la ganancia de calidad justifiquen el coste de una segunda llamada por solicitud; muestrear una fracción del tráfico para evaluación online suele ofrecer la información necesaria sin penalizar cada petición. Dado que la decisión de enrutamiento y la llamada al modelo comparten la misma traza, el impacto propio de la decisión es medible: el AI Gateway de TrueFoundry registra la latencia por ruta, lo que permite verificar si el paso semántico o el salto en cascada se mantienen dentro de los tiempos previstos.
9. Preguntas frecuentes
¿El enrutamiento debe residir en el gateway o en la aplicación?
La mecánica pertenece al gateway: este normaliza las API de los proveedores y contiene la telemetría de costes y latencia, por lo que el enrutamiento se convierte en configuración en lugar de código. La aplicación sigue siendo la propietaria de la definición de calidad y de los conjuntos de evaluación que determinan qué modelo es el mejor para cada tarea. Piénselo así: el gateway decide adónde enviar la solicitud dada una directiva; la aplicación decide cuál debe ser esa directiva.
¿El enrutamiento a modelos más baratos no perjudicará la calidad?
Solo si el enrutamiento se basa en intuiciones. El objetivo de la sección 5 es que un cambio de enrutamiento deba superar un filtro de calidad medido por tarea antes de implementarse. Un modelo económico que cumple con el estándar para una clasificación no es una regresión de calidad; asumir que un modelo económico es "lo suficientemente bueno" sin medirlo es como se producen las regresiones.
¿Cómo elijo un verificador en cascada?
La validación de esquema es el verificador más económico y fiable cuando la salida está estructurada: es determinista y no añade ninguna llamada al modelo. Para salidas abiertas, un modelo juez es más capaz, pero cuesta una segunda llamada y puede equivocarse. Elija el que elija, instrumente la tasa de escalada y configure alertas sobre ella, porque un verificador con desviaciones es una forma habitual de que una cascada se convierta silenciosamente en un problema de costes.
¿Añade el enrutamiento semántico demasiada latencia?
Añade aproximadamente de 5 a 20 ms para el embedding, más un paso de clasificación económico; por lo general, esto es aceptable frente a una generación de varios cientos de milisegundos, aunque no es gratuito para clasificaciones de menos de 100 ms o rutas internas con un QPS elevado, por lo que debe medirlo en su propia ruta en lugar de asumir que es insignificante. La verdadera cuestión no es la latencia, sino si realmente lo necesita: si el emisor puede etiquetar la tarea con una cabecera, esto es gratuito y determinista, y el enrutamiento semántico solo se justifica cuando las solicitudes llegan sin etiquetar.
¿Cómo interactúa esto con la atribución de costes y la conmutación por error (failover)?
Las decisiones de enrutamiento y el coste combinado resultante se vinculan a la misma atribución por traza cubierta en la publicación de costes, de modo que se puede ver qué rutas impulsan el gasto. La conmutación por error es un asunto independiente (disponibilidad, no optimización) que se trata en la siguiente publicación; mantenga ambos como eventos distintos y registrados por separado para que un fallback provocado por una interrupción del servicio nunca parezca una decisión de costes.
El router de Omar no estaba equivocado; estaba no observado. Las estrategias de esta publicación son tan seguras como las métricas que supervise junto a ellas: la tasa de escalada, el coste combinado por ruta y el filtro de calidad en cada cambio de modelo. Enrute de forma agresiva, pero instrumente primero.
Sobre TrueFoundry
AI Gateway de TrueFoundry es un plano de control de nivel empresarial que se sitúa entre sus aplicaciones y más de 1600 modelos (a través de OpenAI, Anthropic, Google, AWS Bedrock, Azure OpenAI y sus propios modelos autoalojados) tras una única API compatible con OpenAI. Convierte las estrategias de enrutamiento de esta publicación en configuración en lugar de código: enrutamiento basado en pesos, enrutamiento basado en latencia y basado en prioridades, cascadas de modelos, fallbacks y superposiciones de prompts por destino, todo expresado como YAML y aplicado por ruta.
Dado que el gateway ya normaliza cada proveedor y registra el coste, la latencia y los metadatos de solicitud/enrutamiento por ruta, también es el lugar donde el enrutamiento se vuelve medible: un único sitio para realizar pruebas A/B de un modelo, observar la tasa de escalada de una cascada y atribuir el coste combinado. Al combinar esas trazas con las señales de evaluación y feedback que recopile en otros lugares, esa misma vista se convierte también en una vista de calidad. Añade almacenamiento en caché semántico y exacto, RBAC, presupuestos, límites de tasa y guardarraíles, se despliega como SaaS, en su VPC, on-premise o air-gapped con cumplimiento de SOC 2, HIPAA e ITAR, y está reconocido en la Guía de Mercado de Gartner para AI Gateways. Consulte la documentación de enrutamiento y balanceo de carga o la visión general de AI Gateway para profundizar más.
Referencias
- TrueFoundry AI Gateway — enrutamiento, balanceo de carga y fallbacks
- Anthropic — precios de la API de Claude (tarifas de Haiku / Sonnet / Opus)
- OpenAI — precios de la API y modelos
- Nuestras publicaciones sobre Atribución de costes y Conmutación por error multiproveedor — el coste por ruta y la contrapartida de disponibilidad al enrutamiento.
Northwind y Omar son ilustrativos. Los nombres de los modelos y los precios por token reflejan las tarifas públicas de los proveedores a fecha de junio de 2026 y cambian con el tiempo. Las cifras de coste y latencia (la diferencia de precio de ~5×, el ejemplo de resolución económica del 70 %, la sobrecarga de embedding de 5–20 ms) son supuestos representativos para ilustrar los equilibrios, no mediciones; evalúe las estrategias de enrutamiento con su propio tráfico y conjuntos de evaluación antes de fijar una directiva de producción.
TrueFoundry AI Gateway ofrece una latencia de entre 3 y 4 ms, gestiona más de 350 RPS en una vCPU, se escala horizontalmente con facilidad y está listo para la producción, mientras que LitellM presenta una latencia alta, tiene dificultades para superar un RPS moderado, carece de escalado integrado y es ideal para cargas de trabajo ligeras o de prototipos.














%20(28).webp)



.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






