Ejecutamos GLM 5.2 frente a Claude Opus 4.8 en tareas diseñadas para encontrar la brecha. Encontramos una, pero no donde esperábamos.

Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
¡Una forma increíblemente rápida de crear, rastrear e implementar sus modelos!
- Gestiona más de 350 RPS en solo 1 vCPU, sin necesidad de ajustes
- Listo para la producción con soporte empresarial completo
GLM 5.2, el modelo de pesos abiertos de Z.ai, ha estado escalando posiciones en las clasificaciones de evaluaciones comparativas desde su lanzamiento, con evaluaciones independientes de Artificial Analysis que lo clasifican como el modelo de lenguaje de disponibilidad abierta más capaz del mercado. La pregunta evidente para cualquiera que esté construyendo sobre él es: ¿cuánta capacidad se pierde al pasar de un modelo cerrado de frontera al mejor modelo de pesos abiertos actual?
La mayor parte de la cobertura hasta ahora responde a esa pregunta citando evaluaciones comparativas. Nosotros queríamos responderla ejecutando nuestras propias tareas, a través de nuestro propio AI Gateway, y evaluando ambos modelos con la misma rúbrica. Esto es lo que encontramos.
La configuración
Construimos una batería de 10 tareas dividida en tres niveles, ejecutada a través de TrueFoundry AI Gateway contra Claude Opus 4.8 y GLM 5.2:
- Tareas base (4): problemas deliberadamente sencillos, de una sola función o de una sola llamada a herramienta. Son una comprobación de nivel mínimo, no una prueba real de capacidad.
- Tareas difíciles (4): diseñadas en torno a aquellos puntos donde las evaluaciones comparativas públicas como SWE-Bench Pro y Agents' Last Exam muestran una separación real entre modelos. Razonamiento en múltiples archivos, uso ramificado de herramientas en varios pasos, una afirmación "obvia" sutilmente errónea para detectar si la identifican, y una especificación genuinamente subespecificada para ver si el modelo pregunta o adivina.
- Tareas de contexto largo (2): recuperación de una aguja en un pajar y razonamiento con referencias cruzadas a través de documentos reales de dominio público, de aproximadamente 290.000 a más de un millón de tokens según el tokenizador del modelo que esté contando (más sobre esta discrepancia a continuación).
Cada respuesta se evaluó con criterios explícitos de aprobado/suspenso que escribimos antes de que cualquiera de los modelos viera un prompt.
Hallazgo 1: Paridad de calidad, incluso en las tareas difíciles
En las 8 tareas bien formadas, ambos modelos obtuvieron una puntuación de 40 sobre 40.
Esto incluye las tareas creadas específicamente para diferenciarlos. En la tarea del motor de descuentos en múltiples archivos, ambos modelos implementaron correctamente la lógica del mejor descuento y ambos escribieron una prueba que calculó la aritmética adecuada en un caso realmente no obvio (un pedido de $120 donde un 10 por ciento de descuento y un descuento fijo de $15 parecen similares pero se resuelven en $108 frente a $105). En la tarea agéntica ramificada, ambos modelos se negaron correctamente a adivinar cuando una búsqueda de "el jefe de alianzas" devolvió dos personas diferentes con dos roles distintos, y ambos pidieron aclaraciones antes de proceder. En la trampa de razonamiento, un error oculto de argumento por defecto mutable detrás de una afirmación validada pero errónea sobre una clave de caché, ambos modelos lo detectaron, explicaron por qué sucede y enviaron una solución correcta.
No esperábamos un empate aquí. Las evaluaciones comparativas publicadas muestran una separación real entre los modelos cerrados de frontera y los modelos de pesos abiertos exactamente en este tipo de tareas. En nuestra batería específica, no la vimos.
Hallazgo 2: GLM 5.2 es significativamente más económico
En las 8 tareas válidas, Opus 4.8 costó ~$0.20 en total. GLM 5.2 costó ~$0.05, un poco más de un cuarto del precio, lo que concuerda con las tarifas publicadas por token ($5/$25 por millón de tokens para Opus frente a $1.40/$4.40 para GLM 5.2). Si su carga de trabajo se apoya en el tipo de tareas de esta batería, se trata de una palanca de costes real, no marginal.
Hallazgo 3: La latencia es donde los modelos realmente divergen, y no es un multiplicador uniforme
Este es el resultado más interesante, porque no es uniforme. En dos tareas, GLM 5.2 fue más rápido que Opus. En la tarea de razonamiento más difícil, tardó 10 veces más.
El patrón sigue la profundidad del razonamiento, no la categoría de la tarea. Las tareas sencillas de uso de herramientas están cerca de la paridad o favorecen ligeramente a GLM. Las tareas que requieren el mayor razonamiento interno es donde la latencia de GLM se dispara con más fuerza. Si está construyendo algo sensible a la latencia, la afirmación "GLM es más barato" necesita una segunda cláusula: más barato, con picos ocasionales de latencia en sus peticiones más difíciles, no más barato en todos los ámbitos.
Hallazgo 4: Un problema real de despliegue con los tokens de razonamiento de GLM
Este es el hallazgo que no íbamos buscando. Nuestra primera pasada por la batería utilizó un límite de salida de 2048 tokens, dimensionado según la longitud habitual de las respuestas de Opus. Opus nunca estuvo cerca de ese techo en ninguna tarea. GLM 5.2 lo alcanzó dos veces: una truncando la respuesta a mitad de frase y otra devolviendo una respuesta completamente vacía tras consumir todo el presupuesto.
La causa son los modos de razonamiento de GLM 5.2. Los tokens de razonamiento interno cuentan dentro del mismo presupuesto que la respuesta visible, y en tareas más difíciles ese razonamiento interno puede consumir la totalidad o la mayor parte de un presupuesto que sería generoso para un modelo sin esa sobrecarga. Volvimos a ejecutar las dos tareas afectadas con un presupuesto de 8.000 tokens específicamente para GLM, y ambas se completaron correctamente, igualando la calidad de Opus (ver Hallazgo 1).
La conclusión práctica: si está enrutando entre modelos a través de un gateway y reutilizando un presupuesto de tokens ajustado para un modelo, GLM 5.2 necesita significativamente más margen para una complejidad de tarea equivalente, especialmente en trabajos con un alto nivel de razonamiento. Si se equivoca en esto, no obtendrá un error. Obtendrá una respuesta truncada o silenciosamente vacía que parece un fallo del modelo cuando en realidad es un problema de configuración.
Hallazgo 5: Pruebas reales de contexto largo y un fallo genuino de Opus
Esta vez construimos dos tareas de contexto largo utilizando documentos reales: una búsqueda de una aguja en un pajar sobre el texto completo de una novela de dominio público (aproximadamente de 290.000 a 420.000 tokens según el tokenizador del modelo que lo cuente), y una tarea de referencias cruzadas que requería que el modelo combinara dos datos situados en extremos opuestos de cuatro novelas concatenadas (aproximadamente de 700.000 tokens a algo más de un millón, de nuevo según el tokenizador).
En la tarea de recuperación más sencilla, ambos modelos encontraron correctamente el dato insertado. Opus fue más allá e identificó exactamente en qué parte del texto se había insertado el dato, lo que demuestra una capacidad de comprensión contextual realmente fuerte. Pero habíamos pedido el dato citado por separado, y Opus dio explicaciones en lugar de limitarse a citarlo. GLM respondió solo con el dato en sí, nada más, la respuesta más literal y correcta a lo que se había pedido.
En la tarea de referencias cruzadas más difícil, Opus 4.8 falló por completo. No fue una respuesta incorrecta: fue un error grave, porque el documento se tokenizó en algo más de un millón de tokens con el tokenizador de Anthropic, superando la ventana de contexto de Opus 4.8 en aproximadamente un 4 por ciento. GLM 5.2 completó la misma tarea correctamente, y la razón merece ser destacada por sí sola: el mismo documento se tokenizó en aproximadamente 718.000 tokens bajo el tokenizador de Z.ai, alrededor de un 31 por ciento menos de tokens que los que el tokenizador de Anthropic contó para la misma prosa en inglés (de manera equivalente, el tokenizador de Anthropic contó aproximadamente un 45 por ciento más de tokens que el de Z.ai para el texto idéntico).
Eso no es una diferencia de capacidad. Es un recordatorio de que los conteos de tokens no son portables entre tokenizadores, y un documento dimensionado de forma holgada dentro de la ventana de contexto de un modelo puede superar silenciosamente la de otro para el mismo contenido. Si está construyendo una prueba de contexto largo, o dimensionando un prompt real de producción contra más de un modelo, verifique el recuento del tokenizador real por modelo en lugar de estimar a partir del recuento de palabras o caracteres. Un margen que parece seguro para un modelo puede ser un fallo crítico para otro.
El coste escala con la longitud del contexto de una manera que es fácil de subestimar hasta que se ve la cifra. La consulta única de la aguja en el pajar a Opus costó ~$2.09 por sí sola, más que la batería completa de 8 tareas de los niveles base y difícil combinados (~$0.20 en total, del Hallazgo 2). La misma consulta a GLM costó ~$0.40. En ambas tareas de contexto largo, el total de GLM fue de ~$1.41 frente a los ~$2.09 de Opus por una sola llamada exitosa (la segunda llamada falló por completo y no se cobró). Si su carga de trabajo involucra documentos largos con regularidad, la diferencia de coste por token entre modelos se acumula rápidamente, mucho más allá de lo que sugeriría la comparación de costes de las tareas base.
Hallazgo 6: Un error previo que vale la pena mencionar de todos modos
En una pasada anterior al construir esta batería se utilizó texto de relleno por accidente en lugar de documentos reales para las dos tareas de contexto largo, y las reacciones de ambos modelos a esa entrada defectuosa merecen una nota al pie, aunque el error ya se haya corregido. Opus, al recibir solo una descripción entre corchetes de lo que contendría un documento, lo indicó directamente en ambas ocasiones y se negó a tratar el ejemplo hipotético como una recuperación genuina. GLM respondió a partir del texto de ejemplo sin señalar que no había un documento real presente o, en la versión más difícil, fabricó un documento entero desde cero y respondió con total confianza basándose en contenido que se había inventado.
Ese es un hallazgo distinto sobre el comportamiento ante entradas defectuosas, independiente de las cifras reales de contexto largo anteriores, y vale la pena tenerlo en cuenta dado que las propias notas de lanzamiento de Z.ai para GLM 5.2 revelaron más comportamiento de "reward-hacking" durante el entrenamiento que en la versión anterior, incluyendo la lectura de archivos de evaluación protegidos y la extracción de soluciones de referencia para inflar las puntuaciones. Vale la pena vigilar un modelo dispuesto a construir contenido de apariencia plausible en respuesta a un prompt defectuoso antes de orientarlo hacia entradas reales de producción que ocasionalmente puedan estar mal formadas o incompletas.
Qué significa esto si está eligiendo entre ellos
En tareas que caben dentro de las ventanas de contexto de ambos modelos, no hay brecha de calidad una vez que GLM 5.2 tiene el margen de tokens adecuado. El único lugar donde apareció una brecha real no fue en la calidad del razonamiento, sino en la capacidad de contexto: el mismo documento largo que GLM 5.2 gestionó sin problemas provocó un fallo grave en Opus 4.8, por razones asociadas al tokenizador más que por cuestiones de inteligencia. La decisión se reduce a cuatro aspectos que no tienen que ver con la capacidad bruta en una tarea típica:
- Coste. GLM 5.2 cuesta aproximadamente un cuarto del precio de Opus 4.8 para un trabajo equivalente en esta batería.
- Predecibilidad de la latencia. La latencia de GLM 5.2 no es un multiplicador fijo. Puede ser más rápido que Opus en tareas sencillas y un orden de magnitud más lento en tareas de razonamiento complejo. Si su producto tiene requisitos de latencia estrictos, esa variabilidad importa más que el promedio.
- Configuración correcta. Si está enrutando entre modelos a través de un gateway, presupueste un margen de tokens de salida significativamente mayor para GLM 5.2 del que asignaría a Opus, especialmente para cargas de trabajo con mucho razonamiento, o se arriesga a un truncamiento silencioso sin ningún error que capturar.
- Dimensionamiento de contexto entre tokenizadores. Si su carga de trabajo se acerca al límite de contexto de cualquiera de los dos modelos, verifique el recuento real de tokens con el propio tokenizador de cada modelo en lugar de estimar a partir del recuento de palabras o caracteres. El mismo documento puede encajar cómodamente en un modelo y fallar rotundamente en otro.
Lecturas relacionadas
- Enrutamiento de pesos abiertos a escala: GLM-5.1 vs Claude Opus 4.7 en TrueFoundry AI Gateway: una versión anterior de esta misma comparación, con un enrutador basado en clasificadores que combina ambos modelos
- Autoalojamiento de modelos de pesos abiertos detrás de un AI Gateway: para equipos que estén considerando ejecutar GLM 5.2 o modelos similares en su propia infraestructura en lugar de una API alojada
- Consideraciones de coste al utilizar un AI Gateway: una visión más amplia de las palancas de coste mencionadas en el Hallazgo 2 y el Hallazgo 5
- Kimi K2.6: El gigante de código abierto que transforma la IA agéntica: otro modelo de pesos abiertos que vale la pena someter al mismo tipo de prueba
Ambos modelos de esta comparación, y todo lo demás que desee probar contra ellos, están accesibles a través de una única API compatible con OpenAI en TrueFoundry AI Gateway. Vea cómo conectar un modelo y empezar a comparar.
TrueFoundry AI Gateway ofrece una latencia de entre 3 y 4 ms, gestiona más de 350 RPS en una vCPU, se escala horizontalmente con facilidad y está listo para la producción, mientras que LitellM presenta una latencia alta, tiene dificultades para superar un RPS moderado, carece de escalado integrado y es ideal para cargas de trabajo ligeras o de prototipos.

















.webp)







