Claude Opus 4.8 y SWE-bench Pro: Ejecutamos el titular de Anthropic a través de nuestra Gateway

Cuando Anthropic lanzó Claude Opus 4.8 el 28 de mayo de 2026, la cifra destacada fue sobre programación: 69,2 % en SWE-bench Pro, por encima del 64,3 % de Opus 4.7 — una ganancia de 4,9 puntos en uno de los benchmarks de ingeniería de software más difíciles de la industria.

Queríamos saber si esa mejora se refleja cuando ambos modelos se invocan como los llaman la mayoría de los equipos en la realidad: a través de una gateway de producción, una sola API, latencia real y facturas de tokens reales. Ejecutamos 50 problemas complejos de programación del conjunto de pruebas público de SWE-bench Pro a través de TrueFoundry AI Gateway.

Opus 4.8 devolvió un parche de código de aspecto utilizable en cada uno de los problemas; Opus 4.7 falló en tres. La tendencia coincidió con la afirmación de Anthropic. Nuestras puntuaciones absolutas no coincidieron — y esa diferencia es precisamente la clave.

La cifra que todo el mundo está citando

Cada lanzamiento importante de un modelo viene acompañado de una tabla de puntuaciones de benchmarks. Para Opus 4.8, la fila que recibió más atención fue SWE-bench Pro.

SWE-bench Pro es una prueba de estrés para la capacidad de programación de la AI. Los problemas provienen de proyectos de código abierto reales — códigos mantenidos, errores multichivo, el tipo de trabajo en el que un ingeniero senior podría pasar una tarde entera desentrañando. El resultado publicado por Anthropic se midió con una configuración de agente completa: el modelo podía explorar el repositorio, ejecutar comandos, probar una solución e iterar. Esa es la forma correcta de medir lo que el modelo puede hacer en su máximo rendimiento.

Sin embargo, eso no es lo que sucede cuando tu aplicación envía una sola solicitud a través de una API y espera una respuesta.

Esa distinción importa. Los equipos de plataformas no viven dentro del entorno de evaluación de Anthropic. Viven detrás de una gateway: un endpoint, reglas de enrutamiento, límites de velocidad (rate limits) y una factura al final del mes. Cuando un proveedor dice «+4,9 puntos», la pregunta práctica es más concreta e inmediata: en la infraestructura que ya utilizamos, ¿el nuevo modelo sigue superando al antiguo en trabajos complejos de programación?

Ejecutamos esa comprobación

Enrutamos Claude Opus 4.8 y Claude Opus 4.7 a través de TrueFoundry AI Gateway — la misma superficie de API compatible con OpenAI que utilizan nuestros clientes para acceder a modelos fronterizos. Detrás de la gateway, los dos modelos se dirigieron a rutas de proveedores distintas. Desde la perspectiva de la aplicación, la integración fue idéntica: misma URL, mismas credenciales, diferente nombre de modelo.

Para la prueba principal, extrajimos 50 problemas del conjunto de pruebas público de SWE-bench Pro (731 problemas en total). Cada problema describe un error real en un repositorio real. Enviamos la descripción al modelo en un solo turno y solicitamos un unified diff — el formato estándar para un parche de código. Sin navegación. Sin acceso a la terminal. Sin segunda oportunidad para revisar.

A continuación, evaluamos cada respuesta con una regla sencilla: ¿esto parece un parche legítimo? No iniciamos contenedores Docker ni ejecutamos el conjunto de pruebas del proyecto. Tampoco pedimos a un segundo modelo que actuara como juez.

Esta es una prueba más ligera que la de Anthropic, pero responde a una pregunta diferente: cuando Opus 4.8 llega a tu gateway, ¿produce código creíble en problemas complejos con mayor frecuencia que Opus 4.7?

Lo que encontramos en SWE-bench Pro

En nuestra muestra de 50 problemas, Opus 4.8 devolvió una respuesta con formato de parche en cada ocasión — 50 de 50. Opus 4.7 falló en tres, quedando en 47 de 50. En términos porcentuales, eso representa una diferencia de seis puntos en nuestra muestra, en comparación con la diferencia de 4,9 puntos de Anthropic en el benchmark oficial completo.

El orden relativo es lo que nos importaba. Anthropic afirmó que el nuevo modelo es mejor en este tipo de tareas. En nuestra ejecución a través de la gateway, el nuevo modelo también fue mejor en estas tareas.

Las cifras absolutas son una historia diferente y no deben compararse directamente. El 69,2 % de Anthropic significa que el modelo resolvió aproximadamente siete de cada diez problemas con un agente que podía explorar y realizar pruebas. Nuestro 100 % y 94 % significan que el modelo devolvió algo que parecía un parche al primer intento. El criterio que utilizamos es mucho más bajo. Tratar nuestras puntuaciones como si estuvieran «superando» a las de Anthropic sería engañoso. Considerar la tendencia — 4.8 por delante de 4.7 — como una verificación de coherencia es justo.

La prueba también tuvo un aspecto práctico. Con los precios de lista publicados por Anthropic en el momento del lanzamiento (5 $ por millón de tokens de entrada, 25 $ por millón de tokens de salida), la muestra de SWE-bench costó aproximadamente 1,45 $ para Opus 4.8 y 1,66 $ para Opus 4.7. Las respuestas en descripciones largas de problemas tomaron una mediana de unos 12 segundos para 4.8 y 13 segundos para 4.7; el quinto más lento de las solicitudes se extendió hacia los 27 y 37 segundos respectivamente. Para un sprint de validación puntual, esto es manejable. Para un agente que itera docenas de veces por tarea, se acumula rápidamente.

Lectura del resto de la tabla de lanzamiento

El anuncio de Anthropic no se limitó a SWE-bench Pro. La misma publicación citó mejoras en tareas de terminal, automatización de escritorio, preguntas y respuestas científicas de nivel de posgrado, flujos de trabajo financieros y más. Tampoco recreamos esos entornos oficiales; asignamos cada categoría a un pequeño conjunto de prompts representativos y ejecutamos ambos modelos a través de Gateway.

El patrón se repitió respecto a lo que vimos en la programación. En tareas sustitutas cortas (corregir un error de Python, responder una pregunta de bash, elegir la acción de UI correcta), ambos modelos a menudo alcanzaron el límite máximo. Esto indica que los modelos son accesibles y responden bien en tareas representativas por categoría.

Dos resultados fueron más informativos que el resto.

En las pruebas sustitutas de SWE-bench Verified (correcciones de código más simples que en Pro), Opus 4.8 respondió a ambos prompts correctamente, mientras que Opus 4.7 respondió a uno de dos — una diferencia más amplia que el 88,6 % frente al 87,6 % oficial de Anthropic, aunque en una muestra diminuta.

En las pruebas sustitutas de Finance Agent, ambos modelos obtuvieron un cero. Esto se debe casi con certeza a una limitación en la evaluación (coincidencia estricta de respuestas en un sustituto en miniatura) y no a una prueba de que Opus no pueda realizar trabajos financieros. Es un recordatorio de que las pruebas sustitutas ligeras pueden fallar en silencio. El único conjunto en el que confiamos para el orden relativo de los modelos es SWE-bench Pro con 50 problemas.

Para las categorías restantes (exámenes de razonamiento, matemáticas de trabajo de conocimiento, opción múltiple de ciencias), ambos modelos superaron nuestros pequeños conjuntos de pruebas sustitutas. La tabla oficial de Anthropic sigue mostrando matices que no capturamos (GPQA Diamond favorece ligeramente a 4.7, por ejemplo). Nuestras pruebas sustitutas eran demasiado superficiales para reflejar eso.

Por qué lo ejecutamos de esta manera

No pretendemos reemplazar la evaluación de Anthropic. Sus cifras describen lo que Opus 4.8 puede hacer cuando se le proporcionan herramientas, tiempo y su propio entorno de pruebas. Nuestra prueba describe lo que sucede el día cero de una migración de gateway — cuando un equipo de ingeniería quiere saber si enrutar el tráfico a 4.8 vale la pena antes de volver a entrenar agentes y reajustar los prompts.

Tres aspectos destacaron más allá de la tabla de resultados.

•  La promesa de mejora resistió el contacto con el enrutamiento en producción. Diferentes rutas de proveedores, una sola integración de cliente, ambos modelos invocables sin rediseñar la arquitectura de la aplicación. Ese es el caso de integración para el que está diseñada Gateway.

•  Una evaluación honesta supera a una evaluación impresionante. Una verificación heurística de «parece un parche» es fácil de criticar — y nosotros mismos la criticamos. También es barata, reproducible y difícil de manipular con un modelo juez benevolente. Para una lectura orientativa tras un lanzamiento, ese balance tuvo sentido.

•  Los benchmarks del proveedor y la realidad de la gateway miden capas diferentes. El 69,2 % de Anthropic es el límite superior. Nuestra muestra de 50 problemas es una verificación del límite inferior: ¿el nuevo modelo insignia realmente avanzó en resultados complejos de programación cuando se invoca de la manera en que lo hacen tus servicios?

Lo que concluimos

La diferencia reportada por Anthropic en SWE-bench Pro sigue siendo la evidencia pública más sólida de que Opus 4.8 es una mejora significativa en programación. No volvimos a demostrar esa cifra. Confirmamos el orden relativo — 4.8 por delante de 4.7 — en una ruta de gateway que refleja cómo los servicios de producción invocan modelos fronterizos, incluyendo costes y latencias asociados.

Nuestros porcentajes no son comparables a los de Anthropic y no los presentaríamos de esa manera. La lectura útil de nuestra prueba es más simple: la ganancia principal apunta en la misma dirección en nuestra infraestructura.

También aprendimos algo sobre cómo interpretar la temporada de lanzamientos. El 69,2 % de Anthropic describe un modelo con herramientas, tiempo y un entorno de evaluación completo: el límite superior. Nuestra muestra de cincuenta problemas describe una sola llamada a la API y una simple verificación del formato del parche: el límite inferior. Ambas son legítimas; responden a preguntas diferentes. La nuestra era: cuando Opus 4.8 llega a Gateway, ¿se posiciona de forma visible por delante de 4.7 en resultados complejos de programación? En esta muestra, sí.

TrueFoundry AI Gateway es la capa a través de la cual ejecutamos esa pregunta: una sola API compatible con OpenAI, más de 1000 modelos y el enrutamiento de proveedores gestionado en segundo plano. Mismo cliente, diferente nombre de modelo, diferencia medible en la infraestructura que ya operamos.