Claude Opus 4.8 e SWE-bench Pro: Executamos o Anúncio da Anthropic no Nosso Gateway

Quando a Anthropic lançou o Claude Opus 4.8 em 28 de maio de 2026, o número em destaque era em programação: 69,2% no SWE-bench Pro, acima dos 64,3% do Opus 4.7 — um ganho de 4,9 pontos em um dos benchmarks de engenharia de software mais difíceis do setor.

Queríamos saber se esse upgrade se reflete quando ambos os modelos são chamados da maneira como a maioria das equipes realmente os chama: por meio de um gateway de produção, uma única API, latência real, contas de tokens reais. Executamos 50 problemas difíceis de programação do conjunto de testes público do SWE-bench Pro através do TrueFoundry AI Gateway.

O Opus 4.8 retornou com um patch de código utilizável em cada um dos problemas; o Opus 4.7 errou três. A direção correspondeu à afirmação da Anthropic. Nossas pontuações absolutas não corresponderam — e essa diferença é o ponto principal.

O Número Que Todos Estão Citando

Todo grande lançamento de modelo vem com uma tabela de pontuações de benchmark. Para o Opus 4.8, a linha que chamou mais atenção foi o SWE-bench Pro.

O SWE-bench Pro é um teste de estresse para a capacidade de programação de IA. Os problemas vêm de projetos open-source reais — codebases mantidos, bugs em múltiplos arquivos, o tipo de trabalho que um engenheiro sênior passaria uma tarde desenrolando. O resultado publicado pela Anthropic foi medido com uma configuração completa de agente: o modelo podia navegar pelo repositório, executar comandos, tentar uma correção e iterar. Essa é a maneira correta de medir o que o modelo pode fazer no seu melhor desempenho.

Não é, no entanto, o que acontece quando sua aplicação envia uma única requisição por meio de uma API e espera por uma resposta.

Essa distinção importa. As equipes de plataforma não vivem dentro do ambiente de avaliação da Anthropic. Elas vivem atrás de um gateway: um endpoint, regras de roteamento, limites de taxa (rate limits) e uma conta no final do mês. Quando um fornecedor diz '+4,9 pontos', a questão prática é mais estreita e imediata: na infraestrutura que já usamos, o novo modelo ainda supera o antigo em trabalhos difíceis de programação?

Nós Fizemos Essa Verificação

Roteamos o Claude Opus 4.8 e o Claude Opus 4.7 através do TrueFoundry AI Gateway — a mesma superfície de API compatível com a OpenAI que nossos clientes usam para acessar modelos de fronteira. Atrás do gateway, os dois modelos caíram em rotas de provedores diferentes. Do ponto de vista da aplicação, a integração foi idêntica: mesma URL, mesmas credenciais, nome de modelo diferente.

Para o teste principal, extraímos 50 problemas do conjunto de testes público do SWE-bench Pro (731 issues no total). Cada problema descreve um bug real em um repositório real. Enviamos a descrição para o modelo em um único turno (one-shot) e pedimos um unified diff — o formato padrão para um patch de código. Sem navegação. Sem acesso ao terminal. Sem segunda chance para revisar.

Em seguida, avaliamos cada resposta com uma regra simples: isso se parece com um patch legítimo? Não subimos containers Docker nem executamos a suíte de testes do projeto. Não pedimos a um segundo modelo para atuar como juiz.

Este é um teste mais leve do que o da Anthropic, mas responde a uma pergunta diferente: quando o Opus 4.8 chega ao seu gateway, ele produz saídas de programação credíveis em problemas difíceis com mais frequência do que o Opus 4.7?

O Que Encontramos no SWE-bench Pro

Em nossa amostra de 50 problemas, o Opus 4.8 retornou uma resposta em formato de patch todas as vezes — 50 de 50. O Opus 4.7 errou três, ficando em 47 de 50. Em termos percentuais, essa é uma diferença de seis pontos em nossa amostragem versus a diferença de 4,9 pontos da Anthropic no benchmark oficial completo.

A ordenação é o que nos importava. A Anthropic disse que o novo modelo é melhor neste tipo de trabalho. Em nossa execução no gateway, o novo modelo também foi melhor neste tipo de trabalho.

Os números absolutos são uma história diferente e não devem ser comparados lado a lado. Os 69,2% da Anthropic significam que o modelo resolveu aproximadamente sete de cada dez problemas com um agente que podia explorar e testar. Nossos 100% e 94% significam que o modelo retornou algo que parecia um patch em uma única tentativa. O critério que usamos é muito mais baixo. Tratar nossas pontuações como 'superando' as da Anthropic seria enganoso. Tratar a direção— 4.8 à frente do 4.7 — como uma verificação de sanidade é justo.

Houve também um lado prático na execução. Nos preços de tabela publicados pela Anthropic no lançamento ($5 por milhão de input tokens, $25 por milhão de output tokens), a amostragem do SWE-bench custou aproximadamente $1,45 para o Opus 4.8 e $1,66 para o Opus 4.7. As respostas em descrições longas de issues levaram uma mediana de cerca de 12 segundos para o 4.8 e 13 segundos para o 4.7; o quinto mais lento das requisições se estendeu para cerca de 27 e 37 segundos, respectivamente. Para um sprint pontual de validação, isso é gerenciável. Para um agente que faz loops dezenas de vezes por tarefa, isso acumula rapidamente.

Lendo o restante da tabela de lançamento

O anúncio da Anthropic não parou no SWE-bench Pro. A mesma publicação citou ganhos em tarefas de terminal, automação de desktop, Q&A de ciência em nível de pós-graduação, fluxos de trabalho financeiros e muito mais. Nós também não replicamos esses ambientes oficiais — mapeamos cada categoria para um pequeno conjunto de prompts representativos e executamos ambos os modelos através do Gateway.

O padrão repetiu o que vimos em programação. Em tarefas curtas de proxy — corrigir um bug em Python, responder a uma pergunta de bash, escolher a ação de UI correta — ambos os modelos frequentemente atingiram a pontuação máxima. Isso mostra que os modelos estão acessíveis e responsivos em trabalhos representativos de cada categoria.

Dois resultados foram mais informativos do que o restante.

Nos proxies do SWE-bench Verified (correções de código mais simples que o Pro), o Opus 4.8 respondeu a ambos os prompts corretamente, enquanto o Opus 4.7 respondeu a um de dois — uma diferença maior do que os 88,6% vs 87,6% oficiais da Anthropic, embora em uma amostra minúscula.

Nos proxies do Finance Agent, ambos os modelos pontuaram zero. Isso é quase certamente uma limitação da avaliação — correspondência estrita de respostas em um substituto miniatura — e não uma prova de que o Opus não pode fazer trabalhos financeiros. É um lembrete de que proxies leves falham silenciosamente. A única suíte em que confiamos para a ordenação de modelos é o SWE-bench Pro com 50 issues.

Para as categorias restantes — exames de raciocínio, matemática para trabalho de conhecimento, múltipla escolha em ciências — ambos os modelos passaram em nossos pequenos conjuntos de proxies. A tabela oficial da Anthropic ainda mostra nuances que não capturamos (o GPQA Diamond favorece ligeiramente o 4.7, por exemplo). Nossos proxies eram rasos demais para evidenciar isso.

Por que executamos dessa maneira

Não estamos tentando substituir a avaliação da Anthropic. Os números deles descrevem o que o Opus 4.8 pode fazer quando você fornece ferramentas, tempo e o ambiente deles. Nossa execução descreve o que acontece no dia zero de uma migração de gateway — quando uma equipe de engenharia quer saber se rotear o tráfego para o 4.8 vale o esforço antes de retreinar agentes e reajustar prompts.

Três coisas se destacaram além do placar.

•  A história de upgrade sobreviveu ao contato com o roteamento em produção. Rotas de provedores diferentes, uma integração de cliente, ambos os modelos chamáveis sem rearquitetar a aplicação. Essa é a história de integração para a qual o Gateway foi construído.

•  Avaliações honestas superam avaliações impressionantes. Uma verificação heurística do tipo 'parece um patch' é fácil de criticar — e nós mesmos a criticamos. Ela também é barata, reproduzível e difícil de ser manipulada por um modelo juiz amigável. Para uma leitura direcional após um lançamento, essa troca fez sentido.

•  Benchmarks de fornecedores e a realidade do gateway medem camadas diferentes. Os 69,2% da Anthropic são o teto. Nossa amostra de 50 problemas é uma verificação de piso: o novo carro-chefe realmente evoluiu na produção de código difícil quando chamado da forma como seus serviços o chamam?

O que tiramos disso

A variação do SWE-bench Pro da Anthropic continua sendo a evidência pública mais forte de que o Opus 4.8 é um upgrade significativo em programação. Não provamos novamente esse número. Nós confirmamos a ordenação — 4.8 à frente do 4.7 — em um caminho de gateway que espelha como os serviços em produção chamam modelos de fronteira, com custos e latências associados.

Nossas porcentagens não são comparáveis às da Anthropic, e não as apresentaríamos dessa forma. A leitura útil da nossa execução é mais simples: o ganho em destaque aponta na mesma direção na nossa stack.

Também aprendemos algo sobre como interpretar temporadas de lançamento. Os 69,2% da Anthropic descrevem um modelo com ferramentas, tempo e um ambiente de avaliação completo — o teto. Nossa amostra de cinquenta problemas descreve uma única chamada de API e uma verificação simples em formato de patch — o piso. Ambos são legítimos; eles respondem a perguntas diferentes. A nossa foi: quando o Opus 4.8 chega ao Gateway, ele avança visivelmente em relação ao 4.7 na produção de código difícil? Nesta amostra, sim.

O TrueFoundry AI Gateway é a camada pela qual executamos essa pergunta: uma API compatível com a OpenAI, mais de 1.000 modelos, roteamento de provedores gerenciado nos bastidores. Mesmo cliente, nome de modelo diferente, diferença mensurável na infraestrutura que já operamos.