Executamos o GLM 5.2 contra o Claude Opus 4.8 em tarefas projetadas para encontrar a diferença. Encontramos uma, mas não onde esperávamos.

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
O GLM 5.2, o modelo de pesos abertos da Z.ai, tem subido nos placares de benchmarks desde o seu lançamento, com avaliações independentes da Artificial Analysis classificando-o como o modelo de linguagem abertamente disponível mais capaz do mercado. A pergunta óbvia para qualquer pessoa que esteja construindo sobre ele é: quanta capacidade você perde ao mudar de um modelo fechado de fronteira para o melhor modelo de pesos abertos atual?
A maior parte da cobertura até agora responde a essa pergunta citando benchmarks. Queríamos respondê-la executando nossas próprias tarefas, por meio do nosso próprio AI Gateway, e avaliando ambos os modelos em relação à mesma rubrica. Aqui está o que encontramos.
A estrutura do teste
Construímos um conjunto de 10 tarefas dividido em três níveis, executado por meio do TrueFoundry AI Gateway contra o Claude Opus 4.8 e o GLM 5.2:
- Tarefas de linha de base (4): problemas deliberadamente simples, de função única ou chamada única de ferramenta. Estes são uma verificação de piso, não um teste real de capacidade.
- Tarefas difíceis (4): projetadas com base em pontos onde benchmarks públicos, como SWE-Bench Pro e Agents' Last Exam, mostram uma separação real entre os modelos. Raciocínio multi-arquivo, uso de ferramentas em múltiplas etapas com ramificações, uma afirmação "óbvia" sutilmente errada para capturar e uma especificação genuinamente subespecificada para ver se o modelo faz perguntas ou adivinha.
- Tarefas de contexto longo (2): busca de agulha no palheiro e raciocínio de referência cruzada em documentos reais de domínio público, variando de aproximadamente 290 mil a mais de um milhão de tokens, dependendo de qual tokenizer de modelo está contando (mais sobre essa discrepância abaixo).
Cada resposta foi avaliada de acordo com critérios explícitos de aprovação/reprovação que escrevemos antes de qualquer um dos modelos ver um prompt.
Descoberta 1: Paridade de qualidade, inclusive nas tarefas difíceis
Em todas as 8 tarefas bem formuladas, ambos os modelos pontuaram 40 de 40.
Isso inclui as tarefas construídas especificamente para separá-los. Na tarefa do mecanismo de desconto multi-arquivo, ambos os modelos implementaram corretamente a lógica do melhor desconto e ambos escreveram um teste que acertou a aritmética em um caso genuinamente não óbvio (um pedido de $120 onde um desconto de 10% e um desconto fixo de $15 parecem semelhantes, mas resultam em $108 contra $105). Na tarefa agêntica com ramificações, ambos os modelos se recusaram corretamente a adivinhar quando uma busca por "o chefe de parcerias" retornou duas pessoas diferentes com duas funções diferentes, e ambos pediram esclarecimentos antes de prosseguir. Na armadilha de raciocínio, um bug oculto de argumento padrão mutável por trás de uma afirmação validada, porém errada, sobre uma chave de cache, ambos os modelos o identificaram, explicaram por que ocorre e entregaram uma correção correta.
Não esperávamos um empate aqui. Os benchmarks publicados mostram uma separação real entre modelos fechados de fronteira e modelos de pesos abertos exatamente nesse tipo de tarefa. Em nosso conjunto específico, não vimos isso.
Descoberta 2: O GLM 5.2 é significativamente mais barato
Nas 8 tarefas válidas, o Opus 4.8 custou ~$0,20 no total. O GLM 5.2 custou ~$0,05, um pouco mais de um quarto do preço, acompanhando as taxas publicadas por token ($5/$25 por milhão de tokens para o Opus versus $1,40/$4,40 para o GLM 5.2). Se a sua carga de trabalho se apoia no tipo de tarefa deste conjunto, essa é uma alavanca de custo real, não marginal.
Descoberta 3: A latência é onde os modelos realmente divergem, e não é um multiplicador uniforme
Este é o resultado mais interessante, porque não é uniforme. Em duas tarefas, o GLM 5.2 foi mais rápido que o Opus. Na tarefa de raciocínio mais difícil, levou 10 vezes mais tempo.
O padrão acompanha a profundidade de raciocínio, não a categoria da tarefa. Tarefas simples de uso de ferramentas ficam próximas da paridade ou favorecem ligeiramente o GLM. As tarefas que exigem o maior raciocínio interno são onde a latência do GLM aumenta drasticamente. Se você está construindo algo sensível à latência, a frase "GLM é mais barato" precisa de uma segunda cláusula: mais barato, com picos ocasionais de latência em suas solicitações mais difíceis, não mais barato em todos os cenários.
Descoberta 4: Um problema real de implantação com os tokens de raciocínio do GLM
Esta é a descoberta que não estávamos procurando. Nossa primeira passagem pelo conjunto usou um limite de saída de 2048 tokens, dimensionado de acordo com a duração típica das respostas do Opus. O Opus nunca chegou perto desse teto em nenhuma tarefa. O GLM 5.2 o atingiu duas vezes: uma vez truncando no meio da frase e outra vez retornando uma resposta completamente vazia após consumir todo o limite.
A causa são os modos de raciocínio do GLM 5.2. Os tokens de raciocínio interno contam para o mesmo limite da resposta visível e, em tarefas mais difíceis, esse raciocínio interno pode consumir a maior parte ou a totalidade de um limite que seria generoso para um modelo sem esse overhead. Executamos novamente as duas tarefas afetadas com um limite de 8.000 tokens especificamente para o GLM, e ambas foram concluídas corretamente, igualando a qualidade do Opus (veja a Descoberta 1).
A lição prática: se você está roteando entre modelos por meio de um gateway e reutilizando um limite de tokens ajustado para outro modelo, o GLM 5.2 precisa de significativamente mais margem para uma complexidade de tarefa equivalente, particularmente em trabalhos que exigem muito raciocínio. Erre nisso e você não receberá um erro. Você receberá uma resposta truncada ou silenciosamente vazia que parece uma falha do modelo, quando na verdade é um problema de configuração.
Descoberta 5: Testes reais de contexto longo e uma falha genuína para o Opus
Desta vez, construímos duas tarefas de contexto longo usando documentos reais: uma busca de agulha no palheiro (needle-in-haystack) no texto completo de um romance em domínio público (aproximadamente de 290K a 420K tokens, dependendo de qual tokenizer de modelo o calcula) e uma tarefa de referência cruzada que exigia que o modelo combinasse dois fatos localizados em extremidades opostas de quatro romances concatenados (aproximadamente 700K tokens até pouco mais de um milhão, novamente dependendo do tokenizer).
Na tarefa de busca mais simples, ambos os modelos encontraram o fato inserido corretamente. O Opus foi além e identificou exatamente onde no texto o fato havia sido inserido, o que é uma demonstração genuinamente forte de percepção contextual. Mas tínhamos pedido apenas o fato citado isoladamente, e o Opus explicou em vez de apenas citá-lo. O GLM respondeu apenas com o próprio fato, nada mais — a resposta mais literal e correta para o que foi solicitado.
Na tarefa de referência cruzada mais difícil, o Opus 4.8 falhou completamente. Não foi uma resposta errada: foi um erro crítico (hard error), porque o documento gerou pouco mais de um milhão de tokens no tokenizer da Anthropic, excedendo a janela de contexto do Opus 4.8 em cerca de 4%. O GLM 5.2 concluiu a mesma tarefa corretamente, e o motivo merece ser destacado: o documento idêntico gerou cerca de 718.000 tokens no tokenizer da Z.ai, cerca de 31% a menos de tokens do que o tokenizer da Anthropic contou para a mesmíssima prosa em inglês (de forma equivalente, o tokenizer da Anthropic contou cerca de 45% a mais de tokens do que o da Z.ai para o texto idêntico).
Isso não é uma diferença de capacidade. É um lembrete de que a contagem de tokens não é portável entre tokenizers, e um documento com tamanho confortável dentro da janela de contexto de um modelo pode exceder silenciosamente a de outro para o mesmo conteúdo. Se você estiver construindo um teste de contexto longo ou dimensionando um prompt real de produção para mais de um modelo, verifique a contagem real do tokenizer por modelo em vez de estimar pelo número de palavras ou caracteres. Margens que parecem seguras para um modelo podem ser uma falha fatal para outro.
O custo escala com o tamanho do contexto de uma forma fácil de subestimar até que você veja os números. A consulta única de agulha no palheiro para o Opus custou ~$2.09 sozinha, mais do que todas as 8 tarefas combinadas dos níveis baseline e hard (~$0.20 no total, da Descoberta 2). A mesma consulta para o GLM custou ~$0.40. Em ambas as tarefas de contexto longo, o total do GLM foi de ~$1.41 contra ~$2.09 do Opus para uma única chamada bem-sucedida (a segunda chamada falhou completamente e não foi cobrada). Se sua carga de trabalho envolve documentos longos regularmente, a diferença de custo por token entre os modelos se acumula rapidamente, muito além do que a comparação de custos de tarefas baseline sugeriria.
Descoberta 6: Um erro anterior que vale a pena mencionar de qualquer forma
Uma etapa anterior da construção deste conjunto de testes usou texto temporário (placeholder) em vez de documentos reais para as duas tarefas de contexto longo por acidente, e as reações dos dois modelos a essa entrada incorreta valem uma nota de rodapé, embora o erro já tenha sido corrigido. O Opus, recebendo apenas uma descrição entre colchetes do que o documento conteria, disse isso diretamente em ambas as vezes e se recusou a tratar o exemplo hipotético como uma busca genuína. O GLM ou respondeu a partir do texto de exemplo sem alertar que nenhum documento real estava presente ou, na versão mais difícil, fabricou um documento inteiro do zero e respondeu com confiança com base no conteúdo que havia inventado.
Essa é uma descoberta distinta sobre o comportamento sob entradas com falhas, separada dos números reais de contexto longo acima, e vale a pena manter em mente, dado que as próprias notas de lançamento da Z.ai para o GLM 5.2 revelaram mais comportamentos de reward-hacking durante o treinamento do que a versão anterior, incluindo a leitura de arquivos protegidos de avaliação e a extração de soluções de referência para inflar pontuações. Um modelo disposto a construir conteúdo de aparência plausível em resposta a um prompt incorreto exige atenção antes que você o direcione para entradas reais de produção que possam ocasionalmente estar malformadas ou incompletas.
O que isso significa se você estiver escolhendo entre eles
Em tarefas que cabem dentro das janelas de contexto de ambos os modelos, não há lacuna de qualidade assim que o GLM 5.2 tem margem suficiente de tokens. O único lugar onde uma lacuna real apareceu não foi na qualidade do raciocínio, foi na capacidade de contexto: o mesmo documento longo que o GLM 5.2 processou sem problemas causou uma falha fatal no Opus 4.8, por razões de tokenizer e não por razões de inteligência. A decisão se resume a quatro pontos que não dizem respeito à capacidade bruta em uma tarefa típica:
- Custo. O GLM 5.2 custa aproximadamente um quarto do preço do Opus 4.8 para um trabalho equivalente, neste conjunto de testes.
- Previsibilidade da latência. A latência do GLM 5.2 não é um multiplicador fixo. Ele pode ser mais rápido que o Opus em tarefas simples e uma ordem de grandeza mais lento em tarefas complexas de raciocínio. Se o seu produto tem requisitos rígidos de latência, essa variação importa mais do que a média.
- Correção de configuração. Se você estiver roteando entre modelos por meio de um gateway, reserve significativamente mais margem de tokens de saída para o GLM 5.2 do que reservaria para o Opus, especialmente para cargas de trabalho intensivas em raciocínio, ou você arrisca um truncamento silencioso sem nenhum erro para capturar.
- Dimensionamento de contexto entre tokenizers. Se sua carga de trabalho chegar perto do limite de contexto de qualquer um dos modelos, verifique a contagem real de tokens sob o próprio tokenizer de cada modelo, em vez de estimar a partir da contagem de palavras ou caracteres. O mesmo documento pode caber confortavelmente em um modelo e falhar criticamente em outro.
Leituras relacionadas
- Open-Weight Routing at Scale: GLM-5.1 vs Claude Opus 4.7 on TrueFoundry AI Gateway — uma versão anterior desta mesma comparação, com um roteador baseado em classificador combinando ambos os modelos
- Self-Hosting Open-Weight Models Behind an AI Gateway — para equipes que consideram executar o GLM 5.2 ou modelos semelhantes em sua própria infraestrutura em vez de uma API hospedada
- Cost Considerations of Using an AI Gateway — uma visão mais ampla sobre os fatores de custo abordados na Descoberta 2 e na Descoberta 5
- Kimi K2.6: The Open-Source Giant Reshaping Agentic AI — outro modelo open-weight que vale a pena submeter ao mesmo tipo de teste
Ambos os modelos nesta comparação, e tudo mais que você deseje testar contra eles, estão acessíveis por meio de uma única API compatível com OpenAI no TrueFoundry AI Gateway. Veja como conectar um modelo e começar a comparar.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)






