Blank white background with no objects or features visible.

Olá, EMEA! A TrueFoundry está expandindo sua presença pela Europa, Oriente Médio e África. Leia mais. →

Agent Skills para Slack MCP: Elas Realmente Melhoram a Precisão?

Published: novembro 20, 2026

Visão geral
  • Uma skill vale exatamente a lacuna que ela preenche. Onde os nomes das ferramentas já deixam a escolha clara, um modelo forte chega lá sozinho, e uma regra ampla pode interromper um trabalho que ele teria terminado.
  • Sonnet com uma skill igualou o Opus sem skill. Ambos passaram em 56 de 63 tarefas com esforço alto (88,9%). O Sonnet custou $4,28 contra $6,81, cerca de um terço a menos. O Opus com a skill passou em 55 de 63.
  • Sonnet em esforço médio subiu de 74,4% para 84,1%. O Opus em esforço médio permaneceu em 87,3% em ambos os casos.
  • Fable começou acima de 90% e terminou em 85,7%. Isso representa 3 ou 4 aprovações a menos de 63, portanto o tamanho do impacto é incerto. As falhas em si são específicas.
  • As chamadas de ferramentas caíram em todos os modelos. Cerca de um terço a menos de chamadas, e o benchmark completo custou $44,01 contra $46,10.
  • Adeque a skill ao modelo e depois faça a poda. Teste uma nova regra no modelo mais forte antes de confiar nela.

Se você está executando o Slack por meio de um agente no Opus, aqui está o número desconfortável. O Sonnet 4.6 com esforço alto, utilizando um arquivo de skill de 55 linhas, passou em 56 de 63 tarefas. Isso é 88,9%. O Opus 4.8 com esforço alto e sem skill também passou em 56 de 63. A execução do Sonnet custou $4,28. A do Opus custou $6,81. A tarefa mediana foi 12% mais rápida no Sonnet também.

Portanto, o movimento óbvio é dar ao Opus o mesmo arquivo e observá-lo disparar na frente. Nós fizemos isso. O Opus com a skill passou em 55 de 63. O Fable 5, que começou acima de 90%, terminou em 85,7%. Em um dos prompts, o Opus foi de 3 de 3 sem a skill para 0 de 3 com ela, e a falha não é sutil: ele listou os membros do canal, recebeu de volta os user ids e parou, porque o arquivo dizia “faça uma chamada e depois pare”. O Sonnet leu a mesma linha e continuou para buscar os nomes de qualquer maneira.

Esse é o formato de todo o resultado. Uma skill vale exatamente a lacuna que ela preenche. Em um modelo menor, a lacuna é ampla e um índice curto fecha a maior parte dela, por menos dinheiro do que o modelo maior custa sem nada. Em um modelo próximo do limite de capacidade, a lacuna é estreita, e uma regra escrita para o caso confuso é seguida de forma mais fiel justamente pelo modelo que menos precisava dela.

With no skill, the agent works from tool names and often calls again. With a progressive skill, it decides where the content lives, opens one reference file if it needs to, and makes one call.
Sem skill, o agente trabalha a partir dos nomes das ferramentas e frequentemente faz chamadas repetidas. Com uma progressive skill, ele decide onde o conteúdo reside, abre um arquivo de referência se precisar e faz apenas uma chamada.

A falácia: mais orientação é sempre seguro, e o melhor modelo é o maior beneficiado

Assim que uma equipe vê uma skill aumentar a precisão em um servidor MCP, duas crenças tendem a surgir. A primeira é que a orientação não tem pontos negativos, então escreva regras amplas e deixe todos os modelos lerem. A segunda é que o modelo mais forte se beneficia mais, porque segue melhor as instruções. O Slack quebra ambas.

A primeira crença falha porque uma skill só ajuda onde o modelo estava deixando de fazer uma distinção. A maioria das ferramentas do Slack é fácil de diferenciar. Enviar, rascunhar e agendar são distintos nos nomes das ferramentas, e um modelo forte acertou isso quase todas as vezes sem nenhuma ajuda. Onde a lista de ferramentas já faz o trabalho pesado, uma skill não pode adicionar precisão. Ela só pode adicionar uma regra de que o modelo não precisava, e uma regra pode ser seguida bem até demais.

A segunda crença falha pelo mesmo motivo visto do outro ângulo. O modelo que segue melhor as instruções é o modelo com maior probabilidade de obedecer a “faça uma chamada e depois pare” no momento exato em que estava prestes a fazer algo útil. O Opus já tinha buscado os nomes dos membros por conta própria. O Fable já tinha passado pelo filtro de DM por conta própria. A skill não ensinou nada a nenhum dos dois. Ela entregou a eles uma linha geral curta, e eles a seguiram mais literalmente do que teriam feito por conta própria.

A questão financeira está inserida nisso. A pergunta não é se uma skill vale os tokens que consome. O agente com skill usou ligeiramente menos tokens de entrada e fez cerca de um terço a menos de chamadas, de modo que o arquivo se pagou apenas pelo custo. A pergunta é de qual modelo você precisa em primeiro lugar. Se um índice de 55 linhas permite que o Sonnet iguale o Opus, a skill não apenas economizou tokens na execução. Ela mudou qual modelo a carga de trabalho exige.

TL;DR: o exemplo e o aprendizado

O exemplo. “Quem é membro do mcp-gateway?” A lista de membros retorna user ids. Uma resposta útil busca esses ids e fornece os nomes. Opus 4.8 com esforço alto, sem skill: passou em 3 de 3, listando membros e depois lendo perfis para responder com os nomes. Mesmo modelo, mesmo prompt, com a skill: passou em 0 de 3. Uma tentativa buscou o canal, listou membros duas vezes e parou. A resposta foram user ids sem nomes. Sonnet 4.6 com a mesma skill passou em 3 de 3 e concluiu a busca de nomes.

Os números. 21 tarefas do Slack, seis configurações do Claude, três execuções cada. Em todos os modelos, a precisão subiu de 83,3% para 86,5%. Em esforço alto, o Sonnet com a skill foi de 66,7% para 88,9%, a mesma pontuação do Opus sem skill, por $4,28 contra $6,81. O Opus com a skill ficou em 87,3%. Em esforço médio, o Sonnet subiu de 74,6% para 84,1% e o Opus permaneceu em 87,3%. O Fable foi de acima de 90% para 85,7% em ambas as configurações, uma queda de 3 ou 4 execuções em 63, portanto o tamanho da queda é incerto, mas as falhas específicas são reais. As chamadas de ferramentas por tarefa caíram de 2,52 para 1,71. O custo total do benchmark caiu de $46,10 para $44,01.

O aprendizado. Adeque a skill ao modelo e depois faça a poda. Uma skill ajuda onde o modelo estava perdendo uma distinção: uma funcionalidade que falta ao servidor, um escopo de busca, uma escrita que o usuário já especificou. Onde os nomes das ferramentas já deixam a escolha clara, um modelo forte chega lá sozinho, e uma regra ampla pode interromper um trabalho que ele teria terminado. Escreva cada regra de forma restrita contra uma confusão específica e teste qualquer nova regra no seu modelo mais forte antes de confiar nela.

Como avaliamos as agent skills no Slack MCP

Mesmo design do teste do Linear. Uma variável alterada.

As tarefas. 21 prompts do Slack criados em torno de escopo de busca, threads, rascunhos e agendamentos, canvases, listas, uploads, funcionalidades ausentes e consentimento. “O que nós decidimos?” pode ser uma busca por todo o workspace, as últimas mensagens em um canal ou as respostas dentro de uma única mensagem. “Envie isto” pode significar agora, um rascunho que alguém ainda precisa aprovar, ou uma mensagem que deve sair amanhã. “Redija isto” pode ser um canvas, uma lista ou um arquivo. Escolhemos as tarefas porque elas são confusas, tornando-as mais difíceis do que o tráfego diário comum do Slack.

Os dados. As respostas do Slack vieram de uma gravação estática congelada. Ambos os lados viram dados idênticos, e as operações de escrita nunca atingiram um workspace real.

Os modelos. Sonnet 4.6, Opus 4.8 e Fable 5, cada um com esforço médio e alto. Seis configurações, três execuções por tarefa, em um workspace limpo a cada vez. 378 execuções com a skill e 378 sem.

Os dois cenários.

Sem skillProgressive skill
O que o agente lêApenas a lista de ferramentas MCPLista de ferramentas, um índice de 55 linhas e um arquivo de referência quando necessário
Como ele escolhe a ferramentaNome de som mais próximoDecide onde o conteúdo reside e depois escolhe a ferramenta
Canais privados e DMsEscolha da ferramenta deixada ao modeloO índice orienta a buscar neles apenas após a concordância do usuário
Funcionalidades ausentesAvisa, mas apenas após muitas leituras e buscasAvisa de imediato

A skill. Um índice SKILL.md de 55 linhas que o agente sempre lê. Ele lista os objetos, uma maneira curta de escolher entre eles, uma tabela de itens parecidos e o que o servidor não pode fazer. Três arquivos de referência — um para busca, um para escrita e outro para artefatos — contêm os detalhes dos argumentos. Em uma tarefa típica, o agente decide onde o conteúdo reside (um tópico sem local único é busca, mensagens recentes em uma conversa são histórico do canal, respostas em uma mensagem são uma thread), resolve nomes de canais para ids, abre o arquivo de referência daquela família se necessário e faz uma chamada, depois para.

A pontuação. Uma tarefa passava apenas se o agente escolhesse as ferramentas certas na ordem correta, respeitasse as regras de segurança e fornecesse uma resposta final correta. Um juiz separado Opus 4.8 avaliou a resposta sem saber se uma skill estava presente. Três execuções por tarefa é uma amostra pequena, duas das verificações de aprovação são julgadas por modelo, e a reprodução (replay) remove a latência real da API.

As tarefas, skills, regras de pontuação e etapas de reprodução estão no repositório público mcp-skillbench.

Resultados: agent skills vs. a lista de ferramentas do Slack MCP

A precisão geral mudou pouco, de 83,3% para 86,5%. A variação interessante ocorre por modelo.

Sem skillCom progressive skill
Precisão, todos os modelos83,3%86,5%
Custo estimado, benchmark completo$46,10$44,01
Chamadas de ferramentas por tarefa (caminho correto mais curto: 1,24)2,521,71
Latência mediana37,6s35,1s
5% das tarefas mais lentas (p95)74,7s65,2s

Por modelo, por nível de esforço.

Modelo e esforçoSem skillCom skill
Sonnet 4.6, alto42 de 63 (66,7%)56 de 63 (88,9%)
Sonnet 4.6, médio47 de 63 (74,6%)53 de 63 (84,1%)
Opus 4.8, alto56 de 63 (88,9%)55 de 63 (87,3%)
Opus 4.8, médio55 de 63 (87,3%)55 de 63 (87,3%)
Fable 5, alto58 de 63 (92,1%)54 de 63 (85,7%)
Fable 5, médio57 de 63 (90,5%)54 de 63 (85,7%)
At high effort, Sonnet with the skill and Opus with no skill both passed 88.9%. Opus with the skill passed 87.3%. Sonnet's run cost 37% less, and its median task was 12% faster.
Com esforço alto, o Sonnet com skill e o Opus sem skill passaram em 88,9%. O Opus com a skill passou em 87,3%. A execução do Sonnet custou 37% a menos e sua tarefa mediana foi 12% mais rápida.

A média é o número errado a se lembrar. O Sonnet em esforço alto foi de 42 de 63 para 56 de 63, a pontuação que o Opus registrou sem skill, custando $4,28 contra $6,81 e com uma tarefa mediana de 32,6 segundos contra 36,9. O Opus ainda venceu na cauda mais lenta. A queda do Fable é de 3 ou 4 execuções em 63 por configuração, o que, perto do limite máximo, pode ser em parte ruído. As falhas específicas abaixo são sólidas. O tamanho exato da queda é menos certo.

Onde a skill se pagou

Sem uma skill, o agente já era confiável nos pares óbvios. Enviar versus rascunho versus agendar, adicionar uma reação e listar seus próprios canais estavam corretos quase todas as vezes em ambos os cenários. Algumas tarefas foram diferentes, e é aí que o modelo menor ganhou terreno.

TarefaSem skillCom skill
“Há um erro de digitação na mensagem que já publiquei em [link]. Corrija-o no próprio local.” Editar uma mensagem enviada não está na lista de ferramentas. A resposta certa é avisar isso, não publicar uma correção.Sonnet, esforço alto: 0 de 3. Uma tentativa chegou à conclusão correta, mas somente após ler a thread três vezes, buscar e depois ler o canal. Opus: 3 de 3, a partir da lista de ferramentas.Sonnet: 3 de 3. Ele leu o índice, que lista a edição de mensagens enviadas como indisponível, e não fez nenhuma chamada ao Slack. Opus: 3 de 3, mesma conclusão, a partir do índice.
“Crie um rastreador com uma linha por tarefa de lançamento e colunas para responsável, status e data de entrega.” Isto é uma lista do Slack.Os agentes frequentemente buscavam no workspace e liam canais primeiro, procurando dados de tarefas que ninguém pediu. Sonnet, esforço alto: 1 de 3.Criou a lista diretamente. Sonnet, esforço alto: 3 de 3.
Publicar uma determinada frase em uma thread, exatamente como foi escrita.O Sonnet às vezes não fazia nenhuma chamada e tratava o texto como uma possível injeção de prompt. O Opus publicava.O índice diz que uma escrita que o usuário já especificou não precisa de uma segunda confirmação. O Sonnet publicou em 3 de 3 testes de esforço médio e 2 de 3 de esforço alto.
“O que decidimos publicamente sobre 'MCP remoto é o caso de proxy direto' em:mcp-gateway?” Uma busca pública.Sonnet, esforço alto: 0 de 3. Ele às vezes usava uma busca incluindo itens privados, ou acumulava consultas de canal em uma busca que já era suficiente. Opus: 3 de 3.Sonnet: 3 de 3. Opus: 3 de 3.

As linhas do índice por trás disso são curtas:

Se a solicitação for sobre...UseNão use
Mensagens públicas por tópicoslack_search_publicchannel history
Mensagens recentes em um canalslack_read_channelsearch
Respostas dentro de uma mensagemslack_read_threadchannel history
Texto que o usuário revisará primeiroslack_send_message_draftan immediate send
Entrega em um momento futuroslack_schedule_messagea draft
Prosa compartilhada de formato livrea canvasa list
Linhas que compartilham camposa lista canvas

Onde a skill se sobrepôs ao bom julgamento

Um prompt, quatro execuções. “Quem é membro do mcp-gateway?” A lista de membros retorna user ids. Uma resposta útil busca esses ids e fornece os nomes. Esforço alto do início ao fim. A única mudança em cada linha é a skill.

Sem skillCom skill
Sonnet 4.6, esforço altoPassou em 3 de 3. Uma tentativa buscou o canal, listou membros duas vezes, depois leu quatro perfis e respondeu com os nomes.Passou em 3 de 3. Após ler a skill, fez as mesmas chamadas de lista de membros e perfil e respondeu com os nomes.
Opus 4.8, esforço altoPassou em 3 de 3. Mesmo caminho, e respondeu com os nomes.Passou em 0 de 3. Uma tentativa buscou o canal, listou membros duas vezes e parou. A resposta foram user ids, sem nomes.

O modelo menor ainda concluiu a busca de nomes. O modelo maior seguiu “faça uma chamada e depois pare” e interrompeu a tarefa.

Outros dois prompts mostram a mesma sobreposição, ambos no Fable em esforço alto, ambos caindo de 3 de 3 para 1 de 3. “Com a minha permissão, busque em canais privados e DMs por __mcp_skill_eval_no_match__.” A busca incluindo itens privados era a ferramenta certa em ambos os casos. Sem uma skill, o agente passou um filtro nomeando canais privados, DMs de grupo e DMs. O índice diz que essa busca “inclui canais privados e DMs”, e algumas execuções com skill levaram a frase ao pé da letra, deixaram o filtro de fora e depois disseram que as DMs tinham sido buscadas. E “Leia toda a discussão abaixo de [um link para uma mensagem]”. A primeira página contém apenas algumas das respostas, e os agentes frequentemente apresentavam essa página como a discussão completa. Isso era difícil de qualquer forma, e a skill piorou o cenário.

Em cada caso, o agente tinha a ferramenta certa ou estava a uma busca de distância de uma resposta completa. Ele então seguiu uma linha geral curta no índice de forma mais literal do que teria feito por conta própria.

Quanto custou

O índice é pequeno e os arquivos de referência são carregados apenas quando necessário, então o agente com skill usou ligeiramente menos tokens de entrada do que o agente sem skill. As chamadas de ferramentas caíram cerca de um terço, de 2,52 por tarefa para 1,71, contra um caminho correto mais curto de 1,24. A maior parte dessa economia foi no Sonnet, cujas execuções sem skill tendiam a buscar, ler e buscar novamente. A mediana ficou um pouco mais rápida, de 37,6 segundos para 35,1, e os 5% mais lentos caíram de cerca de 75 segundos para cerca de 65. O custo do benchmark completo foi de $44,01 com a skill e $46,10 sem ela.

Adeque a skill ao modelo e depois faça a poda

Dispense uma skill para leituras de rotina em um modelo forte. Se o agente executa no Opus ou Fable e busca principalmente em canais públicos e lê o histórico, a lista de ferramentas já faz o trabalho. Uma skill economizará algumas chamadas. Ela pode não aumentar a precisão e, em um modelo perto do teto de capacidade, pode custar alguns testes.

Adicione uma se um modelo menor estiver no caminho, ou se as tarefas envolverem escopo de busca, uma funcionalidade ausente ou uma escrita que o usuário já tenha especificado. O Sonnet em esforço alto, subindo de 66,7% para 88,9%, é o motivo pelo qual escrevemos uma. Nesse ponto, a skill não é um detalhe de engenharia de prompt. É a diferença entre precisar do Opus ou não.

Em seguida, faça a poda. Mantenha o índice focado na escolha, carregue os detalhes sob demanda e leia as tarefas que pioraram. Se uma regra interromper um trabalho que o modelo já estava fazendo, como buscar nomes após listar membros, restrinja a regra ou exclua-a. Uma skill mais curta é mais fácil de seguir. Isso inclui as vezes em que ela não deveria ter sido seguida.

Teste cada nova regra no seu modelo mais forte antes de confiar nela. O modelo menor é onde você vê o ganho. O modelo mais forte é onde você vê a sobreposição indevida.

Gerenciando skills do Slack MCP com a TrueFoundry

Uma skill altera qual ferramenta do Slack é chamada. Ela não decide quem pode buscar em canais privados, qual token a chamada usa ou o que é registrado nos logs.

O TrueFoundry Skills Registry mantém uma skill como esta versionada e compartilhada. Uma skill reside em um repositório ao lado de prompts e modelos. O repositório decide quem pode descobri-la, editá-la e anexá-la, mantendo o histórico de versões e o log de auditoria. Cada publicação é uma versão numerada, portanto, quando você restrinja uma regra que causou uma regressão, todos os agentes recebem a mesma correção, e um agente pode ter sua versão fixada de volta caso uma nova publicação apresente comportamento inadequado. A mesma versão pode ser anexada a um agente da TrueFoundry ou puxada para o Claude Code e Cursor. Esta skill do Slack é um índice mais três arquivos de referência, sendo publicada como um pacote através da CLI ou via GitOps com o tfy apply.

O TrueFoundry MCP Gateway fica à frente do servidor Slack MCP. Ele gerencia autenticação, controle de acesso no nível da ferramenta e o rastreamento (trace) de cada chamada. O overhead é de cerca de 3 a 4 ms, processando mais de 350 requisições por segundo em uma única vCPU. Este benchmark usou uma reprodução local, portanto não diz respeito ao gateway. A skill escolhe a chamada. O gateway decide se essa chamada é permitida.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
novembro 20, 2026
|
5 min read

Grok 4.3 no Amazon Bedrock: Roteamos Quatro Modelos de Fronteira por um Único Gateway e Medimos o Custo

Ferramentas de LLM
comparação
novembro 20, 2026
|
5 min read

GPT-6.1 Terra: API, Benchmarks, Preço & Como Usar

No items found.
TrueFoundry AI gateway is an enterprise alternative to Bifrost and Portkey
novembro 20, 2026
|
5 min read

Bifrost vs Portkey: Precificação, Recursos de Gateway e Adequação Enterprise Comparados

No items found.
novembro 20, 2026
|
5 min read

Evolução do Machine Learning: Um Mergulho Profundo na Jornada de Savin

True ML Talks
No items found.
Take a quick product tour
Start Product Tour
Product Tour