Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

Slack MCPのAgent Skills:精度は向上するのか?

Published: 11月 20, 2026

要約
  • Skillの価値は、それが埋めるギャップの大きさに正確に比例します。 ツール名だけで選択肢が明確な場合、優れたモデルは自力で正解に達するため、大まかなルールを設定すると完了できたはずの作業を中断させてしまう可能性があります。
  • Skillを追加したSonnetは、SkillなしのOpusと同等の結果を示しました。 高Effort設定において、両者ともに63問中56問に合格し、合格率は88.9%でした。Sonnetのコストは$4.28で、Opusの$6.81と比較して約3分の1抑えられました。Skillを追加したOpusは63問中55問に合格しました。
  • 中Effort設定のSonnetは、74.6%から84.1%に向上しました。 中Effort設定のOpusは、どちらの条件でも87.3%を維持しました。
  • Fableは90%以上からスタートし、最終的に85.7%に低下しました。 これは63問中3〜4問の合格数減少を意味するため、その影響の規模は不確定ですが、失敗自体は特定的なものです。
  • ツール呼び出し回数はすべてのモデルで減少しました。 呼び出し回数は約3分の1減り、ベンチマーク全体のコストは$46.10から$44.01になりました。
  • Skillをモデルに合わせて最適化した後、不要なルールを削ぎ落とします。 新しいルールを運用する前に、最も優れたモデルでテストして検証してください。

Opus上のAgentを介してSlackを運用している場合、見逃せない数値があります。高Effort設定のSonnet 4.6に55行のSkillファイルを適用したところ、63個のタスク中56個をクリアしました。達成率は88.9%です。一方、Skillなしの高Effort設定のOpus 4.8も63個中56個をクリアしました。Sonnetの実行コストが$4.28であったのに対し、Opusのコストは$6.81でした。タスク処理時間の中央値においても、Sonnetの方が12%高速でした。

そのため、Opusに同じファイルを提供すれば、さらに大きな成果が得られると考えるのが自然です。実際に検証を行いました。Skillを適用したOpusは63個中55個のクリアにとどまりました。当初90%を超える成功率を示していたFable 5は、85.7%まで低下しました。あるプロンプトにおいて、OpusはSkillなしで3回中3回成功していたものが、Skillありでは3回中0回成功となりました。その失敗理由は明確です。チャンネルメンバーのリストを取得してユーザーIDを返したところで処理を停止してしまいました。ファイル内に「呼び出しを1回行ったら停止する」と記載されていたためです。同じ記述を読み込んだSonnetは、そのまま名前の検索を継続しました。

これが結果全体の傾向を示しています。Skillの価値は、それが補う不備の大きさに一致します。小規模なモデルでは補うべき不備が大きいため、簡潔なインデックスによってその大部分が解消され、何も適用しない大型モデルよりも低いコストで成果を上げることができます。性能上限に近いモデルでは補うべき不備が少ないため、混乱しやすいケース向けに書かれたルールが、最も必要性の低いモデルによって厳密に守られてしまう結果となります。

With no skill, the agent works from tool names and often calls again. With a progressive skill, it decides where the content lives, opens one reference file if it needs to, and makes one call.
Skillがない場合、Agentはツール名に基づいて判断し、再度呼び出しを行うことが多くなります。Progressive Skillを適用した場合、コンテンツの所在を判断し、必要に応じて1つの参照ファイルを開き、1回の呼び出しを行います。

誤解:指導を増やすことは常に安全であり、最高のモデルが最も恩恵を受ける

チームが1つのMCPサーバーでSkillによる精度の向上を確認すると、2つの思い込みが生じがちです。第1に、指示を追加することにデメリットはないため、ルールを広範に記述してすべてのモデルに読み込ませるべきだという考えです。第2に、指示に従う能力が最も高いため、最高のモデルが最も恩恵を受けるという考えです。Slackの検証結果は、この両方を否定しています。

第1の思い込みが誤りである理由は、Skillはモデルに識別能力が欠けていた場合にのみ有効であるためです。Slackのツールの大部分は容易に区別できます。送信、下書き作成、スケジュール設定はツール名で明確に分かれており、優れたモデルは指示がなくてもほぼ毎回正しく選択できました。ツールリスト自体がすでに機能を果たしている場合、Skillによって精度が向上することはありません。モデルにとって不要なルールが加わるだけであり、そのルールが厳格に適用されすぎてしまうリスクが生じます。

第2の思い込みも、逆の視点から同じ理由で否定されます。指示に最もよく従うモデルとは、本来役立つアクションを実行しようとしていたまさにその瞬間に、「1回呼び出したら停止する」という指示を最も忠実に守ってしまうモデルでもあります。Opusは指示がなくてもすでに自力でメンバー名を検索していました。Fableも指示なしでDMフィルターをクリアしていました。Skillはどちらのモデルにも新しい情報をもたらしませんでした。大まかなルールを与えられた結果、自力で判断させるよりも直訳的に指示に従ってしまいました。

コストに関する問題は、その内側にあります。問題は、Skillがそれに費やすトークンに見合う価値があるかどうかではありません。Skillを適用したAgentは、入力トークンをわずかに抑え、呼び出し回数を約3分の1削減したため、ファイル自体のコストは十分に回収できました。重要なのは、そもそもどのモデルが必要かという点です。55行のインデックスによってSonnetがOpusと同等の成果を出せるのであれば、Skillは実行時のトークンを節約しただけでなく、ワークロードに必要なモデルそのものを変化させたことになります。

TL;DR:具体例と得られた学び

具体例。 「mcp-gatewayのメンバーは誰ですか?」という問いに対し、メンバーリストはユーザーIDを返します。適切な回答をするには、それらのIDを検索して名前を提示する必要があります。Skillなしの高Effort設定のOpus 4.8は、3回中3回成功し、メンバーを一覧表示した後にプロフィールを読み込んで名前で回答しました。同じモデル、同じプロンプトにSkillを適用したところ、3回中0回の成功となりました。ある試行ではチャンネルを検索し、メンバーを2回一覧表示して停止しました。回答は名前のないユーザーIDのみでした。同じSkillを適用したSonnet 4.6は3回中3回成功し、名前の検索を完了させました。

数値データ。 21個のSlackタスク、6種類のClaude設定、各3回の実行を実施しました。すべてのモデル全体で、精度は83.3%から86.5%に向上しました。高Effort設定において、Skillを適用したSonnetは66.7%から88.9%に向上し、SkillなしのOpusと同じスコアを達成しました。コストはOpusの$6.81に対して$4.28でした。Skillを適用したOpusは87.3%でした。中Effort設定では、Sonnetが74.6%から84.1%に向上し、Opusは87.3%を維持しました。Fableは両方の設定で90%以上から85.7%に低下しました。これは63回中3〜4回の減少であり、数値としての確実性は低いものの、特定の失敗事例は明確に確認されています。タスクあたりのツール呼び出し回数は2.52回から1.71回に減少しました。ベンチマーク全体のコストは$46.10から$44.01に減少しました。

得られた学び。 Skillをモデルに合わせて最適化した後、不要なルールを削ぎ落とします。Skillはモデルに識別能力が欠けていた箇所(サーバーにない機能、検索範囲、ユーザーが明記した書き込みなど)で効果を発揮します。ツール名だけで選択肢が明確な場合、優れたモデルは自力で正解に達するため、大まかなルールを設定すると完了できたはずの作業を中断させてしまう可能性があります。発生し得る混同に合わせて各ルールを具体的に記述し、新しいルールは最も優れたモデルでテストしてから本格運用してください。

Slack MCPにおけるAgent Skillsのベンチマーク方法

Linearのテストと同じ設計を採用し、変更した変数は1つのみです。

タスク。 検索範囲、スレッド、下書きとスケジュール、キャンバス、リスト、アップロード、未対応の機能、同意要求を中心として記述された21個のSlackプロンプト。「決定事項は何ですか?」という問いは、ワークスペース全体の検索、1つのチャンネル内の直近のメッセージ、または1つのメッセージに対する返信のいずれかを指す可能性があります。「これを送信して」という指示は、即時送信、承認待ちの下書き、または翌日送信予定のメッセージを意味する場合があります。「これを作成して」という指示は、キャンバス、リスト、またはファイルを指す可能性があります。これらは通常のSlack処理よりも複雑で、混乱が生じやすいため、検証用タスクとして選定されました。

データ。 Slackのレスポンスは固定された録画データから取得されました。両方の検証条件で同一のデータが使用され、実際のワークスペースに書き込みが行われることはありませんでした。

モデル。 Sonnet 4.6、Opus 4.8、Fable 5を使用し、それぞれ中Effortおよび高Effortで検証しました。6種類の設定でタスクごとに3回ずつ、毎回新規のワークスペースで実行しました。Skillありで378回、Skillなしで378回の実行を行いました。

2つの検証条件。

SkillなしProgressive Skill
Agentが読み込む内容MCPツールリストのみツールリスト、55行のインデックス、必要に応じた1つの参照ファイル
ツールの選択方法最も名前が近いものを選択コンテンツの所在を判断してからツールを選択
プライベートチャンネルとDMツール選択をモデルに委任ユーザーの同意を得た場合のみ検索するようインデックスに指定
未対応の機能多数の読み込みや検索を行った後に通知即座に通知

Skill。 Agentが常に読み込む55行のSKILL.mdインデックスです。オブジェクト、選択のための簡潔な基準、類似ツールの対比表、サーバーで実行できない操作が記載されています。3つの参照ファイル(検索、書き込み、アーティファクト用が各1つ)に引数の詳細が含まれています。一般的なタスクでは、Agentはコンテンツの所在を判断し(特定の場所がないテーマは検索、1つの会話内の最新メッセージはチャンネル履歴、1つのメッセージ配下の返信はスレッド)、チャンネル名をIDに変換し、必要に応じて該当カテゴリの参照ファイルを開き、1回呼び出して停止します。

スコアリング。 適切な順序で正しいツールを選択し、安全ルールを遵守し、正確な最終回答を提供した場合のみタスク合格と判定しました。Skillの有無を知らされていない別のOpus 4.8の評価モデルが回答を採点しました。タスクあたり3回の実行は比較的小規模なサンプルであり、合格チェックの2項目はモデルによる評価であり、プレイバック環境のため実際のAPIレイテンシーは反映されていません。

タスク、Skill、スコアリングルール、再現手順は公開されているmcp-skillbenchリポジトリに収録されています。

結果:Agent Skills対Slack MCPツールリスト

全体の精度は83.3%から86.5%へとわずかに変化しました。注目すべき動きはモデルごとの結果に現れています。

SkillなしProgressive Skill
精度(全モデル)83.3%86.5%
推定量算コスト(フルベンチマーク)$46.10$44.01
タスクあたりのツール呼び出し回数(最短正解パス: 1.24)2.521.71
レイテンシーの中央値37.6秒35.1秒
最も遅い5%のタスク(p95)74.7秒65.2秒

モデル別・Effort別の結果。

モデルおよびEffortSkillなしSkillあり
Sonnet 4.6, 高Effort42 / 63 (66.7%)56 / 63 (88.9%)
Sonnet 4.6, 中Effort47 / 63 (74.6%)53 / 63 (84.1%)
Opus 4.8, 高Effort56 / 63 (88.9%)55 / 63 (87.3%)
Opus 4.8, 中Effort55 / 63 (87.3%)55 / 63 (87.3%)
Fable 5, 高Effort58 / 63 (92.1%)54 / 63 (85.7%)
Fable 5, 中Effort57 / 63 (90.5%)54 / 63 (85.7%)
At high effort, Sonnet with the skill and Opus with no skill both passed 88.9%. Opus with the skill passed 87.3%. Sonnet's run cost 37% less, and its median task was 12% faster.
高Effort設定において、Skillを適用したSonnetとSkillなしのOpusはともに88.9%を達成しました。Skillを適用したOpusは87.3%でした。Sonnetの実行コストは37%低く、タスク時間の中央値も12%高速でした。

平均値は全体像を反映していません。高Effort設定のSonnetは42/63から56/63へと向上し、SkillなしのOpusと同じスコアを達成しました。コストは$6.81に対して$4.28となり、タスク時間の中央値は36.9秒に対して32.6秒でした。遅延が極端に大きいケースでは依然としてOpusが優位でした。Fableの低下は各設定で63回中3〜4回の範囲であり、性能の上限に近い領域ではノイズの影響も考えられます。以下の具体的な失敗事例は明確です。低下の正確な影響範囲については不確実性が残ります。

Skillによって成果が得られたケース

Skillがない状態でも、Agentは明確なツールの組み合わせに対して高い信頼性を示していました。送信・下書き・スケジュールの選択、リアクションの追加、自身のチャンネル一覧の取得などは、どちらの条件でもほぼ常に正しく動作しました。一部のタスクでは差が生じ、そこで小型モデルの改善が見られました。

タスクSkillなしSkillあり
「[リンク]で投稿済みのメッセージにタイポがあります。その場で修正してください。」送信済みメッセージの編集機能はツールリストに含まれていません。適切な回答は修正を投稿することではなく、未対応であることを伝えることです。Sonnet(高Effort):3回中0回。1回の試行で正しい結論に達したものの、スレッドを3回読み込み、検索を行い、チャンネルを読み込んだ後でした。Opus:ツールリストに基づき3回中3回成功。Sonnet:3回中3回成功。送信済みメッセージの編集が利用不可と記載されたインデックスを読み込み、Slack呼び出しを行いませんでした。Opus:インデックスに基づき同じ結論に達し、3回中3回成功。
「ローンチタスクごとに1行、担当者・ステータス・期日の列を持つトラッカーを作成してください。」これはSlackリストの作成要求です。Agentは要求されていないタスクデータを探すため、ワークスペースの検索やチャンネルの読み込みを最初に行うことがよくありました。Sonnet(高Effort):3回中1回成功。リストを直接作成しました。Sonnet(高Effort):3回中3回成功。
指定された文章を、記述されたとおりにスレッドへ投稿する。Sonnetは呼び出しを行わず、テキストをプロンプトインジェクションの可能性があるものとして扱うことがありました。Opusはそのまま投稿しました。インデックスには、ユーザーが明記した書き込みは再確認が不要であると記載されています。Sonnetは中Effortで3回中3回、高Effortで3回中2回投稿に成功しました。
「in:mcp-gateway で『リモート MCP はダイレクトプロキシのケースである』に関して公開で決定された内容は何ですか?」公開検索です。Sonnet(高Effort):3回中0回。プライベートを含む検索を使用したり、十分な検索結果が得られているにもかかわらずチャンネルの取得処理を重ねたりすることがありました。Opus:3回中3回成功。Sonnet:3回中3回成功。Opus:3回中3回成功。

これらの動作を支えるインデックスの記述は簡潔です。

リクエストの対象使用するツール使用しないツール
トピック別の公開メッセージslack_search_publicチャンネル履歴
1つのチャンネル内の最新メッセージslack_read_channel検索
1つのメッセージに対する返信slack_read_threadチャンネル履歴
ユーザーが事前確認するテキストslack_send_message_draft即時送信
将来の時点での配信slack_schedule_message下書き
自由形式の共有文章キャンバスリスト
フィールドを共有する行データリストキャンバス

Skillが適切な判断を阻害したケース

1つのプロンプトに対して4回の実行を行いました。「mcp-gatewayのメンバーは誰ですか?」という問いに対し、メンバーリストはユーザーIDを返します。適切な回答をするには、それらのIDを検索して名前を提示する必要があります。全試行を高Effortで実施しました。各行の唯一の変更点はSkillの有無です。

SkillなしSkillあり
Sonnet 4.6, 高Effort3回中3回成功。1回の試行でチャンネルを検索し、メンバーを2回一覧表示した後、4つのプロフィールを読み込んで名前で回答しました。3回中3回成功。Skillを読み込んだ後、同じメンバーリストとプロフィールの呼び出しを行い、名前で回答しました。
Opus 4.8, 高Effort3回中3回成功。同じプロセスを経て名前で回答しました。3回中0回成功。1回の試行でチャンネルを検索し、メンバーを2回一覧表示して停止しました。回答は名前のないユーザーIDでした。

小型モデルは名前の検索を最後まで実行しました。一方、大型モデルは「1回呼び出したら停止する」というルールに従い、必要な処理を途中で終了してしまいました。

他の2つのプロンプトでも同様の阻害が確認され、いずれも高EffortのFableにおいて成功率が3回中3回から1回に低下しました。「私の許可を得た上で、プライベートチャンネルとDMから__mcp_skill_eval_no_match__を検索してください。」というタスクにおいて、プライベートを含む検索がどちらの条件でも適切なツールでした。SkillなしのAgentは、プライベートチャンネル、グループDM、DMを指定するフィルターを適用して合格しました。インデックスには「プライベートチャンネルとDMを含む」と記載されており、Skillを適用した一部の実行ではその記述を文字通りに解釈し、フィルターを除外した上でDMの検索が完了したと出力しました。また、「[1つのメッセージへのリンク]の配下にあるディスカッション全体を読み込んでください。」というタスクにおいて、最初のページには返信の一部しか含まれておらず、Agentはそのページをディスカッション全体として提示することが多くありました。これはどちらの条件でも困難な処理でしたが、Skillの適用によってさらに悪化しました。

いずれの場合も、Agentは適切なツールを保持しているか、完了に必要な検索まであと1ステップの段階にありました。その状態でインデックス内の大まかなルールを適用した結果、自力で判断させる場合よりも厳格に指示に従ってしまいました。

発生したコスト

インデックスは小型であり、参照ファイルは必要な場合のみ読み込まれるため、Skillを適用したAgentは非適用の場合よりも入力トークンをわずかに少なく抑えることができました。ツール呼び出し回数は、最短正解パスの1.24回に対し、タスクあたり2.52回から1.71回へと約3分の1減少しました。この削減の大部分はSonnetによるもので、Skillなしの実行では検索、読み込み、再検索を繰り返す傾向がありました。時間の中央値は37.6秒から35.1秒へとやや高速化し、上位5%の低速タスクは約75秒から約65秒に短縮されました。ベンチマーク全体のコストはSkillありで$44.01、Skillなしで$46.10でした。

Skillをモデルに最適化し、不要なルールを削ぎ落とす

高性能モデルで定型的な読み取りを行う場合、Skillは不要です。 AgentがOpusやFableで動作し、主に公開チャンネルの検索や履歴の読み取りを行う場合、ツールリストのみで十分機能します。Skillを導入しても呼び出し回数が多少削減される程度で、精度向上にはつながらず、上限に近いモデルでは試行成績を落とす可能性があります。

中小型モデルを採用する場合や、明確なルールが必要な場合は導入を検討してください。 検索範囲の制御、未対応機能への対処、ユーザーが指定した明らかな書き込み処理などが該当します。高Effort設定のSonnetが66.7%から88.9%に向上した結果が、このSkillを作成した理由です。この段階において、Skillは単なるプロンプト調整の手法ではなく、Opusを採用するかどうかを決定づける要因となります。

作成後は不要なルールを削ぎ落とします。 インデックスはツールの選択基準に絞り、詳細は必要に応じて読み込む構成にし、精度が低下したタスクを分析してください。メンバー一覧の取得後に名前を検索するなど、モデルがすでに正しく実行できていた処理を妨げるルールがある場合は、制限を緩めるか削除してください。短く整理されたSkillの方が忠実に実行されます。これには、適用すべきでなかったケースも含まれます。

新しいルールは、本格運用前に最も優れたモデルでテストしてください。 改善効果は中小型モデルで確認できます。一方、指示のオーバーライドによる問題は最も優れたモデルで顕在化します。

TrueFoundryによるSlack MCP Skillsの管理

Skillは呼び出されるSlackツールを変更しますが、プライベートチャンネルの検索権限、呼び出しに使用するトークン、ログの記録内容を決定するものではありません。

TrueFoundry Skills Registryは、このようなSkillのバージョン管理と共有を実現します。Skillはプロンプトやモデルと共にリポジトリで管理されます。リポジトリ側で参照・編集・紐付けの権限を制御し、変更履歴と監査ログを保持します。各更新はバージョン番号で管理されるため、リグレッションの原因となったルールを修正した際、すべてのAgentに即座に反映でき、新しいバージョンで問題が生じた場合は前のバージョンに切り戻すことが可能です。同一のバージョンをTrueFoundry Agentに接続することも、Claude CodeやCursorに読み込むことも可能です。今回のSlack用Skillは1つのインデックスと3つの参照ファイルで構成されているため、CLIまたはtfy applyを用いたGitOps経由でまとめて配信されます。

TrueFoundry MCP GatewayはSlack MCPサーバーの前段に位置します。認証、ツールレベルのアクセス制御、すべての呼び出しのトレースログを処理します。オーバーヘッドは約3〜4msであり、1 vCPUで秒間350回以上のリクエストを処理できます。今回のベンチマークはローカルのプレイバック環境で実施されたため、ゲートウェイのパフォーマンス自体を示すものではありません。Skillが呼び出しを選択し、ゲートウェイがその呼び出しの実行可否を決定します。

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
11月 20, 2026
|
5 min read

GPT-6.1 Terra: API、ベンチマーク、料金体系、使い方ガイド

No items found.
11月 20, 2026
|
5 min read

Machine Learningの進化:Savinの歩みを深く掘り下げる

True MLトーク
11月 20, 2026
|
5 min read

CrewAI vs LangGraph: 違いを知る

比較
11月 20, 2026
|
5 min read

すべてのリクエストを評価:Confident AIとTrueFoundry AI Gateway

No items found.
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.

Frequently asked questions

Does TrueFoundry support MCP and AI agents?

Yes. It includes an MCP Gateway, an Agent Gateway, and an MCP and Agents Registry with tool-level access control, so agents from LangGraph, CrewAI, AutoGen, or a custom framework can be governed centrally.

Take a quick product tour
Start Product Tour
Product Tour