Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

フィールドノート:AIのコスト管理がスイッチ化してしまう時、そしてゲートウェイであるべき理由

By Boyu Wang

Updated: November 3, 2026

Published: July 2, 2026

2026年6月、Yahoo Financeは、Metaが約6,000名の従業員に対し、従業員によるAIトークン使用の監視を強化し支出管理を導入することを社内メモで伝えたと報じました。これは同社が同じ従業員に対してAIの利用促進を強く推し進めてからわずか数週間後のことでした。報道によると、Metaにおける社内AI利用単体だけでも、2026年には数拾億ドル規模のコストに達する見込みです。その数週間後、Amazonは自社の社内AI利用リーダーボードを廃止したと報じられ、Uberは2026年に計画していたAIコーディング予算全体を最初の4か月で使い果たしたと報じられました。メディアはこの一転した状況に対し、tokenminimizing(トークン最小化)という新たな名称を付けました。

これは、tokenmaxxing(トークン最大化)三部作が常に必要としていた補遺です。三部作では、この一転した反応が始まる前に、トークン消費量を称賛することは間違った指標を測定しており、ガバナンス層を持たない組織は「全開( wide open)」か「完全封鎖(clamped shut)」の2つの設定しか持ち得ないと主張していました。tokenminimizingへの反応は、2つ目の設定にあたります。本記事の意図は、その予測が正しかったと誇ることではありません。どちらの設定も同じ過ちであり、大手テクノロジー企業3社における最近の報道が1つの四半期内でそれを示していること、そして急激な方向転換を不要にする第3の選択肢が存在することを伝える点にあります。

これが重要な理由

フィールドノートは運用記録を解読し、当社のこれまでの主張と照合します。tokenmaxxingからtokenminimizingへの反転は、AIガバナンス分野がこれまでに生み出した最も明確な自然実験の1つです。Meta、Amazon、Uberの大手テクノロジー企業3社における最近の報道では、中間に存在する主要な管理手段がガバナンス層ではなくリーダーボードであった組織において、「可能な限りAIを使用せよ」から「現在レート制限中」へのまったく同じ振れ幅がわずか1四半期の中で起きたことが記述されています。二次報道に基づくものではありますが、1つの詳細が際立っています。 The Information が最初に報道し、Yahoo Finance と StockTwits がまとめた取材によると、Metaは「AI Gateway」と呼ばれる社内ダッシュボードを構築し、リアルタイムでの使用状況と支出の追跡、および自動スパイクアラート機能を備えていたとされています。これが事実であるならば、本シリーズが当初から主張してきた管理層のカテゴリー(リアルタイムの属性特定、予算、および構造化された割り当て)と同じものを指し示しているため極めて注目に値します。ここでの教訓は、どちらかの立場を選択することではありません。振れ幅そのものが症状であり、その処方箋は激しく振れるのではなく細かく調整(チューニング)することを可能にするレイヤーであるということです。

要約(TL;DR) tokenmaxxing(トークン最大化)と tokenminimizing(トークン最小化)は、同じ失敗を反対側から見たものに過ぎません。それは管理手段が「オン」と「オフ」しか存在しない組織の姿です。わずか1四半期の間に、Metaは従業員のトークン使用に上限を設定し、Amazonは使用量リーダーボードを廃止し、Uberは4か月で2026年のAI予算を使い果たしたと報じられました。三部作では根本的なエラーを予測していました。トークン使用量はインプット(投入量)であり、インプットによって人々を格付けするリーダーボードは、アウトプット(成果)を計測することなく最大化することだけを報償します(グッドハートの法則)。注目すべきは、報道によるとMeta自体の解決策が「AI Gateway」と報じられるダッシュボードであったことです。これは本シリーズが推進してきたものと同じカテゴリーのアーキテクチャであり、事後的に社内で構築されたものです。誠実な表現をするならば、ガバナンス層が提供するのはスイッチではなく、属性特定、階層型予算、移動予測を備えた「ダイヤル」です。それは経営上の意思決定を代行するものではありません。リーダーシップが使用量そのものを目標として扱う企業であれば、ゲートウェイを導入していてもなお tokenmaxx を行う可能性があります。次に注視すべき急増要素はループエンジニアリングです。コストループに人間が介在しないまま、メーターに対して支出を続ける放置されたエージェントループのことです。1つ上のレベルで起きる同じ課題であり、ゲートウェイおよびエージェントハーネスにおいて導き出される答えも同じです。

記録された方向転換 — 1四半期、3つの企業

ここでの事実はすべて公開された報道から引用されており、当社は各主張を自社で独自に確認したものとして宣言するのではなく、それぞれの情報源に帰属させています。これらの企業の社内動向が報道を通じて公になったために社名を記載しているのであり、これらのメディアが報じた内容を超えて各社の社内運用について独自の主張を行うものではありません。

Meta. Yahoo Financeが報じたように(The Informationが最初に報じたMetaの社内メモを引用)、Metaは約6,000名のスタッフに対し、2026年の社内AIコストが数拾億ドル規模に達する見込みであることを理由に、支出管理、予算、および使用制限を導入することを伝えました。その報道によると、従業員やチームは自身の消費量に対する可視性が限られており、同社は2027年までに予算と割り当て決定の構造化されたフレームワークへと移行することを目指しています。報道によると、そこに到達するためにMetaは、使用状況と支出を一元的に追跡し、異常なスパイクに対する自動アラート機能を備えた「AI Gateway」と呼ばれる中央ダッシュボードを構築したとされています。この詳細は立ち止まって考える価値があります。Meta規模の企業が最大化の実験を実行した末に、まさに本シリーズが最初からリクエストパス内に存在するべきだと主張してきたシステムカテゴリー(リアルタイムの属性特定、支出追跡、スパイクアラート、構造化された予算)を手作業で構築していると報じられているのです。

Amazon. その数週間前、TheStreetやその他のメディアが報じたように(第一報を出したFinancial Timesを引用)、AmazonはKiro開発者プラットフォーム上でのAIアクティビティに基づいて従業員をスコア化する「KiroRank」と呼ばれる社内リーダーボードを廃止しました。報道によると、スタッフはランキングを上げるために価値の低いタスクをAIエージェント経由で実行してスコアを吊り上げており(業界で現在 tokenmaxxing と呼ばれる行動)、これがコンピューティングコストを押し上げていました。報道では、Amazonがリーダーボードを「正規化されたデプロイメント(normalized deployments)」と呼ばれる指標、すなわち実際にリリースされたAI支援コードに置き換えたことが注記されています。高級幹部がスタッフに対し、単にAIを使うためだけにAIを使わないよう告げたと報じられています。この置き換えこそ、Amazon自身によって具現化されたインプットからアウトプットへの是正です。消費されたトークンのカウントを止め、出荷された成果物のカウントを開始したのです。

Uber. そして、同じYahoo Financeのレポートで言及され、以前Business Insiderでも報じられたように、Uberは2026年に計画していたAIコーディング予算全体を最初の4か月で使い果たしたと報じられました。同報道では、UberのCOOが、AI支出の増加とリリース成果との間に明確な関連性を見出せなかったと述べたことも記されています。3つの企業、3つの異なるメカニズム、1つの四半期、そしてまったく同じ構図です。

「tokenmaxxing」や「tokenminimizing」というラベルを付けると、2つのトレンドのように聞こえます。しかし、これを現在3つの別々の企業で顕在化している2つのフェーズを持つ1つのパターンとして読み解く方が有用です。下にガバナンス層がない状態で導入が推奨され、使用量が目に見える指標となり、コストが経営陣を驚かせ、利用可能な唯一のレバーは無骨で大雑把なものだけになる、というパターンです。

図1 — 急激な方向転換(ウィップソー)。上昇するラインは tokenmaxxing フェーズです。経営陣が導入を推奨し、使用量が指標となり、チームごとの可視性がないまま支出が増加します。下降するラインは tokenminimizing への反応です。請求額が数拾億ドル規模と予測され、メモが回覧され、利用可能な唯一のレバーは硬直した上限設定となります。青い破線は、ガバナンス層が可能にするパスを示しています。属性特定、階層型予算、およびワークロードごとのチューニングにより、急激に遮断するのではなく曲線を緩やかに曲げます。tokenmaxxing と tokenminimizing は、オン/オフのスイッチしか持たない組織という同じ失敗を2つの端から見たものに過ぎません。

三部作が反応の前に主張していたこと

tokenmaxxing 三部作(すべてのリンクは参考文献にあります)は、トークン消費を称賛するものではありませんでした。それはトークン消費に対する批判でした。3つのパートすべてを通じて主張された核心的な論理は、インプットとアウトプットの区別です。トークンは消費するものであり、トークンが生み出す成果物こそが実際に重要なものです。消費されたトークンで従業員をランク付けするリーダーボードは、インプットを計測し、その最大化に報償を与えています。そしてグッドハートの法則が示すように、測定基準が目標となった瞬間、それは優れた測定基準ではなくなります。トークンの増加グラフが生産性の明確な証拠として扱われていた最大化フェーズが最高潮にあった時期に、三部作はこのことを明白に指摘していました。

この点は正確に理解しておく価値があります。なぜなら、本記事を勝利宣言として誤読することが容易だからです。そうではありません。三部作は、特定の企業が2026年6月にメモを発行すると予測したわけではありません。インプットを測定することは最終的に苦痛を伴う是正を強制することになるという構造的な主張を行ったのであり、その構造的主張こそが複数の企業における現在の報道で実証されている内容なのです。MLQの報道でMetaのCTOであるAndrew Bosworth氏の発言として引用されている言葉——トークンの使用量だけではインパクトの尺度にはならない——は、数拾億ドルという予測の圧力の下で独立して到達したとされる、CTOの言葉で語られた三部作の命題そのもののように読めます。また、Amazonのケースは業界の報道においてグッドハートの法則の典型例として説明されています。トークン消費がリーダーボードの目標となった瞬間、報道が主張するように、それは生産性を測ることをやめ、競争上の不安を測るようになったのです。これは、同じ失敗が展開するのを目撃した観察者たちによって独立して導き出された、三部作の主張とほぼ寸分違わぬ論理です。

図2 — 三部作が軸として構築された区別。消費トークン数で従業員をランク付けするリーダーボードはインプットを計測し、その最大化に報償を与えます。使用量が目標となった瞬間、それは生産性を測ることをやめます(グッドハートの法則)。アウトプットによる視点(1ドルあたりの出荷成果物)は指標の誠実さを保ち、そもそも最大化のスパイクを生み出すインセンティブを排除します。急激な方向転換(ウィップソー)は、アウトプットを一度も計測したことがない組織が、上昇時にはインプットを計測し、請求額に驚いて下降時にはインプットを制限することによって発生します。

三部作の推奨事項はこの区別から導き出されました。アウトプット(出荷された成果、解決された問題、価値の単位あたりのコスト)を計測し、トークンコストは従業員がトップを競うリーダーボードではなく、プラットフォームチームのコストダッシュボードに保持することです。これを行う組織は、最大化のスパイクを生み出すインセンティブを構築することがなく、したがって最小化の制限を強制する請求額に直面することもありません。急激な方向転換は回避可能ですが、それは最初の振れを受け入れないことによってのみ達成されます。

なぜ両極端はどちらもコストがかかるのか

tokenminimizing への反応を責任ある是正——パーティを終わらせるために大人がやってきた状態——として解釈したくなるかもしれません。その解釈は誤りであるか、少なくとも不完全です。一律のトークン上限設定はガバナンスではありません。それは責任感のある衣装を纏った「ガバナンスの不在」です。大雑把な上限設定では両者を区別できないため、リーダーボードで不正を行っていたエンジニアを制限するのと同じ速度で、実際の脆弱性を検出していたセキュリティレビューパイプラインも抑制してしまいます。組織は、1つの無差別なポリシー(「AIを自由に使え」)を別のポリシー(「AIの使用を減らせ」)と交換するだけであり、どちらのポリシーも価値ある支出と無駄な支出を区別することができません。これこそがそもそも問題のすべてだったのです。

トークンにお金を浪費し、現在反転させている企業の合理的な核心はここにあります。支出は現実であり、生産性に対する疑問は正当であり、属性特定のない数拾億ドルの予測に対する引き下げは擁護可能な反応です。当社はコストを管理する決定自体を批判しているわけではありません。ガバナンス層を欠いているために、利用可能な唯一の道具が大ハンマー(スレッジハンマー)であるという事実を批判しているのです。最小化へと振れる企業は、より良い手段を可能にしたはずのステップをスキップしてしまった以上、自身に利用可能な最善の動きを行っているに過ぎません。

図3 — 振り子。両極端はどちらもコストがかかります。tokenmaxxing は実証されていない価値や操作された指標にお金を浪費し、tokenminimizing は孤立・特定できない暴走を止めるために正当な生産性を抑制します。統制された中道は両者の折衷案ではありません。属性特定、予算、予測によって組織が大雑把にすべてをカットするのではなく、無駄を精密にカットできるようになるため、振り子の振れ自体を不要にするポジションです。

第3の道:スイッチではなく、ダイヤル

統制された中道(Governed middle)は、最大化と最小化の間の穏やかな妥協点ではありません。それはまったく異なる軸です。最大化と最小化の軸は「すべてを費やす」から「何も費やさない」まで伸びています。統制された軸は「盲目的に費やす」から「属性特定、予算、予測を持って費やす」まで伸びています。統制された軸で運用するチームは、meta promptingを使用するものを含め、価値を生み出すワークロードには積極的に投資し、同時に価値を生み出さないワークロードへの供給を絶つことができます。なぜなら、それらを区別できるからです。

具体的には、三部作が提唱し、TrueFoundryのAI Gatewayが出荷しているレイヤーには3つのパートがあります。第1に、属性特定(Attribution)です。すべてのリクエストに識別情報(チーム、リポジトリ、パイプライン、コストセンター)が付与されているため、「誰が費やしているか」は調査ではなく単なるクエリとなります。第2に、段階的なレスポンスを備えた階層型予算(Hierarchical budgets)です。コストセンターの上限の75%でソフトアラートが発せられ、90%では制約モードとなってプレミアムモデルのトラフィックを低コストなフォールバックへ透過的にルーティングしパイプラインの動作を維持します。そして100%でのハードキャップでは、説明的なエラーを出力してクリーンに失敗します。第3に、上限が作動する前に対応できる十分なリードタイムを持って月末の支出を投影する移動予測(Rolling forecast)です。これらは TrueFoundry の Budget Limiting および Rate Limiting スキーマに規定されており、単一のプロパティに組み込まれています。つまり、支出曲線は急急増して崩壊するのではなく、管理下で緩やかに曲がります。

図4 — 公式ドキュメントから再描画した TrueFoundry のスプリットプレーン・アーキテクチャ。コントロールプレーンがオーケストレーション(ポリシー、予算、RBAC、ダッシュボード)を行い、ゲートウェイ自体を含むコンピュートプレーンは顧客自身のクラウドアカウント内で動作するため、プロンプト、コンプレッション、およびデータが顧客の環境外に出ることはありません。これは、SaaSだけでなく、規制対象、セルフホスト、エアギャップ環境のワークロードに対しても、ガバナンス層(属性特定、予算、ガードレール、エージェントハーネス)をリクエストパス内に配置することを可能にするデプロイメントの特性です。公開されているアーキテクチャドキュメントより TrueFoundry が再描画。

最大化フェーズ中にこのレイヤーを導入していたチームには、事後対応的なメモは必要ありませんでした。75%のアラートによってコストの高いコストセンターがリアルタイムで表面化し、予測によって数拾億ドル規模の軌道がニュースになる何ヶ月も前に予測され、制約モードによって生産的なワークロードに手を付けることなく無駄なワークロードの曲線を平坦化できたはずです。ここ最近のニュースには静かな検証が含まれており、明確かつ慎重に述べる価値があります。Metaがコスト危機に対応して「AI Gateway」と呼ぶ社内ダッシュボードを構築したと報じられ、Amazonが使用量リーダーボードを出荷コード指標に置き換えたと報じられたとき、それらの報道は TrueFoundry が製品化したのと同じアーキテクチャカテゴリー(リクエストパスにおける属性特定、予算、ルーティング制御、および可視性)を指し示しています。TrueFoundryのAI Gatewayは、その同じカテゴリーのエンタープライズグレードの実装です。サポートするモデルカタログ全体で1つのOpenAI互換エンドポイント、リクエストパス内の属性特定と予算管理、そして規制された企業の自社クラウド内にデプロイ可能な状態を維持する上記のコントロールプレーン/コンピュートプレーンの分割を備えています。TrueFoundryは、このスプリットプレーンモデルを標準化しています。コントロールプレーンが構成とポリシーを管理し、コンピュートプレーンは顧客のVPC、オンプレミス、またはエアギャップ環境で動作し、「自社ドメインからデータを出さない」ことを規定境界としています。規制対象環境のチームは、デプロイメントドキュメントおよび契約内容に対して正確なデータ取り扱い保証を追認する必要があります。当社は、これらの企業のいずれかが TrueFoundry を具体的に使用すべきだった、あるいはそれによって救われたはずだと主張するつもりはありません。それは確認不可能であり、本質ではありません。ポイントは構造的なものです。このレイヤーを早期に構築したチームは、請求額が届いたときに「ダイヤル」を保持しているということです。慎重に言うべき理由は、三部作がそれを述べた理由と同じです。レイヤーはダイヤルを提供しますが、あなたに代わってダイヤルを回してくれるわけではありません。

プロキシを超えて:エンタープライズグレードが実際に意味するもの

バイヤーにとってこれが重要である理由は、ガバナンス層の価値が、リクエストパスで提供される制御の広さに直結しているからです。薄いルーティングプロキシは支出を追跡してそこで停止してしまいますが、エンタープライズグレードのゲートウェイは、追跡機能をコスト、信頼性、安全性、アクセス、そしてエージェントを一元管理する完全な運用サーフェスへと変換します。TrueFoundryの AI Gateway はそのサーフェスとして構築されており、以下の機能は「支出が見える」ことと「戦略を実行できる」ことの違いを示しています。それぞれ TrueFoundry の製品ページおよびドキュメントページに記録されています。TrueFoundry の可視性概要およびAI Gateway 製品ページが参照先です。

1つのエンドポイント、1600以上のモデル、3ミリ秒未満の内部レイテンシ。 すべてのモデル(OpenAI、Anthropic、Gemini、Bedrock、Mistral、セルフホスト)が単一のOpenAI互換APIの背後に配置されます。TrueFoundryの製品ページには、1600以上のモデルと250以上のLLMにわたる1つのエンドポイントが記述されています。認証、レート制限、およびロードバランシングのチェックはメモリ内で実行されるため、ゲートウェイがホットパスに追加するレイテンシは極めてわずかです。TrueFoundryは3ミリ秒未満の内部ゲートウェイレイテンシを文書化しており、可視性概要では単一のvCPU上で350以上のRPSを記録しています。コントロールサーフェスがリクエストパスで消費するコストはほぼゼロであり、これが他のすべてをそこに配置するための前提条件となります。

すべてのリクエストにおける入出力ガードレール。 ゲートウェイは、PII検出および墨消し(マスキング)、有害性およびバイアスチェック、コンテンツモデレーション、カスタムポリシーなどの入力・出力ガードレールを適用し、OpenAI Moderation、AWS Guardrails、Azure Content Safety などの外部サービスに接続できます。これは、NYC-MyCity スタイルの失敗(すべきでないアドバイスを提供するレスポンス)を、ユーザーに届く前にブロックするか人間のレビューへルーティングして捕捉するレイヤーです。ガードレールのアクティビティはファーストクラスのメトリクス(llm_gateway_guardrails_requests_total)であるため、各ポリシーがどのルートでどれくらいの頻度で発動したかを正確に確認できます。

RPSだけでなく、トークンを認識するレート制限。 1つの長いプロンプトは1,000の短いプロンプトよりもコストがかかる可能性があるため、リクエスト/秒(RPS)による制限はAIにとって適切な単位ではありません。TrueFoundryは、ユーザー、チーム、モデル、仮想アカウント、または任意のメタデータキーにスコープを絞り、分、時間、日ごとのトークン数またはリクエスト数でクォータを強制します。これは、単一の暴走ループやリーダーボードを操作するエンジニアが共有予算を消費するのを停止させる正確なメカニズムです。これは tokenmaxxing に対する構造的な解答です。会社全体での上限設定ではなく、他のすべての人に触れることなく外れ値を制限するIDごとのシーリング(天井)です。

エンタープライズ向けに構築されたアクセス制御。 一元化されたAPIキー管理により、プロバイダーキーがアプリケーションコード全体に分散することがなくなります。ゲートウェイは代わりにスコープ付きトークンを発行します。SSO、OAuth 2.0、およびAPIキー認証を備えたRBACにより、誰がどのモデルを呼び出すことができるかが制御され、中央に保存された監査可能なリクエスト/レスポンスログには、誰が、どのデータで何を呼び出し、何が返されたかが記録されます。これは、GDPR、SOC 2、およびHIPAAのワークロードが必要とするコンプライアンスの骨格です。キーはダウンタイムなしでローテーションまたは無効化できます。

稼働を維持するフォールバックとロードバランシング。 宣言型フォールバックチェーン、重み付けおよびレイテンシベースのルーティング、ヘルスチェック、自動フェイルオーバーにより、プロバイダーの障害やスロットリングはインシデントではなく透明性のある再ルーティングとなります。これはコストレバーでもあります。三部作で示された90%予算の「制約モード」は、予算の閾値を超えたときにプレミアムモデルのトラフィックを安価なティアにルーティングするまさにフォールバックルールであり、支出が平坦化する間もパイプラインを走らせ続けます。フォールバックアクティビティはリクエストごとに監視可能(llm_gateway_fallback_requests_total)であるため、すべてのフェイルオーバーにかかったコストを定量化できます。

同じプレーン上で管理されるMCPとエージェント。 エージェントが単一のモデル呼び出しからツールを使用するループへと移行するにつれて、コントロールサーフェスもそれに追従する必要があります。TrueFoundryのMCP Gatewayは、MCPサーバーの中央レジストリ、ユーザー定義のOAuth 2.0に加えて最小権限のツールアクセスのための仮想アカウントトークン、機密アクションに対するRBACと承認ゲート、およびツールごとのトレースを追加します。Agent Harnessはエージェントループ自体を実行します。そのドキュメントによると、予算、クォータ、およびレート制限は独自の能力を持つエージェントIDとしてループに適用され、終了条件(ステップ上限、トークン予算、および失速検出)は各チームが個別に再構築するものではなくハーネスの構成として存在します。これが、モデル呼び出しを管理することと、自律的なワークフロー全体(モデル、ツール、およびそれらを駆動するループ)を管理することの違いです。

すべてをアクションに変換する可視性。 すべてのリクエストはgen_ai.*属性を持つOpenTelemetryトレースを出力し、Prometheus、Grafana、Datadog、またはElasticにエクスポートされます。コストはプロバイダーの公開レートから自動的に価格設定され、モデル、チーム、ユーザー、およびメタデータによって属性特定されます。同じダッシュボードにポリシーアクティビティ(レート制限、フォールバック、ガードレール、予算)が表示されるため、支出のスパイク、ガードレールの作動、フォールバックの集中が、来月の請求書で発覚するのではなく、1つの画面でリアルタイムに視認可能となります。

最後のポイントは、バイヤーに向けて明確かつ正確に述べる価値があります。これらのプリミティブ(基本機能)は運用モデルを可能にするものであり、それ自体が運用モデルというわけではありません。コストの属性特定はお金の行先を示し、予算とレート制限はそれを制限し、フォールバックはチューニング中に体験を保護し、ガードレールとアクセス制御は安全性とコンプライアンスを維持し、エージェントハーネスはそれらすべてをループへと拡張します。これらが組み合わさることで、プラットフォームチームは個々の制御を単律で再構築するのではなく、1つのリクエストパスで「スイッチではなくダイヤル」のモデルを実装できるようになります。これこそが、急激な方向転換を行った企業が事後的に取り組んでいる作業なのです。ゲートウェイが「行わない」唯一のことは、あなたに代わってポリシーを決定することです。ゲートウェイはダイヤルとデータを提供し、有能なチームが閾値を設定してアラートに対応する必要があります。これはツールの弱点ではありません。適切な役割分担であり、このレイヤーを早期に導入しておくことが「戦略」と「反射的対応」を分ける理由そのものなのです。

実際の利害関係:ご自身で計算できる概算(バック・オブ・エンベロープ)

「盲目的」な状態と「属性特定された」状態の差に数字を当てはめてみることは有用です。精密なモデルはあり得ないため完璧な数値ではありませんが、桁数の規模感をつかむことができます。以下の見積もりツールは、上記の TrueFoundry の機能に直接マッピングされています。属性特定(Attribution)によって無駄な支出が表面化し、予算(budgets)、トークン認識型レート制限(token-aware rate limits)、フォールバックルーティング(fallback routing)がそれに対処することを可能にします。「アクション可能な割合」のスライダーは、それらのメカニズムによって表面化した無駄のうち実際にどれだけを回収できるかを示す簡便な指標です。隠されているものは何もありません。計算式は結果の下に表示されます。

図 5 — 回収可能な支出を予測するための、インタラクティブで完全に透明性の高いモックアップ(例示用であり、実際の顧客データではありません)。計算式はあえてシンプルに設計されています — 月間支出 × 無駄な割合 × アクション可能な共有率 — そのため、隠された要素はありません。これは、アトリビューション層が到達可能にする規模の大きさを示すものであり、TrueFoundry が約束する数字や特定のデプロイメントのベンチマークではありません。すべての入力値はスライダー形式になっており、計算結果はリアルタイムで更新され、結果の下に全文が印刷されます。

モデルが固定パーセンテージの削減ではなく「無駄な割合」に基づいて構築されている理由は、それが問題の誠実な実態だからです。一部の AI 支出は純粋な無駄です — すべてのプロンプトに注入される 50,000 トークンのマニュアル、破損した依存関係を再試行し続けるループ、リーダーボードを駆け上がるためだけに実行されるタスクなどです。一方で、正当であり高額であっても、手をつけるべきではないものもあります。アトリビューション層の価値は、この 2 つを識別できる点にあります。そして、予算、レート制限、フォールバックによって無駄を正確に削減できます — これこそまさに一律の制限では不可能なことです。回収可能な数値とは、ゲートウェイが十分に明確に視覚化し、正確に制御してアクションを起こせる、真に無駄な支出の割合のことです。

次の急増:ループエンジニアリング(Loop Engineering)

ホイップソー(急変)現象から学べる点があるとすれば、ガバナンスギャップは消滅するのではなく移動するということです。次に移動しようとしている場所は、ループエンジニアリングです。これは Addy Osmani のエッセイで命名され、Anthropic の Boris Cherny のような実践者によって同調された、2026 年半ばのプラクティスであり、手動でプロンプトを入力するのではなく、エージェントにプロンプトを出すシステム自体を設計する手法です。ループはタスクを見つけ、エージェントに渡し、結果を検証し、状態を記録し、次に何をするかを決定します — 人の手を介さず、スケジュールに従って自動で実行されます。これは規律における本質的な進歩ですが、tokenmaxxing(トークン最大化)を引き起こしたのと同じ特性を持っています。つまり、コストのループ内に人間が存在しないのです。

このトピックに対する TrueFoundry の 2 部構成の記事 — エンタープライズグレードのループエンジニアリング とその フリートスケール続編 — は、標準的なインシデントから始まります。あるエンジニアの朝のループが、週末の 2 日間にわたって壊れたテスト環境に対して熱心に再試行を繰り返し、そのコストが請求書で初めて発覚するという事態です。これは、個々のリーダーボードからスタックの 1 レベル上にシフトした、週末のトークン請求書です。そして、十分な数の請求書が届いたときに予想される組織的な反応は、tokenminimizing(トークン最小化)のループエンジニアリング版です。つまり、無人ループの禁止です。同じ理由で、トークンキャップと同様に無骨で高コストなものになるでしょう — 一律の禁止は、本物の修正を出荷するループと、壊れた依存関係に対してお金を燃やしているループを区別できないからです。

図 6 — ループエンジニアリングは、ガバナンスを追い越す次の急増要素です。無人で実行されるループは、構造上、コストループに人間が存在しないシステムです — まさに tokenmaxxing を引き起こした特性が、スタックの 1 レベル上で動作しています。週末のトークン請求書が届いたときの反射的な対応は、同じ無骨なものになります。つまり、ループの禁止です。より良い解決策は、tokenmaxxing の場合と同じです。エージェントアイデンティティにスコープされたゲートウェイ予算、クォータ、レート制限ポリシーが実行を制限し、ステップごとのトレースが支出を帰属させるガバナンス対応ランタイムの上にループを配置します。TrueFoundry の Agent Harness ドキュメントに従って記述された機能です。

答えは同じであり、1 つ上のレベルに適用されるだけです。ループをガバナンス対応のランタイム — TrueFoundry の Agent Harness(AI Gateway と MCP Gateway 上に構築) — に配置します。ここでは、ループは登録されたエージェントとして実行され、そのアイデンティティにスコープされた独自のアイデンティティ、予算、レート制限ポリシーを持ち、すべてのモデルとツール呼び出しにコストを割り当てるステップごとのトレースが備わっています。エージェントごとの予算に対して再実行された週末のインシデントは、月曜の朝の請求書ではなく、上限付きの実行と土曜の夜のアラートになります。各ループの経済性はプロバイダーの請求書の残差ではなくラインアイテムになるため、「このループには価値があるか?」は議論ではなくダッシュボードでの比較になります。ハーネスは、無人運用が具体的に必要とするコントロールを追加します。不可逆的なアクションに対するヒューマンインザループのゲート、すべてのモデルおよびツール呼び出しに対するガードレール、そして「完了するまで実行」を「完了するか、予算がストップを命じるまで実行」に変える停止条件(ステップ上限とトークン予算)です。

構造的なポイントは、このシリーズ全体が到達し続けている点です。ループエンジニアリングは、第一にコストの問題ではありません。コストの側面を持つランタイムとガバナンスの問題です。しかし、コストの側面こそ、tokenmaxxing の教訓が最も直接的に適用される場所です。リーダーボード主導のエンジニアと同様に、ループは許可された分だけ支出します。それを安全にする唯一の永続的な方法は、すべてのリクエストが通過する層で支出を属性付けし、制限することです。トークンのホイップソーからこれを学んだチームは、ループのホイップソーが自分たちに起こる前に、それをループに適用することができます。

次に読むべきコンテンツ

この投稿は三部作の付録であり、三部作はこれが言及する議論そのものです。順番に読むことで、3 つのパートはホイップソーが検証する議論を構築します。

ループに関する将来的なスレッドについては、2 部構成のループエンジニアリングシリーズ — エンタープライズグレードのループエンジニアリング と フリートスケール続編 — が同じ議論を無人エージェントに展開しており、Agent Harness ドキュメント はその下にある製品サーフェスです。

この記事が主張しないこと

これは、トークンコストが重要ではない、あるいは企業がコストを管理するのが愚かだったという主張ではありません。コストは非常に重要であり、管理することは正しい対応です。批判の対象はより狭いものです。無制限の使用を推奨した後に、一律の上限でコストを制御することは、ガバナンス層があれば不要であったホイップソーの後半部分です。両方の半分は回避可能でした。

また、TrueFoundry のゲートウェイやその他のゲートウェイが、人間の判断の代わりになるという主張でもありません。議論の誠実なバージョンは、ゲートウェイが組織が可視化し制御できるものを変えるということであり、したがってそれらの決定を自動的に行うことなく、どのような優れた決定が利用可能になるかということです。チームがダイヤルを握っていても、間違った方向に回してしまうことはあります。価値は、ほとんどの組織がスイッチしか持っていないことに気づいた領域で、ダイヤルそのものを持っていることにあります。

そして、ループエンジニアリングが悪化するという予測でもありません。これは、ループが無人で資金を費やし、一部の組織が請求書でこれに気づき、トークンホイップソーの教訓を早期に適用する組織 — ゲートウェイで支出を属性付けし、予算を設定し、制限する — が、同じ苦痛を伴うスイングのループエンジニアリング版をスキップするという予測です。パターンは一定です。それを打破するのが層です。

FAQ

tokenminimizing は単に責任ある行動ではないのですか?

コストを管理することは責任ある行動ですが、一律の上限で管理することは最も精度の低い方法です。上限は、価値のある支出と無駄な支出を同等に絞り込みます。それらを区別するためのアトリビューションが背後に存在しないためです。責任あるバージョンは、ワークロードごとに支出を属性付けし、実際に無駄が存在する場所で曲線を曲げることです — これこそが最小化という極端な状態ではなく、ガバナンスされた中間層です。最小化とは、アトリビューション層が構築されなかったときに残される手段です。

tokenmaxxing 三部作は実際にこれを予測していたのですか、それとも後知恵ですか?

三部作の核となる議論 — トークン使用量はインプットであり、インプットで人々をランク付けするリーダーボードはそれを最大化することに報酬を与え、これが是正を強制するというもの — は、tokenminimizing の反応が始まる前の maxxing フェーズ中に公開されました。特定の企業のメモを予測したわけではありません。報道が現在例示している構造的な議論を行いました。公表された報道で Bosworth のものとされた観察 — 生のトークン使用量は実際のインパクトを測定していない — は、コスト圧力の下で CTO によって再表明された議論として読めます。誠実なフレーミングは、特定の予言ではなく、構造的な予測可能性です。

ゲートウェイが意思決定を行わないのであれば、購入する意味は何ですか?

修正を購入する前にオブザーバビリティを購入するのと同じ理由です。見えないものを管理することはできず、制御できないものをチューニングすることはできません。ゲートウェイは組織にアトリビューション、予算、予測力を与えます — これらは優れたコスト決定を可能にする計器です。これはガバナンスの前提条件であり、所有者の代わりになるものではありません。この層がなければ、利用可能な唯一の計器は「オン」と「オフ」であり、これがホイップソーの発生要因となります。

まだ tokenmaxx していない会社には、これはどのように適用されますか?

それは最高の立ち位置であり、層を構築するのに最も費用がかからないタイミングです。三部作の議論は、maxxing フェーズの後ではなく、前に読むのが最も価値があります。支出が小さいうちにアトリビューションと予算を導入し、最初からインプットではなくアウトプットを測定すれば、ホイップソーが始まることはありません。早期にガバナンスされた中間層を構築する会社は、スイングを余儀なくされる危機を経験することがありません。

ループエンジニアリングは本当にこれの次のバージョンなのですか?

メカニズムは同一です。使用量に応じて支出するシステムであり、支出を監視する人間が存在しません。リーダーボード主導のエンジニアと無人ループは、スタックの 2 つのレベルにおける同じコストガバナンスギャップです。全員が寝ている間にループが壊れた依存関係を何日も再試行できるため、ループのケースは間違いなくより深刻です。ゲートウェイとエージェントハーネスでループをガバナンスするチーム — ループのアイデンティティにスコープされた予算とレート制限、ステップごとのコストトレース、停止条件 — は、必要になる前にダイヤルを手に入れます。そうしないチームは、tokenminimizing メモのループエンジニアリング版に直面することになります。

Meta は「AI Gateway」と呼ばれるものを構築したと報じられています。それは TrueFoundry ですか?

いいえ、これについては正確にお伝えしたいと思います。報道によると、Meta は自社の内部ダッシュボードを構築し、それを「AI Gateway」と名付けました — これは、たまたま同じカテゴリー名を共有する、個別に内部構築されたシステムです。Meta が TrueFoundry を使用、評価、または推奨しているという情報はなく、そのような主張も行いません。私たちがこの詳細を非常に興味深いと感じる理由は、商業的なものではなく収束的なものです。Meta 規模の会社が maxxing の実験を実行した結果、TrueFoundry が製品として提供しているものと同じカテゴリーのシステム — リアルタイムアトリビューション、支出トラッキング、スパイクアラート、構造化された予算 — を手作業で構築していると報じられている点です。この独立した収束は、アーキテクチャが正しいという証拠であり、両社間の関係を示す証拠ではありません。

参考文献

トークンポリシー転換に関する報道(本投稿におけるこれらの企業に関するすべての事実的主張は、これらの公開された記述に帰属します。当社はこれらを超える独立した主張は行いません):

Meta — Yahoo Finance / StockTwits, "Meta's AI Costs Spike — Company Reportedly Tightens Grip With New Tracking System"(無料でアクセス可能、ここで使用された主要ソース); The State of AI, "From Tokenmaxxing to Tokenminimizing"; MLQ, "Meta Caps Internal AI Token Spending." このニュースは元々 The Information(Jyoti Mann; 有料購読)によって報道されました。

Amazon — TheStreet, "Amazon Joins Microsoft in Sending Shocking Message to Employees"; Human Resources Director, "Amazon Shuts Down AI Leaderboard After Tokenmaxxing" および "Amazon Workers Are Gaming the AI Leaderboard"(グッドハートの法則の分析)。KiroRank の終了は元々 Financial Times によって報道されました。

Uber — Business Insider, "The Tokenmaxxing Debate"; Uber の予算枯渇の詳細は、上記の Yahoo Finance および TheStreet の報道でも言及されています。

tokenmaxxing 三部作(本投稿が付録となっている議論):

Part 1 — コストガバナンスギャップ。 Part 2 — ガバナンスされた AI 利用のアーキテクチャ。 Part 3 — トークン支出から AI レバレッジへ。

ループエンジニアリング(将来的なスレッド): エンタープライズグレードのループエンジニアリング — ノート PC のループからガバナンス対応ランタイムへ; 続・ループエンジニアリング — 1 つのガバナンスされたループから運用可能なフリートへ; および起点となったコミュニティエッセイ, Addy Osmani, "Loop Engineering"(2026 年 6 月)。

TrueFoundry 製品ドキュメント(本投稿で参照されている構成とプリミティブ):

プラットフォームの概要とアーキテクチャ — docs.truefoundry.com/introduction。AI Gateway — 製品ページ。予算制限 — 設定リファレンス。レート制限 — 設定リファレンス。リクエストヘッダー — メタデータとヘッダーのコントラクト。コストトラッキング — パブリックおよびプライベートの料金モード。Agent Harness — 無人ループのためのガバナンス対応ランタイム。

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
Guide to Langgraph vs Langchain
November 16, 2026
|
5 min read

LangChain vs LangGraph:どちらが最適か?

比較
A detailed guide on Claude Fable 5
November 16, 2026
|
5 min read

Claude Fable 5: API、ベンチマーク、料金、使い方

エンジニアリングとプロダクト
openrouter vs litellm
November 16, 2026
|
5 min read

LiteLLMとOpenRouter:あなたに最適なのはどちらか?

比較
November 16, 2026
|
5 min read

大規模言語モデルにおけるトランスフォーマーアーキテクチャ

LLM用語
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour