フィールドノート:AIのコスト管理がスイッチ化してしまう時、そしてゲートウェイであるべき理由

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
2026年6月、Yahoo Financeは、Metaが約6,000名の従業員に対し、従業員によるAIトークン使用の監視を強化し支出管理を導入することを社内メモで伝えたと報じました。これは同社が同じ従業員に対してAIの利用促進を強く推し進めてからわずか数週間後のことでした。報道によると、Metaにおける社内AI利用単体だけでも、2026年には数拾億ドル規模のコストに達する見込みです。その数週間後、Amazonは自社の社内AI利用リーダーボードを廃止したと報じられ、Uberは2026年に計画していたAIコーディング予算全体を最初の4か月で使い果たしたと報じられました。メディアはこの一転した状況に対し、tokenminimizing(トークン最小化)という新たな名称を付けました。
これは、tokenmaxxing(トークン最大化)三部作が常に必要としていた補遺です。三部作では、この一転した反応が始まる前に、トークン消費量を称賛することは間違った指標を測定しており、ガバナンス層を持たない組織は「全開( wide open)」か「完全封鎖(clamped shut)」の2つの設定しか持ち得ないと主張していました。tokenminimizingへの反応は、2つ目の設定にあたります。本記事の意図は、その予測が正しかったと誇ることではありません。どちらの設定も同じ過ちであり、大手テクノロジー企業3社における最近の報道が1つの四半期内でそれを示していること、そして急激な方向転換を不要にする第3の選択肢が存在することを伝える点にあります。
記録された方向転換 — 1四半期、3つの企業
ここでの事実はすべて公開された報道から引用されており、当社は各主張を自社で独自に確認したものとして宣言するのではなく、それぞれの情報源に帰属させています。これらの企業の社内動向が報道を通じて公になったために社名を記載しているのであり、これらのメディアが報じた内容を超えて各社の社内運用について独自の主張を行うものではありません。
Meta. Yahoo Financeが報じたように(The Informationが最初に報じたMetaの社内メモを引用)、Metaは約6,000名のスタッフに対し、2026年の社内AIコストが数拾億ドル規模に達する見込みであることを理由に、支出管理、予算、および使用制限を導入することを伝えました。その報道によると、従業員やチームは自身の消費量に対する可視性が限られており、同社は2027年までに予算と割り当て決定の構造化されたフレームワークへと移行することを目指しています。報道によると、そこに到達するためにMetaは、使用状況と支出を一元的に追跡し、異常なスパイクに対する自動アラート機能を備えた「AI Gateway」と呼ばれる中央ダッシュボードを構築したとされています。この詳細は立ち止まって考える価値があります。Meta規模の企業が最大化の実験を実行した末に、まさに本シリーズが最初からリクエストパス内に存在するべきだと主張してきたシステムカテゴリー(リアルタイムの属性特定、支出追跡、スパイクアラート、構造化された予算)を手作業で構築していると報じられているのです。
Amazon. その数週間前、TheStreetやその他のメディアが報じたように(第一報を出したFinancial Timesを引用)、AmazonはKiro開発者プラットフォーム上でのAIアクティビティに基づいて従業員をスコア化する「KiroRank」と呼ばれる社内リーダーボードを廃止しました。報道によると、スタッフはランキングを上げるために価値の低いタスクをAIエージェント経由で実行してスコアを吊り上げており(業界で現在 tokenmaxxing と呼ばれる行動)、これがコンピューティングコストを押し上げていました。報道では、Amazonがリーダーボードを「正規化されたデプロイメント(normalized deployments)」と呼ばれる指標、すなわち実際にリリースされたAI支援コードに置き換えたことが注記されています。高級幹部がスタッフに対し、単にAIを使うためだけにAIを使わないよう告げたと報じられています。この置き換えこそ、Amazon自身によって具現化されたインプットからアウトプットへの是正です。消費されたトークンのカウントを止め、出荷された成果物のカウントを開始したのです。
Uber. そして、同じYahoo Financeのレポートで言及され、以前Business Insiderでも報じられたように、Uberは2026年に計画していたAIコーディング予算全体を最初の4か月で使い果たしたと報じられました。同報道では、UberのCOOが、AI支出の増加とリリース成果との間に明確な関連性を見出せなかったと述べたことも記されています。3つの企業、3つの異なるメカニズム、1つの四半期、そしてまったく同じ構図です。
「tokenmaxxing」や「tokenminimizing」というラベルを付けると、2つのトレンドのように聞こえます。しかし、これを現在3つの別々の企業で顕在化している2つのフェーズを持つ1つのパターンとして読み解く方が有用です。下にガバナンス層がない状態で導入が推奨され、使用量が目に見える指標となり、コストが経営陣を驚かせ、利用可能な唯一のレバーは無骨で大雑把なものだけになる、というパターンです。

三部作が反応の前に主張していたこと
tokenmaxxing 三部作(すべてのリンクは参考文献にあります)は、トークン消費を称賛するものではありませんでした。それはトークン消費に対する批判でした。3つのパートすべてを通じて主張された核心的な論理は、インプットとアウトプットの区別です。トークンは消費するものであり、トークンが生み出す成果物こそが実際に重要なものです。消費されたトークンで従業員をランク付けするリーダーボードは、インプットを計測し、その最大化に報償を与えています。そしてグッドハートの法則が示すように、測定基準が目標となった瞬間、それは優れた測定基準ではなくなります。トークンの増加グラフが生産性の明確な証拠として扱われていた最大化フェーズが最高潮にあった時期に、三部作はこのことを明白に指摘していました。
この点は正確に理解しておく価値があります。なぜなら、本記事を勝利宣言として誤読することが容易だからです。そうではありません。三部作は、特定の企業が2026年6月にメモを発行すると予測したわけではありません。インプットを測定することは最終的に苦痛を伴う是正を強制することになるという構造的な主張を行ったのであり、その構造的主張こそが複数の企業における現在の報道で実証されている内容なのです。MLQの報道でMetaのCTOであるAndrew Bosworth氏の発言として引用されている言葉——トークンの使用量だけではインパクトの尺度にはならない——は、数拾億ドルという予測の圧力の下で独立して到達したとされる、CTOの言葉で語られた三部作の命題そのもののように読めます。また、Amazonのケースは業界の報道においてグッドハートの法則の典型例として説明されています。トークン消費がリーダーボードの目標となった瞬間、報道が主張するように、それは生産性を測ることをやめ、競争上の不安を測るようになったのです。これは、同じ失敗が展開するのを目撃した観察者たちによって独立して導き出された、三部作の主張とほぼ寸分違わぬ論理です。

三部作の推奨事項はこの区別から導き出されました。アウトプット(出荷された成果、解決された問題、価値の単位あたりのコスト)を計測し、トークンコストは従業員がトップを競うリーダーボードではなく、プラットフォームチームのコストダッシュボードに保持することです。これを行う組織は、最大化のスパイクを生み出すインセンティブを構築することがなく、したがって最小化の制限を強制する請求額に直面することもありません。急激な方向転換は回避可能ですが、それは最初の振れを受け入れないことによってのみ達成されます。
なぜ両極端はどちらもコストがかかるのか
tokenminimizing への反応を責任ある是正——パーティを終わらせるために大人がやってきた状態——として解釈したくなるかもしれません。その解釈は誤りであるか、少なくとも不完全です。一律のトークン上限設定はガバナンスではありません。それは責任感のある衣装を纏った「ガバナンスの不在」です。大雑把な上限設定では両者を区別できないため、リーダーボードで不正を行っていたエンジニアを制限するのと同じ速度で、実際の脆弱性を検出していたセキュリティレビューパイプラインも抑制してしまいます。組織は、1つの無差別なポリシー(「AIを自由に使え」)を別のポリシー(「AIの使用を減らせ」)と交換するだけであり、どちらのポリシーも価値ある支出と無駄な支出を区別することができません。これこそがそもそも問題のすべてだったのです。
トークンにお金を浪費し、現在反転させている企業の合理的な核心はここにあります。支出は現実であり、生産性に対する疑問は正当であり、属性特定のない数拾億ドルの予測に対する引き下げは擁護可能な反応です。当社はコストを管理する決定自体を批判しているわけではありません。ガバナンス層を欠いているために、利用可能な唯一の道具が大ハンマー(スレッジハンマー)であるという事実を批判しているのです。最小化へと振れる企業は、より良い手段を可能にしたはずのステップをスキップしてしまった以上、自身に利用可能な最善の動きを行っているに過ぎません。

第3の道:スイッチではなく、ダイヤル
統制された中道(Governed middle)は、最大化と最小化の間の穏やかな妥協点ではありません。それはまったく異なる軸です。最大化と最小化の軸は「すべてを費やす」から「何も費やさない」まで伸びています。統制された軸は「盲目的に費やす」から「属性特定、予算、予測を持って費やす」まで伸びています。統制された軸で運用するチームは、meta promptingを使用するものを含め、価値を生み出すワークロードには積極的に投資し、同時に価値を生み出さないワークロードへの供給を絶つことができます。なぜなら、それらを区別できるからです。
具体的には、三部作が提唱し、TrueFoundryのAI Gatewayが出荷しているレイヤーには3つのパートがあります。第1に、属性特定(Attribution)です。すべてのリクエストに識別情報(チーム、リポジトリ、パイプライン、コストセンター)が付与されているため、「誰が費やしているか」は調査ではなく単なるクエリとなります。第2に、段階的なレスポンスを備えた階層型予算(Hierarchical budgets)です。コストセンターの上限の75%でソフトアラートが発せられ、90%では制約モードとなってプレミアムモデルのトラフィックを低コストなフォールバックへ透過的にルーティングしパイプラインの動作を維持します。そして100%でのハードキャップでは、説明的なエラーを出力してクリーンに失敗します。第3に、上限が作動する前に対応できる十分なリードタイムを持って月末の支出を投影する移動予測(Rolling forecast)です。これらは TrueFoundry の Budget Limiting および Rate Limiting スキーマに規定されており、単一のプロパティに組み込まれています。つまり、支出曲線は急急増して崩壊するのではなく、管理下で緩やかに曲がります。

最大化フェーズ中にこのレイヤーを導入していたチームには、事後対応的なメモは必要ありませんでした。75%のアラートによってコストの高いコストセンターがリアルタイムで表面化し、予測によって数拾億ドル規模の軌道がニュースになる何ヶ月も前に予測され、制約モードによって生産的なワークロードに手を付けることなく無駄なワークロードの曲線を平坦化できたはずです。ここ最近のニュースには静かな検証が含まれており、明確かつ慎重に述べる価値があります。Metaがコスト危機に対応して「AI Gateway」と呼ぶ社内ダッシュボードを構築したと報じられ、Amazonが使用量リーダーボードを出荷コード指標に置き換えたと報じられたとき、それらの報道は TrueFoundry が製品化したのと同じアーキテクチャカテゴリー(リクエストパスにおける属性特定、予算、ルーティング制御、および可視性)を指し示しています。TrueFoundryのAI Gatewayは、その同じカテゴリーのエンタープライズグレードの実装です。サポートするモデルカタログ全体で1つのOpenAI互換エンドポイント、リクエストパス内の属性特定と予算管理、そして規制された企業の自社クラウド内にデプロイ可能な状態を維持する上記のコントロールプレーン/コンピュートプレーンの分割を備えています。TrueFoundryは、このスプリットプレーンモデルを標準化しています。コントロールプレーンが構成とポリシーを管理し、コンピュートプレーンは顧客のVPC、オンプレミス、またはエアギャップ環境で動作し、「自社ドメインからデータを出さない」ことを規定境界としています。規制対象環境のチームは、デプロイメントドキュメントおよび契約内容に対して正確なデータ取り扱い保証を追認する必要があります。当社は、これらの企業のいずれかが TrueFoundry を具体的に使用すべきだった、あるいはそれによって救われたはずだと主張するつもりはありません。それは確認不可能であり、本質ではありません。ポイントは構造的なものです。このレイヤーを早期に構築したチームは、請求額が届いたときに「ダイヤル」を保持しているということです。慎重に言うべき理由は、三部作がそれを述べた理由と同じです。レイヤーはダイヤルを提供しますが、あなたに代わってダイヤルを回してくれるわけではありません。
プロキシを超えて:エンタープライズグレードが実際に意味するもの
バイヤーにとってこれが重要である理由は、ガバナンス層の価値が、リクエストパスで提供される制御の広さに直結しているからです。薄いルーティングプロキシは支出を追跡してそこで停止してしまいますが、エンタープライズグレードのゲートウェイは、追跡機能をコスト、信頼性、安全性、アクセス、そしてエージェントを一元管理する完全な運用サーフェスへと変換します。TrueFoundryの AI Gateway はそのサーフェスとして構築されており、以下の機能は「支出が見える」ことと「戦略を実行できる」ことの違いを示しています。それぞれ TrueFoundry の製品ページおよびドキュメントページに記録されています。TrueFoundry の可視性概要およびAI Gateway 製品ページが参照先です。
1つのエンドポイント、1600以上のモデル、3ミリ秒未満の内部レイテンシ。 すべてのモデル(OpenAI、Anthropic、Gemini、Bedrock、Mistral、セルフホスト)が単一のOpenAI互換APIの背後に配置されます。TrueFoundryの製品ページには、1600以上のモデルと250以上のLLMにわたる1つのエンドポイントが記述されています。認証、レート制限、およびロードバランシングのチェックはメモリ内で実行されるため、ゲートウェイがホットパスに追加するレイテンシは極めてわずかです。TrueFoundryは3ミリ秒未満の内部ゲートウェイレイテンシを文書化しており、可視性概要では単一のvCPU上で350以上のRPSを記録しています。コントロールサーフェスがリクエストパスで消費するコストはほぼゼロであり、これが他のすべてをそこに配置するための前提条件となります。
すべてのリクエストにおける入出力ガードレール。 ゲートウェイは、PII検出および墨消し(マスキング)、有害性およびバイアスチェック、コンテンツモデレーション、カスタムポリシーなどの入力・出力ガードレールを適用し、OpenAI Moderation、AWS Guardrails、Azure Content Safety などの外部サービスに接続できます。これは、NYC-MyCity スタイルの失敗(すべきでないアドバイスを提供するレスポンス)を、ユーザーに届く前にブロックするか人間のレビューへルーティングして捕捉するレイヤーです。ガードレールのアクティビティはファーストクラスのメトリクス(llm_gateway_guardrails_requests_total)であるため、各ポリシーがどのルートでどれくらいの頻度で発動したかを正確に確認できます。
RPSだけでなく、トークンを認識するレート制限。 1つの長いプロンプトは1,000の短いプロンプトよりもコストがかかる可能性があるため、リクエスト/秒(RPS)による制限はAIにとって適切な単位ではありません。TrueFoundryは、ユーザー、チーム、モデル、仮想アカウント、または任意のメタデータキーにスコープを絞り、分、時間、日ごとのトークン数またはリクエスト数でクォータを強制します。これは、単一の暴走ループやリーダーボードを操作するエンジニアが共有予算を消費するのを停止させる正確なメカニズムです。これは tokenmaxxing に対する構造的な解答です。会社全体での上限設定ではなく、他のすべての人に触れることなく外れ値を制限するIDごとのシーリング(天井)です。
エンタープライズ向けに構築されたアクセス制御。 一元化されたAPIキー管理により、プロバイダーキーがアプリケーションコード全体に分散することがなくなります。ゲートウェイは代わりにスコープ付きトークンを発行します。SSO、OAuth 2.0、およびAPIキー認証を備えたRBACにより、誰がどのモデルを呼び出すことができるかが制御され、中央に保存された監査可能なリクエスト/レスポンスログには、誰が、どのデータで何を呼び出し、何が返されたかが記録されます。これは、GDPR、SOC 2、およびHIPAAのワークロードが必要とするコンプライアンスの骨格です。キーはダウンタイムなしでローテーションまたは無効化できます。
稼働を維持するフォールバックとロードバランシング。 宣言型フォールバックチェーン、重み付けおよびレイテンシベースのルーティング、ヘルスチェック、自動フェイルオーバーにより、プロバイダーの障害やスロットリングはインシデントではなく透明性のある再ルーティングとなります。これはコストレバーでもあります。三部作で示された90%予算の「制約モード」は、予算の閾値を超えたときにプレミアムモデルのトラフィックを安価なティアにルーティングするまさにフォールバックルールであり、支出が平坦化する間もパイプラインを走らせ続けます。フォールバックアクティビティはリクエストごとに監視可能(llm_gateway_fallback_requests_total)であるため、すべてのフェイルオーバーにかかったコストを定量化できます。
同じプレーン上で管理されるMCPとエージェント。 エージェントが単一のモデル呼び出しからツールを使用するループへと移行するにつれて、コントロールサーフェスもそれに追従する必要があります。TrueFoundryのMCP Gatewayは、MCPサーバーの中央レジストリ、ユーザー定義のOAuth 2.0に加えて最小権限のツールアクセスのための仮想アカウントトークン、機密アクションに対するRBACと承認ゲート、およびツールごとのトレースを追加します。Agent Harnessはエージェントループ自体を実行します。そのドキュメントによると、予算、クォータ、およびレート制限は独自の能力を持つエージェントIDとしてループに適用され、終了条件(ステップ上限、トークン予算、および失速検出)は各チームが個別に再構築するものではなくハーネスの構成として存在します。これが、モデル呼び出しを管理することと、自律的なワークフロー全体(モデル、ツール、およびそれらを駆動するループ)を管理することの違いです。
すべてをアクションに変換する可視性。 すべてのリクエストはgen_ai.*属性を持つOpenTelemetryトレースを出力し、Prometheus、Grafana、Datadog、またはElasticにエクスポートされます。コストはプロバイダーの公開レートから自動的に価格設定され、モデル、チーム、ユーザー、およびメタデータによって属性特定されます。同じダッシュボードにポリシーアクティビティ(レート制限、フォールバック、ガードレール、予算)が表示されるため、支出のスパイク、ガードレールの作動、フォールバックの集中が、来月の請求書で発覚するのではなく、1つの画面でリアルタイムに視認可能となります。
最後のポイントは、バイヤーに向けて明確かつ正確に述べる価値があります。これらのプリミティブ(基本機能)は運用モデルを可能にするものであり、それ自体が運用モデルというわけではありません。コストの属性特定はお金の行先を示し、予算とレート制限はそれを制限し、フォールバックはチューニング中に体験を保護し、ガードレールとアクセス制御は安全性とコンプライアンスを維持し、エージェントハーネスはそれらすべてをループへと拡張します。これらが組み合わさることで、プラットフォームチームは個々の制御を単律で再構築するのではなく、1つのリクエストパスで「スイッチではなくダイヤル」のモデルを実装できるようになります。これこそが、急激な方向転換を行った企業が事後的に取り組んでいる作業なのです。ゲートウェイが「行わない」唯一のことは、あなたに代わってポリシーを決定することです。ゲートウェイはダイヤルとデータを提供し、有能なチームが閾値を設定してアラートに対応する必要があります。これはツールの弱点ではありません。適切な役割分担であり、このレイヤーを早期に導入しておくことが「戦略」と「反射的対応」を分ける理由そのものなのです。
実際の利害関係:ご自身で計算できる概算(バック・オブ・エンベロープ)
「盲目的」な状態と「属性特定された」状態の差に数字を当てはめてみることは有用です。精密なモデルはあり得ないため完璧な数値ではありませんが、桁数の規模感をつかむことができます。以下の見積もりツールは、上記の TrueFoundry の機能に直接マッピングされています。属性特定(Attribution)によって無駄な支出が表面化し、予算(budgets)、トークン認識型レート制限(token-aware rate limits)、フォールバックルーティング(fallback routing)がそれに対処することを可能にします。「アクション可能な割合」のスライダーは、それらのメカニズムによって表面化した無駄のうち実際にどれだけを回収できるかを示す簡便な指標です。隠されているものは何もありません。計算式は結果の下に表示されます。

モデルが固定パーセンテージの削減ではなく「無駄な割合」に基づいて構築されている理由は、それが問題の誠実な実態だからです。一部の AI 支出は純粋な無駄です — すべてのプロンプトに注入される 50,000 トークンのマニュアル、破損した依存関係を再試行し続けるループ、リーダーボードを駆け上がるためだけに実行されるタスクなどです。一方で、正当であり高額であっても、手をつけるべきではないものもあります。アトリビューション層の価値は、この 2 つを識別できる点にあります。そして、予算、レート制限、フォールバックによって無駄を正確に削減できます — これこそまさに一律の制限では不可能なことです。回収可能な数値とは、ゲートウェイが十分に明確に視覚化し、正確に制御してアクションを起こせる、真に無駄な支出の割合のことです。
次の急増:ループエンジニアリング(Loop Engineering)
ホイップソー(急変)現象から学べる点があるとすれば、ガバナンスギャップは消滅するのではなく移動するということです。次に移動しようとしている場所は、ループエンジニアリングです。これは Addy Osmani のエッセイで命名され、Anthropic の Boris Cherny のような実践者によって同調された、2026 年半ばのプラクティスであり、手動でプロンプトを入力するのではなく、エージェントにプロンプトを出すシステム自体を設計する手法です。ループはタスクを見つけ、エージェントに渡し、結果を検証し、状態を記録し、次に何をするかを決定します — 人の手を介さず、スケジュールに従って自動で実行されます。これは規律における本質的な進歩ですが、tokenmaxxing(トークン最大化)を引き起こしたのと同じ特性を持っています。つまり、コストのループ内に人間が存在しないのです。
このトピックに対する TrueFoundry の 2 部構成の記事 — エンタープライズグレードのループエンジニアリング とその フリートスケール続編 — は、標準的なインシデントから始まります。あるエンジニアの朝のループが、週末の 2 日間にわたって壊れたテスト環境に対して熱心に再試行を繰り返し、そのコストが請求書で初めて発覚するという事態です。これは、個々のリーダーボードからスタックの 1 レベル上にシフトした、週末のトークン請求書です。そして、十分な数の請求書が届いたときに予想される組織的な反応は、tokenminimizing(トークン最小化)のループエンジニアリング版です。つまり、無人ループの禁止です。同じ理由で、トークンキャップと同様に無骨で高コストなものになるでしょう — 一律の禁止は、本物の修正を出荷するループと、壊れた依存関係に対してお金を燃やしているループを区別できないからです。

答えは同じであり、1 つ上のレベルに適用されるだけです。ループをガバナンス対応のランタイム — TrueFoundry の Agent Harness(AI Gateway と MCP Gateway 上に構築) — に配置します。ここでは、ループは登録されたエージェントとして実行され、そのアイデンティティにスコープされた独自のアイデンティティ、予算、レート制限ポリシーを持ち、すべてのモデルとツール呼び出しにコストを割り当てるステップごとのトレースが備わっています。エージェントごとの予算に対して再実行された週末のインシデントは、月曜の朝の請求書ではなく、上限付きの実行と土曜の夜のアラートになります。各ループの経済性はプロバイダーの請求書の残差ではなくラインアイテムになるため、「このループには価値があるか?」は議論ではなくダッシュボードでの比較になります。ハーネスは、無人運用が具体的に必要とするコントロールを追加します。不可逆的なアクションに対するヒューマンインザループのゲート、すべてのモデルおよびツール呼び出しに対するガードレール、そして「完了するまで実行」を「完了するか、予算がストップを命じるまで実行」に変える停止条件(ステップ上限とトークン予算)です。
構造的なポイントは、このシリーズ全体が到達し続けている点です。ループエンジニアリングは、第一にコストの問題ではありません。コストの側面を持つランタイムとガバナンスの問題です。しかし、コストの側面こそ、tokenmaxxing の教訓が最も直接的に適用される場所です。リーダーボード主導のエンジニアと同様に、ループは許可された分だけ支出します。それを安全にする唯一の永続的な方法は、すべてのリクエストが通過する層で支出を属性付けし、制限することです。トークンのホイップソーからこれを学んだチームは、ループのホイップソーが自分たちに起こる前に、それをループに適用することができます。
次に読むべきコンテンツ
この投稿は三部作の付録であり、三部作はこれが言及する議論そのものです。順番に読むことで、3 つのパートはホイップソーが検証する議論を構築します。
ループに関する将来的なスレッドについては、2 部構成のループエンジニアリングシリーズ — エンタープライズグレードのループエンジニアリング と フリートスケール続編 — が同じ議論を無人エージェントに展開しており、Agent Harness ドキュメント はその下にある製品サーフェスです。
この記事が主張しないこと
これは、トークンコストが重要ではない、あるいは企業がコストを管理するのが愚かだったという主張ではありません。コストは非常に重要であり、管理することは正しい対応です。批判の対象はより狭いものです。無制限の使用を推奨した後に、一律の上限でコストを制御することは、ガバナンス層があれば不要であったホイップソーの後半部分です。両方の半分は回避可能でした。
また、TrueFoundry のゲートウェイやその他のゲートウェイが、人間の判断の代わりになるという主張でもありません。議論の誠実なバージョンは、ゲートウェイが組織が可視化し制御できるものを変えるということであり、したがってそれらの決定を自動的に行うことなく、どのような優れた決定が利用可能になるかということです。チームがダイヤルを握っていても、間違った方向に回してしまうことはあります。価値は、ほとんどの組織がスイッチしか持っていないことに気づいた領域で、ダイヤルそのものを持っていることにあります。
そして、ループエンジニアリングが悪化するという予測でもありません。これは、ループが無人で資金を費やし、一部の組織が請求書でこれに気づき、トークンホイップソーの教訓を早期に適用する組織 — ゲートウェイで支出を属性付けし、予算を設定し、制限する — が、同じ苦痛を伴うスイングのループエンジニアリング版をスキップするという予測です。パターンは一定です。それを打破するのが層です。
FAQ
tokenminimizing は単に責任ある行動ではないのですか?
コストを管理することは責任ある行動ですが、一律の上限で管理することは最も精度の低い方法です。上限は、価値のある支出と無駄な支出を同等に絞り込みます。それらを区別するためのアトリビューションが背後に存在しないためです。責任あるバージョンは、ワークロードごとに支出を属性付けし、実際に無駄が存在する場所で曲線を曲げることです — これこそが最小化という極端な状態ではなく、ガバナンスされた中間層です。最小化とは、アトリビューション層が構築されなかったときに残される手段です。
tokenmaxxing 三部作は実際にこれを予測していたのですか、それとも後知恵ですか?
三部作の核となる議論 — トークン使用量はインプットであり、インプットで人々をランク付けするリーダーボードはそれを最大化することに報酬を与え、これが是正を強制するというもの — は、tokenminimizing の反応が始まる前の maxxing フェーズ中に公開されました。特定の企業のメモを予測したわけではありません。報道が現在例示している構造的な議論を行いました。公表された報道で Bosworth のものとされた観察 — 生のトークン使用量は実際のインパクトを測定していない — は、コスト圧力の下で CTO によって再表明された議論として読めます。誠実なフレーミングは、特定の予言ではなく、構造的な予測可能性です。
ゲートウェイが意思決定を行わないのであれば、購入する意味は何ですか?
修正を購入する前にオブザーバビリティを購入するのと同じ理由です。見えないものを管理することはできず、制御できないものをチューニングすることはできません。ゲートウェイは組織にアトリビューション、予算、予測力を与えます — これらは優れたコスト決定を可能にする計器です。これはガバナンスの前提条件であり、所有者の代わりになるものではありません。この層がなければ、利用可能な唯一の計器は「オン」と「オフ」であり、これがホイップソーの発生要因となります。
まだ tokenmaxx していない会社には、これはどのように適用されますか?
それは最高の立ち位置であり、層を構築するのに最も費用がかからないタイミングです。三部作の議論は、maxxing フェーズの後ではなく、前に読むのが最も価値があります。支出が小さいうちにアトリビューションと予算を導入し、最初からインプットではなくアウトプットを測定すれば、ホイップソーが始まることはありません。早期にガバナンスされた中間層を構築する会社は、スイングを余儀なくされる危機を経験することがありません。
ループエンジニアリングは本当にこれの次のバージョンなのですか?
メカニズムは同一です。使用量に応じて支出するシステムであり、支出を監視する人間が存在しません。リーダーボード主導のエンジニアと無人ループは、スタックの 2 つのレベルにおける同じコストガバナンスギャップです。全員が寝ている間にループが壊れた依存関係を何日も再試行できるため、ループのケースは間違いなくより深刻です。ゲートウェイとエージェントハーネスでループをガバナンスするチーム — ループのアイデンティティにスコープされた予算とレート制限、ステップごとのコストトレース、停止条件 — は、必要になる前にダイヤルを手に入れます。そうしないチームは、tokenminimizing メモのループエンジニアリング版に直面することになります。
Meta は「AI Gateway」と呼ばれるものを構築したと報じられています。それは TrueFoundry ですか?
いいえ、これについては正確にお伝えしたいと思います。報道によると、Meta は自社の内部ダッシュボードを構築し、それを「AI Gateway」と名付けました — これは、たまたま同じカテゴリー名を共有する、個別に内部構築されたシステムです。Meta が TrueFoundry を使用、評価、または推奨しているという情報はなく、そのような主張も行いません。私たちがこの詳細を非常に興味深いと感じる理由は、商業的なものではなく収束的なものです。Meta 規模の会社が maxxing の実験を実行した結果、TrueFoundry が製品として提供しているものと同じカテゴリーのシステム — リアルタイムアトリビューション、支出トラッキング、スパイクアラート、構造化された予算 — を手作業で構築していると報じられている点です。この独立した収束は、アーキテクチャが正しいという証拠であり、両社間の関係を示す証拠ではありません。
参考文献
トークンポリシー転換に関する報道(本投稿におけるこれらの企業に関するすべての事実的主張は、これらの公開された記述に帰属します。当社はこれらを超える独立した主張は行いません):
Meta — Yahoo Finance / StockTwits, "Meta's AI Costs Spike — Company Reportedly Tightens Grip With New Tracking System"(無料でアクセス可能、ここで使用された主要ソース); The State of AI, "From Tokenmaxxing to Tokenminimizing"; MLQ, "Meta Caps Internal AI Token Spending." このニュースは元々 The Information(Jyoti Mann; 有料購読)によって報道されました。
Amazon — TheStreet, "Amazon Joins Microsoft in Sending Shocking Message to Employees"; Human Resources Director, "Amazon Shuts Down AI Leaderboard After Tokenmaxxing" および "Amazon Workers Are Gaming the AI Leaderboard"(グッドハートの法則の分析)。KiroRank の終了は元々 Financial Times によって報道されました。
Uber — Business Insider, "The Tokenmaxxing Debate"; Uber の予算枯渇の詳細は、上記の Yahoo Finance および TheStreet の報道でも言及されています。
tokenmaxxing 三部作(本投稿が付録となっている議論):
Part 1 — コストガバナンスギャップ。 Part 2 — ガバナンスされた AI 利用のアーキテクチャ。 Part 3 — トークン支出から AI レバレッジへ。
ループエンジニアリング(将来的なスレッド): エンタープライズグレードのループエンジニアリング — ノート PC のループからガバナンス対応ランタイムへ; 続・ループエンジニアリング — 1 つのガバナンスされたループから運用可能なフリートへ; および起点となったコミュニティエッセイ, Addy Osmani, "Loop Engineering"(2026 年 6 月)。
TrueFoundry 製品ドキュメント(本投稿で参照されている構成とプリミティブ):
プラットフォームの概要とアーキテクチャ — docs.truefoundry.com/introduction。AI Gateway — 製品ページ。予算制限 — 設定リファレンス。レート制限 — 設定リファレンス。リクエストヘッダー — メタデータとヘッダーのコントラクト。コストトラッキング — パブリックおよびプライベートの料金モード。Agent Harness — 無人ループのためのガバナンス対応ランタイム。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






