Agent Gateway シリーズ (Part 4 of 7) | 自律型システムのための FinOps

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
従来のソフトウェアにおいて、無限ループは単なる迷惑行為に過ぎませんでした。CPU 使用率がスパイクし、サーバーの動作が遅くなるかもしれませんが、Pod を再起動すれば解決します。電気代は安価であるため、コストは無記載に等しいものでした。
しかし、Agentic Software において、無限ループは財務上の破滅を意味します。
2 つの Agent が「いえ、お先にどうぞ!」「いいえ、あなたこそお先に!」という譲り合いのループに陥った場面を想像してみてください。
これらの Agent が 100 万 Token あたり 30 ドルの GPT-4 で動作しており、1 秒に 1 回メッセージを交換している場合、たった 1 つの午後に数千ドルを使い果たす可能性があります。
Agent を本番環境で運用するには、単に API キーを渡して成功を祈るだけでは不十分です。内部経済(Internal Economy)が必要となります。
TrueFoundry Agent Gateway は、デジタル労働力における中央銀行として機能します。助成金(Grant)の発行、クォータの強制、ストップロス(損切り)注文の発行、異なる部門間の為替レートの管理を行います。詳細はこちら:.https://www.truefoundry.com/docs/ai-gateway/budgetlimiting
問題点:自律性に潜む隠れた請求額
Agent 運用の根本的なリスクは、予測不可能な消費にあります。
- API 呼び出し: 決定論的。1 リクエスト = 1 コスト単位。
- Agent タスク: 非決定論的。Agent に 「競合他社を調査して」 と依頼した場合。Google で 1 回検索するだけ(コスト: $0.05)で済むこともあれば、500 個の Web サイトをクロールし、50 個の PDF レポートを要約し、データを分析するために 10 個のサブ Agent を生成する判断をする可能性もあります(コスト: $50.00)。
リクエストのボリュームだけでなく、消費の意図(Consumption Intent)をガバナンスするシステムが必要です。
具体例:「暴走するリサーチャー」
実際の悲劇的な事例を見てみましょう:再帰的マーケット分析の暴走です。
設定:
ユーザーが Research Agent に「カリフォルニア州のすべての AI スタートアップを見つけて」と依頼します。
Agent は以下のように設計されています:
- Google で検索する。
- すべての検索結果について、Web サイトにアクセスする。
- Web サイトに「AI」と記載されていれば、それを保存する。
障害モード:
Agent は「1,000 件のスタートアップ一覧」ディレクトリを発見します。そして、律儀に 1,000 個すべてのリンクにアクセスすることを決定します。
アクセスごとにブラウザツールの呼び出しと要約の呼び出し(GPT-4)が発生します。
- リンクあたりのコスト: $0.10
- 総リンク数: 1,000
- 総コスト: わずか 1 つのクエリに $100.00
解決策(A2A エコノミーの活用):
最適な Agent Gateway は Budget Grant(予算付与)を実装します。
- ユーザーのリクエストに $5.00 の Grant(上限)がタグ付けされます。
- Agent が作業を開始します。コストが $0.10、$0.20、$0.30 と累積していきます...
- 50 件目のリンクで、ウォレットが $5.00 に達します。
- アクション: Gateway は次のツール呼び出しを 402 Payment Required で拒否します。
- 結果: Agent は停止を余儀なくされ、次のように報告します:「50 件のスタートアップを見つけましたが、残りをチェックするための予算がなくなりました。」
高額なコストをかけて成功するのではなく、システムは低コストかつエレガントに停止(Graceful Failure)しました。

図 1:予算付与プロセスのフロー
Token Grant システム
私たちは計算資源を通貨として扱います。Gateway に入力されるすべてのリクエストには、Budget Context(予算コンテキスト)が付与される必要があります。
これは固定の月間クォータではありません。リクエストごとのマイクロ予算(Micro-Budget)です。
Manager Agent が Worker Agent を呼び出す際、自身のウォレットから Worker に「支払い」を行う必要があります。これにより、効率性への自然なインセンティブが生まれます。Manager が資金を無駄遣いすると、自身のタスク実行に失敗することになります。
- Manager Agent の予算: $10.00
- サブタスクのコスト: $2.00
- Manager の判断: 「『Premium Coder Agent』($2.00)を雇う余裕はあるが、代わりに『Cheap Coder Agent』($0.50)を試すこともできる。」
これにより、Agent のロジック内で経済的合理性に基づく意思決定(Economic Reasoning)が可能になります。
ボラティリティ・サーキットブレーカー
予算上限は「総コスト」を制御します。しかし、私たちは「消費の速度」も制御する必要があります。
「暴走した Agent」(無限ループ)は、財務上の消費速度のスパイクとして表れます。
Gateway はコストの変化率を監視します。
- 正常: 10 分間で $1.00 を消費。
- 異常: 10 秒間で $1.00 を消費。
消費速度がしきい値を超えると、サーキットブレーカーが作動します。セッションは凍結され、人間の管理者にアラートが送信されます。これにより、Agent が失敗したツール呼び出しを 1 ミリ秒間に 100 回リトライするようなコード上のバグから保護されます。

図 2:「消費速度」の処理方法
部門間チャージバック:東西方向(East-West)の課金管理
大企業において、Agent は共有サービスとして運用されます。
- マーケティング部門: Copywriter Agent を所有。
- エンジニアリング部門: Database Agent を所有。
マーケティングの Agent がエンジニアリングの Agent にデータを要求した場合、OpenAI の請求額は誰が支払うべきでしょうか?
エンジニアリング部門が支払う場合、コスト削減のためにマーケティングからのアクセスをブロックするようになり、サイロ化が発生します。
マーケティング部門が支払う場合、それをどのように追跡すればよいでしょうか?
Agent Gateway は East-West(東西方向)チャージバックを実装します。
- アイデンティティ: リクエストは「Principal: マーケティング」から送信されます。
- 実行: Database Agent が実行されます(コスト: $0.05)。
- 台帳: Gateway がトランザクションを記録します:マーケティングに $0.05 を借方記入、エンジニアリングに $0.05 を貸方記入。
月末に Gateway は CFO 向けのレポートを生成します。これにより、Agent はコストセンターから内部サービスプロバイダーへと進化します。

Shadow FinOps:コストの予測
Agent が処理を開始する前に、請求額を予測することは可能でしょうか?ここで Finops for AI が、実行前のコスト予測に特に役立ちます。
Gateway には Shadow FinOps モデルが含まれています。これは、過去の Agent の実行データで学習された小規模な回帰モデルです。
ユーザーが 「第 3 四半期の財務レポートを要約して」 というプロンプトを送信すると、Shadow モデルは以下を予測します:
- 予想ステップ数: 12
- 予想 Token 数: 8,000
- 見積もりコスト: $0.45
ユーザー個人の制限が $0.20 の場合、Gateway は 1 GPU サイクルも消費することなく、リクエストを即座に拒否します。そしてユーザーに 「このタスクにはマネージャーの承認が必要です」 と通知します。
結論
責任を伴わない自律性は無秩序をもたらします。A2A エコノミーは、企業が安心して Agent をデプロイできるようにするための財務上のガードレールを提供します。予算の適用、ループの暴走防止、正当なチャージバックを実現することで、AI を「不透明な支出のブラックボックス」から、測定可能で管理可能な資本資産へと変換します。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)








.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






