エージェント型AIを本番運用するための5つの教訓 - ファイアサイドチャットより
.webp)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
現在、ほとんどのエンタープライズでは、エージェントがどのような動作をしているかを把握する手段を持つ前に、エージェントを本番環境に投入しています。このギャップこそが、コストの超過、原因不明の障害、シャドーAIの発生源となっています。当社は18の業界にわたる200人のエンタープライズAIリーダーから同じ課題を聞き、さらにViaのエンジニアリングVPであるDaniel氏と、SurveyMonkeyでデータおよびエンタープライズAIを統括するMeenal氏とのライブセッションでも同様の知見を得ました。
誰もその言葉を使わなかったとしても、ほぼすべての回答に共通する根底の考え方は同じでした。それは「AI gatewayが必要である」ということです。事後的に追加する別のオブザーバビリティツールではなく、モデル、MCP servers、エージェントが経由する単一の制御レイヤーを導入することで、すべてのコードベースで個別に行うのではなく、1箇所でコスト、ログ記録、アクセスを管理できるようにします。以下は、私たちが対話したリーダーたちがその境地に達する過程で得た学びです。
詳細なファイアサイドチャットの動画はこちらからご覧いただけます -

大規模環境においてエージェント型AIのガバナンスが重要である理由
当社のレポートで最も示唆に富む発見は、あるパラドックスでした。2026年および2027年の予算の投入先を尋ねたところ、「AIユースケースの拡大」が第1位となりました。一方で、資金を投じるべき最大の懸念リスクについて個別に尋ねたところ、その拡大に伴う「セキュリティとガバナンス」も同等に上位へランクインしました。この2つの項目はほぼ表裏一体の関係にあります。
この緊張関係こそがすべての鍵です。拡大を焦りすぎればコストとリスクが制御不能になります。慎重になりすぎれば競合に遅れをとります。取材したすべてのリーダーがこの両方に同時に投資しようとしており、うまく機能させている企業は、ガバナンスを自社の推進を減速させるものではなく、より迅速な拡大を可能にするアクセルとして捉えています。Meenal氏が述べたように、適切なリスクおよびセキュリティ体制に投資する1ドルは、より早いスピードで拡大に資金を投入するためのレバレッジとなります。
教訓1:推論費用はコストのほんの一部にすぎない
UberがAI予算を早期に使い果たしたという報道が大きな話題となりましたが、これを単なる推論価格の問題として解釈しがちです。しかし、通常はそうではありません。請求額が跳ね上がる理由は、トークンごとの単価ではなく、モデルに与えるコンテキストの量にあります。
Meenal氏はこれを、組織がスケーリングを行う前に取り組むべき「宿題」と位置づけました。コンテキストは次の3つから生じます。データベース内のデータ、チームが適用する意思決定ロジック、そして人々の頭の中にある組織的・暗黙知的な知識です。これらを適切に組み合わせれば、エージェントは最小限のトークンで必要な情報を取得できます。ここを省略すると、同じモデルが同じ問題に対して何度も試行錯誤を繰り返すコストを支払うことになります。
彼女はまた、非常に記憶に残る例えを挙げました。これはオンプレミスからクラウドへの移行の歴史と同じです。多くの企業がクラウドへ移行し、コストの膨張に直面して初めて、その管理方法を学びました。AIも同じ曲線を描いていますが、そのスピードは凝縮されています。AIツールの価格設定モデルが確立され、基盤となるコンピュートコストが上昇するにつれて、費用は上がり続けるため、今回はより早期に規律を確立する必要があります。
多様な企業と協業する中で、当社の共同創業者であるAnuragは、コスト制御が3つのレイヤーで機能することを確認しており、AI gatewayはその3つすべてが適用される場所となります。
- 可視性(Visibility)。 Bedrock、OpenAI、Anthropicなどのマルチモデルを許可している場合、ユーザー、チーム、アプリケーションごとに支出がどこに向かっているかを一元的に把握する必要があります。見えないものは管理できません。
- 制御(Control)。 可視性を確保したら、制限を設定します。ユーザー、チーム、またはアプリケーションレベルで予算とレート制限を設定し、各アプリの価値に見合ったROIに適合させます。
- ルーティング(Routing)。 最もスマートなレイヤーです。大規模なフロンティアモデルに送信されたリクエストも、多くの場合、より小さなモデルで同等の結果を得ることができます。中央レイヤーがすべてのトラフィックを把握しているため、各リクエストを適切なモデルにルーティングでき、時間の経過とともにオブザーバビリティログから学習してルーティングロジックが向上します。
このレイヤーなしでエージェントを運用する場合と、レイヤーの後ろで運用する場合の違いは以下のとおりです。
教訓2:設計段階から組み込まれていないトレーシングは行えない
調査対象となった企業の半数以上が、本番環境で稼働しているエージェントを完全に追跡できていませんでした。これらのエージェントの一部は承認されたものでしたが、一部はIT部門や経営陣が知らぬ間にデプロイされたシャドーAIでした。
Daniel氏は、このリスクについて非常に的確な指摘をしました。従業員に何でもインストールできる権限とフルネットワークアクセスを与え、監視も行わずにノートPCを渡す場面を想像してみてください。現代の企業でそのようなことをする組織はありません。エージェントにも最初から同様のガードレールが必要です。なぜなら、非決定論的なシステムを事後的に追跡することはほぼ不可能だからです。エージェントは同じ動作を二度繰り返さないため、監査トレイルが最初から設計に含まれていなければ、後から確認しようとしても存在しません。
Viaでは、これを前提条件(テーブルスパー)として扱っています。エージェントを運用するための優れたインフラストラクチャは、デプロイの安全性向上と容易化を同時に実現します。これにより、人々はより多くのエージェントをデプロイできるようになります。これこそが、agent observabilityを後回しのプロジェクトではなく、プラットフォームの一部として組み込むべき理由です。同社で効果を発揮した具体的な手法の1つは、エージェントのプロンプトをチェックポイント付きのパーツに分割し、チェーン内の各応答を検証して問題が発生した箇所を特定できるようにすることでした。
教訓3:76%が統合ログを欠いており、これはガバナンスの問題である
当社のレポートに回答した組織の76%が、すべてのモデルとワークフローにわたる完全な統合ログを保持していませんでした。これはコストの問題であると同時に、制御の問題でもあります。どの部門の誰がどのモデルを使用しているかを把握できなければ、コスト構造を推論することも、それを制御することもできません。
SurveyMonkeyは、システムが制御不能になるのを防ぐため、スケールさせる前にまずLLM observabilityを導入しました。同社のログ記録は現在、コストだけでなく品質にまで拡張されています。ハルシネーションを監視し、evals(評価)やLLM-as-judgeを活用して出力を検証しています。Daniel氏は、多くのチームが見落としがちな盲点を指摘しました。エージェントの出力には、通常のログには含まれないユーザーのPII(個人識別情報)が含まれる可能性があるため、デフォルトですべてをログ記録するのではなく、何を記録し、何をマスキングするかを設計する必要があります。
両者ともに同意したのは、受け入れがたい現実についてです。オブザーバビリティは、最初に構築すべきものとしては認識されにくいという点です。どうしても製品を素早く出荷して価値を示したいという誘惑が働きます。その考え自体は理解できますが、後から追加するガバナンスは最初から設計されたガバナンスよりもはるかに高コストになります。そして、すべての開発者が意識しなくてもログ記録が自動化される場所こそがAI gatewayなのです。
教訓4:リスク姿勢を決めるのは内部向けか外部向けかという点である
拡大重視かリスク回避重視かという判断は、主に1つの要素によって決まります。それは、AIが社内向けか社外向けかという点です。これは当社が支援する企業全体を通じてAnuragが感じている傾向であり、現場の実践者2名もこれを認めました。
社内向けの生産性向上ツールは、多少の問題が発生した際のコストが低いため、迅速に進めることができます。Viaでは、技術職以外のスタッフも含めた自社社員が、用意されたテンプレートからダッシュボード、小規模サイト、自動化処理を迅速に立ち上げられる社内インフラを構築しました。一方、顧客向け(社外向け)のツールは話が別です。Meenal氏は明確に語りました。顧客は自らのデータがどのように使用されているかを知りたがるため、外部向けAIはより厳格な審査を受け、社内向けのものよりも厳しいレビューサイクルを通過します。この両方のバランスをうまく取っている企業は、まずリスク体制に投資し、その余力を活かして拡大を進めています。
教訓5:200個ではなく、ROIの高い8〜10個のユースケースから始める
セッション中で最も強力なアドバイスは、「限定すること」に関するものでした。風呂のお湯をすべて沸かそう(すべてを一度に解決しよう)としては非効率的です。Meenal氏の原則は、技術ではなくユースケースからスタートすることでした。課題から始めることで、適切なツールと明確なROIが見えてくるからです。Daniel氏の原則は、目標を賢明に選択することでした。目標が小さすぎれば無意味であり、遠大すぎれば現実的ではありません。アジャイルなPOCとして実行し、ガードレールを構築し、検証に耐えうる状態になってから出荷します。
Anuragはこの変化を間近で見てきました。数年前、チームはAIで解決したい200個のユースケースのリストを携えて相談に来ましたが、そのほとんどは削減できるコストと同等の開発費用がかかるものでした。現在、成果を上げている先進的な組織は、確固たるROIを持つ8〜10個のユースケースを持ち込み、初日からコスト制御、ガバナンス、オブザーバビリティを組み込んでいます。この最後の部分が重要です。これを怠ったチームは、本番デプロイ後に1つの障害に直面し、システム全体を解体して再構築する羽目になります。制御レイヤーを早期に導入することで、優れたユースケースが成長するための余地が生まれます。
TrueFoundryが単一のコントロールプレーンを通じてエージェント型AIガバナンスを実行する方法
当社は、エージェント型AIのためのエンタープライズAIコントロールプレーンとしてTrueFoundryを構築しています。この概念は上記の教訓と直接対応しています。モデル、MCP、エージェントを単一のレイヤーに集約し、その上でコスト、ガバナンス、オブザーバビリティを一元管理します。
AI gatewayはエントリポイントとして機能します。プロバイダーをまたぐ1,000以上のLLMに対して1つのOpenAI互換APIを提供するため、モデルの切り替えはコードの書き換えではなくリクエスト内の名前変更だけで済みます。オーバーヘッドはわずか約3〜4msで、単一のvCPU上で350以上のRPSを処理できるため、ボトルネックになることなくホットパス内に留まります。すべてのリクエストがここを通過するため、支出追跡、予算設定、レート制限、モデルルーティングが、各サービスで再実装されることなく中央で一括適用されます。
MCP gatewayとエージェントレジストリは、教訓3で挙げた「N対M」の問題を解決します。MCP serversとエージェントはツールレベルのアクセス制御を備えた1箇所に登録されるため、他のツールを露出させることなく特定のユーザーに特定ツールを付与でき、すべての呼び出しが認証・追跡されます。ガードレールはこのレイヤーでポリシーとして適用されます。これはSurveyMonkeyが事前検証済みエージェントテンプレートで説明したパターンと同じであり、データ、コンテキスト、およびオブザーバビリティ制御がテンプレートに組み込まれているため、チームはデフォルトでそれらを継承できます。
オブザーバビリティに関して、gatewayはOpenTelemetryに準拠しており、プロンプトからツール、モデルの実行に至るすべてのリクエストをトレースし、Grafana、Datadog、またはPrometheusに接続します。CTOが30個のエージェント、3つのモデルプロバイダーを持ち、制御レイヤーがない状態に直面しても、最初のステップは再構築ではありません。それらのエージェントが消費するすべてを1箇所に登録し、エンドポイントを中央レイヤーに向けるだけで、開発者がコードを変更することなく統合ログとコスト制御を実現できます。
関連ドキュメント
- LLM Gatewayとは? 本記事の背景となるアーキテクチャガイド
- 最適なMCP Gatewayの選び方 MCP serversを管理するレイヤーの評価方法
- LLMコスト追跡ソリューション 支出の可視化を深掘り
- MCP vs RAG エージェントにコンテキストを提供する2つの手法の比較
結論
教訓は6つありますが、根底にあるテーマは1つです。コスト、トレーシング、MCPアクセス、ログ記録、リスク姿勢、ユースケースの選定はすべて、エージェントの行動を可視化し制御する単一の場所があるかどうかに集約されます。AI gatewayはその役割を果たし、早期に導入することで、チームは最初の障害発生後にシステムを解体することなく、本番環境でエージェント型AIを順調に拡大できるようになります。
TrueFoundryのAI gatewayがコスト、MCPガバナンス、オブザーバビリティを1つのコントロールプレーンでどのように処理するかをご確認いただくか、デモを予約して貴社の既存スタックでの活用法をご相談ください。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


Recent Blogs
Frequently asked questions
エージェントAIガバナンスとは何ですか?
エージェントAIガバナンスとは、本番環境で自律型エージェントを安全に、追跡可能に、コストを制限して維持するための一連の制御のことです。具体的には、コストの可視化と制限、統合ログ、エージェントが呼び出せるツールやMCPsに対するアクセス制御、そしてポリシーとして適用されるガードレールなどが含まれます。実際には、企業はすべてのエージェントリクエストが通過する中央制御プレーン、またはAIゲートウェイを通じてこれを実施します。
AIゲートウェイは、エージェントAIのコスト管理にどのように役立つのでしょうか?
AIゲートウェイはすべてのトラフィックを把握するため、ユーザー、チーム、アプリケーションごとの費用を表示し、コストが増大する前に予算とレート制限を適用し、各リクエストを適切なサイズのモデルにルーティングできます。これにより、可視化、制御、ルーティングという3つのコスト層をカバーします。
MCPゲートウェイとは何ですか、そしてなぜ企業に必要なのでしょうか?
MCPゲートウェイは、MCPサーバーを登録し、ツールレベルのアクセス制御を適用する中心的なレイヤーです。これにより、どのユーザーがどの認証方法でどのツールにアクセスできるかを決定できます。クライアント、サーバー、ツールのN×Mに広がる乱立状態を、1か所から管理・監査できるものへと変革します。
シャドーAIや追跡不可能なエージェントにどのように対処しますか?
エージェントを、アドホックにデプロイさせるのではなく、デフォルトでログ記録と認証を行うインフラストラクチャ経由でルーティングします。非決定性エージェントは後から確実に追跡できないため、最初からトレーシングを設計に組み込み、デプロイされるものには個人の認証情報ではなくサービスアカウントを要求します。
TrueFoundryを自社のVPC内またはオンプレミスで実行できますか?
はい。TrueFoundryは、お客様のVPC、オンプレミス、エアギャップ環境、ハイブリッド環境、または複数のクラウドにまたがって動作し、データがお客様のドメイン外に出ることはありません。これが、規制の厳しい企業がSaaSのみのゲートウェイではなくTrueFoundryを選ぶ主な理由です。
既存のオブザーバビリティスタックと統合できますか?
はい。ゲートウェイはOpenTelemetryに準拠しており、Grafana、Datadog、Prometheus、またはお好みのスタックに接続できます。プロンプトからツール、モデルの実行まで、すべてのリクエストを追跡するため、既存のシステムを大幅に変更することなく、統合されたロギングを実現できます。













.webp)
.webp)


.webp)
.webp)

.webp)
.webp)
.png)

.png)
.png)






