スケーラブルなエンタープライズAIを支える隠れたインフラストラクチャ：Tesseract TalksとAbhishek Choudhary氏の対談

Tesseract Talksの最新エピソードでは、ホストのOliver RochfordがTrueFoundryの共同創設者兼CTOであるAbhishek Choudhary氏と対談しました。今日の企業が直面する最大の課題の1つ、つまり、運用上の複雑さに陥ることなく、最先端かつセキュアなAIシステムを構築する方法について掘り下げました。

モデルの乱立やエージェントフレームワークから、ガバナンス、コスト管理に至るまで、この対談で明らかになったのは、企業AIがもはや最適なモデルを選ぶだけの問題ではないということです。実験を信頼性の高いスケーラブルな本番システムへと転換させるために、その周りに適切なインフラを構築することが重要です。

この対談から得られた主要なテーマと洞察は以下の通りです。

‍

‍

急速に変化するエコシステムにおけるAI構築の現実

企業は、前例のない速さで変化するAI環境の中で事業を展開しています。新しいモデルやプロバイダーが絶えず登場し、それぞれ異なる強み、弱み、APIを持っています。同時に、 MCP (Model Context Protocol) のようなプロトコルはまだ進化途上にあり、LangGraph、Google ADK、AWSフレームワークなどのエージェントフレームワークは増え続けています。

チームが意味のあるアプリケーションを構築し始める前に、どのモデルを使用するか、プロンプトとバージョンをどのように管理するか、どのフレームワークを標準化するか、そして最終的に構築したものをどのようにデプロイしスケールするかについて、基本的な決定を下す必要があります。そして、チームがようやく1つのスタックに慣れ始めたかと思うと、エコシステムは再び変化し、 音声エージェントやマルチモーダルシステム が全く新しい技術的要件をもたらしています。

ほとんどのAIプロジェクトが本番環境で苦戦する理由

Abhishek氏が説明するように、「80%のケースで機能するデモを構築するのは非常に簡単です。問題は、それをスケールアウトし始めたときです。」実際のユーザーが予測不能な方法でシステムと対話すると、エッジケース、障害、信頼性のギャップがすぐに表面化します。システムが実際の顧客に公開されると、予期せぬプロンプトやエッジケースによって信頼性のギャップがすぐに明らかになります。

もう一つの大きなボトルネックは、モデルの可用性とパフォーマンスです。「モデルプロバイダーがダウンすれば、アプリケーションもダウンします」とAbhishek氏は指摘します。主要なモデルプロバイダーでさえ、停止、速度低下、地域的な障害を経験します。アプリケーションが単一の外部モデルエンドポイントに直接依存している場合、いかなる不安定性も即座に顧客に影響するダウンタイムとなり、製品への信頼を損なう可能性があります。

3つ目の重要な要素はコストです。従来のソフトウェアとは異なり、AIシステムは使用量に直接比例して増加する継続的な推論コストを伴います。多くの企業は当初、速度を重視してクローズドソースのホスト型モデルを採用しますが、後にトークンコストがユースケースを経済的に持続不可能にしていることに気づきます。これに対応して、一部の組織は独自のGPUインフラに投資し、より小さなオープンソースモデルをファインチューニングすることで、短期的な利便性と引き換えに、長期的なコスト管理と予測可能なROIを実現しています。

AIゲートウェイがコアインフラになりつつある理由

1年前には、AIゲートウェイを独立したアーキテクチャコンポーネントとして語るチームはほとんどありませんでした。今日では、本番環境でAIを運用することに真剣に取り組むあらゆる組織にとって、急速に標準的なプラクティスになりつつあります。

Abhishek氏によると、AIゲートウェイは3つの根本的な企業課題を解決するために登場しました。

• APIの標準化：AIゲートウェイは、モデルプロバイダーのインターフェースの違いを抽象化し、アプリケーションコードを書き換えることなく、チームがモデルを切り替えたりルーティングしたりできるようにします。
• セキュリティとキー管理：AIゲートウェイを使用すると、開発者は内部システムに対して認証を行い、プロバイダーの認証情報は一元的に管理、ローテーション、保護されます。
• ガバナンスと可観測性：ガードレール、予算制限、監査ログ、コンプライアンスチェックはすべて一貫して適用でき、各アプリケーションチームが独自にベストプラクティスを実装する必要がありません。Abhishek氏が指摘するように、場合によっては、エージェントが検証されると、「本番環境への移行は文字通りワンクリックです。」

AIゲートウェイが単なるAPIゲートウェイではない理由

「ゲートウェイ」という言葉は聞き慣れているかもしれませんが、AIゲートウェイは従来のAPIゲートウェイとは大きく異なります。従来のゲートウェイは、短命なリクエスト・レスポンスパターンとシンプルな認証フローを中心に設計されていました。また、AIコストを左右するトークンベースの経済性ではなく、リクエスト数で利用状況を測定します。

AIワークロードは根本的に異なります。レスポンスはストリーミングされることが多く、インタラクションは長時間にわたることがあり、音声ベースのシステムでは永続的な接続とリアルタイムの制約が生じます。さらに、AI関連の多くのリスクは構文的ではなく意味的であり、ポリシーの適用は、キーワードやスキーマだけでなく、意味のレベルで機能する必要があることを意味します。

既存のAPIゲートウェイを拡張してAIユースケースをサポートすることは技術的に可能ですが、 専用のAIゲートウェイ は、これらのパターンをネイティブに処理するためにゼロから設計されています。

未来：エンタープライズAIオーケストレーターとしてのAIゲートウェイ

今後、AIゲートウェイの役割はリクエストルーティングをはるかに超えて拡大する可能性があります。Abhishek氏は、ゲートウェイがモデル、ツール、MCPサーバー、さらにはエージェント自体の中心的なレジストリとなる未来を描写しました。

このような環境では、Slack、GitHub、Confluence、社内データベースなどのエンタープライズシステムが、すべて発見可能なAIサービスとして公開される可能性があります。ユーザーが複雑なビジネス上の質問をした場合、ゲートウェイは単一目的のアプリケーションに頼るのではなく、複数のエージェントとツールを動的にオーケストレーションして回答を組み立てることができます。

組織は、孤立したAI機能を構築する代わりに、再利用可能なコンポーネントからインテリジェントなワークフローを構成するでしょう。このアプローチは、現代のソフトウェアプラットフォームがモノリシックなアプリケーションから相互運用可能なサービスのエコシステムへと移行し、どのように進化してきたかを反映しています。

TrueFoundryのような専用のAIゲートウェイは、実験段階を超えて進むために必要な基盤を提供します。これにより、AIスタック全体で一貫したガバナンス、信頼性の高いルーティング、コスト管理、および深い可観測性が可能になります。さらに重要なことに、セキュリティやコンプライアンスを犠牲にすることなく、組織がイノベーションを拡大できるようになります。

Nikunj Bajaj氏とのTesseract Talksの以前のエピソードはこちらでご覧ください AIの混沌を制御へ：Tesseract TalksとのエージェントAIに関する対談