生成AIスタックにおけるAIゲートウェイアーキテクチャの考え方

現代の生成AIシステムにおいて、 AIゲートウェイ は 肝となるプロキシ層 として機能し、アプリケーションと大規模言語モデル（LLM）プロバイダーの間に位置します。本番環境に流れるすべてのリクエストに対し、信頼性、可観測性、アクセス制御、コスト効率の管理において中心的な役割を果たします。

ゲートウェイは 本番トラフィックのクリティカルパス上に位置するため、以下のコア原則を念頭に置いて設計する必要があります。

主要なアーキテクチャ上の優先事項：

1. 高可用性： ゲートウェイは単一障害点となってはなりません。依存関係の問題（データベースやキューの停止など）が発生した場合でも、適切にトラフィックを処理し続ける必要があります。
2. 低レイテンシ： すべての推論リクエストとインラインで連携するため、ゲートウェイは 最小限のオーバーヘッド を追加し、迅速なユーザーエクスペリエンスを保証する必要があります。
3. 高スループットとスケーラビリティ： システムは負荷に応じて線形にスケールし、効率的なリソース使用で数千の同時リクエストを処理できる必要があります。
4. ホットパスにおける外部依存なし： ネットワークまたはディスクに依存する処理は、パフォーマンスのボトルネックを防ぐため、非同期システムにオフロードする必要があります。
5. インメモリでの意思決定: レート制限、ロードバランシング、認証、認可といった重要なチェックはすべて、最高の速度と信頼性を実現するためにインメモリで実行されるべきです。
6. コントロールプレーンとプロキシプレーンの分離: 設定変更とシステム管理は、ライブトラフィックルーティングから分離されるべきであり、地域ごとの障害分離を伴うグローバル展開を可能にします。

TrueFoundryのAIゲートウェイアーキテクチャ

TrueFoundryの AIゲートウェイ 上記の設計原則をすべて具現化しており、低レイテンシ、高信頼性、シームレスなスケーラビリティのために特別に構築されています

AIゲートウェイアーキテクチャの主な特徴

• Honoフレームワーク上に構築: このゲートウェイは Hono、エッジ環境向けに最適化された、ミニマルで超高速なフレームワークを活用しています。これにより、最小限のランタイムオーバーヘッドと非常に高速なリクエスト処理が保証されます。
• リクエストパス上での外部呼び出しなし: リクエストがゲートウェイに到達すると、外部呼び出しは一切トリガーされません（セマンティックキャッシュが有効な場合を除く）。すべての運用ロジックは内部で処理され、リスクを軽減し、信頼性を向上させます。
• インメモリでの適用: すべての認証、認可、レート制限、ロードバランシングの決定は、 インメモリ設定を使用して行われます。、サブミリ秒の応答時間を実現します。
• 非同期ロギング： ログとリクエストメトリクスはメッセージキューに非同期でプッシュされ、データ可観測性がリクエストパスをブロックしたり、速度を低下させたりすることがなくなります。
• フェイルセーフ動作： 外部ロギングキューがダウンしても、ゲートウェイは 失敗させません いかなるリクエストも。これにより、部分的なシステム障害が発生した場合でも、稼働時間と回復力が保証されます。
• 水平スケーラブル： ゲートウェイはCPUバウンドでステートレスであるため、スケールアウトが容易です。高い同時実行性と低いメモリ使用量で効率的に動作します。

コントロールプレーンとデータフロー

TrueFoundryは コントロールプレーン （管理）と データプレーン （リアルタイムトラフィックルーティング）を分離し、スケーラビリティと柔軟性を高めています。

AIゲートウェイのコンポーネント概要：

• UI： LLMプレイグラウンド、監視ダッシュボード、モデル、チーム、レート制限などの設定パネルを備えたWebインターフェース。
• Postgres DB： 永続的な設定データ（ユーザー、チーム、キー、モデル、仮想アカウントなど）を保存します。
• ClickHouse: ログ、メトリクス、利用状況分析の保存に使用される高性能なカラム型データベース。
• NATS Queue: コントロールプレーンと分散型ゲートウェイポッド間でリアルタイム同期バスとして機能します。すべての設定/状態の更新はNATSを介してプッシュされ、すべてのリージョンで即座に利用可能になります。
• バックエンドサービス: 設定の同期、データベースの更新、分析データの取り込みを統括します。
• ゲートウェイポッド: ステートレスで、リージョン内にある軽量なプロキシで、実際のLLMトラフィックを処理します。NATSメッセージを消費し、すべてのロジックをインメモリで実行するため、外部依存関係はありません。

Key Metrics for Evaluating Gateway

Criteria	What should you evaluate ?	Priority	TrueFoundry
Latency	Adds <10ms p95 overhead for time-to-first-token?	Must Have	✅ Supported
Data Residency	Keeps logs within your region (EU/US)?	Depends on use case	✅ Supported
Latency-Based Routing	Automatically reroutes based on real-time latency/failures?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported

Evaluating an AI Gateway?

A practical guide used by platform & infra teams

TrueFoundryのAIゲートウェイのパフォーマンスベンチマーク

TrueFoundryのゲートウェイは、本番環境に近い負荷でのパフォーマンスについて徹底的にベンチマークされています。

• 1 CPU/1GB RAMで250 RPS わずか 3ミリ秒の追加レイテンシ。
• 最大350 RPSまで効率的にスケールします ポッドあたりCPU飽和に達するまで。それ以降はレプリカを追加することで対応可能です。
• サポートします 数万RPS リージョンをまたがる水平スケーリングにより。
• 追加のレイテンシはありません 複数のレート制限、認証、負荷分散ルールが設定されていても。

これが重要な理由

大規模な生成AIワークロードを実行している場合、または複数のLLM（OpenAI、Claude、オープンソースなど）を統合する予定がある場合、ゲートウェイがスタックの基盤となります。

TrueFoundryの設計により、以下が実現されます。

• 以下が可能です。 安全なルーティングとスケーリング プロバイダー間で。
• 適用 きめ細かな制御 ユーザー/チームレベルで。
• システム全体で可観測性とガバナンスを維持しつつ、 生成AIのコストを制御します。
• これらすべてを レイテンシーや信頼性に影響を与えることなく実行します。

デモを予約する AIゲートウェイを始めたい場合は今すぐ。