TrueFoundryとAWSの統合方法: コントロールプレーンのアーキテクチャ

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
クラウドアーキテクトやDevOpsエンジニアにとって、Generative AIを拡張する際の主な課題は、コンピューティングリソースの利用可能性ではなく、それらのリソースのオーケストレーションであることがよくあります。AWSは、Amazon EKS、Spot Instances、IAM roles、Amazon Bedrockなどの強力なプリミティブを提供しています。しかし、これらを統合して凝集性のあるinternal developer platformを構築するには、複雑な設定と継続的なメンテナンスが必要になることが多々あります。
TrueFoundryはそのオーケストレーション層として機能し、お客様のAWSアカウント内に直接配置されるインフラストラクチャオーバーレイとして動作します。以下では、プラットフォームがAWSとどのように統合されるかについて、セキュリティ境界、アイデンティティ連携、ネットワーク、コンピューティングの最適化を網羅しながら正確に分解して解説します。
デプロイメントモデル: コントロールプレーン vs コンピューティングプレーン
管理と実行を分離するために、スプリットプレーンアーキテクチャを採用しています。
- コントロールプレーン: 管理層(APIおよびダッシュボード)です。メタデータ、ユーザー認証(RBAC)、ジョブスケジューリングを処理します。
- コンピューティングプレーン: 実際の処理が行われる場所です。お客様のAmazon EKSクラスタ上で実行されるエージェントとコントローラーで構成され、モデルの重み、顧客データ、GPU処理を扱います。
接続は、安全なアウトバウンド専用のWebSocketまたはgRPCストリームに依存しています。クラスタ内で動作するエージェントがコントロールプレーンへの接続を開始し、新しいデプロイメントマニフェストの取得やステータス更新(podの正常性など)のプッシュを行います。トラフィックはアウトバウンド専用であるため、VPCセキュリティグループでインバウンドポートを開放する必要がなく、VPCを完全なプライベート状態に保つことができます。
アーキテクチャ図: スプリットプレーンセキュリティ

図1: スプリットプレーンアーキテクチャにより、データレジデンシーがお客さまのVPC内に維持されます。
ネットワークトポロジとトラフィックフロー
AWS環境にTrueFoundryをデプロイする際、ネットワーク設定はKubernetes用のAWS VPC CNIプラグインを活用します。コンピューティングリソースはプライベートサブネット内で動作し、推論エンドポイントがデフォルトでパブリックインターネットに露出しないようにします。
イングレスおよびエグレスパターン
- インバウンドトラフィック(推論リクエスト): アプリケーショントラフィックは、AWS Load Balancer Controllerによって管理されるAWS Application Load Balancer (ALB)を経由してVPCに入ります。ALBはTLS接続を終了し、EKSクラスタ内で動作するIstio Ingress Gatewayにリクエストを転送します。
- アウトバウンドトラフィック(レジストリおよびAPI): EKSワーカーノードは、Amazon ECRからコンテナイメージをプルし、コントロールプレーンAPIと通信するためにアウトバウンドネットワークアクセスを必要とします。このトラフィックは、プライベートサブネットに関連付けられたNAT Gatewayを経由してルーティングされます。
サービスメッシュの統合
TrueFoundryはマイクロサービス間のイースト・ウェストトラフィックを管理するためにIstioをデプロイします。例えば、エンベディングサービスがベクトルデータベースと通信するRAGパイプラインにおいて、Istioはルーティングを管理し、相互TLS(mTLS)を強制します。これにより、アプリケーションレベルの変更を必要とすることなく、クラスタ内部のトラフィックが転送時に暗号化されることが保証されます。

図2: 推論のイングレスと依存関係のエグレスを示すネットワークトラフィックフロー。
アイデンティティ連携とセキュリティ
エンタープライズのAWS環境における主要なセキュリティ目標は、静的な認証情報の排除です。TrueFoundryは、IAM Roles for Service Accounts (IRSA)を実装することでこれに対応します。
認証フロー
ユーザーがファインチューニングジョブや推論サービスなどのワークロードをデプロイすると、プラットフォームは以下のワークフローを実行します。
- Service Accountの作成: TrueFoundryは、ワークロードのネームスペース内にKubernetes Service Accountを作成します。
- Roleの関連付け: Service Accountには、事前にプロビジョニングされたAWS IAM RoleのARNがアノテーションされます。
- トークン交換: EKS OIDC providerが、クラスタからpodに発行されたJSON Web Token (JWT)を検証します。
- 認証情報の発行: podはこのOIDCトークンをAWS STS (Security Token Service)と交換し、一時的でローテーションされるAWS認証情報を取得します。
このメカニズムにより、アプリケーションコードはハードコードされたシークレットを使用せず、標準のAWS SDK(例: boto3)を使用できるようになります。万が一podが侵害された場合でも、潜在的な影響はそのIAM Roleに与えられた特定のアクション権限に限定され、認証情報は自動的に有効期限切れになります。

図3: TrueFoundryワークロードで使用されるIRSA認証フロー。
コンピューティングエンジン: EKS、Karpenter、およびSpotの最適化
オンデマンドインスタンスでLarge Language Models (LLM)を実行することは、コスト面で大きな課題となります。TrueFoundryは、オープンソースのKubernetesノードプロビジョニングシステムであるKarpenterをオーケストレートし、コンピューティング利用率を最適化します。
Spot Instanceのオーケストレーション
TrueFoundryは、EC2 Spot Instancesを管理するための専門的なロジックを提供します。
- キャパシティプロビジョニング: デプロイメントがリソース(例: 24GB VRAM)を要求すると、プラットフォームは制約を満たす最も費用対効果の高いインスタンスタイプをプロビジョニングするようKarpenterに指示します。AWSリージョン内の現在の利用可能性に応じて、g5.2xlarge、g5.4xlarge、またはp3.2xlargeなどが選択される場合があります。
- 中断の処理: システムは、インスタンス回収の2分前に警告を提供するEC2 Spot Instance Termination Noticeを監視します。
- 予防的な置き換え: AWS Node Termination Handlerを介して終了シグナルを検知すると、プラットフォームは影響を受けるノードをコーデン(cordon)して接続をドレインし、即座に代替ノードをプロビジョニングするようKarpenterをトリガーします。
このオーケストレーションにより、本番環境の推論ワークロードでSpot Instancesを信頼して使用できるようになり、スポット許容度のあるワークロードにおいてオンデマンド価格と比較して通常最大70%のコスト削減を実現します。
AI Gateway: BedrockとSageMakerの統合
独自モデルを利用する組織のために、TrueFoundryはAmazon BedrockおよびAmazon SageMakerに対する統合APIインターフェースとして機能します。
Bedrock統合パターン
開発者は、アプリケーションコード内に直接AWS SDK呼び出しを埋め込むのではなく、TrueFoundry Gatewayを経由してリクエストをルーティングします。Gatewayは以下の処理を行います。
- 認証: コントロールプレーンのレジストリに対して内部APIキーを検証します。
- テレメトリ: 細やかなコスト帰属と監査ログのために、入力および出力トークン数をログに記録します。
- プロキシ処理: Gateway自身のIAM Roleを使用してリクエストに署名し、BedrockのInvokeModelエンドポイントに転送します。
この集約により、管理者側はIAMポリシーを絶えず変更したりAWS認証情報をローテーションしたりすることなく、Gatewayレベルでアクセスポリシーを管理できるようになります。
SageMaker統合パターン
TrueFoundryはSageMakerエンドポイントへのモデルデプロイをサポートしています。ただし、プラットフォームはモデルをEC2/EKSに直接デプロイする機能も提供しています。この代替手段により、組織は開発者に対して一貫したデプロイメント体験を維持しながら、フルマネージド推論エンドポイントに通常伴うプレミアム料金を回避することができます。
Infrastructure as Code (IaC)との互換性
TrueFoundryは、既存のInfrastructure as Codeワークフローと統合できるように設計されています。プラットフォームは、前提となる下層インフラストラクチャをプロビジョニングするための検証済みTerraform Modulesを提供します。
- VPC & ネットワーク: AWSのベストプラクティスに従ってプライベートサブネット、NAT gateway、Security Groupを設定します。
- EKSクラスタ: Kubernetesコントロールプレーン、マネージドノードグループ、およびVPC CNIやEBS CSIドライバーなどの不可欠なアドオンをプロビジョニングします。
- データベース: コントロールプレーンをセルフホストする場合は、メタデータストレージ用にAmazon RDSインスタンスをプロビジョニングします。
これにより、環境はお客さまのTerraformステートファイルで定義された標準的なAWSリソースで構成され、完全に監査可能な状態が維持されます。
比較: AWSネイティブ vs AWS + TrueFoundry
以下の表は、生のAWSプリミティブを使用してプラットフォームを構築する場合と、TrueFoundryオーバーレイを使用する場合の運用上の違いを示しています。
結論: アーキテクチャの適合性
TrueFoundryとAWSの統合は、インフラストラクチャの信頼性のためにハイパースケーラーを利用しつつ、アプリケーション固有の管理には専用のコントロールプレーンを実装するというアーキテクチャパターンに合致しています。
AWSに投資している組織にとって、このモデルは既存のデータレジデンシーとセキュリティ境界を維持しながらAI運用をモダン化するメカニズムを提供します。お客様はVPCおよびセキュリティ境界の制御を維持し、TrueFoundryを活用してAIアプリケーションライフサイクルの複雑さを解消・効率化できます。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






