Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

TrueFoundryとAWSの統合方法: コントロールプレーンのアーキテクチャ

By TrueFoundry

Updated: November 3, 2026

Published: July 2, 2026

クラウドアーキテクトやDevOpsエンジニアにとって、Generative AIを拡張する際の主な課題は、コンピューティングリソースの利用可能性ではなく、それらのリソースのオーケストレーションであることがよくあります。AWSは、Amazon EKS、Spot Instances、IAM roles、Amazon Bedrockなどの強力なプリミティブを提供しています。しかし、これらを統合して凝集性のあるinternal developer platformを構築するには、複雑な設定と継続的なメンテナンスが必要になることが多々あります。

TrueFoundryはそのオーケストレーション層として機能し、お客様のAWSアカウント内に直接配置されるインフラストラクチャオーバーレイとして動作します。以下では、プラットフォームがAWSとどのように統合されるかについて、セキュリティ境界、アイデンティティ連携、ネットワーク、コンピューティングの最適化を網羅しながら正確に分解して解説します。

デプロイメントモデル: コントロールプレーン vs コンピューティングプレーン

管理と実行を分離するために、スプリットプレーンアーキテクチャを採用しています。

  • コントロールプレーン: 管理層(APIおよびダッシュボード)です。メタデータ、ユーザー認証(RBAC)、ジョブスケジューリングを処理します。
  • コンピューティングプレーン: 実際の処理が行われる場所です。お客様のAmazon EKSクラスタ上で実行されるエージェントとコントローラーで構成され、モデルの重み、顧客データ、GPU処理を扱います。

接続は、安全なアウトバウンド専用のWebSocketまたはgRPCストリームに依存しています。クラスタ内で動作するエージェントがコントロールプレーンへの接続を開始し、新しいデプロイメントマニフェストの取得やステータス更新(podの正常性など)のプッシュを行います。トラフィックはアウトバウンド専用であるため、VPCセキュリティグループでインバウンドポートを開放する必要がなく、VPCを完全なプライベート状態に保つことができます。

‍

アーキテクチャ図: スプリットプレーンセキュリティ

‍

図1: スプリットプレーンアーキテクチャにより、データレジデンシーがお客さまのVPC内に維持されます。

ネットワークトポロジとトラフィックフロー

AWS環境にTrueFoundryをデプロイする際、ネットワーク設定はKubernetes用のAWS VPC CNIプラグインを活用します。コンピューティングリソースはプライベートサブネット内で動作し、推論エンドポイントがデフォルトでパブリックインターネットに露出しないようにします。

イングレスおよびエグレスパターン

  • インバウンドトラフィック(推論リクエスト): アプリケーショントラフィックは、AWS Load Balancer Controllerによって管理されるAWS Application Load Balancer (ALB)を経由してVPCに入ります。ALBはTLS接続を終了し、EKSクラスタ内で動作するIstio Ingress Gatewayにリクエストを転送します。
  • アウトバウンドトラフィック(レジストリおよびAPI): EKSワーカーノードは、Amazon ECRからコンテナイメージをプルし、コントロールプレーンAPIと通信するためにアウトバウンドネットワークアクセスを必要とします。このトラフィックは、プライベートサブネットに関連付けられたNAT Gatewayを経由してルーティングされます。

サービスメッシュの統合

TrueFoundryはマイクロサービス間のイースト・ウェストトラフィックを管理するためにIstioをデプロイします。例えば、エンベディングサービスがベクトルデータベースと通信するRAGパイプラインにおいて、Istioはルーティングを管理し、相互TLS(mTLS)を強制します。これにより、アプリケーションレベルの変更を必要とすることなく、クラスタ内部のトラフィックが転送時に暗号化されることが保証されます。

図2: 推論のイングレスと依存関係のエグレスを示すネットワークトラフィックフロー。

アイデンティティ連携とセキュリティ

エンタープライズのAWS環境における主要なセキュリティ目標は、静的な認証情報の排除です。TrueFoundryは、IAM Roles for Service Accounts (IRSA)を実装することでこれに対応します。

認証フロー

ユーザーがファインチューニングジョブや推論サービスなどのワークロードをデプロイすると、プラットフォームは以下のワークフローを実行します。

  1. Service Accountの作成: TrueFoundryは、ワークロードのネームスペース内にKubernetes Service Accountを作成します。
  2. Roleの関連付け: Service Accountには、事前にプロビジョニングされたAWS IAM RoleのARNがアノテーションされます。
  3. トークン交換: EKS OIDC providerが、クラスタからpodに発行されたJSON Web Token (JWT)を検証します。
  4. 認証情報の発行: podはこのOIDCトークンをAWS STS (Security Token Service)と交換し、一時的でローテーションされるAWS認証情報を取得します。

このメカニズムにより、アプリケーションコードはハードコードされたシークレットを使用せず、標準のAWS SDK(例: boto3)を使用できるようになります。万が一podが侵害された場合でも、潜在的な影響はそのIAM Roleに与えられた特定のアクション権限に限定され、認証情報は自動的に有効期限切れになります。

図3: TrueFoundryワークロードで使用されるIRSA認証フロー。

コンピューティングエンジン: EKS、Karpenter、およびSpotの最適化

オンデマンドインスタンスでLarge Language Models (LLM)を実行することは、コスト面で大きな課題となります。TrueFoundryは、オープンソースのKubernetesノードプロビジョニングシステムであるKarpenterをオーケストレートし、コンピューティング利用率を最適化します。

Spot Instanceのオーケストレーション

TrueFoundryは、EC2 Spot Instancesを管理するための専門的なロジックを提供します。

  • キャパシティプロビジョニング: デプロイメントがリソース(例: 24GB VRAM)を要求すると、プラットフォームは制約を満たす最も費用対効果の高いインスタンスタイプをプロビジョニングするようKarpenterに指示します。AWSリージョン内の現在の利用可能性に応じて、g5.2xlarge、g5.4xlarge、またはp3.2xlargeなどが選択される場合があります。
  • 中断の処理: システムは、インスタンス回収の2分前に警告を提供するEC2 Spot Instance Termination Noticeを監視します。
  • 予防的な置き換え: AWS Node Termination Handlerを介して終了シグナルを検知すると、プラットフォームは影響を受けるノードをコーデン(cordon)して接続をドレインし、即座に代替ノードをプロビジョニングするようKarpenterをトリガーします。

このオーケストレーションにより、本番環境の推論ワークロードでSpot Instancesを信頼して使用できるようになり、スポット許容度のあるワークロードにおいてオンデマンド価格と比較して通常最大70%のコスト削減を実現します。

AI Gateway: BedrockとSageMakerの統合

独自モデルを利用する組織のために、TrueFoundryはAmazon BedrockおよびAmazon SageMakerに対する統合APIインターフェースとして機能します。

Bedrock統合パターン

開発者は、アプリケーションコード内に直接AWS SDK呼び出しを埋め込むのではなく、TrueFoundry Gatewayを経由してリクエストをルーティングします。Gatewayは以下の処理を行います。

  • 認証: コントロールプレーンのレジストリに対して内部APIキーを検証します。
  • テレメトリ: 細やかなコスト帰属と監査ログのために、入力および出力トークン数をログに記録します。
  • プロキシ処理: Gateway自身のIAM Roleを使用してリクエストに署名し、BedrockのInvokeModelエンドポイントに転送します。

この集約により、管理者側はIAMポリシーを絶えず変更したりAWS認証情報をローテーションしたりすることなく、Gatewayレベルでアクセスポリシーを管理できるようになります。

SageMaker統合パターン

TrueFoundryはSageMakerエンドポイントへのモデルデプロイをサポートしています。ただし、プラットフォームはモデルをEC2/EKSに直接デプロイする機能も提供しています。この代替手段により、組織は開発者に対して一貫したデプロイメント体験を維持しながら、フルマネージド推論エンドポイントに通常伴うプレミアム料金を回避することができます。

Infrastructure as Code (IaC)との互換性

TrueFoundryは、既存のInfrastructure as Codeワークフローと統合できるように設計されています。プラットフォームは、前提となる下層インフラストラクチャをプロビジョニングするための検証済みTerraform Modulesを提供します。

  • VPC & ネットワーク: AWSのベストプラクティスに従ってプライベートサブネット、NAT gateway、Security Groupを設定します。
  • EKSクラスタ: Kubernetesコントロールプレーン、マネージドノードグループ、およびVPC CNIやEBS CSIドライバーなどの不可欠なアドオンをプロビジョニングします。
  • データベース: コントロールプレーンをセルフホストする場合は、メタデータストレージ用にAmazon RDSインスタンスをプロビジョニングします。

これにより、環境はお客さまのTerraformステートファイルで定義された標準的なAWSリソースで構成され、完全に監査可能な状態が維持されます。

比較: AWSネイティブ vs AWS + TrueFoundry

以下の表は、生のAWSプリミティブを使用してプラットフォームを構築する場合と、TrueFoundryオーバーレイを使用する場合の運用上の違いを示しています。

タスク AWSネイティブ実装 AWS + TrueFoundry実装
Llama 3のデプロイ ビルドパイプライン、レジストリ(ECR)、マニフェスト定義、およびIngressコントローラーの設定。 カタログからモデルを選択し、リソースを設定してデプロイ。(Helm/Karpenterの実行を自動化)
Spot Instanceの管理 Auto Scaling Group (ASG)の設定および終了処理ロジックの実装。 Spot設定トグルを有効化。Spot容量が利用できない場合、システムがオンデマンドへのフォールバックを自動処理。
Bedrockのアクセス制御 アプリごとのIAMポリシー管理。コスト追跡のためのCloudWatchログの集計とカスタム分析が必要。 Central Gateway経由でルーティング。統一されたログ記録、レート制限、チームごとのコスト割り当てをデフォルトで提供。
シークレット管理 同期オペレーター(ESOなど)やカスタム同期スクリプトのセットアップとメンテナンスが必要。 Secrets ManagerおよびSSM Parameter Storeからの値の注入に対応した直接的なUI統合。

結論: アーキテクチャの適合性

TrueFoundryとAWSの統合は、インフラストラクチャの信頼性のためにハイパースケーラーを利用しつつ、アプリケーション固有の管理には専用のコントロールプレーンを実装するというアーキテクチャパターンに合致しています。

AWSに投資している組織にとって、このモデルは既存のデータレジデンシーとセキュリティ境界を維持しながらAI運用をモダン化するメカニズムを提供します。お客様はVPCおよびセキュリティ境界の制御を維持し、TrueFoundryを活用してAIアプリケーションライフサイクルの複雑さを解消・効率化できます。

‍

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
November 17, 2026
|
5 min read

Claude Codeの制限について解説(2026年版)

No items found.
Guide to Langgraph vs Langchain
November 16, 2026
|
5 min read

LangChain vs LangGraph:どちらが最適か?

比較
A detailed guide on Claude Fable 5
November 17, 2026
|
5 min read

Claude Fable 5: API、ベンチマーク、料金、使い方

エンジニアリングとプロダクト
openrouter vs litellm
November 16, 2026
|
5 min read

LiteLLMとOpenRouter:あなたに最適なのはどちらか?

比較
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour