Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

Azure上でのTrueFoundryの設計:コントロールプレーンとコンピュートの統合

By TrueFoundry

Updated: November 3, 2026

Published: July 2, 2026

Microsoft Azure上で生成AIプラットフォームを構築することは、分散されたコンピュート、アイデンティティ、AIプリミティブを連携させることを意味します。Azure Kubernetes Service (AKS)やスポットVMを通じて生のリソース容量をプロビジョニングし、Entra IDでアイデンティティを処理し、リクエストをAzure OpenAIにルーティングします。しかし、インフラチームが新しいモデルをデプロイするたびにこれらの接続を手動でオーケストレーションしなければならない場合、運用上の摩擦が生じます。

TrueFoundryは、お客様のAzureサブスクリプション内のインフラストラクチャオーバーレイとしてデプロイされます。デプロイライフサイクル、アイデンティティフェデレーション、オートスケーリングを自動化します。本記事では、スプリットプレーンデプロイメント、ネットワーク境界、ワークロードアイデンティティのメカニズムを含め、TrueFoundryをAzureと接続するために使用する具体的な統合パターンを解説します。

デプロイメントモデル:スプリットプレーンアーキテクチャ

ワークロードの実行をプラットフォーム管理から隔離するために、スプリットプレーンアーキテクチャを採用しています。Amazon EKS上にプラットフォームを構築したことがある方なら、このモデルには馴染みがあるでしょう。コントロールサーフェスとデータプレーンを分離する構成です。

  • コントロールプレーン: APIサーバーおよびメタデータストアとして機能します。デプロイマニフェスト、RBAC設定、テレメトリデータを保持します。
  • コンピュートプレーン: お客様のAKSクラスター内部で実行されます。TrueFoundryエージェント、ローカルコントローラー、そして実際のモデル重みとGPUで構成されます。

これら2つのプレーンは、セキュアなアウトバウンド専用のgRPCストリームまたはWebSocketを使用して接続します。クラスター側のエージェントがコントロールプレーンへの接続を開始し、マニフェストの取得やログの送信を行います。VNET Network Security Groupでインバウンドポートを開放する必要はありません。VNETはデフォルトでインターネットからの外部イングラストラフィックを拒否します。

‍

図1:スプリットプレーンアーキテクチャにより、お客様のVNET内でデータ処理を隔離。

ネットワークトポロジとトラフィックフロー

Podレベルでの直接的なIP割り当てを行うため、Azure CNIを使用してコンピュートプレーンのネットワークを設定します。コンピュートリソースはプライベートサブネット内に保持されます。

イングレスとエグレス

  • インバウンドトラフィック: アプリケーショントラフィックはAzure Application Gatewayまたは標準の内部Load Balancerに到達します。ゲートウェイでTLSを終端し、AKS内で実行されているIstio Ingress Gatewayにトラフィックを転送します。
  • アウトバウンドトラフィック: AKSワーカーノードはAzure NAT Gateway経由でアウトバウンドコールをルーティングします。このパスを使用して、Azure Container Registryからのイメージの取得やコントロールプレーンのポーリングを行います。

Private Endpointの統合

厳格なコンプライアンス要件を満たすため、Azure Private Link経由でトラフィックをルーティングします。推論PodからAzure OpenAI、Key Vault、Blob Storageへの接続は、すべてMicrosoftバックボーン経由でルーティングされます。

‍

図2:イングレスおよびAzure PaaSへのプライベート接続の詳細を示すネットワークトラフィックフロー。

アイデンティティフェデレーション:Entra Workload ID

ハードコードされた静的シークレットやサービスプリンシパルは、ローテーションにおける極めて大きな運用オーバーヘッドを引き起こします。Microsoft Entra Workload IDを使用して、ワークロードを動的に認証します。AWS環境を管理している場合、これはAWS IAM Roles for Service Accounts (IRSA)のAzure版に相当します。

パイプラインをデプロイする際、以下のシーケンスを実行します:

  1. Service Accountの作成: ワークロードのネームスペース内にKubernetes Service Accountをプロビジョニングします。
  2. フェデレーション: このService AccountをEntra ID内のユーザー割り当てManaged Identityにリンクします。
  3. トークン交換: PodはAKS OIDC Issuerに署名付きトークンをリクエストします。Azure SDKはOpenID Connectエンドポイント経由でこのトークンをEntraアクセストークンと交換します。
  4. リソースアクセス: Podはこのトークンを使用してBlob Storageからモデルを取得したり、Azure OpenAIにアクセスしたりします。

アプリケーションコード内ではDefaultAzureCredentialを使用します。これにより、爆発半径(影響範囲)がその特定のManaged Identityに付与されたRBAC権限だけに厳格に制限されます。

‍

図3:Entra Workload ID認証フロー。

コンピュートオーケストレーション:スポットVMの統合

オンデマンドVM上で定常状態の推論を実行すると、ベースラインコストが高くなることがよくあります。AKSノードプールと直接統合して、Azure Spot Virtual Machines(Amazon EC2 Spot Instancesの活用と類似)をオーケストレーションします。

以下のロジックを使用してスポット容量を管理します:

  • プロビジョニング: priority=Spot および eviction-policy=Delete を設定したセカンダリノードプールを構築します。
  • 立ち退き(Eviction)処理: 当社のコントローラーがAzure Instance Metadata Serviceをポーリングします。立ち退き通知(30秒前の警告)を検知すると、ノードをコードン(cordon)し、Kubernetes Cluster Autoscalerを起動してPodをオンデマンドのフォールバックノードに再スケジューリングします。

バッチ推論や耐障害性のあるAPIサービングを実行するチームにとって、このセットアップは(AWS上でKarpenterを運用するのと同様に)、ワークロードの柔軟性に応じてコンピュートインスタンスのコストを最大80%削減できます。

AI Gateway:モデルの統合管理

複数のAzureリージョンにわたって個別のアカウントキーやToken-Per-Minute (TPM)制限を管理することは、運用上の負荷となります。TrueFoundry AI Gatewayはこれを抽象化します。Amazon Bedrock経由でリクエストをルーティングするのと同様に、開発者は単一の内部APIエンドポイントにアクセスするだけで済みます。

  • スマートルーティング: 複数のAzureリージョン間でリクエストをロードバランシングします。East USでリクエストがレート制限(429)された場合、Gatewayは自動的にWest Europeに対してリトライを行います。
  • フェイルオーバー: Azure PaaSで障害が発生した場合、GatewayはAKSコンピュートプレーン上で直接ホストされているLlama 3やMistralインスタンスへトラフィックをフェイルオーバーさせることができます。

Infrastructure as Codeの互換性

標準的なGitOpsおよびInfrastructure-as-code (IaC)の実践に対応しています。当社のメンテンスしているTerraformモジュールを使用して、基盤となるAzure環境をプロビジョニングします。

Terraformの状態(state)管理によって、VNET、AKSクラスター、OIDCイッシュー、基盤となるPostgreSQLデータベースが管理されます。TrueFoundryオーバーレイはこれらのネイティブリソースにシンプルにマッピングされるため、インフラの監査可能性とコンプライアンスが維持されます。

運用比較

タスク Azureネイティブでの実装 Azure + TrueFoundryでの実装
オープンソースモデルのデプロイ コンテナのビルド、ACRへのプッシュ、AKSマニフェストの作成、Ingressルーティングの設定、HPAの設定を個別に実施。 カタログからモデルを選択し、GPUの制約を定義。コントローラーがマニフェストを生成し、デプロイを実行。
スポットVMの管理 スポットノードプールをプロビジョニング。立ち退きと再スケジューリングを処理するため、IMDSに対するカスタムポーリングロジックを維持・運用。 スポット設定を有効化。コントローラーがIMDSのポーリング、ノードのコードン、およびオンデマンド容量へのスケジューリングフォールバックを実行。
Azure OpenAIへのアクセス リージョンごとに個別キーを管理。リージョン固有のTPM制限に対応するため、アプリケーションレベルでリトライロジックを実装。 AI Gateway経由でルーティング。マルチリージョンのロードバランシング、429エラー時の自動リトライ、集中テレメトリを提供。
シークレット管理 Secrets Store CSI Driverをデプロイし、アプリケーションごとにSecretProviderClassマニフェストを設定。 UIまたはCLIを介して、Azure Key Vault URIを参照する環境変数を直接注入。

まとめ

Azure上にTrueFoundryをデプロイすることで、アプリケーションのライフサイクル管理を当社に任せながら、コンピュートとデータの実行環境を自社環境内に隔離できます。VNET、NSG、データ所在地に関する直接的な統制権はそのまま保持されます。TrueFoundryがオーケストレーションを担うことで、AKS、Entra ID、Azure OpenAI間の複雑な連携作業が抽象化され、エンジニアリングチームはインフラとの格闘から解放され、モデルのリリースに集中できるようになります。

‍

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
Guide to Langgraph vs Langchain
November 16, 2026
|
5 min read

LangChain vs LangGraph:どちらが最適か?

比較
A detailed guide on Claude Fable 5
November 16, 2026
|
5 min read

Claude Fable 5: API、ベンチマーク、料金、使い方

エンジニアリングとプロダクト
openrouter vs litellm
November 16, 2026
|
5 min read

LiteLLMとOpenRouter:あなたに最適なのはどちらか?

比較
November 16, 2026
|
5 min read

大規模言語モデルにおけるトランスフォーマーアーキテクチャ

LLM用語
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour