Azure上でのTrueFoundryの設計:コントロールプレーンとコンピュートの統合

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Microsoft Azure上で生成AIプラットフォームを構築することは、分散されたコンピュート、アイデンティティ、AIプリミティブを連携させることを意味します。Azure Kubernetes Service (AKS)やスポットVMを通じて生のリソース容量をプロビジョニングし、Entra IDでアイデンティティを処理し、リクエストをAzure OpenAIにルーティングします。しかし、インフラチームが新しいモデルをデプロイするたびにこれらの接続を手動でオーケストレーションしなければならない場合、運用上の摩擦が生じます。
TrueFoundryは、お客様のAzureサブスクリプション内のインフラストラクチャオーバーレイとしてデプロイされます。デプロイライフサイクル、アイデンティティフェデレーション、オートスケーリングを自動化します。本記事では、スプリットプレーンデプロイメント、ネットワーク境界、ワークロードアイデンティティのメカニズムを含め、TrueFoundryをAzureと接続するために使用する具体的な統合パターンを解説します。
デプロイメントモデル:スプリットプレーンアーキテクチャ
ワークロードの実行をプラットフォーム管理から隔離するために、スプリットプレーンアーキテクチャを採用しています。Amazon EKS上にプラットフォームを構築したことがある方なら、このモデルには馴染みがあるでしょう。コントロールサーフェスとデータプレーンを分離する構成です。
- コントロールプレーン: APIサーバーおよびメタデータストアとして機能します。デプロイマニフェスト、RBAC設定、テレメトリデータを保持します。
- コンピュートプレーン: お客様のAKSクラスター内部で実行されます。TrueFoundryエージェント、ローカルコントローラー、そして実際のモデル重みとGPUで構成されます。
これら2つのプレーンは、セキュアなアウトバウンド専用のgRPCストリームまたはWebSocketを使用して接続します。クラスター側のエージェントがコントロールプレーンへの接続を開始し、マニフェストの取得やログの送信を行います。VNET Network Security Groupでインバウンドポートを開放する必要はありません。VNETはデフォルトでインターネットからの外部イングラストラフィックを拒否します。

図1:スプリットプレーンアーキテクチャにより、お客様のVNET内でデータ処理を隔離。
ネットワークトポロジとトラフィックフロー
Podレベルでの直接的なIP割り当てを行うため、Azure CNIを使用してコンピュートプレーンのネットワークを設定します。コンピュートリソースはプライベートサブネット内に保持されます。
イングレスとエグレス
- インバウンドトラフィック: アプリケーショントラフィックはAzure Application Gatewayまたは標準の内部Load Balancerに到達します。ゲートウェイでTLSを終端し、AKS内で実行されているIstio Ingress Gatewayにトラフィックを転送します。
- アウトバウンドトラフィック: AKSワーカーノードはAzure NAT Gateway経由でアウトバウンドコールをルーティングします。このパスを使用して、Azure Container Registryからのイメージの取得やコントロールプレーンのポーリングを行います。
Private Endpointの統合
厳格なコンプライアンス要件を満たすため、Azure Private Link経由でトラフィックをルーティングします。推論PodからAzure OpenAI、Key Vault、Blob Storageへの接続は、すべてMicrosoftバックボーン経由でルーティングされます。

図2:イングレスおよびAzure PaaSへのプライベート接続の詳細を示すネットワークトラフィックフロー。
アイデンティティフェデレーション:Entra Workload ID
ハードコードされた静的シークレットやサービスプリンシパルは、ローテーションにおける極めて大きな運用オーバーヘッドを引き起こします。Microsoft Entra Workload IDを使用して、ワークロードを動的に認証します。AWS環境を管理している場合、これはAWS IAM Roles for Service Accounts (IRSA)のAzure版に相当します。
パイプラインをデプロイする際、以下のシーケンスを実行します:
- Service Accountの作成: ワークロードのネームスペース内にKubernetes Service Accountをプロビジョニングします。
- フェデレーション: このService AccountをEntra ID内のユーザー割り当てManaged Identityにリンクします。
- トークン交換: PodはAKS OIDC Issuerに署名付きトークンをリクエストします。Azure SDKはOpenID Connectエンドポイント経由でこのトークンをEntraアクセストークンと交換します。
- リソースアクセス: Podはこのトークンを使用してBlob Storageからモデルを取得したり、Azure OpenAIにアクセスしたりします。
アプリケーションコード内ではDefaultAzureCredentialを使用します。これにより、爆発半径(影響範囲)がその特定のManaged Identityに付与されたRBAC権限だけに厳格に制限されます。

図3:Entra Workload ID認証フロー。
コンピュートオーケストレーション:スポットVMの統合
オンデマンドVM上で定常状態の推論を実行すると、ベースラインコストが高くなることがよくあります。AKSノードプールと直接統合して、Azure Spot Virtual Machines(Amazon EC2 Spot Instancesの活用と類似)をオーケストレーションします。
以下のロジックを使用してスポット容量を管理します:
- プロビジョニング: priority=Spot および eviction-policy=Delete を設定したセカンダリノードプールを構築します。
- 立ち退き(Eviction)処理: 当社のコントローラーがAzure Instance Metadata Serviceをポーリングします。立ち退き通知(30秒前の警告)を検知すると、ノードをコードン(cordon)し、Kubernetes Cluster Autoscalerを起動してPodをオンデマンドのフォールバックノードに再スケジューリングします。
バッチ推論や耐障害性のあるAPIサービングを実行するチームにとって、このセットアップは(AWS上でKarpenterを運用するのと同様に)、ワークロードの柔軟性に応じてコンピュートインスタンスのコストを最大80%削減できます。
AI Gateway:モデルの統合管理
複数のAzureリージョンにわたって個別のアカウントキーやToken-Per-Minute (TPM)制限を管理することは、運用上の負荷となります。TrueFoundry AI Gatewayはこれを抽象化します。Amazon Bedrock経由でリクエストをルーティングするのと同様に、開発者は単一の内部APIエンドポイントにアクセスするだけで済みます。
- スマートルーティング: 複数のAzureリージョン間でリクエストをロードバランシングします。East USでリクエストがレート制限(429)された場合、Gatewayは自動的にWest Europeに対してリトライを行います。
- フェイルオーバー: Azure PaaSで障害が発生した場合、GatewayはAKSコンピュートプレーン上で直接ホストされているLlama 3やMistralインスタンスへトラフィックをフェイルオーバーさせることができます。
Infrastructure as Codeの互換性
標準的なGitOpsおよびInfrastructure-as-code (IaC)の実践に対応しています。当社のメンテンスしているTerraformモジュールを使用して、基盤となるAzure環境をプロビジョニングします。
Terraformの状態(state)管理によって、VNET、AKSクラスター、OIDCイッシュー、基盤となるPostgreSQLデータベースが管理されます。TrueFoundryオーバーレイはこれらのネイティブリソースにシンプルにマッピングされるため、インフラの監査可能性とコンプライアンスが維持されます。
運用比較
まとめ
Azure上にTrueFoundryをデプロイすることで、アプリケーションのライフサイクル管理を当社に任せながら、コンピュートとデータの実行環境を自社環境内に隔離できます。VNET、NSG、データ所在地に関する直接的な統制権はそのまま保持されます。TrueFoundryがオーケストレーションを担うことで、AKS、Entra ID、Azure OpenAI間の複雑な連携作業が抽象化され、エンジニアリングチームはインフラとの格闘から解放され、モデルのリリースに集中できるようになります。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






