主要3大クラウド向けクラスターオートスケーリング ☁️

どのビジネスも成長するにつれて、より多くのトラフィックを処理し、より多くのデータを処理し、より多くの顧客をサポートする必要があると言っても過言ではありません。増大する需要に対応するため、インフラストラクチャを拡張する必要があることがよくあります。これは、ビジネスに季節性がある場合にも当てはまります。例えば、ブラックフライデーやサイバーマンデーなどの祝日に大量のトラフィックが発生するECサイトを想像してみてください。これらの繁忙期には、ウェブサイトのトラフィックが劇的に増加する可能性があります。増加した需要に対応できない場合、ウェブサイトはページの読み込みが遅れるなどの問題が発生し、ユーザーを苛立たせる可能性があります。その結果、企業は売上を失い、評判を損なう可能性があります。

この問題に対処する一つの方法は、増加したトラフィックを処理するために、インフラストラクチャ内のサーバー数を手動で増やすことです。しかし、手動でのスケールアップとスケールダウンは、時間がかかり、エラーが発生しやすく、管理が困難です。ここでクラスターオートスケーリングの出番です。クラスターオートスケーリングは、CPU使用率、メモリ使用量、受信リクエストなどの特定の条件に基づいて、インフラストラクチャ内のサーバー数を自動的に調整します。これにより、インフラストラクチャは手動での介入なしに、現在の需要に基づいてスケールアップまたはスケールダウンできます。

このブログ記事では、クラスターオートスケーリングとは何か、なぜそれが必要なのか、そして異なるクラウドプロバイダーでどのように実装できるかについて掘り下げていきます。

TL;DR

主要なすべてのクラウドプロバイダーでクラスターを正しく機能させるためには、クラスターノードのスケーリング方法を調整する必要があります。

💡

AWSではKarpenterを使用しており、最小限の設定で、受信するPodリクエストに対して最も安価で効率的なノードを選択できます。

💡

GCPではGKE Autopilotを利用しており、これはリクエストに応じてスケールアップおよびスケールダウンできるマネージドクラスターを提供します。 

💡

Azureにはアドホックなソリューションがないため、Kubernetesのクラスターオートスケーラーを使用しています。これはKarpenterよりも最適化されておらず、Autopilotよりも多くの設定が必要です。

オートスケーラー： AWS: Karpenter

Karpenterは、スケジュールされていないPodの集約されたリソース要求を監視し、スケジューリングの遅延とインフラストラクチャコストを最小限に抑えるためにノードの起動と終了を決定します。

• Karpenterは各インスタンスを直接管理し、ノードグループのような追加のオーケストレーションメカニズムには依存しません。
• Karpenterはワークロードに焦点を当て、受信するPodのリソース要求とスケジューリング制約に基づいて、現在の状況に適したインスタンスを起動します。この意図ベースのインスタンス選択アプローチにより、より効率的で費用対効果の高いスケーリングが可能になります。

しかし残念ながら、KarpenterはAWSでのみ動作します。

GCP向けオートスケーラー：GKE Autopilot

Autopilotは、機械学習アルゴリズムを使用して現在のワークロードに基づいてクラスターの最適なノード数を決定するマネージドサービスです。また、自動アップグレードやパッチなどの機能も提供し、クラスターを常に最新かつ安全な状態に保つことを容易にします。

オートスケーリングに加えて、Cluster Autopilotは、リソースの過剰なプロビジョニングを回避することで、リソース利用率の向上やコスト削減といった他の利点も提供します。すべてのオートスケーリング操作がサービスによって処理されるため、クラスター管理へのより手間のかからないアプローチも実現します。

Microsoft Azure向けオートスケーラー: Kubernetes Cluster Autoscaler

Azureクラウドには、GKE AutopilotのようなマネージドサービスやKarpenterのようなカスタムのオートスケーリングアプローチがないため、cluster-autoscalerに依存しています。

Kubernetes Cluster Autoscalerは、Kubernetesクラスターの自動スケーリングを可能にするオープンソースツールです。クラスター内でPodとして動作し、クラスターのリソース利用状況を監視し、実行中のアプリケーションのニーズを満たすために必要なノード数を調整します。これにより、需要が低いときにリソースの過剰なプロビジョニングを回避することで、リソース利用率を最適化し、コストを削減するのに役立ちます。Cluster Autoscalerは、ノードグループとタイプの手動設定が必要です。

この ブログでは、Kubernetesオートスケーリングの詳細を扱っています。

TrueFoundry は、Kubernetes上のMLデプロイメントPaaSであり、開発者のワークフローを加速させるとともに、モデルのテストとデプロイにおいて完全な柔軟性を提供し、インフラチームには完全なセキュリティと制御を保証します。当社のプラットフォームを通じて、機械学習チームが デプロイと監視 を15分で、100%の信頼性、スケーラビリティ、そして数秒でのロールバック機能で実現できるようにします。これにより、コストを削減し、モデルをより迅速に本番環境にリリースできるようになり、真のビジネス価値の実現を可能にします。