Kubernetesにおけるゼロスケール:Elastiの深掘り

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Elastiは、アイドル期間中にサービスをゼロに縮小し、オンデマンドでスケールバックできるようにすることで、Kubernetesのリソース利用を最適化するために設計された革新的なオープンソースソリューションです。Kubernetesコントローラーとリクエストリゾルバーというデュアルコンポーネントアーキテクチャで構築されたElastiは、コストを最小限に抑えながらサービスの可用性をシームレスに管理します。この記事は、アーキテクチャ、インストール、および運用フローに関する技術的な解説であり、Kubernetes環境にElastiを効果的に統合および拡張できるようにすることを目的としています。
💡この機能はTruefoundryの自動スケーリングスーツに含まれています。詳細については、ドキュメントを参照してください。
ゼロスケールの現状
KubernetesはHPAやKEDAのようなソリューションを通じて強力なスケーリング機能を提供しますが、レプリカ数をゼロにスケーリングすることは依然として困難です。既存のアプローチは通常、次の3つのカテゴリに分類されます。
- ネイティブKEDAスケーリング - KEDAはイベントメトリクスを使用してデプロイをゼロにスケーリングできますが、スケールアップのコールドスタート期間中に受信リクエストが失われる可能性がある時間枠が発生します。
- フルサービスメッシュ (例:Knative)- 包括的なゼロスケールを提供しますが、大幅なアーキテクチャ変更が必要であり、高い運用オーバーヘッドを伴います。
- HTTPプロキシ (例:KEDA HTTP Add-on)- サービスのスケールアップ後もレイテンシを導入する永続的なプロキシレイヤーを維持します。
なぜElastiなのか?
Elastiは、3つの主要な設計目標によってこれらの制限に対処するために作成されました。
- 軽量な統合 - コードを変更することなく、既存のデプロイ/サービスと連携します。
- プロキシオーバーヘッドゼロ - サービスがスケールアップするとリクエストパスから外れます。
- コスト最適化されたスケーリング - 常時オンのコンポーネントを維持することなく、真のゼロスケールを実現します。
仕組み
Elastiは、サービスの管理を行うために連携して機能する2つのコアコンポーネントで構成されています。
Controller (Operator):
- Kubernetesクラスター内のElastiServiceリソースを監視します。
- リアルタイムのトラフィックメトリクスに基づいて、サービスを0から1の間で動的にスケーリングします。
Resolver:
- サービスが縮小されている間、受信リクエストをインターセプトするプロキシとして機能します。
- これらのリクエストをキューに入れ、サービスをスケールバックするようにコントローラーに通知し、リクエストが失われないようにします。

サービスへのリクエストの定常状態フロー
このモードでは、すべてのリクエストはサービスPodによって直接処理されます。Elastiリゾルバーはリクエストパスに入りません。Elastiコントローラーは、設定されたクエリでprometheus をポーリングし続け、結果をしきい値と比較して、サービスをゼロに縮小できるかどうかを確認します。

リクエストがない場合の0へのスケールダウン
prometheusからのクエリがしきい値未満の値を返した場合、Elastiはサービスを0にスケールダウンします。0にスケールする前に、リクエストをElastiリゾルバーに転送するようにリダイレクトし、Rollout/deploymentを変更してレプリカ数を0にします。また、KedaがminReplicasを1に設定されているため、Kedaがサービスをスケールアップするのを防ぐためにKedaを一時停止します(Kedaが使用されている場合)。

最初のリクエストが到着したときの0からのスケールアップ
サービスが0にスケールダウンされているため、すべてのリクエストはElastiリゾルバーに届きます。最初のリクエストが到着すると、Elastiは設定されたminTargetReplicasまでサービスをスケールアップします。その後、突然のトラフィックの急増に備えてオートスケーリングを継続するためにKedaを再開します。また、Podが立ち上がると、実際のサービスPodを指すようにサービスを変更します。ElastiResolverに届いたリクエストは最大6分間再試行され、応答がクライアントに返送されます。Podの立ち上がりに6分以上かかる場合、リクエストはドロップされます。


はじめに
Elastiを使用したシンプルなアプリケーションのデプロイ
- ローカルクラスターの作成
minikube start
または
kind create cluster --name elasti-demo
または
Docker Desktopでローカルクラスターを作成
- Prometheusのセットアップ
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update
helm install kube-prometheus-stack prometheus-community/kube-prometheus-stack \
--namespace monitoring \
--create-namespace \
--set alertmanager.enabled=false \
--set grafana.enabled=false \
--set prometheus.prometheusSpec.serviceMonitorSelectorNilUsesHelmValues=false
monitoring ネームスペースにprometheusをインストールしてセットアップします
Prometheusはnginx ingressからメトリクスを読み取るために使用され、そのメトリクスはElastiがサービスをゼロへ/ゼロからスケーリングするタイミングを決定するためのクエリに使用されます。
- nginx ingressのセットアップ
helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx
helm repo update
helm install ingress-nginx ingress-nginx/ingress-nginx \
--namespace ingress-nginx \
--set controller.metrics.enabled=true \
--set controller.metrics.serviceMonitor.enabled=true \
--create-namespace
ingress-nginx ネームスペースにnginxコントローラーをデプロイします
コントローラーは、デモ用のhttpbinサービスにトラフィックをルーティングするために使用されます。
4. Elastiのセットアップ:
helm repo add elasti https://charts.truefoundry.com/elasti
helm repo update
helm install elasti oci://tfy.jfrog.io/tfy-helm/elasti \
--namespace elasti --create-namespace
ネームスペースelastiにhelmでElastiをインストールします
Elastiがインストールされると、2つの主要コンポーネントが実行されていることが確認できるはずです。
- Controller/Operator: メトリクスを監視してトラフィックの切り替えとスケーリングを管理します。
- Resolver: 受信リクエストをインターセプト、キューイング、およびプロキシします。
より高度な設定については、values.yamlを参照して、helm valueファイルのすべての設定オプションを確認してください。
- デモアプリケーションのデプロイ
kubectl create namespace elasti-demo
kubectl apply -n elasti-demo -f \
https://raw.githubusercontent.com/truefoundry/elasti/refs/heads/main/playground/config/demo-application.yaml
elasti-demo ネームスペースにhttpbinサービスをデプロイします
このhttpbinサービスは、Elasti経由でトラフィックを処理するようにサービスを設定する方法を示すために使用されます。
- ElastiServiceリソースの作成:
ElastiService用に以下の設定を持つyamlファイルを作成します。
apiVersion: elasti.truefoundry.com/v1alpha1
kind: ElastiService
metadata:
name: httpbin-elasti
namespace: elasti-demo
spec:
minTargetReplicas: 1
service: httpbin
cooldownPeriod: 5
scaleTargetRef:
apiVersion: apps/v1
kind: deployments
name: httpbin
triggers:
- type: prometheus
metadata:
query: sum(rate(nginx_ingress_controller_nginx_process_requests_total[1m])) or vector(0)
serverAddress: http://kube-prometheus-stack-prometheus.monitoring.svc.cluster.local:9090
threshold: "0.5"
demo-elasti-service.yaml
ファイルが作成されたら、ElastiServiceを適用します
kubectl apply -f https://raw.githubusercontent.com/truefoundry/elasti/refs/heads/main/playground/config/demo-elastiService.yaml
CRD specのいくつかの主要なフィールドは以下の通りです:
minTargetReplicas: 最初のリクエストが到着したときに立ち上げる最小レプリカ数。cooldownPeriod: スケールアップ後、スケールダウンを検討する前に待機する最小時間(秒単位)triggers: スケールダウンのタイミングを決定する条件のリスト(現在はPrometheusメトリクスのみをサポート)scaleTargetRef: HorizontalPodAutoscalerで使用されるものと同様のスケールターゲットへの参照。
ユースケースに応じたElastiServiceの詳細および設定方法については、このドキュメントを参照してください。
セットアップのテスト
これらの手順により、以下のコンポーネントが配置されました:
- Ingressコントローラーとして実行されているIngress nginx。
- メトリクス(Ingress NGINXからのメトリクスを含む)を収集するようにセットアップされたPrometheus。
- デプロイされ、Ingressルート経由でアクセス可能なhttpbin。
この設定は、実際のルーティングシナリオをテストし、イングラストラフィックのパフォーマンスとメトリクスを監視するのに役立ちます。
このセットアップをテストするには、nginxロードバランサーにリクエストを送信し、デモサービスのPodを監視します。
kubectl port-forward svc/nginx-ingress-nginx-controller \
-n ingress-nginx 8080:80
nginxコントローラーへのポートフォワード
kubectl get pods -n elasti-demo -w
httpbinサービスの監視を開始
これで http://localhost:8080/httpbin にリクエストを送信すると、Elastiによってサービスが1つのレプリカにスケーリングされるのを確認できます。
curl -v http://localhost:8080/httpbin
httpbinサービスへのリクエスト送信
ElastiServiceで指定された cooldownPeriod 秒間(この場合は5秒間)アクティビティがない場合、サービスは再び縮小されます。
Elastiのアンインストール
Elastiをアンインストールするには、まずインストールされているすべてのElastiServiceを削除する必要があります。 その後、インストールファイルを削除するだけです。
kubectl delete elastiservices --all
helm uninstall elasti -n elasti
kubectl delete namespace elasti
比較
機能比較表:
Elastiを選択すべきケース
以下のような場合にElastiが最適な選択肢となります:
- 既存のHTTPサービスにゼロスケール機能を追加する必要がある場合
- スケーリング操作中のリクエスト損失を確実にゼロにしたい場合
- 最小限の設定で軽量なソリューションを好む場合
- 既存のオートスケーラー(HPA/KEDA)との統合が必要な場合
おわりに
Elastiは、Kubernetesにおける特定課題に対処する必要性から開発されました。それは、リクエストの整合性を犠牲にしたり過度なオーバーヘッドを課したりすることなく、真のゼロスケールを実現することです。このソリューションはHPAおよびKEDAによるネイティブの自動スケーリングをサポートしており、既存のサービス設定を変更することなく、効率的なリソース利用を実現します。
このツールをオープンソース化することで、真のゼロスケール、リクエスト損失ゼロ、および最小限の運用フットプリントを必要とする環境に堅牢なソリューションを提供することを目指しています。
コミュニティからの貢献やフィードバックを歓迎します。詳細については開発ドキュメントをご覧ください。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


Recent Blogs
Frequently asked questions
Kubernetesのスケール・トゥ・ゼロとはどういう意味ですか?
Kubernetesのスケール・トゥ・ゼロとは、非アクティブな期間中にワークロードの実行中ポッド数をゼロまで削減することを指します。トラフィックや需要がない場合、デプロイメントはコンピューティングリソースを消費せず、クラウドコストも発生しません。新たなリクエストが到着すると、システムは自動的にゼロからスケールアップし、ワークロードを処理します。
Kubernetesでスケール・トゥ・ゼロを実現するツールは何ですか?
Kubernetesでスケール・トゥ・ゼロを実現する主要なツールには、キューやHTTPトラフィックなどの外部イベントソースに基づいてスケーリングを行うKEDA(Kubernetes Event-Driven Autoscaling)や、コンテナ化されたワークロードに対してサーバーレス形式のスケール・トゥ・ゼロ機能を提供するKnative Servingがあります。TrueFoundryのデプロイメントインフラストラクチャもこれらのプリミティブを基盤としており、MLモデルサービングにおけるスケール・トゥ・ゼロを実現することで、アイドル時のGPUおよびCPUコストを削減します。
Kubernetesはネイティブでスケール・トゥ・ゼロをサポートしていますか?
Kubernetesの標準機能であるHorizontal Pod Autoscaler(HPA)は、最小レプリカ数を1と定めているため、ネイティブでスケール・トゥ・ゼロ(ゼロへのスケール)をサポートしていません。真のスケール・トゥ・ゼロを実現するには、KEDAやKnativeといった追加ツールが必要です。これらを使用することで、外部イベントやHTTPリクエストに基づいたスケーリングが可能となり、Kubernetesのオートスケーリング機能を拡張してゼロレプリカのデプロイを実現できます。

















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






