SageMakerとのコスト比較

TrueFoundryは、EKS上のKubernetesを活用することで、機械学習ワークロードをコスト効率よくデプロイすることを可能にし、SageMakerで同様のワークロードを実行する場合と比較して40～60%のコスト削減を実現します。

TLDR: AI/MLワークロードで40～60%のコスト削減

1) コンピュートコストに上乗せなしで、SageMakerと比較してEC2インスタンスの費用を15～30%削減

2) スポットインスタンスを簡単に設定 トレーニングと推論の両方で（SageMakerはトレーニングのみ）、最大70%の削減

3) リソースの スケールゼロ をノートブック、CPU、GPU向けに簡素化し、開発コストを30～70%削減

4) S3の読み書き操作をEFSキャッシングに置き換え、データコストを20%削減

5) 高度なサービングフレームワーク （VLLMやSGLangなど）を活用し、レイテンシーを低減しスループットを40%向上

6) リソースを動的に調整し インフラを自動運用 、生産コストを40～50%削減

7) 対応 CPUとGPUの細分化、コンピューティングコストを20～50%削減 

コンピューティングコストへの上乗せなし

コンピューティングコストへの上乗せがないことが、全体のコスト削減の重要な要因となり、 15～30%の節約 コンピューティングインスタンス費用のみで。

スポットインスタンス利用のシームレスなサポート

Truefoundryは、スポットインスタンスの設定を非常に容易にし、スポットインスタンスが再利用された場合でも、基盤となるインスタンスをシームレスに切り替えます。これにより、 最大70%のコスト削減が可能です。

TruefoundryはKarpenterを使用し、AWS APIを用いて可用性とコストに基づいた適切なインスタンスタイプを取得する高度なアルゴリズムを持つよう、Karpenterを最適に構成します。一方、 SageMakerはトレーニングジョブでスポットインスタンスに対応していますが、推論サービスにはこの機能を提供していません.

いくつかの一般的な推論インスタンスにおける推論コストの比較 - 

 自動シャットダウンとスケール・トゥ・ゼロ

Truefoundryは、CPU、GPU、ノートブック、SSHインスタンス向けに自動シャットダウン機能を提供し、 開発コストを30〜70%削減します。

これにより、開発者がコンピューティングリソースを使用していないとき（例えばJupyter Notebooks、またはStreamlitやGradioのようなホストされたデモなど）に、マシンが自動的にシャットダウンされます。

 Sagemakerでは、Jupyter Notebooksで自動シャットダウンを設定することは可能ですが、それは データサイエンティストが設定するにはかなり面倒です。 その結果、彼らは全く設定しないことになります。 Sagemakerでは、GPUインスタンス向けの自動シャットダウン機能はありません。

ボリュームのネイティブサポート

Sagemakerは、トレーニングのイテレーション中にS3へのデータの読み書きを推奨しています。これにより、特に複数のデータサイエンティストが同じデータでモデルをトレーニングしている場合、S3での膨大な読み書きコストが発生します。Truefoundryは、データをボリュームにキャッシュすることをサポートしており、これはS3と比較して読み書きコストがはるかに低く、 S3の読み書きコストを約20%削減し、 信頼性が高く、予算に優しい Sagemakerの代替としての地位を強化します。。 このアプローチは、読み書きコストを削減するためにSalesforceやNetflixのような企業によって広く採用されています。

Amazon S3は、高頻度の読み取りに対するリクエストごとの課金のため、コストが高くなります。

モデルの低レイテンシーと高スループット

Truefoundryは、Sglang、VLLMといった高度なサービングフレームワークをネイティブでサポートしており、より高いスループットと低いレイテンシーを実現できます。

Truefoundryはこれをさらに一歩進め、 モデルのアーキテクチャとユースケースに基づいて最適なモデルサーバーを自動的に推奨することで、 データサイエンティストの推測作業をなくし、その結果 LLMおよびTriton対応モデルにおいて約40%の削減を実現します。

 対照的に、SageMakerのデフォルトの選択は、特定のワークロードに最適化されていない可能性のある大きなイメージを伴うことがよくあります。このため、 データサイエンティストが最適な構成を手動で選択・テストする必要があり、非効率性につながります。 

コストを自動的に削減するオートパイロット機能

Truefoundryは、実行中のワークロードを自動的に分析し、要求されたリソースと実際の使用状況、受信トラフィックなどに基づいて可能なコスト最適化を提案します。これにより、 一部のケースで最大40〜50%のコスト最適化が実現されています。SageMakerにはオートパイロット機能がありません。

分割CPUとメモリ

Truefoundryは、分割CPUコンピューティングとメモリのサポートを提供しており、これにより複数のワークロードを1台のマシンで実行できます。 ビンパッキングにより、CPUワークロードにおいて20%以上の節約を実現します。これは、KubernetesがVM上でワークロードを実行するよりもリソースを効率的に利用できるのと同じ理由です。SageMakerでは、最小CPU/メモリ単位はAWSが提供するVM固有の構成と同じです。

分割GPU

Truefoundryは タイムスライシングベースとMIGベースの両方のGPUパーティショニングをサポートしており、これによりGPUコンピューティングで約40〜50%の節約につながります。これにより、開発者は単一のGPUマシンで複数のワークロードを実行し、シームレスにスケールアウトできます。GPUリソースは非常に高価であり、それらを共有することで大幅なコスト削減につながるため、これは非常に重要です。SageMakerは分割GPUをサポートしていません。

ケーススタディ

大手ゲーミングプラットフォーム、SageMakerで機械学習ワークロードを実行するために月額40,000ドルの費用がかかっていました。TrueFoundryのコスト最適化されたプラットフォームに移行することで、月額費用をわずか6,000ドルにまで劇的に削減できました。この85%のコスト削減は、スケーラビリティ、パフォーマンス、使いやすさを損なうことなく達成されました。

外部のケーススタディでも、SageMakerからEKSへの移行による大幅なコスト削減が強調されています。例えば、LeBonCoinのような組織は、機械学習ワークロードをSageMakerからKubernetesベースのEKSに移行した後、30～40%のコスト削減を報告しています。詳細はこちら - https://medium.com/leboncoin-tech-blog/migrating-our-machine-learning-platform-from-aws-sagemaker-to-kubernetes-kubeflow-166c56f40e5c

よくある質問

AWS SageMakerの料金はいくらですか？

SageMakerの料金は、ノートブック、トレーニング、ホスティングに対するインスタンスベースの料金の組み合わせで構成されています。AWSが基盤となるコンピューティングにプレミアムマークアップを追加するため、コストは急速に上昇する可能性があります。費用はインスタンスタイプ、データ処理量、ストレージ要件によって異なり、予期せぬ月額請求を避けるためには使用パターンを追跡することが不可欠です。

SageMakerはTrueFoundryより優れていますか？

どちらを選ぶかは、お客様の具体的なインフラ目標によって異なります。SageMakerはAWSエコシステム内で幅広いツールを提供します。TrueFoundryは、お客様自身のクラウド内でKubernetes上でネイティブに動作するため、スピードとポータビリティを優先するチームにとってより適していることが多いです。これにより、リソース割り当ての制御が強化され、開発者エクスペリエンスがより効率的になります。

TrueFoundryがSageMakerの理想的な代替となる理由は何ですか？

TrueFoundryは、SageMakerの運用上の複雑さと高いオーバーヘッドを避けたいチームにとって理想的な代替手段です。デプロイとモニタリングのための一元化されたコントロールプレーンを提供しつつ、お客様自身のVPC内でデータを安全に保ちます。自動化されたリソース管理と開発者の自律性への注力により、本番環境においてより柔軟な選択肢となります。

TrueFoundryとSageMaker、どちらがコストが高いですか？

SageMakerとTrueFoundryの料金を比較すると、SageMakerは通常、インフラのマークアップと管理費のために高コストになります。TrueFoundryは、生のクラウドコンピューティングとスポットインスタンスを利用することで費用を削減します。このアプローチは、自動スケーリングとアイドルリソース検出と組み合わせることで、インフラ全体の支出を削減できます。