ML / LLMモデルのインフラコストを削減

機械学習（ML）や大規模言語モデル（LLM）のワークロードは、クラウドで実行すると非常にコストがかかることで知られています。これは、大量の計算能力、メモリ、ストレージを必要とするためです。しかし、スケーラビリティや信頼性を犠牲にすることなく、ML/LLMワークロードのクラウドコストを削減する方法があります。  

コスト削減のための主要原則

1. DevOpsエンジニアと開発者のための可視性の向上： クラウドコストの可視性を確保することは、特に複数のクラウドにわたって複数のコンポーネントがデプロイされている場合、困難です。TrueFoundryは、クラスター、ワークスペース、デプロイメントレベルでクラウドコストの可視性を提供し、DevOpsチームと開発者がML/LLMライフサイクル全体でコスト削減の機会を特定し、最適化できるようにします。
2. リソース調整の容易さ： TrueFoundryは、DevOpsチームと開発者が得られたコストの可視性に基づいて行動できるようにします。
3. DevOpsチーム プロジェクトレベルでリソース制約を設定でき、各チームのワークロードが必要なリソースにアクセスできることを予算超過なしで保証します。
4. 開発者 得られたインサイトに基づいて、リソースを簡単に調整することもできます。さらに、TrueFoundryは非本番環境でアプリケーションやIDEをゼロにスケールダウンすることを容易にし、アイドル状態のリソースのコストを排除し、コスト削減のためのイテレーションサイクルをより効率的にします。
5. コストのためのインフラ最適化： TrueFoundryのKubernetesベースのアーキテクチャとインフラ最適化は、クラウドコストを削減するように設計されています。 

全体として、TrueFoundryのコスト削減機能は、DevOpsチームと開発者がML/LLMライフサイクル全体でクラウドコストを削減するために必要な可視性、制御、最適化機能を提供します。

AMIからDockerへの移行： 当社のプラットフォームは、多くの企業がAMIからDockerへ移行するのを容易にし、企業はすでに30〜40パーセントのコスト削減を経験しています。

TrueFoundry：コストを最優先するプラットフォーム

Truefoundryは コストを最優先する Kubernetesを基盤とするプラットフォームで、効率性、スケーラビリティ、コスト削減を最優先するアーキテクチャで設計されています。

TrueFoundry独自のアーキテクチャが、信頼性とスケーラビリティを最適化しながらコストを削減するのにどのように役立つかを見ていきましょう。プラットフォームの階層構造は以下の通りです。

1. クラスター: AWS EKS、Azure AKS、GCP GKE、またはオンプレミス環境のクラスターなど、すべてのクラスターをプラットフォームに接続します。これにより、すべてのクラスターを1か所でシームレスに統合できます。これらのクラスターは、幅広いサービス、モデル、ジョブをデプロイするための基盤となります。
2. ワークスペース: クラスター内にワークスペースを導入します。これにより、アクセス制御と分離を合理的に追加し、各プロジェクトや環境が専用のリソースを持ち、不正アクセスから保護されるようにします。これらはデプロイメントのグループと考えることができます。
3. デプロイメント: これらのワークスペース内にはデプロイメントがあり、さまざまな種類のものをデプロイできます。TrueFoundryを使用すると、ML開発ライフサイクルのあらゆる側面を簡単にカバーできます。
4. インタラクティブ開発環境: 共同実験のためにJupyter NotebookとVS Codeをデプロイします。
5. トレーニングおよびファインチューニングジョブ: ジョブとしてデプロイすることで、MLモデルのトレーニングやLLMモデルのファインチューニングを効率的に行います。
6. 事前学習済みLLM: モデルカタログを使用して、特定のユースケース向けに事前学習済み大規模言語モデルを迅速にデプロイします。
7. サービスとアプリ: モデル、ウェブアプリなど、さまざまなサービスやアプリケーションをデプロイします。
8. アプリケーションカタログ: Label Studio、Redis、Qdrantなどの人気ソフトウェアを簡単にデプロイできます。

クラスターレベルでのコスト削減

Kubernetesベースのインフラストラクチャ

Kubernetesは、ビンパッキングを利用してリソース使用率を最適化し、コンテナを効率的に配置することで、インフラコストの削減に貢献します。

TrueFoundryがKubernetesをどのように活用しているかについて、さらに詳しく知るには、こちらをご覧ください。 こちら.

💡

EC2からKubernetesへの移行：
多くの企業が当社のプラットフォームを導入後、EC2インスタンスからKubernetesへの移行に成功し、リソース割り当ての改善によりコスト削減を実現しています。

マルチクラウド対応

TrueFoundryのマルチクラウドアーキテクチャにより、様々なクラウドプロバイダーへの接続が容易になります。

1. クラウド間の柔軟な切り替え：異なるクラウドプロバイダー間を簡単に切り替えることで、各プロバイダーの最適な価格と機能を利用できます。
2. クラウドとリージョンをまたいだワークロードの分散：複数のクラウドプロバイダーとリージョンにワークロードを分散させることで、異なる料金体系や地域にワークロードを分散させ、コスト削減に貢献します。また、単一のクラウドプロバイダーへの依存を減らすことで、パフォーマンスと信頼性の向上にも役立ちます。
3. 高いインスタンスクォータの可用性： 複数のクラウドプロバイダーを利用することで、より多くのリソースにアクセスできます。これにより、コストを節約し、必要なリソースの制限を回避することができます。

💡

ユーザー数の多い（20+ RPS、1日あたり200万以上のリクエスト）中規模の会話型AIチャットボットプロバイダーが、当社の非同期サービスを利用し、異なるクラウドとリージョンにまたがる5つのクラスター上で、分散型スポットGPUインスタンスのみで稼働しています。これにより、インフラコストを60%削減しつつ、信頼性とスループットを向上させています。

可視性の向上

各クラスターについて、クラスター内で稼働しているノードの数を確認できます。また、ノード固有の詳細情報として、以下のようなインサイトも得られます。

1. コスト削減分析: 各ノードで節約されているコストの割合を確認できます。
2. リソース割り当てのインサイト: 現在の使用状況、リソース要求、制限を確認し、情報に基づいた意思決定を行うことができます。
3. キャパシティタイプに関するインサイト: クラスターでどのような種類のノードが稼働しているか、スポットノードかオンデマンドノードかを確認できます。

ワークスペースレベルでのコスト削減

リソース制限

TrueFoundryでは、1つのクラスター内に複数のワークスペースを作成できます。このセグメンテーションにより、異なるチームや環境向けにデプロイメントを整理できます。

1. リソース制約: 各ワークスペースのリソース制約（CPU、メモリ、ストレージ、さらにはインスタンスファミリーを含む）をカスタマイズできます。これにより、プロジェクトや環境の特定の要件に合わせてリソースを割り当てることができます。

2. サポートされているインスタンスファミリー: サポートするインスタンスファミリーを選択することで、特定のパフォーマンス要件と予算に合わせてワークスペースを調整できます。
   
   例えば、プロジェクトが高性能コンピューティングを必要としない場合、そのワークスペースでより大きなインスタンスを無効にすることができます。これにより、開発者がリソースを過剰にプロビジョニングするのを防ぎ、コスト削減につながります。

3. サポートされているノードプール: ノードプールは、ワークロードに計算リソースを提供するノードのグループです。ワークロードと予算に最適なノードプールを選択できます。
   
   例えば、A100 GPUを搭載したノードプールを作成できます。その後、その種のGPUへのアクセスを必要とするプロジェクトワークスペースに対してのみ、その特定のノードプールを有効にできます。

ワークスペースレベルのコストを追跡

過去の使用状況に基づいて、ワークスペースレベルのコストを追跡できる可視性も提供します。これにより、どのプロジェクトや環境が最も多くのリソースを使用しているか、どこでコスト削減が可能かを特定できます。

デプロイメントレベルでのコスト削減

アプリケーションレベルで高度な機能を提供し、大幅なコスト削減を実現できるよう支援します。

1. オンデマンドへのフォールバック付きスポットインスタンス: 通常、アプリケーションはコストと信頼性のバランスを取るのに苦労します。TrueFoundryでは、オンデマンドリソースへのフォールバック付きスポットインスタンスを含む、ノードのキャパシティタイプを選択できます。これにより、スポットインスタンスが強制終了された場合でもアプリケーションが利用可能であり続け、コストと可用性の最適なバランスを提供します。

2. サービスの一時停止: 使用されていないサービスを一時停止してコストを節約します。デプロイメントページからサービスを簡単に一時停止または再開できます。

3. リソースの最適化: リソースが最適に割り当てられ、サービスが適切なキャパシティで実行されていることを確認します。

• リソースの監視: サービスのリアルタイムリソース使用率を追跡します。CPUとGPUの割り当てを含みます。過剰プロビジョニング、過少プロビジョニングに関するアラートを受け取り、リソースの推奨事項を受け取ります。

• 動的なリソース調整: リアルタイムでリソースレベルを調整し、より低いCPUリソースにスケールダウンして、それに応じてサービスを再デプロイします。

4. 時間ベースのオートスケーリング: 使用量が少ない期間に非本番環境でのコストを削減するため、時間に基づいてリソース調整をスケジュールします。

💡

弊社のお客様の多くは、非稼働時間中にシャットダウンをスケジュールすることで、開発環境のクラウドコストを60%以上削減し、週あたり128時間のコンピューティング使用量を削減しています。

コードエディタレベルでのコスト削減

コードエディタ向けに特定の機能を提供しており、NotebookおよびVSCodeレベルで大幅なコスト削減を実現できます。

1. 共有ボリューム: 要件に基づいてボリュームを使用し、NotebookおよびVSCodeインスタンス間で大容量データを共有し、コラボレーションを促進します。共有ボリュームは冗長性を減らし、効率を高めます。特に複数のユーザーがNotebookおよびVSCodeインスタンス間で大量のデータにアクセスする必要がある場合に有効です。
2. 適応型リソース使用: 同じマシン上でCPUとGPUを簡単に切り替えることで、リソース割り当てを最適化できます。GPUリソースを常に維持する必要はなく、必要なときだけ利用できます。

💡

ビデオ生成分野で事業を展開する生成AI企業は、非本番ワークロード向けに数百のJupyter Notebookをスポットインスタンスで実行しており、必要なときだけGPUをオンにすることで、クラウドコストを約50〜60%削減しました。

3. 手動一時停止: 使用していないときにNotebook/VSCodeインスタンスを簡単に一時停止できます。コードとデータは保持されるため、必要なときにシームレスな再開が可能です。

4. 自動一時停止: 貴重なリソースを節約するため、Notebooks/VSCodeインスタンスを一定期間操作がない場合に自動的に一時停止するよう設定できます。

💡

コストベンチマーク
AWS、GCP、Azureの各クラウドでベンチマークを実施し、NotebooksやVSCodeをオンデマンドで実行した場合と、各クラウドサービスを利用した場合のコスト削減効果を比較しました。

Serving LoRA fine-tuned models

LoRA and QLoRA allow you to tailor models for diverse tasks efficiently. This blog details serving LoRA fine-tuned models, especially if you have many of them.

TrueFoundry Blog Abhishek Choudhary

‍

大規模言語モデル（LLM）のデプロイとファインチューニングにおけるコスト削減：

当社のモデルカタログは、よく知られた事前学習済みLLMのデプロイとファインチューニングをワンストップで手軽に行えるようにします。これらのLLMのデプロイとファインチューニングを可能な限りコスト効率良く行うため、以下の対策を講じました：

1. モデルサービング構成の最適化: さまざまなモデルサーバーとリソース割り当てに関するベンチマークに基づき、最高のレイテンシーとスループットを実現する事前設定済みの構成を提供します。これにより、LLMのデプロイプロセスが簡素化され、デプロイをリソース効率的かつ費用対効果の高いものにするのに役立ちます。

2. 効率的なファインチューニング構成: LoRAやQ-LoRAなど、ファインチューニングのための効率的な手法を提供します。これにより、リソース使用量を削減し、より低いコストで目標を達成できます。

こちらのブログで 効率的なファインチューニング：

‍

Serving LoRA fine-tuned models

LoRA and QLoRA allow you to tailor models for diverse tasks efficiently. This blog details serving LoRA fine-tuned models, especially if you have many of them.

TrueFoundry Blog Abhishek Choudhary

‍

3. 非同期サポートによるスケーラブルなデプロイ： 非同期サポートを活用してLLMを大規模にデプロイすることで、3つのクラウドすべてでGPUクォータを最大限に活用し、ファインチューニングやデプロイに必要なGPUを確実に確保できます。この信頼性の向上により、スポットインスタンスの利用が可能になり、コスト削減につながります。

詳細はこちら 非同期デプロイメントによるLLMの大規模デプロイ

💡

ベンチマーク
AWS EKSとSageMakerでのLLMデプロイにかかる費用を比較するため、コストベンチマークを実施しました。詳細は以下のブログでご覧いただけます。

‍

Deploy Falcon-40B on AWS: 40% Cheaper than Sagemaker

Deploy Falcon-40B on AWS at a 40% cheaper cost than Sagemaker. Comparing the cost of running it on Sagemaker vs Truefoundry.

TrueFoundry Blog Abhishek Choudhary

💡

複数のFortune 100企業や中堅企業が、当社のプラットフォームを利用することで大幅なコスト削減を実現しました。中には、社内のSageMakerやクラウドプラットフォームを当社のシステムに置き換え、30～40%のコスト削減を達成した企業もあります。

また、一連の記事では、多くの一般的なオープンソースLLMのパフォーマンスを、レイテンシー、コスト、1秒あたりのリクエスト数の観点からベンチマークしました。こちらでご確認いただけます。 TrueFoundryブログ

‍

Benchmarking Llama-2-13B

This blog captures Llama 2-13B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog TrueFoundry

‍

このブログで紹介した全機能のライブデモをご覧いただくために、こちらの動画もご覧いただけます。

TrueFoundry は、Kubernetes上で動作するMLデプロイメントPaaSであり、開発者のワークフローを加速させ、モデルのテストとデプロイにおいて完全な柔軟性を提供しつつ、インフラチームには完全なセキュリティと制御を保証します。当社のプラットフォームを通じて、機械学習チームは デプロイおよび監視 モデルを15分で、100%の信頼性、スケーラビリティ、そして数秒でのロールバック機能を提供し、これにより、コストを削減し、モデルをより迅速に本番環境にリリースすることで、真のビジネス価値の実現を可能にします。