AWS上でFalcon-40Bをデプロイ:SageMakerより40%低コスト

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
この記事では、独自のクラウド上にFalconモデルをデプロイすることについて説明します。
アブダビのTechnology Innovation Instituteは、革新的な言語モデルのシリーズであるFalconを開発しました。Apache 2.0ライセンスの下でリリースされたこれらのモデルは、この分野における著しい進歩を表しています。特に、Falcon-40Bは真のオープンモデルとして際立っており、多くのソースコード非公開モデルの機能を凌駕しています。この開発は、さまざまなエキサイティングなアプリケーションへの道を開き、専門家、愛好家、そして業界に莫大な機会をもたらします。
このブログ記事では、SageMaker上のLLMOpsプロセス(独自のAWSクラウド口座でのFalconモデルのホスティングと利用可能なさまざまなオプション)について説明します。さらに、他のクラウドでFalconを実行することに焦点を当てた別のブログ記事を将来公開する予定です。
また、独自のクラウド上にLlama 2をデプロイすることに関する別のブログも執筆しました。以下をご確認ください:
話を進めると、Falconファミリーには2つのベースモデルがあります:Falcon-40Bと Falcon-7Bです。40Bパラメータモデルは現在Open LLM Leaderboardのトップに位置しており、7Bモデルはその重量クラスで最高です。ここではFalcon 40Bモデルをデプロイするためのオプションについて説明します。
Falcon-40Bには約90GBのGPUメモリが必要であるため、80 GBのRAMを搭載した単一のA100インスタンスには収まりません。AWSで動作するインスタンスタイプはg5.12xlargeです(https://aws.amazon.com/ec2/instance-types/g5/)。モデルは、リアルタイム推論用のAPIエンドポイントとしてデプロイすることも、バッチ推論のユースケース用にコード自体に読み込むこともできます。
モデルを読み込んでテキスト生成タスクを実行するためのコードは次のとおりです:
# pip install "transformers[tokenizers]>=4.29.2,<5.0.0" # "sentencepiece==0.1.99" "accelerate>=0.19.0,<1.0.0" # "safetensors>=0.3.1,<0.4.0"
import torch
from transformers import pipeline
generator = pipeline(
"text-generation",
model="tiiuae/falcon-40b-instruct",
tokenizer="tiiuae/falcon-40b-instruct",
torch_dtype=torch.bfloat16,
device_map="balanced_low_0",
)
output = generator(
"Explain to me the difference between nuclear fission and fusion.",
min_new_tokens=30,
max_new_tokens=50
)
print(output)
ノートブックにFalcon40Bを読み込むPythonコード
APIとしてのモデルのデプロイ
モデルは、AWS SageMaker、EKSクラスター、または通常のEC2マシンのいずれかのエンドポイントとしてデプロイできます。SageMakerにモデルをデプロイするには、次のチュートリアルに従うことができます:https://aws.amazon.com/blogs/machine-learning/deploy-falcon-40b-with-large-model-inference-dlcs-on-amazon-sagemaker/。

EKSにモデルをデプロイするには、EKSクラスターを立ち上げ、その上にGPUノードプールとGPU operatorを設定し、APIエンドポイントにアクセスできるようにするためのingressレイヤーを設定する必要があります。TrueFoundryは、モデルのデプロイをワンクリックのプロセスにすることで、この道のり全体を大幅にシンプルにすることができます。

コスト分析
独自のAWSアカウントでFalcon LLMを実行するコストについて掘り下げてみましょう。SageMakerとTrueFoundryで実行する場合のコストを比較します。
SageMakerのコスト
SageMakerインスタンス(ml.g5.12xlarge)の1時間あたりのコスト(us-east-1):$7.09
AWS JumpStart上のFalconモデルのリクエストスループットとレイテンシを計算するために、簡単なベンチマークを実行しました。正確な数値はプロンプトの長さやリクエストの並列性によって異なりますが、大まかな目安になるはずです:


上のグラフで見られるように、p50レイテンシは約5.7秒、p90は約9.4秒です。毎秒約6〜7リクエストのスループットを得ることができます。
TrueFoundryを使用してEKSにモデルをデプロイ
TrueFoundryはEKS上にモデルをデプロイし、スポットインスタンスとオンデマンドインスタンスを活用してコストを大幅に削減できます。us-east-1リージョンにおけるg5.12xlargeマシンの1時間あたりのオンデマンド、スポット、予約価格を比較してみましょう。
オンデマンド: $5.672(SageMakerより20%安価)
スポット: $2.076(SageMakerより70%安価)
1年予約: $3.573(SageMakerより50%安価)
3年予約: $2.450(SageMakerより65%安価)
TrueFoundryを使用してEKSにデプロイされたモデルのスループットとレイテンシを比較してみましょう。


上記の統計からわかるように、p50レイテンシは5.8秒、p90は9.5秒です。スループットは毎秒約6〜7リクエストです。上記で見られるように、
料金シミュレーター
ライブトラフィックを伴う実際のユースケースでFalconモデルをホスティングするコストを見積もってみましょう。1日に100Kのリクエストを受け取り、すべてのリクエストでFalconモデルを呼び出していると仮定します。各インスタンスは毎秒6リクエストを処理でき、1日100Kリクエストは毎秒1リクエストを意味するため、このトラフィックを処理するにはg5.2xlargeの1インスタンスで十分です。ただし、信頼性の理由から、少なくとも2つのインスタンスを実行する必要があります。2つのインスタンスを実行するコストを比較してみましょう:
SageMaker: $7.1 * 2(1時間あたりのドル) = 月額$10000
EKS:
スポットインスタンスを使用する場合: $2 * 2(1時間あたりのドル) = 月額$2880
オンデマンドインスタンスを使用する場合: = 月額$8000
スポットインスタンス1つとオンデマンドインスタンス1つの組み合わせを使用することで、コストを約40%削減しながら、高いレベルの信頼性を実現することもできます。
ご相談・お問い合わせ
LLMプロジェクトからのリターンを最大化し、ビジネスが適切な方法でAIを活用できるようにしたいとお考えでしたら、ぜひ情報交換をさせてください。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






