Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

AWS上でFalcon-40Bをデプロイ:SageMakerより40%低コスト

By Abhishek Choudhary

Updated: November 3, 2026

Published: July 2, 2026

この記事では、独自のクラウド上にFalconモデルをデプロイすることについて説明します。

アブダビのTechnology Innovation Instituteは、革新的な言語モデルのシリーズであるFalconを開発しました。Apache 2.0ライセンスの下でリリースされたこれらのモデルは、この分野における著しい進歩を表しています。特に、Falcon-40Bは真のオープンモデルとして際立っており、多くのソースコード非公開モデルの機能を凌駕しています。この開発は、さまざまなエキサイティングなアプリケーションへの道を開き、専門家、愛好家、そして業界に莫大な機会をもたらします。

このブログ記事では、SageMaker上のLLMOpsプロセス(独自のAWSクラウド口座でのFalconモデルのホスティングと利用可能なさまざまなオプション)について説明します。さらに、他のクラウドでFalconを実行することに焦点を当てた別のブログ記事を将来公開する予定です。

また、独自のクラウド上にLlama 2をデプロイすることに関する別のブログも執筆しました。以下をご確認ください:

‍

‍

話を進めると、Falconファミリーには2つのベースモデルがあります:Falcon-40Bと Falcon-7Bです。40Bパラメータモデルは現在Open LLM Leaderboardのトップに位置しており、7Bモデルはその重量クラスで最高です。ここではFalcon 40Bモデルをデプロイするためのオプションについて説明します。

Falcon-40Bには約90GBのGPUメモリが必要であるため、80 GBのRAMを搭載した単一のA100インスタンスには収まりません。AWSで動作するインスタンスタイプはg5.12xlargeです(https://aws.amazon.com/ec2/instance-types/g5/)。モデルは、リアルタイム推論用のAPIエンドポイントとしてデプロイすることも、バッチ推論のユースケース用にコード自体に読み込むこともできます。 

モデルを読み込んでテキスト生成タスクを実行するためのコードは次のとおりです:

# pip install "transformers[tokenizers]>=4.29.2,<5.0.0" # "sentencepiece==0.1.99" "accelerate>=0.19.0,<1.0.0" # "safetensors>=0.3.1,<0.4.0"

import torch
from transformers import pipeline

generator = pipeline(
   "text-generation",
   model="tiiuae/falcon-40b-instruct",
   tokenizer="tiiuae/falcon-40b-instruct",
   torch_dtype=torch.bfloat16,
   device_map="balanced_low_0",
)
output = generator(
   "Explain to me the difference between nuclear fission and fusion.",
   min_new_tokens=30,
   max_new_tokens=50
)
print(output)

ノートブックにFalcon40Bを読み込むPythonコード

APIとしてのモデルのデプロイ

モデルは、AWS SageMaker、EKSクラスター、または通常のEC2マシンのいずれかのエンドポイントとしてデプロイできます。SageMakerにモデルをデプロイするには、次のチュートリアルに従うことができます:https://aws.amazon.com/blogs/machine-learning/deploy-falcon-40b-with-large-model-inference-dlcs-on-amazon-sagemaker/。

Model Catalogue - Falcon models
Falconモデルで構成されるモデルカタログ

EKSにモデルをデプロイするには、EKSクラスターを立ち上げ、その上にGPUノードプールとGPU operatorを設定し、APIエンドポイントにアクセスできるようにするためのingressレイヤーを設定する必要があります。TrueFoundryは、モデルのデプロイをワンクリックのプロセスにすることで、この道のり全体を大幅にシンプルにすることができます。

deploying Falcon 40B
Falcon 40Bをデプロイするさまざまなモード

コスト分析

独自のAWSアカウントでFalcon LLMを実行するコストについて掘り下げてみましょう。SageMakerとTrueFoundryで実行する場合のコストを比較します。

SageMakerのコスト

SageMakerインスタンス(ml.g5.12xlarge)の1時間あたりのコスト(us-east-1):$7.09

AWS JumpStart上のFalconモデルのリクエストスループットとレイテンシを計算するために、簡単なベンチマークを実行しました。正確な数値はプロンプトの長さやリクエストの並列性によって異なりますが、大まかな目安になるはずです:

上のグラフで見られるように、p50レイテンシは約5.7秒、p90は約9.4秒です。毎秒約6〜7リクエストのスループットを得ることができます。

TrueFoundryを使用してEKSにモデルをデプロイ

TrueFoundryはEKS上にモデルをデプロイし、スポットインスタンスとオンデマンドインスタンスを活用してコストを大幅に削減できます。us-east-1リージョンにおけるg5.12xlargeマシンの1時間あたりのオンデマンド、スポット、予約価格を比較してみましょう。

オンデマンド: $5.672(SageMakerより20%安価)
スポット: $2.076(SageMakerより70%安価)
1年予約: $3.573(SageMakerより50%安価)
3年予約: $2.450(SageMakerより65%安価)

TrueFoundryを使用してEKSにデプロイされたモデルのスループットとレイテンシを比較してみましょう。

リクエストのレイテンシとスループットの統計
TrueFoundry上のモデルの統計

上記の統計からわかるように、p50レイテンシは5.8秒、p90は9.5秒です。スループットは毎秒約6〜7リクエストです。上記で見られるように、

料金シミュレーター

ライブトラフィックを伴う実際のユースケースでFalconモデルをホスティングするコストを見積もってみましょう。1日に100Kのリクエストを受け取り、すべてのリクエストでFalconモデルを呼び出していると仮定します。各インスタンスは毎秒6リクエストを処理でき、1日100Kリクエストは毎秒1リクエストを意味するため、このトラフィックを処理するにはg5.2xlargeの1インスタンスで十分です。ただし、信頼性の理由から、少なくとも2つのインスタンスを実行する必要があります。2つのインスタンスを実行するコストを比較してみましょう:

SageMaker: $7.1 * 2(1時間あたりのドル) = 月額$10000
EKS:
スポットインスタンスを使用する場合: $2 * 2(1時間あたりのドル) = 月額$2880
オンデマンドインスタンスを使用する場合: = 月額$8000

スポットインスタンス1つとオンデマンドインスタンス1つの組み合わせを使用することで、コストを約40%削減しながら、高いレベルの信頼性を実現することもできます。

ご相談・お問い合わせ

LLMプロジェクトからのリターンを最大化し、ビジネスが適切な方法でAIを活用できるようにしたいとお考えでしたら、ぜひ情報交換をさせてください。

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

August 26, 2026
|
5 min read

Gemini 3 Pro:ベンチマークとGateway経由での利用方法

July 20, 2023
|
5 min read

LLMOps CoE: MLOpsランドスケープにおける次のフロンティア

May 25, 2023
|
5 min read

オープンソースLLM:受け入れるか、淘汰されるか

August 27, 2025
|
5 min read

オンプレミスAI市場のマッピング:チップからコントロールプレーンまで

Guide to Langgraph vs Langchain
November 16, 2026
|
5 min read

LangChain vs LangGraph:どちらが最適か?

比較
A detailed guide on Claude Fable 5
November 16, 2026
|
5 min read

Claude Fable 5: API、ベンチマーク、料金、使い方

エンジニアリングとプロダクト
openrouter vs litellm
November 16, 2026
|
5 min read

LiteLLMとOpenRouter:あなたに最適なのはどちらか?

比較
November 16, 2026
|
5 min read

大規模言語モデルにおけるトランスフォーマーアーキテクチャ

LLM用語
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour