大規模言語モデルの経済性に関する36万ドルの疑問

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
この記事の目的は、大規模言語モデル(LLM)の価格設定がどのように機能するかを読者に理解してもらうことです。これは、LLMを商業的に利用している複数の企業との対話から着想を得ています。これらの会話を通じて、LLMの経済性がしばしば誤解されており、最適化の大きな余地が残されていることに気づきました。
同じタスクを実行するのに、あるモデルでは3,500ドル、別のモデルでは1,260,000ドルかかる場合があることに気づいていますか?これは性能の差という代償を伴いますが、コストと性能のトレードオフについて考える余地が十分にあります。そのタスクは、より安いモデルを使用できるようなものでしょうか。
私たちは、大規模言語モデルへの支出を過大評価または過小評価している企業を何度も目にしてきました。そこでここでは、いくつかのアプローチによる人気のある大規模言語モデルの運用コストを理解し、その価格設定がどのように機能するかを把握することを目指します。
ℹ️
このブログの目的は、LLMやその性能について読者を教育することではありません。これはLLMの価格設定を理解することに焦点を当てた、計算中心のブログです。簡潔にするため、これらのモデル間での性能比較は行いません。
Wikipediaの要約
The 価格分析用のサンプル
LLMの価格設定がどのように機能するかを理解するために、同じタスク、つまりWikipediaを元のサイズの半分に要約するために発生するコストを比較します。
タスクの規模の詳細
計算を簡略化し、分かりやすくするためにいくつかの近似値を使用します
Wikipediaコーパスの規模
- 合計 ~ 600万記事
- 1記事あたり ~ 750単語
- 1記事あたり ~ 1000トークン
❓
トークンとは、単語の開始や終了に正確に依存しない単語の部分要素です。OpenAI APIが入力の処理前にテキストをトークンに分割する単位です。トークンには末尾のスペースやサブワードも含まれる場合があります。
要約出力の予想規模
このタスクでは、簡潔にするため、各記事が単純に半分のサイズに圧縮されると仮定します。したがって、予想される出力は以下のようになります:
- ~600万記事
- 要約記事あたり ~375単語
- 1記事あたり ~500トークン

コストの理解
このタスクで異なるモデルを使用した場合のコスト比較
OpenAI / サードパーティAPIにおける価格設定のレバー
OpenAIやその他のサードパーティAPIは、通常2つのレバーに基づいて課金します(APIを使用して推論を行う場合):
入力コスト
このコストは、コンテキスト/プロンプト/指示としてAPIに渡されるトークン数(上記参照)によって決まります。
出力コスト
APIがレスポンスとして返すトークン数に基づくコストです。
要約のようなタスクでは、文書全体または抜粋を要約対象としてモデルに渡す必要があるため、プロンプトに含まれるトークン数が大きくなり、結果として入力コストが高くなる可能性があります。
セルフホストモデルで発生するコストの根拠
セルフホストモデルの場合、ユーザーはモデルを実行するために必要なマシンを管理/プロビジョニングする必要があります。これらのリソースの管理コストが含まれる場合もありますが、価格設定はマシンの実行コスト(独自のオンプレミス・クラスタを持たない限り、通常はクラウドプロバイダによって請求される額)に基づいているため、比較的理解しやすいです。
マシンのコスト
モデルを実行/ホストするために必要なマシンをプロビジョニングするコスト。これらの大規模なモデルの多くは、ラップトップや単一のローカルデバイスで実行できるものよりも大きいため、これらのマシンにクラウドプロバイダを使用するのが最も一般的です。
クラウドプロバイダはこれらのインスタンスを提供しますが、モデルがGPUを必要とするため、ユーザーはGPUの可用性の問題に直面する可能性があります。
スポットインスタンス
クラウドプロバイダは、余剰キャパシティをオンデマンドインスタンスよりも40〜90%安価なコストで提供しています
異なるモデルのコスト比較
GPT 4 - 8K コンテキスト長
単価
コスト計算式
コスト = トークン数(1000記事あたり) X 記事数(千単位) X 単価(1000トークンあたり)
入力のコスト
1K (トークン/記事) X 6,000K (記事) X $30 (/100万トークン) = $180,000
出力のコスト
0.5 K (トークン/記事) X 6,000K (記事) X $60 (/100万トークン) = $180,000
合計コスト
入力コスト + 出力コスト
= $360,000
GPT 4 - 32K コンテキスト長
単価
入力コスト (/100万トークン) 出力コスト (/100万トークン) $60 $120
コスト計算式
コスト = トークン数(1000記事あたり) X 記事数(千単位) X 単価(1000トークンあたり)
入力のコスト
1K (トークン/記事) X 6,000K (記事) X $60 (/100万トークン) = $360,000
出力のコスト
0.5 K (トークン/記事) X 6,000K (記事) X $120 (/100万トークン) = $360,000
合計コスト
入力コスト + 出力コスト
= $720,000
Anthropic Claude V1
単価
コスト計算式
コスト = トークン数(1000記事あたり) X 記事数(千単位) X 単価(1000トークンあたり)
入力のコスト
1K (トークン/記事) X 6,000K (記事) X $11 (/100万トークン) = $66,000
出力のコスト
0.5 K (トークン/記事) X 6,000K (記事) X $60 (/100万トークン) = $96,000
合計コスト
入力コスト + 出力コスト
= $162,000
InstructGPT - DaVinci
単価
コスト計算式
コスト = トークン数(1000記事あたり) X 記事数(千単位) X 単価(1000トークンあたり)
入力のコスト
1K (トークン/記事) X 6,000K (記事) X $20 (/100万トークン) = $120,000
出力のコスト
0.5 K (トークン/記事) X 6,000K (記事) X $20 (/100万トークン) = $60,000
合計コスト
入力コスト + 出力コスト
= $180,000
Curie
単価
コスト計算式
コスト = トークン数(1000記事あたり) X 記事数(千単位) X 単価(1000トークンあたり)
入力のコスト
1K (トークン/記事) X 6,000K (記事) X $2 (/100万トークン) = $12,000
出力のコスト
0.5 K (トークン/記事) X 6,000K (記事) X $60 (/100万トークン) = $6,000
合計コスト
入力コスト + 出力コスト
= $18,000
セルフホスト 7B モデル
単価
マシンの実行コスト(スポット A100-80GB の1時間あたり) $10
コスト計算式
コスト = トークン数(1000記事あたり) X 記事数(千単位) X 単価(1000トークンあたり)
入力のコスト
1K (トークン/記事) X 6,000K (記事) X $30 (/100万トークン) = $180,000
出力のコスト
0.5 K (トークン/記事) X 6,000K (記事) X $60 (/100万トークン) = $180,000
合計コスト
入力コスト + 出力コスト
= $360,000
モデルのファインチューニング
企業における多くのユースケースでは、自社のデータや特定のタスクに合わせてモデルをファインチューニングする必要があります。複数の企業が、ファインチューニングされたオープンソースモデルは特定のタスクにおいて、OpenAIのようなサードパーティAPIと同等、あるいはそれ以上の場合があると報告しています。
ファインチューニングされた DaVinci

合計コスト
入力コスト + 出力コスト
= $1,260,000
ファインチューニングされた Curie

合計コスト
入力コスト + 出力コスト
= $126,000
セルフホスト・ファインチューニング済み 7B モデル

合計コスト
入力コスト + 出力コスト
= $126,000
すべてのまとめ
価格設定から注目すべき点:
- ユースケースに合わせてファインチューニングする場合、DaVinci および Curie モデルは約7倍高価になります
- コンテキストウィンドウが拡大すると、コストは約2倍に増加します
- モデルのパラメータ数が増えると、モデルの使用コストも増加します
ファインチューニングが性能に与える影響
以下のベンチマークを使用して、モデルのファインチューニングがその性能に与える影響を分析します。次の点に注目すると非常に興味深いです:
- 特定のユースケース向けにファインチューニングされた場合、パラメータ数の少ないモデルでも大規模なモデルより優れたパフォーマンスを発揮できる。
- コストと性能のバランスが適切に確立されれば、性能を大きく損なうことなく大幅なコスト削減が可能である。
タスクタイプ 最高の6B/7B OOTBモデル Few-shot MoveLM 7B Zero-shot GPT-3.5 Turbo Zero-shot GPT-3.5 Turbo Few-shot GPT-4 Zero-shot GPT-4 Few-shot 関連性 - 内部データセット0.330.930.840.840.920.95抽出 - クエリの構造化出力 0.380.980.220.720.380.73推論 - カスタムトリガー0.620.930.870.880.90.88分類 - ユーザーのクエリドメイン0.210.790.60.730.70.76抽出 - エンティティタイピングからの構造化出力0.830.870.90.890.890.89
私たちの取り組み
TrueFoundryは、LLMの未来は同一アプリケーション内でのオープンソースLLMと商用LLMの共存にあると考えています!
私たちは、より簡単なタスクは軽量なオープンソースLLMが処理し、より複雑なタスクや、商用の商用LLMのみが提供する独自の機能(Web検索やAPI呼び出しなど)を必要とするタスクはそちらに委任するアプリケーションの姿を信じています。
OpenAIを使用している場合
OpenAI APIに送信されるトークン数の削減を支援します。この取り組みを開始した理由は以下の通りです:
- コストの半分以上がコンテキスト / プロンプト トークンの処理によるものであることに気づきました。
- すべての単語が必要なわけではありません。LLMは不完全な文章の処理に非常に優れています。
そのため、TrueFoundryはOpenAIのコストを約30%削減する圧縮APIを構築しています。

オープンソースLLMを使用したい場合
以下のサービスを通じて、お客様自身のインフラ内でのモデル実行を簡素化します:
- モデルカタログ:推論とファインチューニング用に最適化されたオープンソースLLM。
- ドロップインAPI:アプリケーションで既に運用しているHuggingFaceやOpenAIのAPIと直接差し替えることができます。
- コスト最適化:クラウドクレジットや予算を活用し、K8s上のマルチクラウド環境全体で最適化します。

TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






