Llama 2 LLM: 自社クラウドでのデプロイとファインチューニング

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
オープンソース界におけるChatGPTモーメントが到来しました。Metaは最新のオープンソース大規模言語モデルコレクションであるLlama 2をリリースしました。これは70億から700億パラメータのスケールに及ぶ、事前学習済みおよびファインチューニング済みの生成テキストモデルのコレクションです。
Llama 2に関する面白い事実と記憶のヒント
- Llama 2は約2兆トークンの公開オンラインデータで学習されています。これは英語版Wikipedia全体の300倍以上に相当します。
- Llama 2は100万件の人間によるアノテーションデータで学習されています。DatabricksのDollyの1万5千件のラベル付けデータセットと比較してみてください。
- 7B、13B、70Bの各バリアントの学習時間は、A100-80GBを使用してそれぞれ18万4千GPU時間、36万8千GPU時間、170万GPU時間と報告されています。これは興味深いことに、10億パラメータごとに約1000 GPU週間に相当します。つまり、70Bモデルで1000基のGPUを並列使用した場合、70週間の学習期間となります。
- これらのモデルを学習するためのGPUコストだけでも、それぞれ約80万ドル、150万ドル、800万ドルになります。最終実行には合計1000万ドル相当のGPUが投入されています!
- 事前学習データは静的であり、2022年9月までの情報ですが、2023年7月までの最新データでファインチューニングされています。
- コンテキストウィンドウは、7B、13B、70Bの3つのバリアントすべてで4kとなっています。
なぜ注目すべきなのか?
- まず第一に、研究および商業目的で無料で使用できます。大手テック企業が支援し、ChatGPTと同等の品質を持ち、今すぐデプロイおよびファインチューニングが可能な、この種としては初のモデルです。(前カレンダー月に月間アクティブユーザー数が7億人を超えている場合は、使用にあたりMetaからライセンスを取得する必要があります!)
- Llama-2-Chatと呼ばれるファインチューニング版は、対話のユースケース向けに最適化されています。Llama-2-Chatモデルは、ほとんどのベンチマークでオープンソースのチャットモデルを上回り、役立ち度と安全性に関する人間による評価では、ChatGPTやPaLMなどの主要なクローズドソースモデルと同等の水準に達しています。
- OpenAIのような商用クローズドソースサービスの利用にあたり法務やコンプライアンスの承認を待っていた方々、そして前世代のオープンソースLLMの応答品質に物足りなさを感じていた方々にとって、これが明確な回答となります。さらに重要なのは、オープンソースLLMが不可欠な存在であり、今後も進化し続けることが改めて証明された点です。
Llama 2の品質ベンチマーク
Llama 2は、多様なLLMベンチマークで目覚ましいパフォーマンスを示しています。以下はLlamaとChatGPTモデルの比較です:

Llama-2-70b-chat-hfモデルは、複数のベンチマークにおいてオリジナルのChatGPTモデルであるGPT-3.5のパフォーマンスに迫り、一部ではそれを上回っています。詳細はこちらでご確認いただけます。データセットとタスクの詳細については付録セクションに記載しています。
サンプルタスクにおけるLlama 2の運用コスト
OpenAIベースのアプリケーションを本番環境に導入している多くの企業は、請求額やこれらのアプリケーションをどれだけ持続可能にスケールアップできるかに関心を寄せています。Llama 2の実行に必要なコストと、一部のOpenAIモデルとの比較検証を行いました。
サンプルタスク:英語版Wikipedia(600万記事、各1000トークン)を取得し、LLMを使用して半分のサイズに要約すると仮定します。詳細な計算結果はこのブログでご覧いただけます。各モデルにおける本タスクのコストに関する興味深い指標は以下の通りです:
- GPT-4を使用した場合のコストは約36万ドルになります。
- GPT-3 Davinciバリアント(1750億パラメータ)で同様のタスクを行うと約18万ドルとなり、Davinciのファインチューニング版を使用した場合は100万ドルを超えます。
- 代わりにCurieモデル(~70億パラメータ)を使用した場合、コストは1万8千ドルとなり、ファインチューニング版のコストは約12万5千ドルになります。
- 同等サイズのモデルであるLlama 2(7Bバリアント)と比較してみましょう。事前学習版では約2千ドル、ファインチューニング版では約3千ドルとなります。同等規模のモデルにおける事前学習版とファインチューニング版の比較において、それぞれ約9倍および約40倍のコスト差が生じます。
Llama-2-13b-chatモデルのデプロイ
このモデルはMicrosoft Azure、AWS、Huggingfaceを通じて利用可能です。また、TrueFoundryを利用することで、最小限の手順でLlama-2モデルをデプロイすることもできます。
TrueFoundry上にデプロイするには、Huggingface上でLlama-2モデルへのアクセス権限を取得している必要があります。詳細情報はこちらをご確認ください。TrueFoundryモデルカタログは、優れた最新のオープンソースLLMで常に更新されています。モデルカタログを使用すると、モデルのデプロイに必要な設定がすべて事前に行われており、ワンクリックで独自のクラウドインフラにデプロイできます。Llama-2モデルも間もなくモデルカタログからワンクリックでデプロイ可能になります。それまでの間も、TrueFoundryユーザーは以下の手順に従ってLlama-2モデルをデプロイいただけます。
- デプロイメントページから
New Deploymentをクリックし、Serviceを選択します。

2. HuggingfaceのText Generation Interfaceライブラリを使用してこのモデルをデプロイできます。text-generation-inferenceイメージ(ghcr.io/huggingface/text-generation-inference:0.9)のデプロイを選択し、必要なモデルを起動するコマンド(text-generation-launcher --model-id meta-llama/Llama-2-13b-chat-hf)でコマンドをオーバーライドします:

3. 次にモデルエンドポイントを設定します。モデルはポート80で公開されるため、このポートを公開設定にします:

4. Llama-2モデルは承認されたアカウントを通じてのみ利用可能であるため、Huggingface APIキーを環境変数として設定する必要があります。キーはHUGGING_FACE_HUB_TOKENである必要があります。
画像内では、TrueFoundry上でシークレットを作成することでHuggingface APIキーを間接的に使用している点にご注意ください。値を直接貼り付けることも可能ですが、推奨されません。

5. 最後に、このモデルに必要なリソースを割り当てます。ここでは13b-chatモデルバージョンをA100 40GBを搭載したノードにデプロイすることを選択しました。その他の値は次のように設定できます:

6. Submitをクリックするとモデルがデプロイされ、設定したエンドポイントで利用可能になります。
デプロイしたモデルを使用した推論の実行
デプロイしたモデルを使用して推論を取得するには、generateエンドポイントを呼び出します。また、Pythonコード内でデプロイ済みモデルを利用するためのPythonライブラリtext-generationも用意されています。
HTTPリクエストを使用する場合:

Pythonクライアントを使用する場合:

クライアントに関する詳細情報はこちらでご確認いただけます。
TrueFoundry LLM Playground
TrueFoundry LLM Playgroundを使用すると、TrueFoundry上にデプロイしたモデルとChatGPTなどの他のモデルに対してプロンプトを入力し、出力を比較することができます。Llama-2モデルをデプロイした後は、TrueFoundry LLM Playgroundを通じてテストを行うことも可能です:

ディスカッションのお問い合わせ
私たちも皆さまと同様、この分野について日々学習を重ねています。貴社組織において大規模言語モデルの活用をご検討されている場合は、ぜひ情報交換をさせていただければ幸いです。
コーヒーでも飲みながら話し合いましょう
付録:タスクとメトリクスの詳細
MMLUはMulti-task Multi-Lingual Language Understanding(多角的多言語言語理解)の略です。質問応答、自然言語推論、要約など、多様なタスクにおける言語モデルのパフォーマンスを測定するベンチマークです。MMLUの背景にある考え方は、言語モデルが多様な方法で情報を理解・処理し、それを複数の言語で実行できる必要があるという点にあります。
TriviaQAは、事実に関するトピックの質問と回答のデータセットです。事実知識を必要とする質問に答える言語モデルの能力を測定するために使用されます。TriviaQAの背景にある考え方は、言語モデルが事実に基づく質問に答えるために、Wikipediaなどの外部ソースから情報にアクセスして処理できる必要があるという点にあります。
Natural Questionsは、現実世界の情報に関して人間から出された質問のデータセットです。自然言語の質問を理解し回答する言語モデルの能力を測定するために使用されます。Natural Questionsの背景にある考え方は、言語モデルが人間の言語のニュアンスを理解し、適切で有益な応答を生成できる必要があるという点にあります。
GSM8kは、Google検索のクエリから生成された8,000件の質問データセットです。人々がGoogle検索で尋ねるような質問を理解し、回答する言語モデルの能力を測定するために使用されます。GSM8kの背景にある考え方は、言語モデルが人間の検索意図を理解し、適切で有益な応答を生成できる必要があるという点にあります。
HumanEvalは、人間にモデルの出力を評価させることで、さまざまなタスクにおける言語モデルのパフォーマンスを測定するベンチマークです。HumanEvalの背景にある考え方は、モデルが依然として苦戦している領域を特定する上で、人間による評価が言語モデルの性能評価に不可欠なプロセスであるという点にあります。
AGIEvalは、一般人工知能(AGI)に通常関連付けられるタスクを実行する言語モデルの能力を測定するベンチマークです。AGIEvalの背景にある考え方は、言語モデルが人間と似た方法で世界を理解し、論理的に思考できる必要があるという点にあります。
BoolQは、回答にブール論理を必要とする質問のデータセットです。論理的な記述を理解し思考する言語モデルの能力を測定するために使用されます。BoolQの背景にある考え方は、言語モデルが論理的記述の意味を理解し、それらの記述と整合性のある応答を生成できる必要があるという点にあります。
HellaSwagは、ソーシャルメディアで頻繁に使用される非公式な言語スタイルである「swag」スタイルで書かれた質問のデータセットです。さまざまなスタイルにおいて自然言語を理解し生成する言語モデルの能力を測定するために使用されます。HellaSwagの背景にある考え方は、言語モデルが使用されている文脈に適した自然言語を理解し生成できる必要があるという点にあります。
OpenBookQAは、大規模なテキストコーパスを参照することで回答可能な質問のデータセットです。外部ソースから情報にアクセスして処理する言語モデルの能力を測定するために使用されます。OpenBookQAの背景にある考え方は、言語モデルが質問に答えるために多様なソースからの情報にアクセスし処理できる必要があるという点にあります。
QuACは、会話に関する質問のデータセットです。会話の文脈を理解しフォローする言語モデルの能力を測定するために使用されます。QuACの背景にある考え方は、言語モデルが会話の文脈を理解し、その会話に関連する応答を生成できる必要があるという点にあります。
Winograndeは、言語モデルにとって回答が難易度の高い質問のデータセットです。複雑な質問を理解し回答する言語モデルの能力を測定するために使用されます。Winograndeの背景にある考え方は、言語モデルが世界に対する深い理解を必要とする複雑な質問を理解し回答できる必要があるという点にあります。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






