TrueFoundryが数クリックでオープンソースLLMのデプロイとファインチューニングに対応!

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
TrueFoundryは、Model Catalougeを通じて、大規模言語モデル(LLM)のデプロイとファインチューニングを行う強力かつ使いやすいソリューションを開発したことをお知らせします。私たちは、企業がKubernetes上でオープンソースLLMをセルフホストできるように支援し、1クリックで推論コストを10分の1に削減することを目指しています。このブログでは、TrueFoundryを使用してDolly-v2-3bモデルをデプロイし、Pythia-70Mモデルをファインチューニングする方法を紹介します。LLMはMLOpsに対する考え方を変えるのか?
TrueFoundryプラットフォームは、ロジスティック回帰のような最もシンプルものからStable Diffusionのような最先端のモデルまで、あらゆるタイプの機械学習およびディープラーニングモデルをサポートするように設計されています。大規模言語モデルに関して、なぜ新しいものを構築する必要があるのかと思うかもしれません。
これらのモデルの絶大なサイズと複雑さは、実際のアプリケーションにデプロイする際に大きな課題をもたらします。TrueFoundryプラットフォームはすでにあらゆるサイズのモデルの大規模デプロイをサポートしていましたが、これらのモデルに対してさらに行える最適化(コスト+時間)とユーザー体験の向上が存在することに気づきました。
大規模言語モデル(LLM)は定着しつつある
ChatGPTに代表される大規模言語モデル(LLM)が、人工知能の分野で大きな注目を集めていることは紛れもない事実です。
しかし、すでにプロダクション導入を進めている50社以上の企業と話をした結果、それがすでに生み出している価値は絶大です。人々が毎日新しいユースケースを発見するにつれて、LLMの活用は拡大していく一方であると私たちは信じています。

しかし、LLMのプロダクション環境へのデプロイは難しい
大規模言語モデルとOpenAI APIを使用して概念実証(PoC)のユースケースを作成するのは簡単ですが、プロダクション環境🚀を考え始めると、はるかに多くの考慮事項が発生します。
ほとんどの企業にとって、LLMを安定して提供するための複雑なGPUインフラストラクチャを処理するエンジニアリング能力を構築することは難しく、時間がかかります。さらに、多くの企業は自社のユースケースに最適な特定のモデルを望んでおり、そのためにはこれらのモデルをファインチューニングする必要があります。これは技術的にも困難であり、コストもかかる作業となります。

オープンソースLLMを迅速にデプロイ!
LLMの未来に関する私たちの立場は、オープンソースモデルが今後の進むべき道であるというものです。このテーマに関する私たちの見解の詳細はこちらをご覧ください。私たちは、この急速に革新が進むイノベーターのコミュニティを活用し、企業が組織内でこれらのオープンソースLLMの完全な価値を活用できるよう支援することを決定しました。
TrueFoundryは、自社の特定のユースケースに合わせてファインチューニングされたオープンソースLLMが組織にもたらすあらゆるメリットを、パートナー企業が実感できることを望んでいます。
- 高いコスト効率: OpenAI APIを使用する場合と比較して5〜10倍低いコスト
- 完全なデータプライバシー: 自社のクラウド/オンプレミスKubernetesクラスター上で運用
- 完全な制御: ファインチューニング、ロールバックなどを自由に実施可能
ただし、独自のインフラストラクチャ上でオープンソースモデルを管理およびデプロイすることは容易ではありません。オンプレミスLLMデプロイメントは、比類のないデータ制御性、コンプライアンス対応力、長期的なコスト効率を提供しますが、GPUオーケストレーション、Kubernetes管理、モデル最適化に関する深い専門知識が必要です。
しかし、データを接続して数回クリックするだけで簡単に実行できるとしたらどうでしょうか?
私たちは、企業がLLMの概念実証からプロダクション環境へ移行する際に直面する課題を理解しています。私たちは、このプロセスをパートナーにとって超簡単にするレイヤーを構築することを目指しています。その仕組みは以下の通りです。
モデルカタログのご紹介
TrueFoundryのModel Catalogueは、ワンクリックでデプロイできる人気のあるすべてのオープンソース大規模言語モデル(LLM)のリポジトリです。ユーザーはモデルカタログから直接モデルをファインチューニングすることもできます。
カタログはすでに最も人気のあるモデルのほとんどをサポートしており、日々さらにサポートを追加しています。自社のクラウド上にすでにデプロイ可能な人気モデルの一部を以下に示します。
- Pythia-70M
- Vicuna 7B 1.1 HF および Vicuna 13 B 1.1 HF
- Dolly V2 7B および Doly V2 12B
- Flan T5 XL
- Alpaca 7B および Alpaca 13B
その他多数.....
オープンソースLLMの上に施す魔法 🪄
私たちは、企業が初日からデプロイできるようにすることに注力しています。これを可能にするため、以下の原則に基づいてLLM機能を構築しています。
- コスト最適化: パフォーマンスを犠牲にすることなくインフラストラクチャ費用を削減するために、リソース利用率を最大限に高めます。
- デプロイの簡素化: コンテナ化とKubernetesによりLLMデプロイメントを合理化し、シームレスなスケーラビリティと高可用性を実現します。
- インフラストラクチャ管理: GPU割り当てやKubernetes管理などの複雑なタスクを自動処理し、企業がLLMの最適化に集中できるようにします。
- 構築済みの抽象化: 既存のワークフローにLLMを簡単に統合するための作成済みソリューションを提供し、カスタム開発の必要性を排除します。
- モデルスケーリングのサポート: 最適なパフォーマンスと効率を実現するために、あらゆるサイズとタイプのLLMのスケーリングを可能にします。
ℹ️
UI上でのトレーニングおよびファインチューニングのフローに関する詳細なガイドについては、こちらのYouTube動画を参照してください。
チュートリアル:3クリック以内でLLMをデプロイする
LLMのデプロイは、3回クリックするだけで完了します!
- 目的のモデルを選択: TrueFoundryで利用可能なさまざまなオープンソース言語モデルから選択します。ユースケースに合わせて最適なスモール言語モデルやその他のモデルを提案します。(タスク別のベンチマーク機能もまもなく登場します!)特定の問題やユースケースに最も適したモデルを選択し、デプロイボタンをクリックします。
- 適切なリソースを選択: モデルに割り当てるリソースを確認します。TrueFoundryは、意思決定プロセスを簡素化するために、選択したモデルで効率的に動作する最適化されたハードウェアオプションの厳選されたリストを提供します。
- モデルをデプロイ: モデルとデプロイ環境を選択したら、「Submit」ボタンをクリックするだけです。TrueFoundryが、インフラストラクチャのセットアップ、モデルの設定、推論準備など、バックグラウンドのタスクを処理します。
🚀
これでモデルがデプロイされました!
モデルAPIエンドポイントを使用して推論を開始します。TrueFoundryは、モデルをテストするためのOpenAPIインターフェースと、アプリケーション内でモデルを呼び出すためのサンプルコードを提供します。

チュートリアル:TrueFoundryによる大規模言語モデルのファインチューニング

多くの企業は、自社の特定のユースケースに合わせてファインチューニングされたモデルを使用したいと考えています。TrueFoundryでモデルをファインチューニングするには:
- 目的のモデルを選択: カタログから使用したいモデルを選択します。モデルを選択したら、「Fine-tune」ボタンをクリックしてプロセスを開始します。
- 適切なリソースを選択: ファインチューニングタスク用に推奨されるリソースが事前に設定されています。設定の変更により高い負荷が予想される場合、ユーザーはこれを変更できます。
- ファインチューニングジョブをデプロイ: モデルと目的のリソースを選択したら、「Submit」ボタンをクリックします。TrueFoundryが、インフラストラクチャのセットアップとトレーニングジョブの設定に関わるバックグラウンドタスクを処理します。ファインチューニングジョブは、指定されたハードウェアリソースを利用して実行を開始します。
🚀
モデルのファインチューニングが開始されました!
進行中のファインチューニングをモニタリングできます。「Job runs」タブでは、損失メトリクス、トレーニング曲線、評価結果など、トレーニングジョブに関連するすべての情報を確認できます。これにより、ファインチューニングプロセスを追跡し、ジョブのパフォーマンスに基づいて適切な決定を下すことができます。
今後の展望
これは、大規模言語モデル(LLM)と生成AIに関する私たちの旅の始まりに過ぎません。今後、さらに多くの機能を構築していく予定ですので、ご期待ください!
お問い合わせ・情報交換
私たちも他の皆様と同様、この分野について日々学習を続けています。貴社で大規模言語モデルの活用をご検討されている場合は、ぜひ情報交換をさせてください。
コーヒーでも飲みながら話しましょう ☕️
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






