オープンソースLLM：受け入れるか、滅びるか

多くの企業やビジネスリーダーと話す中で、彼らはAIのこの重要な局面でLLMの活用戦略を模索しています。OpenAIを選ぶべきか、それともオープンソースLLMを選ぶべきか？多くの 優れたブログ が、異なるアプローチの長所と短所を中立的な立場で紹介しています。しかし、私たちには明確な意見があります。

1. もしあなたが、 LLMがあなたのビジネスにとって極めて重要になると考えているなら、あなたは オープンソースLLMを、自社のインフラで— 今すぐにでも導入する必要があります！
2. もしLLMがあなたのビジネスにとって重要ではないと考えているなら、もっと深く考えてみてください。それでも同じ結論に至るなら、もう一度考えてみましょう。それでもやはりそう思うのであれば、あなたは正しいのかもしれません。その場合は、解決したい特定のユースケースのために、OpenAIや他の商用LLMを一時的に利用するのも良いでしょう。

もちろん、あなたのビジネス、技術的DNA、規模がLLMをゼロから事前学習することを要求するのであれば、それに投資してください。しかし、ほとんどの企業はこのカテゴリーには当てはまりません。だからこそ、私たちには明確な推奨事項が一つあります。

AI競争に勝ち残るための最後のチャンスは、今すぐオープンソースLLMを導入し、自社のインフラで運用することです！

オープンソースLLMの重要性

オープンソースLLMに投資し、社内で活用する企業は、データセキュリティの向上、技術に対するより大きな制御、そしてより迅速なイテレーションという恩恵を受ける準備ができています。しかし、このトレンドを無視する企業は、より小さく効率的なモデルを使ってすでにAIの力を構築し始めている競合他社に遅れをとり、取り残されるリスクがあります。ここで詳細を見ていきましょう。

データセキュリティと競争優位性

ほとんどの企業は、データセキュリティポリシーの策定に関する社内議論で立ち往生しています。どのデータを商用LLMプロバイダーに送信しても問題ないのか？どこでコンプライアンスの境界を越えてしまうのか、どこで競争優位性を失ってしまうのか？確かに、OpenAIがチャットデータをファインチューニングに直接使用しないようにすることはできますが、いつか誰かの開発者がこの 誤りを犯すでしょう。

このような状況が続く中、機敏な競合他社は、すでにオープンソースLLMを活用して進歩を遂げ、顧客の信頼を獲得しています。彼らは迅速に機能をリリースし、素早く学習しながら、オープンソースLLMを用いて長期的な競争優位性を構築しています。

改善を繰り返す

Googleをはじめ、多くの企業が 見込んでいます 小規模でファインチューニングされたオープンソースモデルが、大規模で汎用的、静的な超巨大モデルよりも優位に立つ可能性があると。これは直感的です。なぜなら、超巨大言語モデルは反復的な改善がほとんど不可能だからです。一度の試みで成功させるか、さもなければコストと反復にかかる時間が何倍にも膨れ上がってしまうからです。

この能力の構築に投資し始めたチームは、大規模モデルのほんの一部で済むコストで、小規模モデルを使って迅速な反復と改善が可能になるため、圧倒的な優位に立っています！一度この差が生まれると、このプロセスで非常に多くの学習が蓄積されるため、その差を縮めるのは非常に困難になります。

自らの運命を掌握する

OpenAIのAPIを呼び出すのは簡単ですが、レイテンシーと稼働時間に関する懸念があります。これは時間とともに改善されるでしょうが、もし彼らがレイテンシー保証のために大幅な追加料金を請求すると決めたらどうでしょうか？もしファインチューニングされたモデルのホスティングが彼らの長期的なビジネスモデルに合わず、完全にサービスを終了すると決めたらどうでしょうか？

コミュニティからの貢献

超巨大言語モデルは、OpenAIやGoogleで働く数十人から数百人の人々が、何百万ものユーザーのニーズを優先しながら貢献できる速度で進化します。一方、オープンソース開発者のコミュニティ全体は、低ランク最適化を施したもの、モバイルで動作するもの、パーソナライズ可能なもの、より大規模で命令チューニングされたものなど、より小規模なモデルの多くのバージョンを急速に構築しています。このイノベーションとパーソナライゼーションには文字通り限界がありません。自分のユースケースに最適なモデルを選ぶことができるのです。

さらに、特定のタスクに特化した複数の小規模モデルを使用する場合、高速かつ安価に実行できるという本質的な利点があります。本番環境では、これはしばしば LLMルーター を必要とします。これは、コスト、レイテンシー、またはタスクの複雑さに基づいて、各リクエストを最も適切なモデルに振り分けることができるものです。これは、現代の LLMエージェントの背後にあるアーキテクチャの方向性でもあり、そこでは単一の汎用モデルに依存するのではなく、より小規模な専門モデルがタスク間で連携します。

なぜ誰もがオープンソースLLMを使わないのでしょうか？

このような強い推奨は、次の疑問を投げかけます。もしそれがそれほど重要なら、なぜ誰もがそうしないのか？まず、ますます多くの人々が、オープンソースLLMの状況を理解し、その上に構築するために、時間とリソースを投資し始めています。したがって、「誰もがそうしていない」という定説は、日々真実ではなくなりつつあります :) しかし、オープンソースLLMを使用し、自社のインフラで運用することには、商用版を使用する場合と比較して、いくつかの本質的な課題があります。

技術的専門知識の不足

今日のほとんどのチームは、大規模言語モデルを社内でファインチューニングし、ホストするための多岐にわたる専門知識を持っていません。賢い人々は最終的には常にそれを解決できますが、この複雑なモデリングと インフラ 同時に、毎日新しいツールやモデルがリリースされる中で、それに対応するのは困難で時間もかかります。

利用規約

多くの技術リーダーやビジネスリーダーは、どのLLM、データセット、ライブラリが商用利用可能で、どれがそうでないのかについて混乱しています。だからこそ、 LLMのライセンス を理解することが非常に重要になっています。なぜなら、ライセンス条項は、モデルが実験段階から本番環境へ合法的に移行できるかどうかを決定することが多いためです。例えば、Apache 2.0ライセンスであるように見えるVicunaは、商用利用できないLlamaで学習されており、その利用は不可能であり、これがライセンス違反になりうると認識することは非常に困難です。詳細は以前のブログで説明しましたので、そちらをご覧ください。 こちら。

メモリと時間の制約

ほとんどの妥当なサイズのLLM（130億以上のパラメータを持つモデル）は、メモリ制約のため、一般的に利用可能なGPUには収まらず、ファインチューニングもできません。メモリを最適化しようとすると、それは容易なことではなく、トレーニング時間に影響が出ます。勾配管理、低ランク近似、混合精度サービング、高速トレーニングとデプロイ、異なるライブラリを使用したモデル固有の最適化など、多くの技術がありますが、これらすべてを迅速に学習し実装するのは困難です。その結果、チームは問題解決のためにハードウェアを投入し、成功するたびにGPUを監視することになります。

GPUの可用性と管理

クラウドプロバイダーはGPUクォータを要求しますが、これは頻繁に制約があり高価で、多くの場合8枚のGPUカードのバッチで提供されるため、コストの観点からは最適ではない可能性があります。ほとんどのチームは、モデルが1つのGPUに収まらないため、複数のGPUにモデルを分散させて最適に実行する方法に精通していません。

さらに、企業は自社のLLM発表が遅れると、競合他社に先行者利益を奪われ、顧客を驚かせることができなくなるのではないかと懸念しているため、常に迅速な対応が求められています。余談ですが、この懸念は根拠のないものではありません。私たちが話を聞いた多くの顧客で実際に起こっていることを見てきました。

TrueFoundryはこれに対して何をしているのか？

TrueFoundryでは、これらの問題のいくつかは、私たちが解決しようとしていることの中核をなしています。当社のプラットフォームは、お客様のインフラ上で動作するように設計されており、完全なデータセキュリティを確保し、インフラの無関係な複雑さを隠しながらも、開発者がコントロールできるような意味のある抽象化を構築します。急速に進化する分野であるAIとLLMは、絶え間ない学習と適応を必要とします。TrueFoundryチームは、当社の製品、ガイダンス、提案、およびオーダーメイドのソリューションを通じて、お客様がこの状況を乗り切るお手伝いをすることに専念しています。

オープンソースLLMに投資し、社内で利用することは、貴社が時代の最先端を行くための戦略的な一手となります。TrueFoundryは、貴社のAIイニシアチブを加速させ、変化し続ける状況の中で競争優位性を維持するお手伝いをします。遅れをとらないでください。オープンソースLLMを取り入れ、AIイノベーションの最前線で確固たる地位を築きましょう。