True ML Talks #10 - LLMとGenAI:Metaのエンジニアリングディレクターを迎えて

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
True ML Talksの新しいエピソードをお届けします。今回は、LLMとGenerative AIをテーマに深く掘り下げ、Anant氏にお話を伺います。
Anant氏はエンジニアリングリーダーであり、現在はMetaのエンジニアリングディレクターとして、スマートグラスのプロダクト体験の開発に携わっています。オープンソースのコントリビューターとしてキャリアをスタートし、スタートアップとテック巨人の双方で主要な役割を担ってきました。Mozillaでは、他のブラウザ技術と並んでWebRTCの定義と実装を推進しました。また、Firebaseの初期エンジニアであり、Ozloの最初のエンジニアでもありました。
📌
Anant氏との会話では、以下のテーマを取り上げます:
- Stable Diffusionのファインチューニング
- Hacker News向けエンベディングの構築
- 長期的な持続可能性をめぐる議論
- LLMOpsにおける実験追跡の改善とアクセスしやすいドキュメントの必要性
- OpenAI Pluginsのパワーと可能性
- リカバリーフローとプラグイン適応における言語モデルの力
なお、Anant氏は個人の立場として発言しており、彼の見解は所属する組織(Meta)を代表するものではありません。
フルエピソードは以下からご覧いただけます:
Anant氏の実験から得られた主な知見:
LoRA: 大規模言語モデルのファインチューニングにおける魅力的な手法
- LoRAのアクセシビリティ: Dreamboothなどの他の手法と比較して、LoRAはアクセスしやすく、事前学習済みモデルの重みを変更することなく、いくつかの層を追加するだけで機能します。
- 費用対効果とシンプルさ: LoRAはコスト効率が高く、Google Colabなどのプラットフォームを通じて非エンジニアでも利用できます。そのシンプルさにより、迅速なイテレーションと実験が可能です。
- テキストと画像における可能性: 当初は画像に適用されていましたが、テキスト関連のタスクにおけるLoRAの可能性も模索されています。
- ファインチューニングの未来: コスト効率の高さ、アクセシビリティ、そして旧世代のグラフィックカードとの互換性から、LoRAは伝統的な手法よりも好まれています。
Hacker News向けエンベディングの構築:課題とモデル選定
- ファンダメンタルズの理解: プロジェクトの規模と要件に基づいて適切なソリューションを選択すること。
- エンベディングの把握: エンベディングは浮動小数点数の集まりであり、SQLiteデータベースに保存することが有効であることが証明されました。
- モデル選定: クラウドプロバイダーよりもオープンソースのエンベディングライブラリが選ばれました。Hugging FaceのMTEBを使用したベンチマークとプロトタイピングに基づき、Instructor largeモデルが採用されました。
- 第一原理からのスタート: 採用するソリューションを深く理解し、流行(ハイプ)ではなくプロジェクトの要件にフォーカスすること。
- 明確なニーズに基づくスケールアップ: スケールアップは明確な要件に合致した際に行うべきです。
長期的な持続可能性をめぐる議論:大規模モデル vs. 小規模なファインチューニングモデル
MLOpsエコシステムにおける重要な議論の1つは、大規模な汎用モデルの長期的な持続可能性と、特定のデータセットやユースケースに合わせてファインチューニングされた小規模モデルとの対比です。この議論は、大規模言語モデル(LLM)のコモディティ化の可能性を示唆するリークされたメモからインサイトを得ています。リークされたメモは公式な見解ではないものの、LLMがよりアクセスしやすく、再現可能になりつつあるという意識の高まりを示しています。この動きは、特にオープンソースのバックグラウンドを持つコミュニティ内で大きな期待を集めています。最近の進歩によりLLMの複製が容易になり、データ収集やモデル学習コストに関する従来の懸念が解消されつつあります。RunwayMLやDiffusion Modelのようなプロジェクトはオープンソースムーブメントに貢献しており、GitHubなどのプラットフォームでのモデル公開を可能にしています。これによりLLMへのアクセスが民主化され、趣味で開発する人やハッカーが自由に探索・実験できるようになりました。すべてのLLMがオープンソースというわけではありませんが、ライセンス付きのオープンソースという選択肢が存在することで、多様なコントリビューターが育成されています。オープンな開発と広範な参加による利点が強調されています。なぜなら、それによってパワーが少数の企業に集中するのを防ぐことができるからです。さらに、オープンな開発は、グローバルな要因や国家レベルの関心を考慮した透明性とセキュリティをもたらします。LLMのコモディティ化を見据えると、クラウドコンピューティングの変遷との類似点が見られます。ユーザーは、AWS、Azure、Google Computeといったクラウドサービスの選択肢と同様に、異なるプロバイダーから柔軟に選択できるようになります。これにより、エコシステム内で健全な競争とイノベーションが促進されます。この議論では、大規模モデルと、オンデバイスで動作する小規模モデルとの相互作用も考慮されます。どちらのタイプもMLOpsエコシステムにおいて独自の立ち位置を持ち、計算は複数のレイヤーで発生します。シンプルなタスクはデバイス上で効率的に実行できる一方で、リソースを多く消費するタスクはサーバーにオフロードできます。デプロイメントの選択は特定のユースケースに依存するため、一方の側に偏るのではなく、ハイブリッドなアプローチが推奨されます。長期的な持続可能性を追求する上で、MLOpsコミュニティは大規模モデルとファインチューニングモデルの実用性とアドバンテージを慎重に検討する必要があります。各アプローチの強みを活かしバランスを取ることが、今後のAIモデルの開発とデプロイメントの形を決定づけ、この分野における持続的な進歩を確実にします。📌性能比較:大規模言語モデル vs. 小規模バージョン
MLOpsコミュニティ内で議論されたもう1つの側面は、大規模言語モデルと小規模なモデルとの性能比較です。大規模モデルはブログや詩の生成などのタスクに長けており、その優れた能力を示しています。しかし、小規模モデルは、特に小規模なデータセットを扱う場合、同等の性能を達成するのに苦労することがよくあります。
正確な比較を行うためには、こうした主張を支える評価方法やテストを厳密に吟味することが重要です。多様なユースケースや評価アプローチが存在することを認めつつも、大規模モデルと小規模モデルの制限および性能差を深く理解することが不可欠です。LLMOpsにおける実験追跡の改善とアクセスしやすいドキュメントの必要性
機械学習の分野が進歩するにつれて、MLOpsフレームワークを含む堅牢なツールチェーンの重要性が明確になっています。しかし、LLMOps(大規模言語モデル運用)の台頭に伴い、LLMを扱うデベロッパーをサポートするための特化したツールに対する具体的なニーズが生じています。このセクションでは、LLMOpsにおける実験追跡とアクセスしやすいドキュメントに関する学びと推奨事項にフォーカスします。学習のプロセスを振り返ると、適切な実験ドキュメントの作成が不可欠であることが分かります。当初は、トレーニングダイアリーや構造化されたトラッキングシステムの維持があまり重視されておらず、それが実験中の課題につながりました。特にLoRAのファインチューニングプロジェクトでは、ハイパーパラメータの値と対応する出力を追跡する体系的なアプローチがなかったため、膨大なハイパーパラメータの管理が困難になりました。詳細なドキュメントの価値を認識することで、信頼できるトレーニングダイアリーや統合トラッキングシステムの必要性が明らかになります。あいにく、当時は手軽に利用できるソリューションが乏しく、適切なツールを見つけるのが困難でした。しかし、実験追跡および可視化ツールを提供するスタートアップであるWeights & Biases (wandb.ai)の発見は、非常に有益であることが証明されました。これらのツールを他の人々に推奨すると同時に、プロセスのより初期段階でこれらを導入していれば実験管理が改善されたであろうと認識されています。さらに、機械学習コミュニティ内でのアクセスしやすいドキュメントの重要性も強調されています。ハイパーパラメータとその影響に関する情報が不十分であったことが、理解を妨げ、実験の最適化を阻害していました。MLOpsにおけるデータセキュリティ懸念への対処:プライバシーと信頼の確保
データセキュリティはMLOps領域における最も重要な懸念事項であり、コミュニティ内で疑問や議論を呼び起こしています。この重要な問題の探索として、Open AIによってとられているアプローチと、データプライバシーを取り巻くより広い視点について深く掘り下げてみましょう。Open AIのデータプライバシーに関するスタンスは、特にChatGPTのようなサービスを利用する消費者にとって妥当なものと見なされています。ChatGPTが無料製品として提供されていることを考えると、ユーザーはプラットフォームに価値を見出しており、モデル改善のためのデータ提供という交換条件を正当化しています。このようなプラットフォームの運用には膨大なリソースが必要であることを考慮すると、ユーザーがサービス向上のために会話データを提供する意欲を持つことは、公平なトレードオフと見なされています。月額料金を支払うChatGPT Plusのサブレジストに対しては、データ使用をオプトアウトする選択肢が用意されています。ただし、この選択には会話履歴が保持されないという結果が伴います。それでも、サブスクリプションの利用しやすい価格設定とサービスから得られる絶大な価値を考慮すると、ユーザーは一般的にこのトレードオフを合理的と捉えています。自らのデータがモデルの向上に役立ち、コストの補助となっていることを理解し、この構成に満足を示しています。特定のユースケースでAIモデルを活用しようとするエンタープライズ企業は、データセキュリティに関して独自の要件を持っています。Open AIはすでに、Microsoft AzureのSecure Enclaveのようなパートナーシップを通じて、これらの懸念に対処するためのステップを踏み出しています。これらのコラボレーションにより、データがエンタープライズの制御下に留まる安全な環境が提供されます。さらに、AWS BedrockとのAnthropicの統合のようなパートナーシップは、クラウドモデルを実行するための安全なエンクレイブを提供し、データがオンプレミス外に漏洩する懸念を和らげています。これらの業界の動きは、データセキュリティに重きを置くエンタープライズにとって適切なソリューションを提供する手筈を整えています。データプライバシーとセキュリティの問題を解決するには、Open AI、Azure、その他の主要プレイヤーなどの企業の共同の取り組みが必要です。例えば、自社内で完結できる能力を持つGoogleは、これらの懸念に効果的に対処するのに適した立場にあります。データプライバシーに対してバランスの取れた視点を持つことが重要であり、評価の高い企業は顧客との信頼を築くことができ、顧客側もAIサービスから提供される価値のためにある程度のプライバシーを提供する準備ができていることを認識すべきです。OpenAI Pluginsのパワーと可能性
OpenAIのプラグインは、AI言語モデルの真のパワーと可能性を示す画期的な進展です。プラグインの概念に飛び込むと、コードを書く必要なしにモデルとのインタラクションを可能にする点で、それがいかに驚くべきものであるかが明らかになります。代わりに、モデルに効果的に指示を与えるための英語によるコミュニケーション能力の活用へと焦点がシフトします。この気づきは、デベロッパーにとっても非エンジニアにとっても目から鱗の瞬間となり得ます。プラグインは、主にAPIの記述とトリガーに関して、英語でAIモデルに指示を提供することを中心に機能します。APIスキーマと仕様を細かく記述した1ページのドキュメントを作成することで、ユーザーはプラグインをいつどのようにトリガーするかを効果的に伝達できます。これは、ChatGPTの可能性を引き出す上での強力な英語スキルの重要性を強調しています。この革新的なアプローチにより、Toolformer論文などの過去の研究との比較が行われ、同様の問題が過去にも探求されていたことが浮き彫りになりました。しかし、OpenAIの言語モデル、特にChatGPTは、既存のオープンソースモデルと比較して品質とパフォーマンスの面で顕著な進歩を示しています。この品質の差は、主にコア言語モデルのコーディング関連タスクにおける能力に起因しています。ChatGPTはコード関連の指示の処理に長けており、これがプラグインを効率的に発送・利用する能力へと繋がっています。プラグインを効果的に実装する上で、基盤となるモデルのコーディングタスクにおける習熟度が極めて重要な役割を果たすことを示しています。OpenAIは現在、品質の面で大幅なリードを保っていますが、オープンソースモデルが追いつくための時間を与えることが不可欠です。オープンソースコミュニティはギャップを埋め、自らのモデルの能力を強化するために絶えず努力しています。OpenAIがオープンソースモデルの可能性を認め、マルチモーダル機能のような道を模索しているという事実は力づけられます。Lex FriedmanによるSam Altmanへの最近のインタビューは、OpenAIの視点を強調しており、焦点がパラメータ数の競争から差別化要因へとシフトしつつあることを示しています。オープンソースモデルが進化し、GPT-3.5やGPT-4のレベルに達するにつれて、オープンソースフレームワークでもプラグイン機能が利用可能になると期待するのが妥当です。この分野の進歩は、オープンソースモデルとプラグインがデベロッパーとAIシステムの対話方法を革命的に変える未来への見込みを抱かせます。リカバリーフローとプラグイン適応における言語モデルの力
OpenAIのGPTをはじめとする言語モデルの台頭により、英語は多くの意味で新しいプログラミング言語としての前線に立ちました。英語を活用してAIモデルに指示を出し、プラグインをトリガーすることは、デベロッパーに新たな可能性を開きました。プラグインに関して言えば、焦点はそれらの使用をマイクロマネジメントすることではなく、いかに効果的に使用するかを指示することにあります。プラグインの活用方法に関する指示を提供することで、デベロッパーはAIモデルがプラグインをトリガーする適切なタイミングを決定できるようにします。ただし、現在の実装には制限があり、一度に有効にできるプラグインは3つまでであることや、時折プラグインのトリガーでミスが発生することなどに留意する必要があります。それにもかかわらず、言語モデルの力はそのリカバリーフロー(リカバリーのプロセス)にあります。モデルが初期段階でプラグインを正しく理解できない、あるいはトリガーできない場合でも、ユーザー体験は良好なまま維持されます。明示的で正確なコマンドが要求されるAlexaのような伝統的な音声アシスタントとは対照的に、ChatGPTのような言語モデルは異なる体験を提供します。ChatGPTでは、モデルが焦点を外した場合でも、ユーザーは誤りを修正するための明示的な追加指示を確信を持って提供できます。モデルの理解力と応答性は、信頼感とコラボレーションを生み出します。ユーザーは自らの指示が認識され、実行されると感じます。言語モデルのリカバリー能力は、ストレスや落胆を引き起こすことが多かった旧世代のアシスタントと比較してゲームチェンジャーとなります。言語モデルのパワー、特にプラグインと組み合わされた時のパワーは、エラーからシームレスに立ち直るリカバリー能力にあります。ユーザーは、モデルが自らの困惑を認め、丁寧に謝罪し、誤りを正そうとする意欲を評価します。このレベルのリカバリーと適応性は、マルチターン対話システムの進歩をもってしても、従来の追従型アシスタント技術には見られなかったものです。言語モデルのアーキテクチャは驚異的なレベルのリカバリーを可能にし、プラグインの統合に理想的なプラットフォームとなります。デベロッパーとモデルの間のシームレスな統合と共同作業により、全体のユーザー体験が向上します。デベロッパーがこのアーキテクチャ内でプラグインの可能性を探求するにつれて、動的で適応性のあるAIシステムを構築するための可能性は広大になります。言語モデルがAI主導のインタラクションの基盤として機能することで、リカバリーフローとプラグイン適応は、高度で使いやすいシステムを構築する上での不可欠なコンポーネントとなります。自然言語理解と応答性の組み合わせにより、言語モデルはMLOpsエコシステムにおける変革をもたらすツールとして位置づけられます。📌MLOpsのためのGPU購入:課題と衝動買い
クラウドプロバイダーを介した高性能GPUへのアクセスは、趣味の開発者にとってストレスとなり得ます。エンタープライズの優先処理や長期契約が課題となっています。
短時間のGPU利用を必要とする趣味の開発者にとって、クラウドベースのGPUアクセスは時間を要します。個人のGPUを設定することは、手動設定や依存関係の管理を含め、難易度が高いものです。
事前設定されたクラウドGPUイメージの利便性にもかかわらず、Anant氏は個人のGPUがもたらすコントロール性と信頼性を重視しています。課題を克服した彼の専用GPU購入の決断は、MLOpsにとって有益であったことが証明されました。最新情報の把握:Anant Narayanan氏による新しい進展への追従アプローチ
- Twitter: AI関連の更新情報に関するナレッジハブとしてTwitterを活用します。AIコミュニティの専門家や組織をフォローして、新しい進展を素早く発見し、情報を把握し続けます。
- ポッドキャスト: 業界のポッドキャストを聴いて貴重なインサイトを得ます。推奨されるポッドキャストには、Ben Thompson氏の「Stratechery」や、Ben Thompson氏とJohn Gruber氏が共同ホストを務める「Dithering」があります。これらのポッドキャストは、AIの進歩を含むテクノロジー関連の幅広い話題を網羅しています。
- オフラインでの交流: 対面でのイベントや集まりに参加して、価値あるインサイトと視点を獲得します。cerebralvalley.aiのようなプラットフォームで包括的なイベントリストを確認してください。直接対話し、ハッカソンに参加し、他のプロフェッショナルと意見を交換することで知識を広げ、有意義なつながりを構築します。
True ML Talksシリーズの過去のブログを読む:
True ML Talks # 9 - DoorDashにおける機械学習プラットフォーム
このブログでは、DoorDashの機械学習プラットフォームを深く掘り下げます。DoorDashのMLアーキテクチャと、DoorDashでMLがどのように活用されているかを理解しましょう。


TrueMLのYouTubeシリーズの視聴と、TrueMLのブログシリーズの購読をぜひ継続してください。TrueFoundryは、Kubernetes上のMLデプロイメントPaaSであり、インフラチームの完全なセキュリティと制御を確保しながら、モデルのテストとデプロイにおける完全な柔軟性をデベロッパーに提供し、開発ワークフローを高速化します。当社のプラットフォームを通じて、機械学習チームが100%の信頼性、拡張性、数秒での切り戻し機能をもって15分でモデルをデプロイおよびモニタリングできるようにし、コストを削減してモデルをより迅速に本番環境へリリースすることで、真のビジネス価値の実現を後押しします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.
















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






