Snorkel.aiにおけるプログラムによるデータラベリングとLLMのトレーニング

はじめに

TrueML Talksの最新エピソードでは、True Foundryの共同創設者であるNikunjが、Snorkel AIの創設メンバーであるVincentと示唆に富む対談を行いました。AIの進化する状況の中心に位置する企業として、Snorkel AIの学術界からデータ中心AI開発を牽引するまでの道のりは、深い洞察を提供します。Vincentは、スタンフォードAIラボでの初期の頃からSnorkel AIでの製品およびデザインの指揮に至るまでの経験を共有し、機械学習（ML）、大規模言語モデル（LLM）、そして生成AIが業界に与える影響の複雑さに光を当てます。以下のトピックについて触れました。

- Snorkel AIの進化
- データ中心のAI開発
- プロダクトリーダーシップへの移行
- 生成AIとオープンモデル
- AI愛好家へのキャリアアドバイス

Snorkel AIの始まり

Vincentは、Snorkel AIが弱教師あり学習とプログラマティックラベリングに焦点を当てた学術プロジェクトとして始まった経緯を語ります。このアプローチが、AIアプリケーション開発企業を導く今日のSnorkel AIの基盤を築きました。Vincentが大学院生からSnorkel AIのリーダーになるまでの道のりは、強力な学術研究がどのようにスタートアップへと転換し、今日のSnorkelを形成したかを示しています。スタンフォード大学では、医師と協力して彼らの研究のためのオーダーメイドのデータセットを作成し、それが彼らの研究に現実世界のユースケースをもたらしました。
彼はY-Combinatorでの日々についても語り、テック分野での成長と学習に対する初期の意欲を共有しました。

Snorkel AIの核：データ中心のAI開発

Vincentは、当初データベースの作成がチーム間で大規模なデータシートを共有するだけの整理されていない作業であったが、それが変化した経緯を語ります。彼は、企業チームが大規模にデータを管理、キュレーション、ラベリングできるようにすることに焦点を当てていると詳しく説明します。これは、AI開発における「雑務」を効率化するものです。このデータ中心のアプローチにより、企業はAIを独自の目標やデータセットと密接に連携させることができ、AIシステムをプログラミングする上でのデータの重要な役割を強調しています。彼はまた、銀行やヘルスケアのような業界では、LLMのたった一つの間違いが業務にとって致命的となる可能性があるため、データ精度の確率というものはあり得ないと述べています。

• プログラマティックデータ開発：スケーラブルで適応性があり、効率的なデータラベリングのアプローチを導入し、従来の手動方法から脱却します。
• 企業への影響：Snorkel AIのアプローチが企業のデータ処理をどのように革新し、AI開発をよりアジャイルで変化に対応できるようにしたかを示します。
• 適応性とスケーラビリティ：企業がデータラベリングプロセスをゼロから始めることなく迅速に適応できる能力。これにより、AI開発が著しくダイナミックになる未来を示しています。

MLエンジニアリングからプロダクトリーダーシップへの転換

MLのバックグラウンドを持つVincentは、プロダクト責任者（AI/ML）兼デザインという役割が、データサイエンティストやMLエンジニアと直接対話するのにどのように役立っているかを語ります。これにより、彼らのユースケースや課題を理解し、それらを直接プロダクトに組み込むことができます。Snorkelにおける様々な領域での多角的な関与により、彼は顧客のニーズに合わせてプロダクトを導くことが可能です。

生成AIとオープンモデルがもたらす影響

生成AI時代とオープンモデルの普及は、AI業界に大きな影響を与えています。Vincentは、LLMがトレーニング目的のデータセット生成における最新の追加要素であると説明しますが、その一方で、生成されるデータセットの精度にはしばしば課題があるとも指摘します。以前議論したように、LLMによって生成されたデータは、一般的なユースケースやデモレベルのタスクには適しているかもしれませんが、銀行、金融、保険、ヘルスケアといった精度が重要な役割を果たす分野のユースケースには当てはまりません。

• ChatGPT以降の状況生成AIの登場と、それがAIコミュニティおよび企業アプリケーションに与える影響についての考察。
• データのオープンソース化の重要性AIモデルだけでなく、データセットや開発プロセスもオープンソース化し、イノベーションを促進し、AIの安全性と信頼性を確保することの提唱。
• 企業アプリケーション向け特化型データ特定のビジネスニーズに対応する生成AIモデルをトレーニングするための、高品質で専門的なデータの継続的な必要性。

現在のAI業界に対する率直な見解

Vincentの現在のAI開発状況に対する率直な見解は、オープンソースモデルとデータへの極めて重要な転換を強調し、AIイノベーションを共有するためのより包括的なアプローチを提案しています。彼は、AIにおけるオープンソース化の真髄は、単にモデルの重みを公開するだけでなく、データセット、開発プロセス、モデルトレーニングの根拠もアクセス可能にすることであると主張します。このアプローチは、協力的なエコシステムを育み、イノベーションを加速させ、再現性を確保し、より安全なAIシステムを構築します。オープンデータ運動を提唱することで、VincentはAI開発における透明性の重要性を強調し、より広範なコミュニティがこの分野の進歩に貢献し、その恩恵を受けられるようにします。この視点は、AI共有の従来の慣行に異議を唱えるだけでなく、AI開発を民主化しうる包括的な戦略を求め、AI技術の恩恵が広く普及し、アクセス可能になることを保証します。

• イノベーションを加速させるオープンソースのデータセットと開発プロセスは、コミュニティがゼロから始めるのではなく、既存の成果に基づいて構築することで、イノベーションを起こすことを奨励します。
• 再現性を確保するAI開発プロセスにおける透明性は、結果と方法論の検証を可能にし、これは科学的進歩とAIアプリケーションへの信頼にとって不可欠です。
• より安全なシステムを構築するモデルのトレーニングに使用されるデータセットとロジックへのアクセスは、バイアスやエラーの特定に役立ち、より信頼性が高く倫理的なAIソリューションの開発に貢献します。
• AI開発を民主化するより広範な層に包括的なAIリソースを提供することは、競争条件を平等にし、様々なリソースを持つ個人や組織がAIの進歩に貢献し、その恩恵を受けられるようにします。
• 従来の慣行に疑問を投げかける：ヴィンセントの考えは、AIコミュニティに対し、AI技術の共有と開発方法を見直し、より包括的で協力的なアプローチを提唱するよう促しています。

AIプロフェッショナルを目指す方へのアドバイス

ヴィンセントは、ハッカソンレベルでは不十分であり、実際に手を動かし、成果を出し、際立つために役立つものを試す必要があると述べています。自身の道のりを振り返り、ヴィンセントはAIキャリアを歩み始める人々へアドバイスを送ります。彼は実践的な経験の価値を強調し、現実世界の課題に取り組むAIプロジェクトを構築し、反復することを奨励しています。この経験学習は、コラボレーションと探求心と相まって、急速に進化するAI分野を切り開く上で極めて重要です。

‍