構築 対 購入

組織が生成AIアプリケーションの導入を加速させる中、企業は自社でソリューションを構築するか、既存製品を購入するかという重要な決断に直面しています。この決断は複雑であり、組織固有のニーズ、進化するテクノロジー環境、関連するリスクなど、さまざまな要因に影響されます。

要するに、生成AIの世界では「内製か、購入か」という二者択一ではありません。内製し、購入し、さらに内製する、というものです。 

企業は生成AIアプリケーションにおける「内製か、購入か」というジレンマについて、どのように考えるべきでしょうか？

生成AIアプリケーションの「内製か、購入か」を検討する際に、留意すべきいくつかの重要な点を以下に示します。‍

一元的なガバナンス

• データリスク：ホスト型またはクローズドソースのAPIを使用する際、データ漏洩のリスクが高まります。
• アクセス制御：さまざまなアプリケーション全体で、モデル、データプロンプト、および生成結果へのアクセスを適切に制御すること。
• ガバナンスとガードレール：セキュリティおよびコンプライアンスのリスクを管理し、必要なガードレールを確立するためには、一元的なガバナンスが必要です。
• 監査証跡：透明性と説明責任を維持するために不可欠であり、生成AIアプリケーションにとって監査証跡は必須です。

特定のユースケースに合わせた対応

• チームごとの固有のニーズ：組織内のさまざまなチームが生成AIアプリケーションを構築しており、それぞれが独自の特定の要件を持っています。
• 万能ではない: 精度、レイテンシー、コストのバランスが取れた万能なモデルは存在しません。これは、GPUハードウェア、モデルサーバー、開発フレームワーク、評価システムなどにも当てはまります。
• フェデレーテッド実行: チームは、データ機密性、アプリケーションの範囲、モデルのカスタマイズ、リスク許容度、スケーラビリティなどの要素を考慮し、特定のニーズに合ったコンポーネントを柔軟に選択できる必要があります。

急速に進化するテクノロジースタック

• 専門知識: 生成AIスタックは急速に進化しており、単一のベンダーがそのすべての側面をカバーすることはできません。次のような分野での専門知識が必要です。some text
  • モデルのトレーニングとホスティングのための分散型GPUインフラストラクチャ。
  • 大規模モデルやDockerイメージの効率的なキャッシュ、および長時間実行されるファインチューニングジョブの処理。
  • 複雑な多コンポーネントAIシステムのデプロイ。
  • モデル、ハードウェア、フレームワークの絶え間ない変化への適応。
• 将来性への対応: 理想的な生成AIスタックはまだ進化の途上にあり、将来のイノベーションに適応できるよう、アプローチを柔軟に保つことが重要です。

ベンダーロックイン

テクノロジーが急速に変化する現代において、ベンダーロックインのリスクはかつてないほど高まっています。そのため、常に選択肢を確保し、単一のベンダーに縛られることなく、柔軟な対応を維持することが極めて重要です。

コスト最適化

• コストの増加: プロトタイプから本番環境へ移行する際、コストが急増する可能性があります。大規模言語モデルのコスト構造は、本番環境の要件と必ずしも一致せず、非効率性を招くことがよくあります。
• リソース最適化: コストを効果的に管理するためには、適切なモデルやGPUを含め、リソースの選択と利用を最適化することが不可欠です。

SREのベストプラクティスと迅速なプロトタイピング

• ソフトウェアのベストプラクティス: GitOps、アクセス制御、ロギング、モニタリング、監査証跡、ロールバック、オートスケーリング、ゼロスケールなどのベストプラクティスを導入し、スムーズな運用を確保します。
• 迅速な実験: イノベーションは、新しいモデルやテクノロジースタックをどれだけ迅速に実験できるかに密接に関連しています。迅速なプロトタイピングが、優位性を保つための鍵となります。

MLOpsからの教訓 

MLOpsスタックの進化から学び、データエンジニアリングにはDatabricks、モデルトレーニングにはSageMaker、デプロイメントにはKubernetesベースのプラットフォームといった、ライフサイクルの異なる段階に特化したツールを使用することで、組織はワークフローを最適化し、効率を向上させることができます。

単一のプラットフォームに依存するのではなく、複数のプラットフォームの強みを統合することで、より良いリソース配分、コスト管理、スケーラビリティが可能になります。

この進化する状況は、プラットフォームチームが社内ソリューションの構築とサードパーティツールの購入の両方を組み合わせたハイブリッドアプローチを採用し、理想的な生成AIスタックを構築するよう促しています。 

TrueFoundryによるGenAIアプリケーション構築の実現

開発者中心の設計

TrueFoundryは開発者ファーストの考え方で構築されており、シームレスで柔軟な開発者エクスペリエンスを提供します。開始するための複数の方法があります。

• カスタムコードとモデル: 開発者は独自のコードとモデルを持ち込むことができ、最高の柔軟性と簡単なセットアップを保証します。
• テンプレートとGitHub連携: より迅速なデプロイのために、開発者は事前に構築されたテンプレートから選択するか、GitHubリポジトリに直接接続してシームレスなモデル統合を実現できます。

コア抽象化

TrueFoundryは強力な抽象化によりAIライフサイクルを簡素化します。

• サービス: AIモデルをスケーラブルなサービスとして簡単にデプロイし、推論と運用タスクを簡素化します。
• ジョブ: スケジュールされたタスクやオンデマンドタスクを管理。バッチ処理、トレーニング、自動化されたワークフローに最適です。
• ワークフロー: 複数のタスクを接続して、複雑なAIパイプラインを構築します。
• オープンソースHelmチャート: Helmチャートを使用して、Kubernetes上でAIワークロードを手間なくパッケージ化しデプロイします。

複合AIシステム構築用モジュール

• サービスとしてのモデル: 組み込みのスケーラビリティと信頼性でAIモデルをデプロイし、インフラの懸念を最小限に抑えます。
• ノーコードモデルファインチューニング: コーディングなしで事前学習済みモデルを簡単にファインチューニングできます。
• エージェント＆RAGフレームワーク: 組み込みのフレームワークを使用して、エージェントとRAGアプリケーションを構築し、すぐに開始できます。 
• AIゲートウェイ: プロンプト管理、一元化されたキー管理、モデル向け統合APIなどにより、チーム全体の制御とセキュリティを向上させます。

スケーラビリティとコスト最適化のための機能

• GPU管理: 効率的なモデルトレーニングと推論のためにGPU使用率を最適化します。
• コスト最適化: スポットインスタンス、フラクショナルGPUの活用、高額なエラーの回避、監視・アラートツールにより、リソースを自動的に管理し、運用コストを削減します。 
• オートスケーリング: ワークロードの要求に応じてコンピューティングリソースを動的に拡張し、最適なパフォーマンスを保証します。
• シークレット管理: APIキーやトークンなどの機密情報を安全に処理します。
• CI/CD連携: CI/CDパイプラインとシームレスに連携し、モデルの開発とデプロイを効率化します。
• スケール・トゥ・ゼロ: アイドル期間中にリソース消費を自動的に削減し、コストを最小限に抑えます。

基盤インフラストラクチャ

TrueFoundryは、その核となる部分でKubernetes上に構築されており、高いスケーラビリティ、信頼性、効率的なリソース管理を提供します。

 マルチクラウドおよびオンプレミスのワークロードをサポートし、あらゆる環境で柔軟性を提供します。

自社開発が理にかなうのはどのような場合ですか？

自社開発は、提供するサービスを差別化し、大規模な運用における長期的なコストを最適化する独自のAIソリューションを開発する際に賢明な選択肢です。しかし、高度なスキルを持つ人材の採用と有能な技術チームの編成には多額の先行投資が必要です。さらに、チームが複雑なAIインフラの設計、構築、保守、既存システムとの統合、そしてスケーラビリティ、セキュリティ、コンプライアンスの確保を行う必要があるため、大きな学習曲線も伴います。

自社プラットフォーム vs TrueFoundry

ベンダーロックインをどのように防ぎますか？

TrueFoundryは、ベンダーロックインを回避するという中核的な理念に基づいて設計されており、必要に応じてプラットフォームから簡単に移行できます。

• Kubernetesマニフェストファイルへのアクセスを提供し、インフラストラクチャに対する完全な制御と可視性をもたらします。 
• アプリケーションコードは変更されないため、移行に大規模なリファクタリングは必要ありません。
• 使用量に基づいて料金を設定するクラウドプロバイダーやDatabricksのようなプラットフォームとは異なり、当社のシートベースの料金体系は開発者の生産性に焦点を当てており、規模を拡大しても不利になることはありません。
• さらに、TrueFoundryは既存の技術スタックと簡単に連携し、SageMakerのようなプラットフォームで学習し、TrueFoundryでデプロイするといったワークフローを可能にします。システム全体の移行は不要で、当社のAPI駆動型のアプローチは、お客様が既にお持ちのシステムとシームレスに連携します。

構築と購入のアプローチ 

生成AIの世界では、構築するか購入するかの二者択一ではありません。両方を組み合わせたアプローチが主流です。企業は、独自のニーズに対応するためにツールを購入しつつ、カスタマイズされたソリューションを構築するというハイブリッドな戦略を採用し、競争力を維持するためにAIスタックを継続的に進化させ、洗練させています。

このアプローチにより柔軟性が確保され、チームは既存プラットフォームの強みを活用しつつ、重要な独自の要素に対する制御を維持することができます。