TrueFoundryとMongoDBで複合AIシステムを構築

人工知能（AI）の世界は急速に進化しており、孤立したモデルを超え、複雑で多面的な問題を協調的に解決する相互接続されたシステムへと移行しています。 複合AIシステム は、複数の相互作用するコンポーネント（様々なAIモデル、データ検索メカニズム、外部ツールなど）を使用してAIタスクを処理するシステムとして定義されます。これらのコンポーネントは特定の目標を達成するために協調して機能し、問題解決に対して、より繊細で効果的なアプローチを可能にします。

複合システムの一般的な例には以下のようなものがあります。

• 検索拡張生成（RAG）：この設定は、生成モデルと検索コンポーネントを組み合わせることで、特定のデータソースに基づいた応答を生成します。
• チェーンモデル：複数のモデルが順序立てて接続され、あるモデルの出力が別のモデルの入力として機能することで、システムの全体的な能力を向上させます。

Berkeley AI Research (BAIR) ラボのような機関によって提唱されているこの設計原則は、複雑なAIタスクに取り組む上でのシステムアーキテクチャの重要性を強調しています。大規模でモノリシックなモデルのみに依存するのではなく、複合AIシステムは様々な専門コンポーネントを活用し、パフォーマンス、柔軟性、適応性を向上させます。

システム思考への移行

最近の スタンフォード大学のビデオ は、異なる時代におけるAIのスケーリングの進化を概説し、モデル中心の開発からシステムレベルの統合へと重点がどのように移行したかに焦点を当てています。

教師なし学習のスケーリング（2020年～） - これはGPT-3のリリースから始まり、大規模な教師なし学習の力を示しました。教師なし学習では、インターネット上のテキストのような大量の非構造化データにモデルをさらすことで、特定のタスクラベルなしでパターンを一般化できるようにします。

指示ファインチューニングのスケーリング（2022年～） - この時代は、ChatGPTのようなアプリケーションの導入によって特徴づけられ、これは 指示チューニング ファインチューニング技術。インストラクトファインチューニングとは、特定のスキルに合わせて事前学習済みモデルを調整するために、入力と出力のペア（例：質問応答データセット）を提供することです。

推論時処理のスケーリング（2024年～） - これは、推論時のAIモデルのリアルタイム利用を最適化することを目的としたイノベーションを指します。多段階推論、「思考の連鎖」プロンプティング、メモリ最適化などにより、効率性、応答時間、適応性を向上させることに焦点を当てています。

システムのスケーリング（2025年～） - 大規模言語モデル（LLM）を超えて複合システムへ移行し、スタンドアロンモデルから、モデル、ツール、API、インフラストラクチャを組み合わせた統合システムへと移行すること。

複合AIシステム構築における課題

インフラストラクチャの課題

複合AIシステムでは、各コンポーネントの特定のニーズに基づいて、GPU、CPU、その他の特殊なハードウェア間をシームレスに切り替える能力が必要です。例えば、ビジョンモデルはGPUアクセラレーションを必要とするかもしれませんが、データベースクエリはCPUの効率性に依存するかもしれません。各ワークロードに最適なリソース構成を決定し、ニーズの変化に応じてインフラストラクチャを動的に適応させることは極めて重要です。インフラストラクチャを定期的に監視し、微調整することで、ワークロードやモデルの要件が変化しても、システムが効率的かつ費用対効果の高い方法で動作することを保証します。

複合AIシステムが効率的にスケーリングするためには、ワークロードの要求に基づいてリソースを動的に割り当てるオートスケーリングメカニズムの実装が必要です。これには、CPU、GPU、メモリ、ネットワーク帯域幅などのシステム使用状況を監視し、リアルタイムで変化を予測して対応することが含まれます。

高額なコスト

複数のAIモデルを同時に、特にリアルタイムで実行すると、計算、ストレージ、クラウドのコストが高くなります。リソースの非効率性を検出し、構成間のシームレスな切り替えをサポートするインフラストラクチャを確立することが不可欠です。スポットコンピューティング、フラクショナルGPU、オートスケーリングなどの戦略を活用することで、最適なパフォーマンスを維持しながら費用対効果を確保できます。

既存のインフラストラクチャとの統合

現代のインフラストラクチャは、高度に分散されたアーキテクチャ、マルチクラウド環境、特定のワークフローに合わせた専門ツールで構成されていることがよくあります。これらの設定は高度である一方で、すでに複雑なエコシステム内で調和して機能する必要がある新しいAIコンポーネントを追加する際に複雑さを生じさせます。

より迅速な実験
より迅速な実験は、複合AIシステムの成功にとって極めて重要な要素であり、チームが迅速に反復し、新しいアイデアをテストし、パフォーマンスを最適化することを可能にします。

モジュラーアーキテクチャにより、チームは最小限の混乱でモデルを交換したり、パイプラインを調整したり、新しいアルゴリズムを統合したりできます。自動化 も重要な役割を果たし、CI/CDパイプラインのようなツールが、更新されたコンポーネントのシームレスなデプロイとテストを保証します。

複合AIアプリケーションにTrueFoundryとMongoDBを使用する理由

こちらをご覧ください 詳細なブログ TrueFoundryとMongoDBの統合方法について。

MongoDB

市場投入までの時間を短縮 MongoDB Atlas
MongoDBのネイティブベクトル検索 機能により、運用データベース内にベクトル検索を組み込むことで、洗練されたRetrieval-Augmented Generation (RAG) ワークフローの実装が簡素化されます。これにより、個別のベクトルデータベースが不要になり、インフラストラクチャの複雑さが軽減され、より迅速なデプロイが可能になります。

柔軟な対応で迅速なイテレーション
MongoDBのドキュメントベースのデータモデルは本質的に柔軟であり、テキスト、画像、ベクトル埋め込みなどのマルチモーダルデータタイプの保存に最適です。開発者は、ダウンタイムやスキーマの再設計なしに新しいデータタイプを取り込むことができ、GenAIを活用したアプリケーションのチューニング、最適化、イテレーションを高速化します。

エンタープライズ対応のスケーラビリティとセキュリティ
MongoDB Atlasは、エンタープライズグレードの耐障害性、水平スケーリング、およびクエリ可能な暗号化などのセキュアバイデフォルト機能を提供します。そのフルマネージドのサーバーレスアーキテクチャは、エラスティックなスケーリングと従量課金制をサポートし、最も要求の厳しいワークロードに対しても費用対効果の高い運用を保証します。

TrueFoundry

• あらゆるクラウド/オンプレミス/ハイブリッドで実行
  TrueFoundryは、あらゆるクラウド、オンプレミスインフラストラクチャ、またはハイブリッド環境にデプロイできる柔軟性を提供し、お客様の特定のニーズに適応します。
• 超高速オートスケールとスケールトゥゼロ
  需要の急増時にはリソースを自動的にスケールし、アイドル時にはゼロにスケールすることで、パフォーマンスを損なうことなくコスト効率を確保します。
• AI駆動型最適化のためのAutoPilot
  AIベースの推奨事項を活用してインフラストラクチャの最適化を自動化し、パフォーマンスを向上させ、運用オーバーヘッドを削減します。

• 任意のハードウェア間で切り替え
  GPU、TPU、AWS Inferentia間で簡単に切り替えたり、カスタムアクセラレータをわずか1日で統合したりすることで、ハードウェアの俊敏性を実現します。
• Dockerビルドの高速化
  Dockerビルドの高速化により開発ワークフローを最適化し、イテレーション時間を短縮してデプロイを迅速化します。
• 組み込みのソフトウェアエンジニアリングベストプラクティス
  CI/CDパイプライン、シークレット管理、プロモーションワークフローなどの機能により、安全で信頼性が高く、スケーラブルなデプロイを実現します。
• コスト最適化ツール
  フラクショナルGPU、スポットインスタンス、使用状況メトリクスを活用し、コストを最適化しながらリソース効率を最大化します。
• 包括的なAIライフサイクル管理
  TrueFoundryはAI開発ライフサイクル全体を簡素化します
  • ‍モデルデプロイ: 最適なリソース構成で本番環境にモデルをデプロイするための、効率化されたワークフロー。‍
  • ファインチューニング: 特定のタスクに適応させるため、事前学習済みモデルを効率的にファインチューニングするための組み込み機能。‍
  • AIゲートウェイ: 認証、監視、レート制限機能を備え、多数のセルフホスト型および商用モデルへ一元的にアクセス。‍
  • アプリケーションテンプレート: AIエージェント、検索システム、カスタムワークフローを構築するための、すぐに使えるフレームワーク。