TrueFoundryとMongoDBで構築する複合AIシステム
.webp)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
人工知能(AI)の世界は急速に進化しており、単一のモデルから、相互に連携して複雑で多角的な問題を協調的に解決するシステムへと移行しています。複合AIシステム(Compound AI system)とは、複数の相互作用するコンポーネント(多様なAIモデル、データ検索メカニズム、外部ツールなど)を使用してAIタスクに対処するシステムと定義されます。これらのコンポーネントが協調して動作することで、特定の目標を達成し、問題解決に対してより細やかで効果的なアプローチが可能になります。
複合AIシステムの代表的な例には以下のようなものがあります。
- 検索拡張生成(RAG): 生成モデルと検索コンポーネントを組み合わせ、特定のデータソースに基づいた回答を生成します。
- モデルのチェーニング(Chained Models): 複数のモデルを連続して接続し、1つのモデルの出力を別のモデルの入力として利用することで、システム全体の機能を拡張します。
Berkeley AI Research(BAIR)ラボなどの研究機関が提唱するこの設計原理は、複雑なAIタスクに取り組む上でのシステムアーキテクチャの重要性を強調しています。単一の巨大なモデルのみに頼るのではなく、複合AIシステムは多様な専門的コンポーネントを活用して、パフォーマンス、柔軟性、適応性を向上させます。
システム思考へのシフト
Stanfordによる最近の動画では、異なる時代におけるAIのスケーリングの進化の概要が示され、モデル中心の開発からシステムレベルの統合へと関心がどのようにシフトしてきたかが説明されています。

非監督学習のスケーリング(2020年〜) - これはGPT-3のリリースから始まり、大規模な非監督学習の強力さを知らしめました。非監督学習では、インターネット上のテキストなどの膨大な非構造化データにモデルを晒すことで、特定のタスクラベルなしにパターンを汎化させます。
指示チューニング(Instruct Fine-Tuning)のスケーリング(2022年〜) - この時代は、インストラクションチューニングやファインチューニングの技術を活用したChatGPTのようなアプリケーションの登場によって特徴づけられます。指示ファインチューニングでは、入出力のペア(例:質問と回答のデータセット)を提供して、特定のスキルのために学習済みモデルを調整します。
推論時処理のスケーリング(2024年〜) - 推論時におけるAIモデルのリアルタイム使用の最適化を目指した革新を指します。多段階の推論、「思考の連鎖(Chain-of-thought)」プロンプティング、メモリ最適化などにより、効率、応答時間、適応性を向上させることに焦点を当てています。
システムのスケーリング(2025年〜) - 大規模言語モデル(LLM)を超えて複合システムへと移行し、スタンドアロンのモデルから、モデル、ツール、API、インフラを組み合わせた統合システムへと進化しています。
複合AIシステムの構築における課題
インフラの課題
複合AIシステムでは、各コンポーネントの特定ニーズに基づいて、GPU、CPU、その他の専用ハードウェア間をスムーズに移行できる能力が必要です。たとえば、ビジョンモデルにはGPUアクセラレーションが必要な一方で、データベースクエリはCPUの効率性に依存する場合があります。ワークロードごとに最適なリソース構成を決定し、ニーズの変更に応じてインフラを動的に適応させることが極めて重要です。インフラを定期的にモニタリングしチューニングすることで、ワークロードやモデルの要件が変化しても、システムを効率的かつコスト効果高く運用できます。
複合AIシステムを効率的にスケーリングさせるには、ワークロードの需要に基づいて動的にリソースを割り当てるオートスケーリングメカニズムを実装する必要があります。これには、CPU、GPU、メモリ、ネットワーク帯域幅などのシステム使用状況を監視し、リアルタイムで変化を予測して対応することが含まれます。
高額なコスト
特にリアルタイム環境で複数のAIモデルを同時に実行すると、高額なコンピューティング、ストレージ、クラウドコストが発生します。リソースの非効率性を検出し、構成間のシームレスな切り替えをサポートするインフラを確立することが不可欠です。スポットコンピューティング、分割GPU、オートスケーリングなどの戦略を活用することで、最適なパフォーマンスを維持しながらコスト効率を確保できます。
既存インフラとの統合
現代のインフラは、非常に分散されたアーキテクチャ、マルチクラウド環境、特定のワークフローに合わせた専門ツールで構成されていることがよくあります。これらの構成は高度である一方で、すでに複雑なエコシステム内で調和して動作する必要がある新しいAIコンポーネントを追加する際に、複雑さをもたらします。
実験の高速化
実験の高速化は、複合AIシステムを成功させるための重要な要素であり、チームが迅速に反復し、新しいアイデアをテストし、パフォーマンスを最適化できるようにします。
モジュール式アーキテクチャにより、チームは影響を最小限に抑えながら、モデルの交換、パイプラインの調整、または新しいアルゴリズムの統合を行うことができます。また、自動化も大きな役割を果たし、CI/CDパイプラインのようなツールによって更新されたコンポーネントのシームレスなデプロイとテストが保証されます。
なぜ複合AIアプリケーションにTrueFoundryとMongoDBを使用するのか?
TrueFoundryとMongoDBを統合する方法については、こちらの詳細ブログ(英語)をご覧ください。
MongoDB
MongoDB Atlasでタイムツーマーケットを加速
MongoDBのネイティブベクトル検索機能は、運用データベース内にベクトル検索を組み込むことで、高度な検索拡張生成(RAG)ワークフローの実装を簡素化します。これにより、独立したベクトルデータベースの必要性がなくなり、インフラの複雑さを軽減して迅速なデプロイを可能にします。
柔軟性を活かした迅速な反復
MongoDBのドキュメント指向データモデルは本質的に柔軟であり、テキスト、画像、ベクトル埋め込みなどのマルチモーダルデータタイプの保存に最適です。開発者はダウンタイムやスキーマの再設計なしで新しいデータタイプを取り込むことができ、GenAI搭載アプリケーションの迅速なチューニング、最適化、反復が可能になります。
エンタープライズ対応のスケーラビリティとセキュリティ
MongoDB Atlasは、エンタープライズグレードの障害耐性、水平スケーリング、暗号化状態でのクエリ実行などのデフォルトで安全な機能を提供します。完全管理型のサーバーレスアーキテクチャは、弾力的なスケーリングと従量課金制をサポートし、最も要求の厳しいワークロードに対してもコスト効率の高い運用を実現します。
TrueFoundry
- あらゆるクラウド/オンプレミス/ハイブリッド環境で実行
TrueFoundryは、任意のクラウド、オンプレミスインフラ、またはハイブリッド環境にデプロイできる柔軟性を提供し、特定のニーズに適応します。 - 超高速オートスケール & ゼロへのスケーリング
需要のスパイク時にはリソースを自動的にスケーリングし、アイドル時にはゼロにスケーリングすることで、パフォーマンスを損なうことなくコスト効率を確保します。 - AI駆動型最適化を実現するAutoPilot
AIベースの推奨事項を活用してインフラの最適化を自動化し、パフォーマンスを向上させ、運用オーバーヘッドを削減します。

- あらゆるハードウェア間での切り替え
ハードウェアの敏捷性を高めるため、GPU、TPU、AWS Inferentia間での切り替えや、カスタムアクセラレータの統合をわずか1日で簡単に行うことができます。 - より高速なDockerビルド
高速化されたDockerビルドにより開発ワークフローを最適化し、反復時間を短縮してデプロイをスピードアップします。 - 組み込み済みのソフトウェア工学ベストプラクティス
CI/CDパイプライン、シークレット管理、昇格(プロモーション)ワークフローなどの機能により、安全で信頼性が高く、拡張性のあるデプロイメントが保証されます。 - コスト最適化ツール
分割GPU、スポットインスタンス、使用状況メトリクスを活用して、リソース効率を最大化しながらコストを最適化します。 - 包括的なAIライフサイクル管理
TrueFoundryは、AI開発ライフサイクル全体を簡素化します。- モデルデプロイメント: 最適なリソース構成でプロダクション環境にモデルをデプロイするための合理化されたワークフロー。
- ファインチューニング: 特定のタスクに適応させるために、事前学習済みモデルを効率的にファインチューニングするための組み込み機能。
- AI Gateway: 認証、モニタリング、レート制限を備えた、多数のセルフホスト型および商用モデルへの集中アクセス。
- アプリケーションテンプレート: AIエージェント、検索システム、カスタムワークフローを構築するための即時利用可能なフレームワーク。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.



















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






