Blank white background with no objects or features visible.

TrueFoundryはSeldon AIの買収を発表し、エンタープライズAI向けコントロールプレーンを拡張します。プレスリリース全文はこちら→

なぜ 本番環境レベルのAI/MLワークフローを構築、トレーニング、デプロイするのか

Blue dollar sign within a circle on white background, symbolizing finance and currency exchange services.
コスト最適化
事前設定済みのリソース最適化により、最低コストでクロスクラウド運用を実現
Two blue rounded rectangles with two dots inside each on a white background.
安全なデータ
データがクラウド外に出ることなく、データウェアハウスやデータレイクに安全に接続できます
Blue HTML tag symbols on white background, greater and less than brackets, coding syntax elements.
開発者向け
開発者の生産性を2倍にし、直感的なインターフェースと簡単な統合を可能にするAPI駆動型
Blue shield icon with checkmark symbolizing security and verification on a white background.
エンタープライズ対応
SOC2、HIPAA準拠のプラットフォームにCI/CD、RBAC、SSO統合を内蔵

TrueFoundry vs Domino: どちらのAIゲートウェイを選ぶべきか

プラットフォーム比較 - TrueFoundryが適しているのはどのような場合か?

#1

プラットフォーム基盤

Domino Data LabsとTrueFoundryはどちらも、Kubernetes上に構築されたエンタープライズグレードのプラットフォームであり、MLおよびLLMの運用をサポートするように設計されていますが、モデルライフサイクルの異なる側面に特化しています。

#2

Domino Data Labsの主な特徴

Domino Data Labsは、モデルのトレーニング、デプロイ、監視に対する堅牢なサポートを含む広範なMLOps機能に優れており、AutoML機能(「Flows」と呼称)も備えています。

#3

TrueFoundryの焦点と機能同等性

TrueFoundryは、モデル監視とAutoMLを除くほぼすべての領域で機能同等性を提供しており、デプロイメントに注力し、最先端の監視ツールとシームレスに統合するという当社のビジョンに沿っています。また、直感的なUIを通じて複雑なワークフローに対する柔軟性を優先しています。

#4

TrueFoundryの独自の提供機能

TrueFoundryは、オートスケーリング、スケール・トゥ・ゼロ、信頼性の高いスポットインスタンスを活用した自動モデルデプロイとトレーニングに優れています。そのLLMモジュールはDomino Data Labsを凌駕し、プロンプト管理、透過的なアクセス制御、コストの明確化、ファインチューニング、モデルカタログ、そしてワンクリックRAGフレームワークを備えたAIゲートウェイを提供します。

概要

プラットフォームの種類
マネージドプラットフォーム
マネージドプラットフォーム
自社インフラでのセットアップ
Kubernetes上で動作します。独自のVPCまたはオンプレミスで自己ホスト可能なデータプレーンとコントロールプレーン
Kubernetes上で動作します。独自のVPCまたはオンプレミスで自己ホスト可能なデータプレーンとコントロールプレーン
ロックインなしと相互運用性
ロックインなし、高い拡張性。プラットフォーム全体がAPI駆動型であり、ユーザーにとってコンポーネントの追加は容易です
プラットフォームは主要なオープン標準およびツールとの統合を提供します。ただし、Domino APIとの統合は、他のプラットフォームで機能させるために大幅な手直しが必要です
SLA + サポート
緊急チケットに対するオンコール対応付き24時間年中無休のSlackサポート
専任のアカウントマネージャーによるプレミアムサポート。G2のカスタマーサポートで9.9/10の評価を誇ります。
緊急チケットに対する1時間エンタープライズサポートSLA
限定プラン (製品のカスタマイズおよびカスタムコード開発のサポートなし)
エンタープライズグレードのセキュリティとコンプライアンス
はい。HIPAAおよびSOC2に準拠しています。セキュリティホワイトペーパーはこちらからご覧いただけます
はい。HIPAAおよびSOC2に準拠しています
ユーザーアクセス管理
直感的なユーザーインターフェースを備えた、クラスター、ワークスペース、デプロイメントレベルでの権限管理。
プロジェクトおよびデータセットレベルでの権限管理
料金モデル
すべてのプラットフォーム機能にアクセスできる、ユーザーベースのモジュール型料金体系
ユーザーベースの料金体系
コスト最適化
ベアKubernetes、スポットインスタンス、インフラおよびモデルの最適化、オートスケーリング、およびフラクショナルGPUの使用により、約40%のコスト削減(Sagemakerとの比較)を実現
プロジェクトレベルでのレポート分析とアラート設定

コアプラットフォーム機能

プラットフォームに組み込まれた、主にインフラストラクチャに焦点を当てたすべてのプラットフォームレベルの機能が含まれます。

主要機能

コアプラットフォーム

Blue arrow pointing upwards on white background.
ハイブリッドおよびマルチクラウド対応
はい
はい
CI/CDサポート
CI/CDパイプラインおよび既存のインフラストラクチャとの統合、完全な変更ログ、IaaC、ロールバック機能。
Domino以外の既存のCI/CDワークフローやレジストリと統合可能
オートスケーリング
はい。CPU使用率、1秒あたりのリクエスト数、時間ベースのオートスケーリングに対応しています。
はい
分割GPUをサポート
はい
いいえ
信頼性を組み込んだスポットインスタンス層
はい
プレビュー中
ライブラリの制約なし
コードスタイルやライブラリの制限はなく、FastAPI、Flask、PyTorch Lightning、Streamlitなど、お好みのフレームワークを完全に自由に利用できます
制限が少ない
開発/ステージング/本番環境のライフサイクル管理
統合されたアクセス管理、GitOpsツールとの連携、コード変更なしのワンクリックプロモーションフローにより、最高のサポートを提供します
本番環境専用の「組織」を作成することで可能です
Person holding blue magnifying glass up to examine something closely, smiling with curiosity.

評価方法

あらゆるクラウド/オンプレミス環境へ、少ない労力で、高いパフォーマンス、SREのベストプラクティス、コスト最適化を実現しながらデプロイできます

LLMエッセンシャル

プロンプトエンジニアリング、LLMのデプロイとファインチューニング、RAGワークフローの構築といった一般的なワークフローを用いて、LLMアプリケーションの構築と拡張に必要なあらゆる機能を網羅しています

LLMモジュール

LLMデプロイ

Blue arrow pointing upwards on white background.
モデルカタログ
はい。事前設定済みで高性能なモデルサーバーを備えた、すべての人気LLMの厳選されたモデルカタログです。
いいえ
モデルインフラ最適化
はい。VLLMなどの様々なモデルサーバー向けに、事前設定されたGPUオプションを提供しています。
いいえ
Hugging Faceモデルデプロイ
はい。CPU使用率、1秒あたりのリクエスト数、時間ベースのオートスケーリングに対応しています。
いいえ
LLMパフォーマンスベンチマーク
はい
いいえ
メモリ管理とレイテンシー最適化
はい
いいえ
AIテンプレート
いいえ。モデル、DB(ベクトルデータベースを含む)、サービスなどを組み合わせて独自のワークフローを作成できる柔軟性を提供します。
Person holding blue magnifying glass up to examine something closely, smiling with curiosity.

評価方法

インフラ構成と最適化、Hugging Faceデプロイ、コスト最適化

LLMファインチューニング

Blue arrow pointing upwards on white background.
基盤モデルのファインチューニング
はい
基本的なファインチューニングフローはプレビューモードです
独自のデータソースに接続
S3、Snowflake、Databricksなどの独自のデータを指定
いいえ
ファインチューニング実行の比較
はい
いいえ
ファインチューニング済みモデルのデプロイ
はい
はい
スポットインスタンスでのファインチューニング
はい
いいえ
事前設定済みリソース最適化
はい
いいえ
PEFTファインチューニング
はい。数回のクリックでLoRAとQLoRAの両方をサポートし、内部の複雑な詳細をすべて抽象化します。
いいえ
ジョブとしてファインチューニングワークフローを実行
自動再試行機能付きの長時間実行トレーニングに適しています。
いいえ
ノートブックでファインチューニングワークフローを実行
短期間の反復的なトレーニングや実験に適しています。
はい
Person holding blue magnifying glass up to examine something closely, smiling with curiosity.

評価方法

モデル、GPU、モデルサーバー、PEFTの各組み合わせにおけるインフラの複雑さを抽象化し、コスト最適化や、チェックポイント設定などのトレーニングのベストプラクティスを実現します。

AIゲートウェイ

Blue arrow pointing upwards on white background.
統合API
複数のプロバイダーのLLMすべて、自社ホスト型モデルも含めてアクセス可能。
はい
集中型キー管理
はい
はい
ユーザーごと、プロダクトごとの認証と識別。
はい
いいえ
コスト配分と管理
はい
いいえ
プロンプトエンジニアリング
はい
いいえ
フォールバック、リトライ、レート制限に対応
ロードマップに記載
いいえ
ガードレール統合
ロードマップに記載。また、現在ガードレールプラットフォームと統合しています。
いいえ
キャッシングとセマンティックキャッシング
ロードマップに記載
いいえ
ビジョンモデルとマルチモーダルモデルに対応
ロードマップに記載
いいえ
データで評価を実行
ロードマップに記載
いいえ
Person holding blue magnifying glass up to examine something closely, smiling with curiosity.

評価方法?

複数のLLM統合、プロンプトエンジニアリング対応、アクセスとコスト管理、評価とガードレール実装

RAGテンプレート

Blue arrow pointing upwards on white background.
エンドツーエンドRAGシステムのセットアップ
埋め込みモデル、ベクトルDB、フロントエンド、バックエンドシステムなど、RAGワークフローのすべてのコンポーネントが自動的に構築されます。
非常に基本的なテンプレート
ベクトルデータベース
はい。Chroma、Qdrant、Weaviateに対応
PineconeとQdrantに対応
埋め込みモデル
はい
いいえ
Person holding blue magnifying glass up to examine something closely, smiling with curiosity.

評価方法?

RAGの全コンポーネントのセットアップと連携が容易で、実験用に各コンポーネントの多様なオプションに対応しています。

MLモジュール

MLモデルを本番環境で構築、学習、デプロイするために必要なすべての機能を網羅しています。

MLモジュール

ホスト型ノートブック

Blue arrow pointing upwards on white background.
ホスト型ノートブック向けコンピューティング
はい。GUPsが含まれます。
はい。GPUが含まれます。
データ準備
はい。複数のデータコネクタ。ノートブック間で共有ボリュームも利用可能です。
Redshift、Snowflakeなど、複数のデータソースコネクタ
カスタマイズ可能なベースイメージ
はい
はい
自動カリングと保存
はい。一定時間操作がない場合の自動シャットダウン
いいえ
AI搭載ツール
いいえ
はい
Person holding blue magnifying glass up to examine something closely, smiling with curiosity.

評価方法

コンピューティングとカスタムイメージへのアクセス。ノートブック全体での自動カリングやボリュームロードなどのコスト機能。

モデル学習とバッチ推論

Blue arrow pointing upwards on white background.
分散学習
分散型およびマルチノードトレーニングのサポート
はい。SparkとRayとの統合。
堅牢なスポットトレーニング
はい
プレビュー版
メトリックとロギング
システムメトリックとログに加え、カスタムメトリック、ダッシュボード、チェックポイントサポートなどの徹底的な追跡。
はい
パイプライン / DAGオーケストレーション
ロードマップに掲載
Apache Airflowとの統合をサポート
Person holding blue magnifying glass up to examine something closely, smiling with curiosity.

評価方法

モデルトレーニング機能では、アーティファクト管理、メトリック追跡、CI/CD/CTが不可欠です。コンピューティング側では、分散型およびマルチノードトレーニングが重要になります。

モデルデプロイ + 推論

Blue arrow pointing upwards on white background.
CI/CD
CI/CDとロールバックにより、コードへの干渉を最小限に抑えながらスケーラブルなAPIデプロイメントをサポート。
はい
モデルサービングフレームワークとの統合
vLLM、TGIなどと標準で統合。TMSのような他の統合も開発中。
Ray serveと連携
ロールアウト戦略
カナリア、ブルーグリーン、ローリングアップデートなどの様々なロールアウト戦略
なし
ヘッダーベースルーティングとトラフィックシェーピング
あり
なし
非同期デプロイ
あり
あり
サービスのコスト見積もり
あり
あり
カスケード/アンサンブルモデル
あり
なし
モデルキャッシング
あり
なし
マイクロバッチング
ロードマップに記載
いいえ
サーバーレスデプロイ
ロードマップに記載
いいえ
監視
デプロイされたサービス向けの自動監視ダッシュボードと、すべての人気監視ツールとの連携を提供します。
はい
Person holding blue magnifying glass up to examine something closely, smiling with curiosity.

評価方法

APIデプロイの容易さ、バージョン管理とGitOps、インフラ管理、サーバーへのファーストクラスサポート、拡張性と連携

モデルトラッキング

Blue arrow pointing upwards on white background.
実験トラッキング
はい
はい。実験トラッキングにはMLflowを使用しています。
モデルレジストリ
バージョン管理、ロード、シリアライズをサポートする本格的なアーティファクト管理。アーティファクトとメタデータのロギングとバージョン管理に対応しています。
はい
モデルレジストリからのワンクリックデプロイ
はい。本格的なモデルレジストリを備え、直接デプロイを可能にします。
モデルレジストリから本番環境への簡単なデプロイ
wandbやmlflowといったツールとの連携
はい
はい
モデルバージョニング
はい
はい
モデルリネージ追跡
はい
はい
Person holding blue magnifying glass up to examine something closely, smiling with curiosity.

評価方法

シームレスなモデルデプロイメント、バージョン追跡とロールバック、メタデータ追跡、連携機能を備えた包括的なモデルレジストリ

監視

Blue arrow pointing upwards on white background.
システム監視
はい。CPU、メモリ、ネットワーク、ディスク使用量など。
いいえ
サービスメトリクス
はい。リクエスト量、レイテンシ、成功率とエラー率など。
はい
モデルメトリクス
はい。精度、適合率、再現率、その他モデルの種類に応じたカスタムメトリクス。
はい
ドリフト追跡
はい。構造化データに対するモデル、データ、ターゲットのドリフト追跡
はい
wandbやmlflowなどのツールとの連携
既存のダッシュボードおよびアラートツールとの連携をサポート
はい
データ分布
クライアントの要望に基づきカスタム開発
はい
自動アラート
クライアントの要望に基づきカスタム開発
はい
カスタム監視メトリクス
クライアントの要望に基づきカスタム開発
はい
Person holding blue magnifying glass up to examine something closely, smiling with curiosity.

評価方法

自動およびカスタムのロギングとアラート、モデル+システムメトリクス、ダッシュボード、サポート対象ライブラリとフレームワークの網羅
全機能を見る
Blurred dark blue plus sign on white background, a simple geometric symbol used for addition.

*本ページに記載されている競合データは2024年4月1日時点のものであり、変更または更新される可能性があります。TrueFoundryは、本ページの情報が完全または正確であることについて、いかなる表明も行いません。機能比較表に記載されているすべてのTrueFoundryサービスは、TrueFoundryまたはTrueFoundryの信頼できるパートナーのいずれかによって提供されます。

よくある質問

TrueFoundryとDominoの主な違いは何ですか?

TrueFoundryとDominoの主な違いは、そのアーキテクチャの哲学と開発者体験にあります。Domino Data Lab(Dominoと呼ばれることが多い)は、統合されたワークベンチを通じて共同研究と再現性に焦点を当てた、伝統的なデータサイエンス中心のプラットフォームです。対照的に、TrueFoundryは、データサイエンスとDevOpsのギャップを埋めるように設計された、クラウドネイティブでKubernetesファーストのプラットフォームです。DominoとTrueFoundryはどちらもMLOpsの合理化を目指していますが、TrueFoundryはより「エージェント型」でインフラを抽象化したアプローチを提供し、YAMLの複雑さや手動のインフラプロビジョニングを排除することで、チームがモデルを10倍速くデプロイできるようにします。

GenAIおよびLLMアプリケーションにはどちらのプラットフォームが適していますか?

Generative AI向けにTrueFoundryまたはDominoを選択する場合、TrueFoundryは通常、最新のLLMワークフローにおいて優位性があります。TrueFoundryは、LLM向けの統合インターフェースを提供する専用のAIゲートウェイを備えており、モデルルーティング、ガバナンス、vLLMやTGIを介したLlama 3のようなオープンソースモデルの迅速なデプロイをサポートします。Domino Data LabとTrueFoundryの比較では、DominoもGenAI機能を拡張しているものの、TrueFoundryの「エージェント型」デプロイメントのネイティブサポートと組み込みのLLMプレイグラウンドにより、LLMアプリケーションとRAGパイプラインのスケーリングに特化したチームにとって、より機敏な選択肢となります。

TrueFoundryとDominoは両方とも自社インフラでセルフホストできますか?

はい、TrueFoundryとDominoはどちらもセルフホスティングをサポートしていますが、デプロイモデルはわずかに異なります。DominoとTrueFoundryの比較では、どちらも独自のVPC(AWS、GCP、Azure)内、またはオンプレミスのKubernetesクラスター上で実行できることがわかります。TrueFoundryは、「Bring Your Own Cloud」(BYOC)モデルを重視しており、データプレーンとコントロールプレーンを分離して、データが環境外に出ないようにします。これにより、DominoとTrueFoundryの選択はインフラの好みの問題となります。どちらも、プラットフォームが完全に自社の管理下にある環境内に存在できるようにすることで、エンタープライズグレードのセキュリティに対応しています。

TrueFoundryとDominoのモデルトレーニング機能はどのように比較されますか?

TrueFoundryとDomino Data Labを比較すると、モデルトレーニングは両者にとって中核となる強みです。Dominoは実験の追跡と、すべての研究実行の「記録システム」の維持に優れています。しかし、TrueFoundryは分散トレーニングのためのより堅牢なインフラ層を提供します。マルチノードトレーニングをサポートし、自動化された「スポットインスタンス」オーケストレーションを提供することで、トレーニングコストを削減できます。DevOpsのオーバーヘッドを最小限に抑えつつ、Kubernetes上でコスト最適化されたスケーラブルなトレーニングを優先する場合、TrueFoundryはコンピューティングリソースに対するよりきめ細かな制御を提供します。

オープンソースツールやライブラリとの柔軟性が高いのはどちらのプラットフォームですか?

TrueFoundryとDominoはどちらもオープンで柔軟であるように設計されていますが、そのアプローチは異なります。Dominoは「環境」(Dockerベース)を使用して、ユーザーがあらゆるライブラリをインストールできるようにします。TrueFoundryは、ベンダーロックインがないことを保証することで、これをさらに進めています。プラットフォーム全体がAPI駆動型であり、vLLMやSGLangのようなオープンソースのモデルサーバーとネイティブに統合されます。TrueFoundryとDominoのどちらを選ぶか迷っている場合、TrueFoundryは、独自の(プロプライエタリな)エコシステムに縛られることなく、最新のオープンソースMLライブラリを使用しながら「標準的な」Kubernetesスタックを維持したいチームに好まれる傾向があります。

TrueFoundryとDominoは両方ともエンタープライズのコンプライアンスとセキュリティをサポートしていますか?

もちろんです。セキュリティはDominoとTrueFoundryの両方にとって譲れない要素です。両プラットフォームはSOC 2 Type IIおよびHIPAAに準拠しています。強固なロールベースアクセス制御(RBAC)、監査ログ、エンタープライズSSOプロバイダーとの統合を提供します。TrueFoundryとDominoはどちらもプライベートVPC内にデプロイできるため、金融やヘルスケアのような高度に規制された業界の厳格なデータプライバシー要件を満たします。セキュリティ面でDominoとTrueFoundryのどちらを選ぶかは、多くの場合、各プラットフォームが既存のITセキュリティプロトコルやKubernetesガバナンスツールとどれだけうまく統合できるかにかかっています。
Grey wavy lines on white background, abstract wave pattern with multiple curved lines intersecting smoothly.

GenAIインフラ - シンプル、高速、低コスト

Fortune 500企業10社以上から信頼されています