TrueFoundry MLプラットフォームはあなたに適していますか？

MLインフラストラクチャの分野には、MLパイプラインを簡素化するための優れたソリューションが数多く存在します。もし以下の問題に心当たりがあるなら、TrueFoundryが解決策となるかもしれません。

MLモデルを本番環境に導入するまでにかなりの時間がかかり、複数の関係者間で多くの依存関係がある

納期遅延の最大の原因は、チーム間の依存関係と、異なる役割を持つ人材のスキルセット不足にあることが判明しています。TrueFoundryは、データサイエンティストがPythonを使用してKubernetes上でモデルをトレーニングし、デプロイすることを容易にします。また、インフラチームがセキュリティ制約やコスト予算を設定することも可能です。弊社が話を聞いたほとんどの企業では、実装の流れは以下のようになっています。

TrueFoundryは、データサイエンティストがインフラ/DevOpsチームに頼ることなく、自らモデルをデプロイし評価できるようにすることで、開発時間を少なくとも3〜4倍短縮するのに役立ちます。

TrueFoundryを使用すると、流れは以下のようになります。

MLトレーニングとデプロイメントに標準のKubernetesインフラストラクチャを使用したい

TrueFoundryはKubernetesネイティブであり、EKS、AKS、GKE（標準およびオートパイロットクラスター）、またはオンプレミス環境のクラスター上で動作します。MLは、標準的なソフトウェアインフラストラクチャと比較して、動的なノードプロビジョニング、GPUサポート、高速アクセス用のボリューム、コスト予算管理、開発者の自律性など、いくつかのカスタム要件があります。弊社は、クラスター全体にわたるあらゆる細かい詳細を処理するため、お客様は最先端のインフラストラクチャ上で最高のアプリケーション構築に集中できます。

データサイエンティストはインフラやYAMLを扱う必要はありません

Python APIを提供しているため、YAMLを操作する必要はありません。CI/CDパイプラインで使用したい場合は、YAMLサポートも提供しています。例えば、TrueFoundryを使用すると、以下のコードで推論APIをデプロイできます。

service = Service(
   name="fastapi",
   image=Build(
       build_spec=PythonBuild(
           command="uvicorn app:app --port 8000 --host 0.0.0.0",
           requirements_path="requirements.txt",
       )
   ),
   ports=[
       Port(
           port=8000,
           host="<設定済みのドメインに基づいてホスト値を指定してください>"
       )
   ],
   resources=Resources(
       cpu_request=0.5,
       cpu_limit=1,
       memory_request=1000,
       memory_limit=1500
   ),
   env={
       "UVICORN_WEB_CONCURRENCY": "1",
       "ENVIRONMENT": "dev"
   }
)
service.deploy(workspace_fqn="tfy-cluster/my-workspace")


クラウド外へのデータ移動を必要としないMLインフラが必要ですか？

TrueFoundryは、お客様独自のKubernetesクラスターに完全にデプロイされます。データはお客様独自のVPC内に保持され、Dockerイメージはお客様独自のDockerレジストリに保存され、すべてのモデルはお客様独自のBLOBストレージシステムに保持されます。TrueFoundryのアーキテクチャについては、こちらで詳細をご覧いただけます。 こちら。

MLモデルのダウンロード時間のため、モデルのオートスケーリングはかなり遅くなります。

Kubernetesは通常、CPUとメモリに基づいたHPA（Horizontal Pod Autoscaler）を使用してオートスケーリングをサポートします。しかし、MLワークロードの場合、多くの場合、リクエスト数に基づいたオートスケーリングの方がはるかに優れています。オートスケーリングにおけるもう一つの課題は、イメージサイズの大きさやモデルのダウンロード時間によるモデルの起動時間の長さです。TrueFoundryは、コンテナの起動時間を数秒に短縮し、モデルをキャッシュして読み込みを高速化し、推論時間を短縮することで、これらの問題を解決します。

ビジネスでLLMの力を活用したいが、データを自社環境外に出すことはできない。

オープンソースのLLMモデルは利用できますか？

TrueFoundryでは、オープンソースのLLMを独自のインフラストラクチャにデプロイし、ファインチューニングすることができます。最も一般的なオープンソースモデルに最適な設定をすでに特定しており、最適な設定と最低コストでそれらをトレーニングおよびデプロイできます。

すべての開発者がさまざまなLLMを迅速に試せるようにしたい。

当社では社内LLMプレイグラウンドを提供しており、社内ホストのものを含め、どのLLMを社内開発者向けにホワイトリスト化するかを決定できます。また、さまざまな開発者が社内データを使って実験できます。こちらに簡単なビデオがあります。

データサイエンティストに、マルチテナントでコスト最適化されたセルフサービス形式のJupyter Notebookを提供したい。

Jupyter Notebookは、データサイエンティストの日常的な開発サイクルに不可欠です。しかし、以下の理由により、自分のマシンでJupyter Notebookをローカルで実行することは、常に選択肢となるわけではありません。

1. ローカルのノートPCでは利用できない可能性のある、より高いリソースが必要になる場合があります。
2. ローカル環境ではデータアクセスが許可されない場合があります。

Kubernetes上でJupyter Notebookをシームレスに実行するために、多大な努力を払ってきました。TrueFoundry上のJupyter Notebookは、JupyterLabやKubeflow Notebookと比較して、以下の利点を提供します。

1. Notebookの高速起動時間（10秒未満）
2. 設定可能な一定期間の非アクティブ状態の後、Notebookをシャットダウンする自動停止機能。データサイエンティストは1日8時間しか作業しない可能性があるため、これによりコストが削減されます。 これにより、EC2インスタンスでJupyterを実行する場合と比較して、コストが約60%削減されます。
3. 再起動後も環境、データ、Pythonの依存関係が永続化されます。
4. ベースイメージに依存関係を動的に追加する機能。
5. ノートブックを他のチームメンバーと共有する機能。
6. キーやパスワードの代わりにサービスアカウントを使用してデータセットアクセスを設定する機能。

社内のすべてのモデルを一元的に管理し、どのモデルがどの環境にデプロイされているかを把握したいですか？

TrueFoundryは、どのモデルがどの段階にあるか、およびレジストリ内のすべてのモデルのスキーマとAPIを追跡できるモデルレジストリを提供します。

モデルの新しいバージョンにトラフィックをミラーリングまたは分割して、完全に展開する前にオンラインのトラフィックでテストしたいですか？

TrueFoundryは、あるモデルから別のモデルへのトラフィックの分割またはミラーリングを可能にします。これは、新しいモデルバージョンを本番環境に展開する前に、しばらくの間ライブトラフィックでテストしたい場合に特に役立ちます。TrueFoundryは、モデルデプロイメントにおけるカナリアリリースおよびブルーグリーンデプロイ戦略もサポートしています。

クラウドとオンプレミスでハードウェアとコンピューティングを使用したい。開発者がワークロードをある環境から別の環境へシームレスに移動できるようにするには、どのように接続すればよいですか？

当社は、クラウド間のKubernetesクラスターの細かな違いに対応するために多大な努力を払ってきました。開発者は、基盤となるインフラストラクチャを気にすることなく、あらゆる環境で同じコードを記述し、デプロイできます。Kubernetesの基盤コンポーネントがインストールされているかどうかの確認、互換性のない移行のチェック、およびそれに応じた開発者への通知は当社が行います。

MLインフラに多大なコストがかかっており、その追跡と削減が困難になっています。

当社は、サービスのコスト可視性を開発者に公開し、コスト削減のためのインサイトを提供します。現在のお客様はすべて、TrueFoundry導入後、少なくとも30%のコスト削減を達成しています。

TrueFoundry は、Kubernetes上に構築されたMLデプロイメントPaaSであり、 AIモデルのデプロイを簡素化し、開発者のワークフローを加速させ、インフラストラクチャを完全に制御できるようにします。当社のプラットフォームを通じて、機械学習チームは モデルをデプロイおよび監視し、 15分で100%の信頼性、スケーラビリティ、および数秒でのロールバック機能を実現できます。これにより、コストを削減し、モデルをより迅速に本番環境にリリースし、真のビジネス価値を実現できるようになります。