TrueFoundry上でCrewAIを使用したマルチエージェントワークフローをデプロイする方法

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
本ガイドでは、最小限のDevOpsやMLOpsの専門知識でAIデプロイを簡素化するために設計されたプラットフォームであるTrueFoundry上に、CrewAIエージェントをデプロイする方法を紹介します。TrueFoundryはインフラストラクチャの管理、スケーリング、モニタリングを自動化するため、デプロイの複雑さに悩まされることなく、インサイトの抽出に集中できます。わずか数クリックで、自然言語のリクエストをSQLクエリと動的なチャートに変換し、データ探索をシームレスかつインテリジェントに行えます。手動でのクエリ作成は一切不要です!
これを直接試してみたい場合は、TrueFoundryプラットフォームにアクセスし、Live DemosからCrewAI-Streamlit(エージェントワークフローのライブデモ)に移動してください。
アーキテクチャの概要
本プロジェクトは、連携して動作するいくつかの主要コンポーネントで構成されています。
Query Agent
- 自然言語理解のためにGPT-4oを使用
- ClickHouse用の適切なSQLクエリを生成
- 事前設定されたデータベースに対してSQLクエリを実行
- Visualization Agentへの入力としてテーブル形式でデータを返却
Visualization Agent: 以下の処理を行う2つ目のAIエージェント
- データに基づいて最も適切な可視化タイプを決定
- matplotlib/seabornを使用してプロットを生成
- 可視化のフォーマットとスタイリングを処理
FastAPI Backend: 以下の機能を提供するRESTful API
- CrewAIを使用してエージェント間の連携を調整
- 非同期ジョブ処理を管理
- プロット画像と結果を提供
Streamlit Frontend: 以下の機能を提供するユーザーインターフェース
- 直感的なクエリインターフェースを提供
- リアルタイムの処理ステータスを表示
- インタラクティブな可視化を表示

データフロー
ユーザーがStreamlitを通じて自然言語クエリを送信します。
- Query AgentがGPT-4oを搭載したCrewAIを使用してClickHouse用のSQLクエリを生成します
- ClickHouseデータベースに対してSQLクエリを実行します
- 結果はテーブル形式で返され、Visualization Agentへの入力となります
- Visualization Agentが可視化を生成し、表示用画像を返します
はじめに
リポジトリのクローン
まず、TrueFoundry Getting Started Examplesリポジトリに移動してクローンを作成します。
CrewAI Plot Agentディレクトリに移動します。
環境のセットアップ
仮想環境を作成して有効化します。
依存関係をインストールします。
環境変数の設定
.envファイルを作成します。
注: TrueFoundry LLM Gatewayを使用する場合、モデルIDの形式はprovider-name/model-name(例: openai-main/gpt-4o)にする必要があります。環境設定セクションに示されているように、.envファイルに正しいLLM Gateway資格情報が含まれていることを確認してください。

ClickHouseの資格情報を取得するには、clickhouseでアカウントを作成してサインインし、サービスを作成します。サービスをクリックすると、左側のサイドバー中央に接続ボタンが表示されます。これをクリックすると、以下に示す資格情報を確認できます。ファイルをアップロードしてデータベースを作成することも、事前定義されたデータベースを使用することもできます。

CrewAI Agentの実装
デコレータ @Crewbase, @agent, @task などは、後述するTrueFoundryでのトレーシング機能を有効にするためのものです。
サービスの実行
CrewAIワークフローの開始
FastAPIバックエンドの開始:
Streamlit UIの開始(新しいターミナル):

TrueFoundryへのデプロイ
事前準備
TrueFoundry CLIのインストール:
TrueFoundryへのログイン:
デプロイ手順
- TrueFoundryのDeploymentsセクションに移動します。

- 下部にあるServiceをクリックします。
- クラスターワークスペースを選択します。
- ローカルPC、GitHub、またはDockerからデプロイできます。ローカルPCからデプロイする場合は、上記の事前準備が完了していることを確認してください。
- TrueFoundryプラットフォームがdeploy.pyファイルを生成し、プロジェクトに追加します。環境変数を追加するためにこのファイルを編集する必要があります。生成されたファイル内のenvセクションを見つけ、資格情報を追加します。
- 生成された
deploy.pyを使用し、envセクションを編集します。
プレースホルダーを実際の資格情報と環境設定に置き換えます。
デプロイのテスト
テストクエリを送信します。
成功時のレスポンス例:
APIエンドポイント
- クエリの送信:
- クエリステータスの確認:
- プロット画像の取得:
フロントエンドとCORS
FastAPIでのCORS設定:
Streamlitでの環境変数の定義:
デプロイ後の注意事項
- StreamlitからFastAPIへのAPI接続性をテストします。
- Streamlitの
.envファイルをFastAPIエンドポイントで更新します。 - CORS設定がStreamlitからのリクエストを許可していることを確認します。
TrueFoundryを通じて以下を行い、デプロイを監視・管理します。
- ログの閲覧
- リソース使用状況の監視
- オートスケーリング規則の設定
- バックエンドのヘルスチェック(
/health)、APIドキュメント(/docs)、およびメトリクス(/metrics)の確認

エージェントへのトレースの追加
トレーシングを行うことで、エージェントの実行が呼び出されたときに内部で何が起きているかを理解できます。わずか数行のコードを追加するだけで、TrueFoundryのトレーシング機能を使用して、エージェントを実行した際のパス、ツール呼び出し、使用されたコンテキスト、所要レイテンシを把握できます。
以下をインストールする必要があります。
次に、トレーシングを有効にするために必要な環境変数を追加します。
エージェントを定義しているコードベースで、トレーシングを有効にするために以下の行を追加するだけです。
続いて、以下のようにエージェントとワークフローにデコレータを追加します。

これらの手順により、CrewAIエージェントワークフローがTrueFoundry上に正常にデプロイされました!
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






