TrueFoundry への Agno Agent のデプロイ
.webp)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
このガイドでは、最小限の DevOps や MLOps の専門知識で AI デプロイをシンプルにするために設計されたプラットフォームである TrueFoundry に Agno agent をデプロイする方法を説明します。TrueFoundry はインフラストラクチャ管理、スケーリング、モニタリングを自動化するため、デプロイの複雑さに対応するのではなく、インサイトの抽出に集中できます。わずか数クリックで、自然言語のリクエストを SQL クエリや動的なチャートに変換し、データ探索をシームレスかつインテリジェントに行うことができます。手動でのクエリ作成は不要です!
これを直接試してみたい方は、TrueFoundry プラットフォームにアクセスし、Live Demos から agno-Streamlit(agent ワークフローのライブデモ)に移動してください。
アーキテクチャの概要
このプロジェクトは、連携して動作するいくつかの主要コンポーネントで構成されています。
Query Agent
- 自然言語理解に GPT-4o を使用
- ClickHouse 用の適切な SQL クエリを生成
- 事前設定された SQL database に対して SQL クエリを実行
- visualization agent への入力としてデータを表形式で返却
Visualization Agent: 以下の処理を行う2つ目の AI agent
- データを基に最も適切な可視化タイプを決定
- matplotlib/seaborn を使用してプロットを生成
- 可視化のフォーマットとスタイリングを処理
FastAPI Backend: 以下の機能を持つ RESTful API
- agno を使用して agent 間の連携を制御
- 非同期ジョブ処理を管理
- プロット画像と結果を提供
Streamlit Frontend: 以下の機能を持つユーザーインターフェース
- 直感的なクエリインターフェースを提供
- リアルタイムの処理ステータスを表示
- インタラクティブな可視化を表示

データフロー
ユーザーが Streamlit を通じて自然言語のクエリを送信します。
- Query Agent が GPT-4o 搭載の agno を使用して ClickHouse 用の SQL クエリを生成
- ClickHouse データベースに対して SQL クエリを実行
- 結果が表形式で返され、Visualization Agent への入力となる
- Visualization Agent が可視化を生成し、表示用の画像を返却
はじめに
リポジトリのクローン
まず、TrueFoundry Getting Started Examples リポジトリに移動し、クローンを作成します。
agno Plot Agent ディレクトリへの移動:
環境のセットアップ
仮想環境を作成して有効化します。
依存関係のインストール:
環境変数の設定
.env ファイルを作成します。
注: TrueFoundry LLM Gateway を使用する場合、モデル ID のフォーマットは provider-name/model-name(例: openai-main/gpt-4o)にする必要があります。.env ファイルに、環境設定セクションに示されている正しい LLM Gateway 認証情報が含まれていることを確認してください。

ClickHouse の認証情報を取得するには、clickhouse でアカウントを作成してサインインし、サービスを作成します。サービスをクリックすると、左サイドバーの中央に「Connect」ボタンが表示され、クリックすると以下に示す認証情報を確認できます。ファイルをアップロードしてデータベースを作成することも、事前定義されたデータベースを使用することもできます。

Agno Agent の実装
サービスの実行
agno ワークフローの開始
FastAPI バックエンドの開始:
Streamlit UI の開始(新しいターミナル):

TrueFoundry へのデプロイ
前提条件
TrueFoundry CLI のインストール:
TrueFoundry へのログイン:
デプロイ手順
- TrueFoundry の Deployments セクションに移動します。

- 下部にある Service をクリックします。
- クラスタのワークスペースを選択します。
- ノート PC、GitHub、または Docker からデプロイできます。ノート PC からデプロイする場合は、上記の前提条件を完了していることを確認してください。
- TrueFoundry プラットフォームは deploy.py ファイルを生成し、プロジェクトに追加します。このファイルを編集して環境変数を追加する必要があります。生成されたファイル内の env セクションを見つけ、認証情報を追加します。
- 生成された
deploy.pyを使用し、envセクションを編集します。
デプロイのテスト
テストクエリの送信:
成功レスポンスの例:
API エンドポイント
- クエリの送信:
- クエリステータスの確認:
- プロット画像の取得:
フロントエンドと CORS
FastAPI での CORS の設定:
Streamlit での環境変数の定義:
デプロイ後の注意事項
- Streamlit から FastAPI への API 接続性をテストします。
- Streamlit の
.envファイルを FastAPI エンドポイントで更新します。 - CORS 設定が Streamlit からのリクエストを許可していることを確認します。
TrueFoundry を通じたデプロイメントの監視と管理:
- ログの表示
- リソース使用状況のモニタリング
- オートスケーリング規則の設定
- バックエンドのヘルスチェック(
/health)、API ドキュメント(/docs)、および/metricsでのメトリクスの確認

Agent へのトレースの追加
トレース機能を使用すると、agent の実行が呼び出されたときに内部で何が起こっているかを理解できます。TrueFoundry のトレース機能を使用すれば、わずか数行のコードを追加するだけで、agent 実行時のパス、呼び出されたツール、使用されたコンテキスト、レイテンシーを把握できます。
以下をインストールする必要があります
次に、トレースを有効にするための必要な環境変数を追加します
agent を定義しているコードベース内で、トレースを有効にするには以下の行を追加するだけです
その後、以下のように agent やワークフローにデコレータを追加します

以上の手順により、agno agent ワークフローが TrueFoundry 上に正常にデプロイされました!
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






