Blank white background with no objects or features visible.

TrueFoundryはSeldon AIの買収を発表し、エンタープライズAI向けコントロールプレーンを拡張します。プレスリリース全文はこちら→

仕組み
拡張性
マルチモデルエージェントと
TrueFoundry

Adopt AIは、最新システムとレガシーシステムの両方でエンタープライズグレードのエージェントAIを構築します。1,500万件以上のリクエストと400億以上の入力トークンを集中管理しています。

この成功についてさらに詳しく

専門家にご相談ください
arrow1
Colorful logo with stylized letters a, p, d, and o in blue, yellow, pink, and red.
このマルチモデル戦略はパフォーマンスと品質にとって不可欠でしたが、アクセス、可観測性、コスト追跡、信頼性管理において断片化をもたらしました。TrueFoundryのAI Gatewayを導入することで、Adopt AIはすべてのLLMトラフィックに対して単一の一元化されたコントロールプレーンを確立しました。このGatewayは現在、アプリケーションレベルの変更を必要とせずに、数十万件の本番環境リクエストにわたって、統合されたモデルアクセス、リアルタイム監視、遅延を考慮したルーティング、コスト可視化を可能にしています。
概要
Adopt logo with interconnected colorful circles and text on white background symbolizing unity and adoption.
Adopt AIは、企業がAPI、ビジネスプロセス、企業コンテンツを最新システムとレガシーシステムの両方で統合するエージェントワークフローを構築・展開することを可能にします。そのゼロショット取り込みとエージェントインフラストラクチャにより、チームは既存のアーキテクチャを中断することなくアプリケーションを最新化し、安全で本番環境レベルのエージェントエクスペリエンスを大規模に提供できます。
顧客がますます複雑なエージェントワークフローを導入するにつれて、Adopt AIのプラットフォームは、複数のチームや環境にわたる大量かつ低遅延が求められるAIインタラクションを処理するようになりました。

一元管理による複数モデル対応エージェントAI基盤の構築

Adopt AIのエージェントプラットフォームが成熟するにつれて、いくつかの課題が浮上しました。

マルチモデルの複雑性

Adopt AIのエージェントプラットフォームが成熟するにつれて、同社は複数のLLMプロバイダーを横断して運用するという意図的な決定を下しました。異なるワークフローでは、品質、レイテンシー、可用性、コストにおいて異なるトレードオフが必要であり、単一のモデルではすべてのユースケースに効果的に対応できませんでした。
詳細を見る

統合されたトレーシングと意思決定を可能にする

一元化されたAIアクセスレイヤーがないため、可観測性はプロバイダー固有のダッシュボードに分散していました。リアルタイムで重要な質問に答えることは困難でした。
  • どのモデルが誰によって使われていますか?
  • システムにはどれくらいの数のリクエストが流れていますか?
詳細を見る

コストと信頼性のリスク

トークン使用量の急増、P99レイテンシーの上昇、プロバイダー側の問題は、エージェントの応答性に直接影響を与える可能性がありましたが、これらの問題をプロバイダー間で診断し修正することは、時間がかかり手作業でした。
詳細を見る

マルチモデルの複雑性

Adopt AIのエージェントプラットフォームが成熟するにつれて、同社は複数のLLMプロバイダーを横断して運用するという意図的な決定を下しました。異なるワークフローでは、品質、レイテンシー、可用性、コストにおいて異なるトレードオフが必要であり、単一のモデルではすべてのユースケースに効果的に対応できませんでした。
詳細を見る

統合されたトレーシングと意思決定を可能にする

一元化されたAIアクセスレイヤーがないため、可観測性はプロバイダー固有のダッシュボードに分散していました。リアルタイムで重要な質問に答えることは困難でした。
  • どのモデルが誰によって使われていますか?
  • システムにはどれくらいの数のリクエストが流れていますか?
詳細を見る

コストと信頼性のリスク

トークン使用量の急増、P99レイテンシーの上昇、プロバイダー側の問題は、エージェントの応答性に直接影響を与える可能性がありますが、複数のプロバイダーにわたるこれらの問題の診断と修正は、時間がかかり手作業でした。
詳細はこちら
「私たちにとって、TrueFoundry AI Gatewayは完全な抽象化を意味します。私たちのアプリケーションは、モデルプロバイダーと直接やり取りすることはありません。コードを変更することなく、モデルの切り替え、スロットリングの管理、動作のトレースを一元的に行うことができます。この分離は、顧客全体にわたるエージェントワークフローを拡張する上で非常に重要です。」
 — Rahul Bhattacharya, Adopt AI 共同創設者兼CTO

ソリューション:TrueFoundry AI Gatewayを中央制御プレーンとして

Adopt AIは、TrueFoundryのAIゲートウェイを介してすべてのLLMインタラクションを標準化し、これをアプリケーションとモデルプロバイダー間の厳格な抽象化レイヤーとして扱っています。アプリケーションは個々のLLMベンダーと直接やり取りすることはなくなり、代わりに、すべてのリクエストは、ルーティング、トレース、プロバイダー選択を一元的に実施する単一のゲートウェイを経由します。

プロバイダー横断的な統合アクセス

ゲートウェイは、OpenAI、Anthropic、Google Vertex、AWS Bedrock、Groqのモデルに対して一貫したインターフェースを提供します。チームは、アプリケーションコードに手を加えることなく、新しいモデルを導入したり、既存のモデルを廃止したりすることができます。
詳細はこちら

一元化された可観測性

すべてのリクエストはゲートウェイを経由し、以下のリアルタイムな可視化を可能にします。
  • 総リクエスト数:過去90日間で1,500万以上
  • トークン使用量:入力トークン約400億、出力トークン約22億
  • レイテンシー指標:P50、P90、P99を含む
詳細はこちら

コストと信頼性のリスク

トークン使用量の急増、P99レイテンシーの上昇、プロバイダー側の問題は、エージェントの応答性に直接影響を与える可能性がありますが、複数のプロバイダーにわたるこれらの問題の診断と修正は、時間がかかり手作業でした。
詳細はこちら

マルチモデルの複雑さ

Adopt AIのエージェントプラットフォームが成熟するにつれて、同社は複数のLLMプロバイダーにわたって運用するという意図的な決定を下しました。さまざまなワークフローでは、品質、レイテンシー、可用性、コストにおいて異なるトレードオフが必要とされ、単一のモデルではすべてのユースケースに効果的に対応できませんでした。
詳細を見る

統合されたトレーシングと意思決定の実現

一元化されたAIアクセス層がないと、可観測性はプロバイダー固有のダッシュボードに分散していました。リアルタイムで重要な質問に答えることは困難でした。
  • どのモデルが誰によって使用されていますか?
  • システムにはどれくらいの数のリクエストが流れていますか?
詳細を見る

コストと信頼性のリスク

トークン使用量の急増、P99レイテンシーの上昇、プロバイダー側の問題は、エージェントの応答性に直接影響を与える可能性がありましたが、これらの問題をプロバイダー間で診断し修正することは、時間と手間がかかる手作業でした。
詳細を見る
Blue outlined rectangles with OpenAI, ANTHROPIC, Vertex AI, AWS Bedrock, and  logos listed.

エージェントAIにおける重要性

エージェントシステムは、モデルとのインタラクションを制御するインフラストラクチャの信頼性に依存します。Adopt AIにとって、AIゲートウェイは以下のことを可能にする基盤となりました。

  • 混乱のないマルチモデルの柔軟性
  • 死角のない大量のエージェントトラフィック
  • イノベーションを阻害しないコストとレイテンシーの最適化

Adopt AIは、LLMとのインタラクションをゲートウェイ層で一元化することで、制御を犠牲にすることなく柔軟性を維持しました。このプラットフォームは現在、モデル間での迅速な実験、負荷がかかった状態での予測可能な運用動作、そしてエージェントワークフローをスケールさせる明確な道筋をサポートしており、そのすべてをアプリケーションコードから複雑さを排除しながら実現しています。

Grey wavy lines on white background, abstract wave pattern with multiple curved lines intersecting smoothly.

GenAIインフラ - シンプル、高速、低コスト

Fortune 500企業10社以上が信頼