Blank white background with no objects or features visible.

TrueFoundryはSeldon AIの買収を発表し、エンタープライズAI向けコントロールプレーンを拡張します。プレスリリース全文はこちら→

事例紹介
API cloud computing concept with servers, database, laptop, desktop, and data storage.

概要

Aviva Creditoは、メキシコを拠点とする貸金業者で、信用供与の拡大に注力しています。従来の銀行や完全オンラインのフィンテック企業がサービスを提供しにくい顧客にリーチするため、Avivaは自動化されたタブレット優先のオンボーディング体験に支えられた小型の物理キオスクを運営しています。これにより、信頼を築きながら不正リスクを低減しています。

アビバのAIイニシアチブが、コンピュータービジョンモデルから本番環境レベルのチャットボットや文書検証ワークフローへと拡大するにつれて、チームは2つの課題に直面しました。(1) Kubernetesに関する深い専門知識を必要とせずにLLMサービスを展開・運用すること、そして(2) 複数のLLMプロバイダーを、一貫した可観測性、コスト管理、俊敏性をもって管理すること

TrueFoundryのDeploymentとAI Gatewayを利用することで、アビバはすべてのML/AIエンジニアが本番サービスを独立して提供できるようにし、AzureおよびGCPのモデルプロバイダー全体で可観測性を確保し、安全性とエージェントワークフローのためのスケーラブルな基盤を構築しました。

AI technology icons connected to central AI block on circuit board with security and data symbols.
Green ring on white background, simple rounded square shape object.

クレディトのミッション

アビバの使命は、メキシコの十分なサービスを受けられていないコミュニティへの信用供与を拡大することです。アビバのモデルは、物理的な拠点(従業員1名の小型キオスク)と、タブレットによるプロセス全体の自動化を組み合わせることで、高い信頼性と不正行為の低減、そして自動化のスピードという両方の利点を提供します。

顧客との会話からドキュメント検証まで

AvivaのAIチームは、以下の分野で本番システムを構築・運用しています。
  • チャットボット: セルフホスト型/パブリックモデルに支えられた複数の本番アシスタント。スクワッドベースのオーケストレーション(そして将来的には標準的なエージェント間パターン)へと進化しています。
  • ドキュメントAI: 視覚的なドキュメントに対するOCR + LLM解析に加え、住所証明、身分証明、銀行口座証明、位置情報確認のための検証フロー。
  • インタラクションインテリジェンス: インタビューのスクリプト、フィードバックメッセージ、文字起こしされた音声会話から構造化されたシグナルを抽出します。

Avivaの最初の大きな転換点は、メキシコのINE身分証明書を認識するためのLLMモデルをデプロイするという実用的なニーズから生まれました。MLチームはモデルをファインチューニング/構築できましたが、それを確実に提供するには、まだ持っていなかった運用パスが必要でした。初期のアプローチは、手動のVMベースのデプロイ(遅く、エラーが発生しやすい)から、GPUサポートが不足しているか、迅速に提供できないマネージドサービスまで多岐にわたりました。

TrueFoundryのデプロイエクスペリエンスがそれを変えました。明確なログと可観測性サイドカーが、失敗したコンテナの根本原因を明らかにし、チームがイメージを修正して1時間以内にデプロイを成功させることを可能にしました。

TrueFoundry Gateway architecture with TFY deployment, nodes, and model providers for observability and controls.

スピード、信頼性、ガバナンスのためのAIプラットフォーム化

最初のデプロイが完了すると、Avivaはプラットフォーム思考を採用しました。それは、すべてのAIサービスをデプロイ可能で、監視しやすく、エンジニア間で引き継ぎやすいものにすることでした。TrueFoundryは、ベストプラクティスを強制しながらインフラの摩擦を取り除く運用レイヤーとなりました。

1. 手動デプロイからセルフサービス本番環境へ

  • エンジニアはプラットフォームスペシャリストに頼ることなく、サービスを直接デプロイおよび更新できます。
  • 新しいエンジニアは、最初の1週間以内にアップデートをプッシュするかモデルをデプロイすることが期待され、コードと本番環境の動作との間の密なフィードバックループを維持します。
  • プラットフォームの警告と推奨事項(例:アベイラビリティゾーンの堅牢性とリソースサイジング)が、チームをKubernetesのベストプラクティスへと導きます。

2. AIゲートウェイ:モデルプロバイダーを横断する単一インターフェース

AvivaがAzureとGoogle Cloudで複数の基盤モデル(タスクレベルの品質に基づいてモデルを選択)を採用するにつれて、シークレットの散乱、一貫性のないSDK統合、断片化された可観測性など、運用上の複雑さが急速に増大しました。TrueFoundryのAIゲートウェイは、統合されたコントロールプレーンを提供しました。
  • プロバイダーからの独立性: アプリケーションは一貫したゲートウェイインターフェースを呼び出し、Avivaは統合コードを書き直すことなくプロバイダー、モデル、バージョンを切り替えることができます。
  • 一元化された可観測性: 環境全体でのリクエスト量、レイテンシー、障害モード、コストを監視するための一元的な場所。
  • コストと使用量の管理: 使用量の急増は、ゲートウェイログを通じて元のサービスに遡って特定でき、迅速な是正措置を可能にします。
White empty space with no objects or features visible in the area provided.Empty white background with no visible objects or features present in the space.
TrueFoundry Gateway architecture diagram with chatbot, user, MCP servers, and logs object store integration.

3. 堅牢性と開発者エクスペリエンス:フォールバック + MCPサーバー

Avivaがゲートウェイを導入するに至った背景には、プロバイダー間のレイテンシーのばらつきと、開発者にとってのツール利用のしやすさという2つの日常的な現実がありました。
  • レイテンシーを考慮したフォールバック: プライマリプロバイダーでp99レイテンシーが増加した際、Avivaは顧客向けエクスペリエンスを安定させるため、自動フォールバックモデルを導入しました。
  • 永続的なMCP接続: TrueFoundryでAtlassian MCPサーバーをホストすることで、AvivaはCursorでの繰り返しの再接続を回避し、日常的にナレッジツールをより使いやすくしました。
  • プロアクティブなロードマップ: エージェントワークフローがより中心的になるにつれて、Avivaはガードレールと安全制御を拡大する計画です。

影響

TrueFoundryのAIゲートウェイを通じてすべてのLLMトラフィックを一元化することで、Avivaは急速に拡張するマルチクラウドAIスタック全体でエンドツーエンドの可視性と制御を獲得しました。90日間で、チームは50万件近くの本番リクエストと18億以上の入力トークンを、予測可能なコスト、測定可能な信頼性、そして大幅に向上したエンジニアリング速度で管理しました。このゲートウェイは、コストとレイテンシーの異常の迅速な検出、アプリケーションの変更なしでのモデルレベルのルーティングとフェイルオーバー、そしてエンジニアがLLMを活用したサービスを独立してデプロイ、アップグレード、運用できる共有抽象化を可能にしました。

90日間での主な成果

  • 1,000万以上の本番LLMリクエストを単一のコントロールプレーンを介してルーティング
  • 50億以上の入力トークン、2億1千万以上の出力トークンをAzureとGCP全体で一元的に追跡
  • 実質的な障害率1%未満、エラータイプとプロバイダーごとの詳細な内訳付き
  • P99レイテンシーの問題を自動モデルフォールバックにより数分で検出・軽減
  • 7つ以上の本番サービスを20分未満でアップグレード、インフラ依存なし
  • オンボーディングの迅速化:エンジニアは共有ゲートウェイ抽象化を介してLLMをすぐに利用可能

お客様の声

TrueFoundryのAIゲートウェイは、AzureとGCP全体でLLMをどのように使用するかを一元的に管理できる場所を提供してくれました。コストやレイテンシーの問題を迅速に検出し、特定のサービスにまで追跡し、アプリケーションコードに手を加えることなくモデルを切り替えることができます。

マット、アビバ

これは強力な抽象化です。誰もが時間を節約でき、LLMを本番環境で使い始めるための知識の障壁を大幅に低減します。

エンリケ、アビバ
Purple and gray gradient background with curved lines on either side.

生成AIインフラ - シンプル、高速、低コスト

フォーチュン500企業10社以上が信頼