Aviva Creditoは、メキシコを拠点とする貸金業者で、信用供与の拡大に注力しています。従来の銀行や完全オンラインのフィンテック企業がサービスを提供しにくい顧客にリーチするため、Avivaは自動化されたタブレット優先のオンボーディング体験に支えられた小型の物理キオスクを運営しています。これにより、信頼を築きながら不正リスクを低減しています。
アビバのAIイニシアチブが、コンピュータービジョンモデルから本番環境レベルのチャットボットや文書検証ワークフローへと拡大するにつれて、チームは2つの課題に直面しました。(1) Kubernetesに関する深い専門知識を必要とせずにLLMサービスを展開・運用すること、そして(2) 複数のLLMプロバイダーを、一貫した可観測性、コスト管理、俊敏性をもって管理すること
TrueFoundryのDeploymentとAI Gatewayを利用することで、アビバはすべてのML/AIエンジニアが本番サービスを独立して提供できるようにし、AzureおよびGCPのモデルプロバイダー全体で可観測性を確保し、安全性とエージェントワークフローのためのスケーラブルな基盤を構築しました。
.webp)
アビバの使命は、メキシコの十分なサービスを受けられていないコミュニティへの信用供与を拡大することです。アビバのモデルは、物理的な拠点(従業員1名の小型キオスク)と、タブレットによるプロセス全体の自動化を組み合わせることで、高い信頼性と不正行為の低減、そして自動化のスピードという両方の利点を提供します。
Avivaの最初の大きな転換点は、メキシコのINE身分証明書を認識するためのLLMモデルをデプロイするという実用的なニーズから生まれました。MLチームはモデルをファインチューニング/構築できましたが、それを確実に提供するには、まだ持っていなかった運用パスが必要でした。初期のアプローチは、手動のVMベースのデプロイ(遅く、エラーが発生しやすい)から、GPUサポートが不足しているか、迅速に提供できないマネージドサービスまで多岐にわたりました。
TrueFoundryのデプロイエクスペリエンスがそれを変えました。明確なログと可観測性サイドカーが、失敗したコンテナの根本原因を明らかにし、チームがイメージを修正して1時間以内にデプロイを成功させることを可能にしました。
.png)

.webp)
.png)
TrueFoundryのAIゲートウェイを通じてすべてのLLMトラフィックを一元化することで、Avivaは急速に拡張するマルチクラウドAIスタック全体でエンドツーエンドの可視性と制御を獲得しました。90日間で、チームは50万件近くの本番リクエストと18億以上の入力トークンを、予測可能なコスト、測定可能な信頼性、そして大幅に向上したエンジニアリング速度で管理しました。このゲートウェイは、コストとレイテンシーの異常の迅速な検出、アプリケーションの変更なしでのモデルレベルのルーティングとフェイルオーバー、そしてエンジニアがLLMを活用したサービスを独立してデプロイ、アップグレード、運用できる共有抽象化を可能にしました。
.avif)