Aviva Credito ist ein in Mexiko ansässiger Kreditgeber, der sich darauf konzentriert, den Zugang zu Krediten zu erweitern. Um Kunden zu erreichen, die traditionelle Banken und Online-Fintechs nur schwer bedienen können, betreibt Aviva kleine physische Kioske, die durch ein automatisiertes Onboarding-Erlebnis unterstützt werden, bei dem das Tablet an erster Stelle steht. So wird Vertrauen aufgebaut und gleichzeitig das Betrugsrisiko reduziert.
Als die KI-Initiativen von Aviva von Computer-Vision-Modellen bis hin zu produktionstauglichen Chatbots und Workflows zur Dokumentenverifizierung wuchsen, stand das Team vor zwei wiederkehrenden Herausforderungen: (1) Bereitstellung und Betrieb von LLM-Diensten, ohne dass fundierte Kubernetes-Kenntnisse erforderlich sind, und (2) Verwaltung mehrerer LLM-Anbieter mit konsistenter Beobachtbarkeit, Kostenkontrolle und Agilität.
Durch den Einsatz des Deployment- und AI-Gateways von TrueFoundry ermöglichte Aviva jedem ML/KI-Ingenieur die unabhängige Bereitstellung von Produktionsservices, Observability über Azure- und GCP-Modellanbieter hinweg und schuf eine skalierbare Grundlage für Sicherheits- und Agentenworkflows.
.webp)
Aviva hat es sich zur Aufgabe gemacht, unterversorgten Gemeinden in Mexiko den Zugang zu Krediten zu erleichtern. Das Modell von Aviva kombiniert physische Präsenz, kleine Kioske mit einem einzigen Mitarbeiter und sorgt gleichzeitig dafür, dass der gesamte Prozess mithilfe von Tablets automatisiert wird, um das Beste aus beiden Welten zu bieten: hohes Vertrauen und weniger Betrug bei gleichzeitiger Geschwindigkeit der Automatisierung.
Avivas erster wichtiger Wendepunkt ergab sich aus einer praktischen Notwendigkeit: der Einführung eines LLM-Modells zur Anerkennung der mexikanischen INE-Personalausweise. Das ML-Team konnte das Modell feintunen/bauen, aber um es zuverlässig zu versenden, war ein Einsatzpfad erforderlich, über den es noch nicht verfügte. Die ersten Versuche reichten von manuellen VM-basierten Bereitstellungen (langsam und fehleranfällig) bis hin zu verwalteten Diensten, die entweder keine GPU-Unterstützung hatten oder die nicht schnell bereitgestellt wurden.
Die Bereitstellungserfahrung von TrueFoundry änderte das: Klare Logs und Observability-Sidecars deckten die Ursache für einen ausgefallenen Container auf, sodass das Team das Image reparieren und in weniger als einer Stunde erfolgreich bereitstellen konnte.
.png)

.webp)
.png)
Durch die Zentralisierung des gesamten LLM-Datenverkehrs über das AI Gateway von TrueFoundry erhielt Aviva eine durchgängige Transparenz und Kontrolle über einen schnell skalierbaren Multi-Cloud-KI-Stack. Über einen Zeitraum von 90 Tagen verwaltete das Team fast eine halbe Million Produktionsanfragen und über 1,8 Milliarden Eingabe-Token — mit vorhersehbaren Kosten, messbarer Zuverlässigkeit und deutlich verbesserter Entwicklungsgeschwindigkeit. Das Gateway ermöglichte die schnelle Erkennung von Kosten- und Latenzanomalien, Routing und Failover auf Modellebene ohne Anwendungsänderungen sowie eine gemeinsame Abstraktion, die es Ingenieuren ermöglichte, LLM-gestützte Dienste unabhängig voneinander bereitzustellen, zu aktualisieren und zu betreiben.
.avif)
Mehr als 10 Fortune-500-Unternehmen vertrauen uns