Blank white background with no objects or features visible.

EMEA, hallo! TrueFoundry breidt zijn aanwezigheid uit in Europa, het Midden-Oosten en Afrika. Lees meer. →

Case study
API cloud computing concept with servers, database, laptop, desktop, and data storage.

Samenvatting

Aviva Credito is een in Mexico gevestigde kredietverstrekker die zich richt op het vergroten van de toegang tot krediet. Om klanten te bereiken die voor traditionele banken en volledig online fintechs moeilijk te bedienen zijn, exploiteert Aviva kleine fysieke kiosken die worden ondersteund door een geautomatiseerde, tablet-gebaseerde onboarding-ervaring – wat vertrouwen opbouwt en tegelijkertijd het frauderisico verkleint.

Naarmate de AI-initiatieven van Aviva groeiden van computervisiemodellen naar productieklare chatbots en documentverificatie-workflows, werd het team geconfronteerd met twee terugkerende uitdagingen: (1) het implementeren en beheren van LLM-services zonder diepgaande Kubernetes-expertise, en (2) het beheren van meerdere LLM-providers met consistente observability, kostenbeheersing en wendbaarheid.

Door gebruik te maken van TrueFoundry’s Deployment en AI Gateway, stelde Aviva elke ML/AI-engineer in staat om zelfstandig productieservices uit te rollen, observability over Azure- en GCP-modelproviders heen te realiseren en een schaalbare basis te leggen voor veiligheid en agent-gebaseerde workflows.

AI technology icons connected to central AI block on circuit board with security and data symbols.
Green ring on white background, simple rounded square shape object.

De missie van Credito

De missie van Aviva is om de toegang tot krediet voor achtergestelde gemeenschappen in Mexico te vergroten. Het model van Aviva combineert een fysieke aanwezigheid – kleine kiosken met één medewerker – met een volledig geautomatiseerd proces via tablets. Zo bieden ze het beste van twee werelden: veel vertrouwen en minder fraude, gecombineerd met de snelheid van automatisering.

Van klantgesprekken tot documentverificatie

Het AI-team van Aviva bouwt en beheert productiesystemen voor:
  • Chatbots: Meerdere productie-assistenten ondersteund door zelf-gehoste/publieke modellen, die evolueren naar team-gebaseerde orkestratie (en na verloop van tijd standaard agent-naar-agent patronen).
  • Document AI: OCR + LLM-parsing voor visuele documenten, plus validatiestromen voor adresbewijzen, identiteitsbewijzen, bankafschriften en locatiecontroles.
  • Interactie-intelligentie: Het extraheren van gestructureerde signalen uit interviewscripts, feedbackberichten en getranscribeerde spraakgesprekken.

Het eerste grote kantelpunt voor Aviva kwam voort uit een praktische behoefte: het implementeren van een LLM-model om de Mexicaanse INE-identiteitskaarten te herkennen. Het ML-team kon het model finetunen en bouwen, maar het betrouwbaar in productie brengen vereiste een operationeel pad dat ze nog niet hadden. Vroege pogingen varieerden van handmatige VM-gebaseerde implementaties (traag en foutgevoelig) tot beheerde services die ofwel geen GPU-ondersteuning boden of niet snel genoeg resultaat leverden.

De implementatie-ervaring van TrueFoundry veranderde dat: duidelijke logs en observability-sidecars brachten de hoofdoorzaak van een falende container aan het licht, waardoor het team de image kon corrigeren en binnen een uur succesvol kon implementeren.

TrueFoundry Gateway architecture with TFY deployment, nodes, and model providers for observability and controls.

AI operationaliseren voor snelheid, betrouwbaarheid en governance

Zodra de eerste implementaties een feit waren, nam Aviva een platform-mindset aan: maak elke AI-service herhaalbaar om te implementeren, eenvoudig te monitoren en makkelijk overdraagbaar tussen engineers. TrueFoundry werd de operationele laag die infrastructuurfrictie wegnam en tegelijkertijd best practices afdwong.

1. Van handmatige implementaties naar self-service productie

  • Self-service implementaties voor AI/ML-engineers: engineers kunnen services direct implementeren en bijwerken, zonder afhankelijk te zijn van platformspecialisten.
  • Snelle onboarding: van nieuwe engineers wordt verwacht dat ze binnen hun eerste week een update doorvoeren of een model implementeren, waardoor een korte feedbacklus tussen code en productiegedrag behouden blijft.
  • Operationele vangrails: platformwaarschuwingen en aanbevelingen (zoals veerkracht van beschikbaarheidszones en resource-sizing) sturen teams aan om Kubernetes-best practices te volgen.

2. De AI Gateway: Eén interface voor alle modelproviders

Toen Aviva meerdere basismodellen via Azure en Google Cloud ging inzetten (waarbij modellen werden gekozen op basis van de kwaliteit per taak), nam de operationele complexiteit snel toe: een wildgroei aan geheimen, inconsistente SDK-integraties en gefragmenteerde observability. TrueFoundry’s AI Gateway bood een uniform controlepaneel.
  • Onafhankelijkheid van providers: applicaties maken gebruik van een consistente gateway-interface, waardoor Aviva kan wisselen tussen providers, modellen en versies zonder de integratiecode te hoeven herschrijven.
  • Gecentraliseerde observability: één centrale plek voor het monitoren van het aantal verzoeken, latentie, foutmodi en kosten in verschillende omgevingen.
  • Kosten- en gebruiksbeheer: gebruikspieken kunnen via gateway-logs worden herleid naar de bron-service, wat snelle actie mogelijk maakt.
White empty space with no objects or features visible in the area provided.Empty white background with no visible objects or features present in the space.
TrueFoundry Gateway architecture diagram with chatbot, user, MCP servers, and logs object store integration.

3. Veerkracht en ontwikkelaarservaring: Fallbacks + MCP-servers

Twee dagelijkse realiteiten vormden de adoptie van de gateway door Aviva: latentievariabiliteit tussen providers en de ergonomie van tools voor ontwikkelaars.
  • Latentie-bewuste fallbacks: toen de P99-latentie bij een primaire provider steeg, introduceerde Aviva een automatisch fallback-model om de klantervaring stabiel te houden.
  • Persistente MCP-verbindingen: door de Atlassian MCP-server op TrueFoundry te hosten, voorkwam Aviva herhaaldelijke herverbindingen in Cursor en werden kennistools dagelijks makkelijker in gebruik.
  • Proactieve roadmap: Aviva is van plan om guardrails en veiligheidscontroles uit te breiden naarmate agent-gebaseerde workflows belangrijker worden.

Impact

Door al het LLM-verkeer te centraliseren via de AI Gateway van TrueFoundry, kreeg Aviva end-to-end inzicht en controle over een snel schalende, multi-cloud AI-stack. In een periode van 90 dagen beheerde het team bijna een half miljoen productieverzoeken en meer dan 1,8 miljard input-tokens met voorspelbare kosten, meetbare betrouwbaarheid en een aanzienlijk hogere engineering-snelheid. De Gateway maakte snelle detectie van kosten- en latentie-anomalieën mogelijk, evenals routing en failover op modelniveau zonder applicatiewijzigingen, en bood een gedeelde abstractie waarmee engineers zelfstandig LLM-services konden implementeren, upgraden en beheren.

Belangrijkste resultaten in 90 dagen

  • 10 miljoen+ productie-LLM-verzoeken gerouteerd via één control plane.
  • 5 miljard+ input-tokens, 210 miljoen+ output-tokens centraal bijgehouden over Azure en GCP.
  • <1% effectief foutpercentage, met gedetailleerde uitsplitsing per fouttype en provider.
  • P99-latentieproblemen binnen enkele minuten gedetecteerd en verholpen via geautomatiseerde model-fallback.
  • 7+ productieservices geüpgraded in <20 minuten, zonder infrastructuurafhankelijkheden.
  • Snellere onboarding: engineers kunnen direct aan de slag met LLM's via een gedeelde gateway-abstractie.

Klantcitaten

De AI Gateway van TrueFoundry gaf ons één centrale plek om ons LLM-gebruik over Azure en GCP te beheren. We kunnen problemen met kosten en latentie snel detecteren, herleiden naar specifieke services en van model wisselen zonder de applicatiecode aan te passen.

Matt, Aviva

Het is een krachtige abstractie. Het bespaart iedereen tijd en verlaagt de drempel voor het in productie nemen van LLM's aanzienlijk.

Enrique, Aviva
Purple and gray gradient background with curved lines on either side.

GenAI-infrastructuur: eenvoudiger, sneller, goedkoper

Vertrouwd door 10+ Fortune 500-bedrijven

Probeer het nu
Blank white background with no visible objects or text present.
Spreek met experts
Blank white background with no visible objects or text present.