Blank white background with no objects or features visible.

NOVA PESQUISA: 80% dos custos de IA são invisíveis na fatura. Mais de 200 líderes revelam para onde o dinheiro vai. Leia→

Estudo de Caso
API cloud computing concept with servers, database, laptop, desktop, and data storage.

Resumo

A Aviva Credito é uma credora sediada no México, focada em expandir o acesso ao crédito. Para alcançar clientes que bancos tradicionais e fintechs totalmente online têm dificuldade em atender, a Aviva opera pequenos quiosques físicos apoiados por uma experiência de integração automatizada e otimizada para tablets – construindo confiança e, ao mesmo tempo, reduzindo o risco de fraude.

À medida que as iniciativas de IA da Aviva cresciam de modelos de visão computacional para chatbots de nível de produção e fluxos de trabalho de verificação de documentos, a equipa enfrentava dois desafios recorrentes: (1) implantar e operar serviços LLM sem exigir profundo conhecimento em Kubernetes, e (2) gerenciar múltiplos provedores LLM com observabilidade consistente, controle de custos e agilidade.

Ao usar o Deployment e o AI Gateway da TrueFoundry, a Aviva capacitou cada engenheiro de ML/IA a entregar serviços de produção de forma independente, Observabilidade em provedores de modelos Azure e GCP, e criou uma base escalável para segurança e fluxos de trabalho agentivos.

AI technology icons connected to central AI block on circuit board with security and data symbols.
Green ring on white background, simple rounded square shape object.

Missão da Credito

A missão da Aviva é aumentar o acesso ao crédito para comunidades carentes no México. O modelo da Aviva combina uma presença física, pequenos quiosques com um único funcionário, mantendo todo o processo automatizado por meio de tablets para oferecer o melhor dos dois mundos: alta confiança e menor fraude, com a velocidade da automação.

De Conversas com Clientes à Verificação de Documentos

A equipe de IA da Aviva constrói e opera sistemas de produção em:
  • Chatbots: Múltiplos assistentes de produção apoiados por modelos auto-hospedados / públicos, evoluindo para orquestração baseada em esquadrões (e padrões padrão de agente para agente ao longo do tempo).
  • IA de Documentos: Análise OCR + LLM para documentos visuais, além de fluxos de validação para comprovante de endereço, comprovante de identificação, comprovante de contas bancárias e verificações de localização.
  • Inteligência de interação: Extraindo sinais estruturados de roteiros de entrevistas, mensagens de feedback e conversas de voz transcritas.

O primeiro grande ponto de inflexão da Aviva surgiu de uma necessidade prática: implantar um modelo LLM para reconhecer os cartões de identidade INE do México. A equipe de ML podia ajustar/construir o modelo, mas entregá-lo de forma confiável exigia um caminho operacional que eles ainda não possuíam. As primeiras tentativas variaram de implantações manuais baseadas em VM (lentas e propensas a erros) a serviços gerenciados que ou não tinham suporte a GPU ou falhavam em entregar rapidamente.


A experiência de implantação do TrueFoundry mudou isso: logs claros e sidecars de observabilidade revelaram a causa raiz por trás de um contêiner com falha, permitindo que a equipe corrigisse a imagem e implantasse com sucesso em menos de uma hora.

TrueFoundry Gateway architecture with TFY deployment, nodes, and model providers for observability and controls.

Plataformizando a IA para Velocidade, Confiabilidade e Governança

Assim que as primeiras implantações foram realizadas, a Aviva adotou uma mentalidade de plataforma: tornar cada serviço de IA repetível para implantação, fácil de monitorar e simples de transferir entre engenheiros. TrueFoundry tornou-se a camada operacional que removeu o atrito da infraestrutura enquanto aplicava as melhores práticas.

1. De Implantações Manuais à Produção Self-Service

  • Implantações self-service para engenheiros de IA/ML: os engenheiros podem implantar e atualizar serviços diretamente, sem depender de especialistas de plataforma.
  • Integração rápida: espera-se que novos engenheiros enviem uma atualização ou implementem um modelo na primeira semana, mantendo um ciclo de feedback rigoroso entre o código e o comportamento em produção.
  • Guardrails operacionais: avisos e recomendações da plataforma (por exemplo, resiliência de zona de disponibilidade e dimensionamento de recursos) orientam as equipes para as melhores práticas do Kubernetes.

2. O AI Gateway: Uma Interface para Múltiplos Provedores de Modelo

À medida que a Aviva adotava múltiplos modelos de base no Azure e Google Cloud (escolhendo modelos com base na qualidade em nível de tarefa), a complexidade operacional cresceu rapidamente: proliferação de segredos, integrações de SDK inconsistentes e observabilidade fragmentada. O AI Gateway da TrueFoundry forneceu um plano de controle unificado.
  • Independência de provedor: as aplicações chamam uma interface de gateway consistente enquanto a Aviva pode alternar provedores, modelos e versões sem reescrever o código de integração.
  • Observabilidade centralizada: um único local para monitorar volume de requisições, latência, modos de falha e custos em todos os ambientes.
  • Controle de custo e uso: picos de uso podem ser rastreados até o serviço de origem através dos logs do gateway, permitindo uma remediação rápida.
White empty space with no objects or features visible in the area provided.Empty white background with no visible objects or features present in the space.
TrueFoundry Gateway architecture diagram with chatbot, user, MCP servers, and logs object store integration.

3. Resiliência e Experiência do Desenvolvedor: Fallbacks + Servidores MCP

Duas realidades diárias moldaram a adoção do gateway pela Aviva: a variabilidade da latência entre os provedores e a ergonomia das ferramentas para desenvolvedores.
  • Fallbacks sensíveis à latência: quando a latência p99 aumentou em um provedor primário, a Aviva introduziu um modelo de fallback automático para manter as experiências voltadas para o cliente estáveis.
  • Conexões MCP persistentes: ao hospedar o servidor MCP da Atlassian na TrueFoundry, a Aviva evitou reconexões repetidas no Cursor e tornou as ferramentas de conhecimento mais fáceis de usar no dia a dia.
  • Roteiro proativo: A Aviva planeja expandir as salvaguardas e os controles de segurança à medida que os fluxos de trabalho agentivos se tornarem mais centrais.

Impacto

Ao centralizar todo o tráfego de LLM através do AI Gateway da TrueFoundry, a Aviva obteve visibilidade e controle de ponta a ponta em uma pilha de IA multi-nuvem em rápida expansão. Durante um período de 90 dias, a equipe gerenciou quase meio milhão de requisições em produção e mais de 1,8 bilhão de tokens de entrada com custo previsível, confiabilidade mensurável e velocidade de engenharia significativamente aprimorada. O Gateway permitiu a detecção rápida de anomalias de custo e latência, roteamento e failover em nível de modelo sem alterações na aplicação, e uma abstração compartilhada que permitiu aos engenheiros implantar, atualizar e operar serviços baseados em LLM de forma independente.

Principais Resultados em 90 dias

  • Mais de 10 milhões de requisições de LLM em produção roteadas através de um único plano de controle
  • Mais de 5 bilhões de tokens de entrada, mais de 210 milhões de tokens de saída rastreados centralmente no Azure e GCP
  • Taxa de falha efetiva inferior a 1%, com detalhamento granular por tipo de erro e provedor
  • Problemas de latência P99 detectados e mitigados em minutos através de fallback de modelo automatizado
  • Mais de 7 serviços em produção atualizados em menos de 20 minutos, sem dependências de infraestrutura
  • Integração mais rápida: engenheiros usam LLMs imediatamente através de uma abstração de gateway compartilhada

Depoimentos de Clientes

O AI Gateway da TrueFoundry nos deu um único lugar para gerenciar como usamos LLMs no Azure e GCP. Podemos detectar problemas de custo e latência rapidamente, rastreá-los até serviços específicos e trocar de modelos sem tocar no código da aplicação.

Matt, Aviva

É uma abstração poderosa. Economiza tempo para todos e reduz significativamente a barreira de conhecimento para começar a usar LLMs em produção

Enrique, Aviva
Purple and gray gradient background with curved lines on either side.

Infra de GenAI - simples, mais rápida, mais barata

Confiado por mais de 10 empresas da Fortune 500