A Visão da TrueFoundry

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Visão Geral: Uma plataforma de desenvolvedor que facilita a criação e o gerenciamento de serviços seguindo todas as melhores práticas e oferece uma visão geral completa da infraestrutura, incluindo monitoramento de sistemas, dados, custos e impacto, com foco inicial em Machine Learning!
Visão para a TrueFoundry (5 a 10 anos)
A TrueFoundry em sua essência visa tornar a experiência do desenvolvedor fluida para executar e gerenciar MicroServices — onde, com o nível correto de abstrações, os desenvolvedores podem focar apenas em escrever a lógica de negócios com velocidades de iteração muito altas.
Imagine um fluxo em que, após escrever o código, eu possa chamar um gênio e relatar meus requisitos, como o tipo de serviço (Serverless, CronJob, banco de dados, um serviço de API), requisitos de recursos como CPU, memória, etc., e o gênio crie o serviço com as melhores práticas, como Gitops, Infrastructure as Code (IAC), e depois mostre um painel com todas as métricas criadas.
Queremos ser capazes de alcançar os seguintes pontos com o servicefoundry:
Provisionamento Centralizado de Infraestrutura usando IAC
O ServiceFoundry provisionará e hospedará os componentes de infraestrutura de código aberto mais comumente usados na nuvem do usuário. Alguns exemplos podem ser:
- Iniciar cluster Kubernetes com melhores práticas de segurança configuradas.
- Instalar componentes centralizados de infraestrutura (ou usar serviços gerenciados) como Kafka, Spark, Redis, Prometheus, Grafana, etc.
- Podemos usar serviços gerenciados na nuvem para alguns deles, como AWS Elastic Search.
- Iniciar bancos de dados, camadas de armazenamento (usar versões gerenciadas por enquanto).
- Sistemas de orquestração de pipelines como Airflow, Argo, etc.
- CI / CD (Github Actions, Gitlab, AWS Code pipelines)
- Agregação de logs (ELK, EFK)
- Monitoramento (métricas padrão e customizadas)
- Alertas

Criar Serviço
- Construir e implantar serviços com base em modelos configuráveis. O ServiceFoundry será um conjunto opinativo de princípios para automatizar o seguinte por meio de infraestrutura como código:
- Gerenciamento de dependências e empacotamento (Docker, Zip)
- Testes
- Gerenciamento de configurações (configurações estáticas e dinâmicas)
- Provisionamento de infraestrutura (sobre a infraestrutura centralizada provisionada anteriormente)
- Configuração de autoscaling
- CI/CD
- Agregação de logs
- Geração de painéis com métricas padrão (os usuários podem adicionar métricas customizadas)
- Alertas
Semelhante ao acima, também queremos fazer o mesmo para modelos de ML e bancos de dados.

O ServiceFoundry visa simplificar a implantação e o monitoramento dos tipos padrão de serviços:
- Serviço de API com balanceamento de carga (com autoscaling em diferentes parâmetros)
- Serviço de Jobs (Cron jobs, jobs disparados por eventos)
- Serverless
- Serviços Stateful
- Site estático
Catálogo de Serviços e Grafo
Todos os serviços criados usando o ServiceFoundry podem ser visualizados em um só lugar, juntamente com seus metadados completos. Este catálogo também mostrará todos os ambientes para cada aplicação, como dev, staging e prod. Isso leva a um portal de plataforma de desenvolvedor onde desenvolvedores e líderes de negócios podem visualizar os serviços em execução na organização. Alguns dos principais metadados associados a cada serviço são:
- Link para o repositório no GitHub
- Configuração
- Links de monitoramento
- Equipe e proprietários
- Capacidade de adicionar membros com diferentes controles de acesso.
- Custo


TrueFoundry MLOps (Plataforma ML First)
O foco inicial da TrueFoundry será fornecer uma plataforma de MLOps fluida que foca no pipeline pós-construção do modelo e torna realmente fácil para cientistas de dados implantar, monitorar e retreinar seus modelos.
Um pipeline de machine learning é composto pela seguinte infraestrutura centralizada:

Uma breve explicação das diferentes etapas envolvidas:
- Data Pipeline e Feature Store: Trata-se essencialmente de um problema de Big Data em que precisamos obter as features a serem usadas no modelo computadas a partir do datalake e disponíveis dentro das restrições de tempo exigidas tanto para treinamento quanto para produção, sem disparidades. Geralmente usa um motor de orquestração de fluxo de trabalho como Airflow, Argo ou Kubeflow pipelines.
- Treinamento do Modelo: O treinamento do modelo é essencialmente um job distribuído de computação pesada que pode rodar em várias máquinas. Ele também deve oferecer resiliência integrada por meio de salvamento e restauração de checkpoints.
- ModelServing: É basicamente um microserviço que recebe requisições para fazer as previsões do modelo e pode ter requisitos variados, como GPU e alto consumo de computação e memória. Cada modelo geralmente é hospedado como um único microserviço — portanto, quando uma equipe escala para dezenas de modelos, torna-se um problema de gerenciar dezenas de microserviços, o que por si só é um grande desafio.
- ModelMonitoring: Isso inclui tanto o monitoramento de métricas de sistema quanto o monitoramento específico de machine learning relacionado ao desempenho e ao degradação do modelo. Isso também exige sistemas para armazenar os dados registrados, executar agregações sobre eles e, finalmente, calcular as métricas.
- Gerenciamento de Modelos: Acompanha todos os dados relacionados aos modelos e suas diferentes versões e experimentos. É altamente útil para depurar problemas posteriormente e fazer rollbacks.
Devido a tantas partes móveis e diferentes tecnologias envolvidas, geralmente várias pessoas estão envolvidas em um projeto de ML, como Data Engineer, Data Scientist, ML Engineer, DevOps e Product Manager. Um projeto bem-sucedido exige a coordenação entre todas essas diferentes personas, o que gera muitos atrasos e prejudica a velocidade do cientista de dados.
Um fluxo de trabalho típico em empresas para um pipeline de machine learning se parece com:

Principal objetivo por trás da plataforma de ML
Queremos automatizar as partes do pipeline de ML que podem ser automatizadas e capacitar o cientista de dados para testar seus modelos em produção e iterar rapidamente com o mínimo de dependências de outras equipes possível. Buscamos nossa motivação nos produtos criados por equipes de plataforma nas principais empresas de tecnologia, que permitem que todas as equipes se movam muito mais rápido, implantando e iterando por conta própria.
Não lidamos com nenhum dos problemas relacionados a dados agora — essa seção será introduzida posteriormente.
Uma plataforma de ML principal compreende os seguintes serviços (além da infraestrutura central):
- Treinamento (um Job agendado com diferentes gatilhos)
- Serviço de Modelo (um serviço de API com balanceamento de carga)
- Armazenamento (artefatos, conjuntos de dados, dados de inferência do modelo)
- Serviço de Monitoramento de ML (um serviço para calcular métricas a partir dos dados)
- Serviço de Engenharia de Features
Se pudermos implantar facilmente esses serviços, manter o controle de versão em diferentes estágios e gerar monitoramento para cada um deles, o problema de MLOps se tornará muito mais simples.
Este artigo foi publicado originalmente no Medium em https://abhishekch09.medium.com/d8e159743a4b
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.






















.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






