Is het TrueFoundry ML Platform geschikt voor jou?

Het landschap van ML infrastructure staat vol met indrukwekkende oplossingen om de ML pipeline te vereenvoudigen. TrueFoundry kan de ideale oplossing zijn als je jezelf herkent in een van de onderstaande problemen:

Het duurt vrij lang om onze ML models in productie te krijgen, en er is veel afhankelijkheid tussen verschillende stakeholders

De belangrijkste reden die we zien voor vertragingen in de planning is de onderlinge afhankelijkheid tussen teams en een gebrek aan de juiste skills bij verschillende persona's. TrueFoundry maakt het eenvoudig voor Data Scientists om op Kubernetes te trainen en te deployen met behulp van Python. Het stelt infra-teams ook in staat om security-beperkingen en kostenbudgetten in te stellen. Bij de meeste bedrijven die we spreken, ziet het implementatieproces er ongeveer zo uit:

TrueFoundry helpt je om de ontwikkeltijd met ten minste 3 tot 4 keer te verkorten door Data Scientists in staat te stellen het model zelfstandig te deployen en te evalueren, zonder afhankelijk te zijn van het infra/DevOps-team.

Met TrueFoundry ziet de workflow er als volgt uit:

We willen onze standaard Kubernetes infrastructure gebruiken voor ML training en deployments

TrueFoundry is Kubernetes-native en werkt op EKS, AKS, GKE (standaard- en autopilot-clusters) of on-prem clusters. ML vereist een paar specifieke zaken in vergelijking met standaard software-infrastructure – zoals dynamische node-provisioning, GPU-ondersteuning, volumes voor snellere toegang, kostenbudgettering en autonomie voor ontwikkelaars. Wij zorgen voor al deze technische details binnen de clusters, zodat jij je kunt richten op het bouwen van de beste applicaties op een state-of-the-art infrastructure.

Data Scientists zouden zich niet bezig moeten houden met infra of YAML

Wij bieden Python API's – zodat je nooit rechtstreeks met YAML hoeft te werken. We bieden wel YAML-ondersteuning als je het wilt gebruiken in je CI/CD-pipelines. Met TrueFoundry kun je bijvoorbeeld een inference API deployen met de onderstaande code:

service = Service(
   name="fastapi",
   image=Build(
       build_spec=PythonBuild(
           command="uvicorn app:app --port 8000 --host 0.0.0.0",
           requirements_path="requirements.txt",
       )
   ),
   ports=[
       Port(
           port=8000,
           host="<Provide a host value based on your configured domain>"
       )
   ],
   resources=Resources(
       cpu_request=0.5,
       cpu_limit=1,
       memory_request=1000,
       memory_limit=1500
   ),
   env={
       "UVICORN_WEB_CONCURRENCY": "1",
       "ENVIRONMENT": "dev"
   }
)
service.deploy(workspace_fqn="tfy-cluster/my-workspace")


We hebben ML infrastructure nodig waarbij data onze Cloud niet hoeft te verlaten

TrueFoundry wordt volledig op je eigen Kubernetes cluster geïnstalleerd. De data blijft in je eigen VPC, docker images worden opgeslagen in je eigen docker registry en alle models blijven in je eigen blob storage-systeem. Je kunt meer lezen over de TrueFoundry-architectuur hier.

Autoscaling van models is erg traag vanwege de downloadsnelheid van ML models

Kubernetes ondersteunt gewoonlijk autoscaling met behulp van HPA op basis van CPU en geheugen. Voor ML-workloads is autoscaling op basis van het aantal requests in veel gevallen echter een stuk beter. Een andere uitdaging bij autoscaling kan de lange opstarttijd van models zijn door grote image-groottes en downloadsnelheden van het model. TrueFoundry lost deze problemen op door container-opstarttijden van seconden te bieden, caching van models voor sneller laden en snellere inference-tijden.

We willen de kracht van LLMs benutten voor onze organisatie, maar we kunnen onze data niet buiten onze omgeving laten

Kunnen we open-source LLM-models gebruiken?

TrueFoundry stelt je in staat om open-source LLMs te deployen en te finetunen op je eigen infrastructure. We hebben de beste instellingen voor de meest voorkomende open-source models al uitgezocht, zodat je ze kunt trainen en deployen tegen optimale instellingen en de laagste kosten.

We willen al onze ontwikkelaars snel verschillende LLMs laten uitproberen

We hosten een interne LLM playground waar je kunt bepalen welke LLMs je wilt whitelisten voor de ontwikkelaars van het bedrijf, inclusief intern gehoste models, zodat verschillende ontwikkelaars kunnen experimenteren met interne data. Hier is een korte video daarover:

We willen Jupyter Notebooks op self-service basis aanbieden aan Data Scientists op een multi-tenant, kostengeoptimaliseerde manier

Jupyter Notebooks zijn essentieel in de dagelijkse ontwikkelcyclus van de Data Scientist. Het lokaal draaien van Jupyter Notebooks op een eigen laptop is niet altijd een optie vanwege de volgende redenen:

1. Er zijn mogelijk meer resources nodig dan beschikbaar zijn op een lokale laptop
2. Datatoegang is mogelijk niet toegestaan in de lokale omgeving.

We hebben veel moeite gedaan om Jupyter Notebooks naadloos te laten draaien op Kubernetes. Jupyter Notebooks op TrueFoundry bieden de volgende voordelen vergeleken met JupyterLab of Kubeflow Notebooks:

1. Snelle opstarttijd van Notebooks (onder de 10 seconden)
2. Auto-stop functionaliteit die de notebooks uitschakelt na een instelbare periode van inactiviteit. Dit verlaagt de kosten, aangezien een data scientist meestal maar 8 uur per dag werkt. Dit verlaagt de kosten met ongeveer 60% vergeleken met het draaien van Jupyter op EC2-instances.
3. Behoud van omgeving, data en Python dependencies bij het herstarten.
4. Mogelijkheid om dynamisch dependencies toe te voegen aan de base image.
5. Mogelijkheid om notebooks te delen met andere teamleden.
6. Mogelijkheid om datatoegang te configureren met service accounts in plaats van keys/wachtwoorden.

We willen alle models binnen het bedrijf op één plek bijhouden en zien welke models in welke omgeving zijn gedeployd

TrueFoundry biedt een model registry die kan bijhouden welke models zich in welke fase bevinden, evenals het schema en de API van alle models in de registry.

We willen verkeer spiegelen of splitsen naar onze nieuwe modelversie om deze te testen op live verkeer voordat we deze volledig uitrollen

TrueFoundry maakt het mogelijk om verkeer van het ene model naar het andere te splitsen (traffic splitting) of te spiegelen (traffic mirroring). Dit is vooral handig wanneer je een nieuwe modelversie een tijdje wilt testen op live verkeer voordat je deze naar productie uitrolt. TrueFoundry ondersteunt ook canary- en blue-green uitrolstrategieën bij model deployment.

We willen hardware en compute gebruiken over meerdere clouds en on-prem. Hoe verbind ik deze zodat ontwikkelaars workloads naadloos van de ene naar de andere omgeving kunnen verplaatsen?

We hebben veel moeite gedaan om te zorgen dat we rekening houden met de subtiele verschillen tussen Kubernetes clusters over verschillende clouds heen. Ontwikkelaars kunnen dezelfde code schrijven en deployen in elke omgeving zonder zich zorgen te maken over de onderliggende infrastructure. Wij controleren of onderliggende componenten van Kubernetes zijn geïnstalleerd, controleren op incompatibele migraties en informeren ontwikkelaars hier tijdig over.

We maken veel kosten op onze ML infra en het wordt moeilijk om dit bij te houden en te verlagen.

Wij maken de kosten van services inzichtelijk voor ontwikkelaars en bieden inzichten om de kosten te verlagen. Al onze huidige klanten hebben na de ingebruikname van TrueFoundry een kostenreductie van ten minste 30% gerealiseerd.

TrueFoundry is een ML Deployment PaaS op Kubernetes, gebouwd om AI model deployment te vereenvoudigen, developer workflows te versnellen en volledige controle over de infrastructure te behouden. Via ons platform stellen we Machine Learning-teams in staat om models binnen 15 minuten te deployen en te monitoren met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen seconden een rollback uit te voeren – waardoor ze kosten besparen, models sneller naar productie brengen en echte bedrijfswaarde realiseren.