Veelgestelde vragen over TrueFoundry: antwoorden op veelvoorkomende vragen

Het duurt bij ons erg lang om onze modellen in productie te krijgen en er resultaten mee te behalen. Is er een manier om data scientists in staat te stellen dit proces zelf in handen te nemen?

De belangrijkste reden voor vertragingen die wij zien, is de afhankelijkheid tussen teams en een gebrek aan specifieke vaardigheden bij verschillende rollen. TrueFoundry maakt het voor data scientists eenvoudig om met Python te trainen en te implementeren op Kubernetes, en stelt infra-teams tegelijkertijd in staat om beveiligingsbeperkingen en kostenbudgetten in te stellen. TrueFoundry configureert het cluster voor automatische GPU-provisioning en uitschakeling, waardoor kosten worden beheerd en menselijke fouten worden voorkomen.

ML-engineers zijn voor hun infrastructuurbehoeften bij het trainen of implementeren van modellen sterk afhankelijk van DevOps/platform-teams

TrueFoundry integreert met je bestaande infrastructuur, inclusief cloudinfrastructuur, Kubernetes-clusters, Docker-registries, Git-repositories en secret managers. Het biedt een abstractielaag over de infrastructuur die eenvoudig te begrijpen is voor data scientists en ML-engineers, terwijl deze volledig configureerbaar blijft voor het infra-team.

We willen onze standaard Kubernetes-infrastructuur gebruiken voor ML-training en -implementaties

TrueFoundry is Kubernetes-native en werkt op EKS, AKS en GKE (zowel standaard- als autopilot-clusters). ML vereist een aantal specifieke zaken in vergelijking met standaard software-infrastructuur, zoals dynamische node-provisioning, GPU-ondersteuning, volumes voor snellere toegang, kostenbudgettering en autonomie voor ontwikkelaars. Wij regelen alle technische details in de clusters, zodat jij je kunt concentreren op het bouwen van de beste applicaties op een state-of-the-art infrastructuur.

Data scientists willen zich niet bezighouden met infrastructuur of YAML.

We bieden Python-API's, dus je hoeft nooit met YAML te werken. We bieden overigens wel YAML-ondersteuning als je dit wilt gebruiken in je CI/CD-pipelines.

We willen dat onze data binnen onze eigen cloud of on-premise omgeving blijft.

TrueFoundry wordt volledig op je eigen Kubernetes-cluster geïmplementeerd. De data blijft in je eigen VPC, Docker-images worden opgeslagen in je eigen Docker-registry en alle modellen blijven in je eigen blob-opslagsysteem.

Modellen worden geïmplementeerd met autoscaling via HPA, maar het opschalen verloopt erg traag vanwege de downloadtijd van de modellen.

We koppelen modellen in een gedeeld volume over de deployment-pods, wat de laadtijd van modellen verkort en autoscaling aanzienlijk versnelt. Daarnaast configureren we autoscaling op basis van het aantal verzoeken in plaats van CPU/geheugen, wat zorgt voor veel snellere opschaling.

We willen Jupyter-notebooks hosten en deze self-service maken met de flexibiliteit om resources toe te wijzen, terwijl we tegelijkertijd kosten- en beveiligingsbeperkingen opleggen.

We hebben veel geïnvesteerd in het naadloos draaien van Jupyter-notebooks op Kubernetes. Data scientists kunnen de benodigde resources configureren en instellen na hoeveel inactiviteit de notebooks automatisch moeten stoppen. De notebooks kunnen met één klik worden hervat, waarbij de volledige status behouden blijft. Hierdoor kunnen data scientists onafhankelijk werken met hun eigen dependencies en besparen we bovendien kosten.

Hoe houd ik alle modellen binnen het bedrijf op één plek bij en zie ik welke modellen in welke omgeving zijn geïmplementeerd?

TrueFoundry biedt een modelregister dat bijhoudt in welke fase modellen zich bevinden, inclusief het schema en de API van alle modellen in het register.

Hoe kan ik verkeer spiegelen of splitsen naar mijn nieuwe modelversie, zodat we deze op live verkeer kunnen testen voordat we het volledig uitrollen?

We hebben gewerkt aan het efficiënt spiegelen of splitsen van verkeer naar modellen, waardoor data scientists modellen kunnen testen zonder ze volledig in productie uit te rollen.

We willen hardware en rekenkracht gebruiken over verschillende clouds (AWS, GCP, Azure) en on-premise. Hoe kan ik deze koppelen zodat ontwikkelaars zich geen zorgen hoeven te maken over de onderliggende rekenkracht en workloads naadloos kunnen verplaatsen tussen omgevingen?

We hebben veel moeite gedaan om de subtiele verschillen tussen Kubernetes-clusters in verschillende clouds op te vangen. Ontwikkelaars kunnen dezelfde code schrijven en in elke omgeving implementeren zonder zich zorgen te hoeven maken over de onderliggende infrastructuur. Wij zorgen voor de controle of de onderliggende Kubernetes-componenten zijn geïnstalleerd en passen automatisch ingress en resources aan.

We willen de kracht van LLM's benutten voor onze bedrijfsvoering, maar onze data mag onze omgeving niet verlaten. Is er een manier om LLM's te gebruiken zonder mijn data naar OpenAI te sturen?

Met TrueFoundry kun je open-source LLM's implementeren en finetunen op je eigen infrastructuur. We hebben de optimale instellingen voor de meest gangbare open-source modellen al voor je uitgezocht, zodat jij dat zware werk niet hoeft te doen.

Hoe kan ik al mijn ontwikkelaars in staat stellen om snel verschillende LLM's uit te proberen en te zien welke resultaten ze daarmee kunnen behalen?

We hosten een interne LLM-speeltuin waar je kunt bepalen welke LLM's je wilt whitelisten voor de ontwikkelaars binnen het bedrijf, inclusief intern gehoste modellen, zodat verschillende ontwikkelaars kunnen experimenteren met interne data.

We maken hoge kosten voor onze ML-infrastructuur en het wordt steeds lastiger om deze bij te houden en te verlagen.

Wij maken de kosten van services inzichtelijk voor ontwikkelaars en bieden inzichten om deze te verlagen. Al onze huidige klanten hebben een kostenbesparing van ten minste 30% gerealiseerd na de overstap naar TrueFoundry.

Veelgestelde vragen

Razendsnelle manier om je ML-modellen te hosten, monitoren en delen!

Resources

Waarom TrueFoundry?

Veelgestelde vragen

Razendsnelle manier om je ML-modellen te hosten, monitoren en delen!

Resources

Waarom TrueFoundry?

Aanmelden voor onze nieuwsbrief