Deployment Platform Updates

Het TrueFoundry-team heeft de afgelopen maand erg hard gewerkt aan het toevoegen van functionaliteiten aan ons ML Deployment platform. Ons doel is hier om een deployment platform te bouwen dat het absoluut eenvoudig maakt om ML-modellen en services te deployen, terwijl de beste engineering- en beveiligingsprincipes worden gehandhaafd. Om een geweldig ML-platform te bouwen, hebben we een solide engineering platform nodig en daarom was een groot deel van de initiële focus gericht op het leveren van een solide platform om code te deployen.

Van alle onderdelen van het hierboven beschreven ML-platform richten wij ons op de serving infrastructure, monitoring en alle automatisering daaromheen.

Er is veel werk gestoken in het bouwen van ons deployment platform bovenop Kubernetes. Het doel was om het absoluut eenvoudig te maken om binnen 5 minuten te deployen, waarbij het platform zorgt voor het bouwen van de image vanuit de broncode, het opslaan daarvan in een Docker registry en tenslotte het deployen van de applicatie op Kubernetes. Enkele updates van de afgelopen maand zijn onder andere:

Mogelijkheid om de instance-familie te kiezen tijdens het deployen

Machine learning-modellen kunnen een heel verschillende inference latency of prestatie hebben, afhankelijk van het type instance. Bij het testen van de inference latency van een Hugging Face-model op Intel- versus AMD-processoren vonden we Intel-processoren bijvoorbeeld zo'n 30% sneller. Daarom hebben we nu een optie waarmee gebruikers het instance type kunnen kiezen tijdens het deployen van hun workloads. Als het instance type niet is geselecteerd, kan de workload worden gedeployed op elk beschikbaar instance type.

Logs en Metrics voor Deployments

We hadden eerder een Grafana-link voor het tonen van logs en metrics. Hoewel Grafana zeer aanpasbaar was, waren permissies en toegangsbeheer niet echt mogelijk in Grafana. Bovendien bleek het wat traag en lastig te begrijpen voor gebruikers die niet aan Grafana gewend waren. Daarom hebben we onze eigen UI geïmplementeerd voor het tonen van logs en metrics, wat in de meeste gevallen volstaat. We bieden nog steeds de Grafana-integratie in de public cloud aan voor meer geavanceerde gebruikers.

Toegangsbeheer op Secret Groups

We kunnen nu gebruikers toevoegen als editor, viewer of admin op secret groups.

GitHub- en Bitbucket-integratie

We kunnen nu rechtstreeks deployen naar TrueFoundry vanuit elke GitHub- of Bitbucket-repository. Gebruikers kunnen integreren met hun eigen private repositories via de OAuth-flow en de juiste parameters selecteren om de applicatie te deployen.

Voor de komende maand werken we aan een paar spannende functies, zoals:

1. Het platform intuïtiever en gebruiksvriendelijker maken.
2. Geautomatiseerde deployment van de TrueFoundry-stack op elk Kubernetes-cluster
3. Ondersteuning voor teams
4. Deployment rollback-functionaliteit

Blijf op de hoogte en laat ons uw feedback weten!