TrueFoundry uitrolt en verfijnt nu open-source LLM's met een paar klikken!

We zijn verheugd om aan te kondigen dat TrueFoundry een krachtige, maar eenvoudig te gebruiken oplossing heeft ontwikkeld voor de uitrol en fine-tuning van Large Language Models (LLM) via onze Model Catalouge. We willen bedrijven helpen hun open-source LLM's zelf te hosten bovenop Kubernetes, waardoor uw inferentiekosten 10x goedkoper worden met 1 klik. In deze blog laten we u zien hoe u een Dolly-v2-3b-model kunt uitrollen en een Pythia-70M-model kunt fine-tunen met behulp van TrueFoundry.

Zouden LLM's de manier veranderen waarop we over MLOps denken?

Het TrueFoundry-platform is ontworpen om Machine Learning- en Deep Learning-modellen van alle soorten te ondersteunen, van de eenvoudigste zoals Logistische Regressie tot geavanceerde modellen zoals Stable Diffusion. Men vraagt zich misschien af: waarom is het nodig om iets nieuws te bouwen als het gaat om Large Language Models?

De enorme omvang en complexiteit van deze modellen brengen aanzienlijke uitdagingen met zich mee bij de uitrol ervan in praktijktoepassingen. Hoewel het TrueFoundry-platform het uitrollen van modellen van alle groottes op schaal al ondersteunde, realiseerden we ons dat er meer optimalisaties (kosten+tijd) en verbeteringen in de gebruikerservaring mogelijk waren voor deze modellen.

Large Language Models (LLMs) zijn er om te blijven.

Large language models (LLM's), zoals ChatGPT, hebben ontegenzeggelijk aanzienlijke hype veroorzaakt op het gebied van kunstmatige intelligentie.

Maar na gesproken te hebben met 50+ bedrijven die het al in productie beginnen te nemen, is de waarde die het nu al creëert immens. We geloven dat het gebruik van LLM's alleen maar zal toenemen naarmate mensen elke dag nieuwe toepassingen ontdekken.

Maar LLM's naar productie brengen is moeilijk.

Het maken van een Proof of Concept-toepassing met Large Language Models en OpenAI API's is eenvoudig, maar wanneer u begint te denken aan productie 🚀, komen er veel meer overwegingen kijken.

Voor de meeste bedrijven is het opbouwen van de technische capaciteit om de complexe GPU-infrastructuur te beheren voor het betrouwbaar serveren van LLM's moeilijk en tijdrovend. Bovendien willen de meeste bedrijven specifieke modellen die het beste werken voor hun toepassing, waarvoor ze deze modellen moeten fine-tunen. Dit kan zowel technisch uitdagend als een kostbare aangelegenheid zijn.

Breng open-source LLM's snel naar productie!

Onze visie op de toekomst van LLM's is dat open-source modellen de weg vooruit zijn. Lees hier meer over onze opvattingen over dit onderwerp. We hebben besloten om gebruik te maken van deze snel innoverende gemeenschap van vernieuwers en bedrijven te helpen de volledige waarde van deze open-source LLM's in hun organisaties te benutten.

TrueFoundry wil dat onze partners de volledige omvang van de voordelen kunnen realiseren die open-source LLM's, gefinetuned voor hun specifieke toepassing, kunnen hebben op hun organisaties:

1. Kosteneffectief: 5-10X lagere kosten dan het gebruik van OpenAI API's
2. Volledige privacy van gegevens: Op uw eigen cloud/on-premise Kubernetes-cluster
3. Volledige controle: om te fine-tunen, terug te draaien, enz.

Het beheren en uitrollen van open-source modellen op uw eigen infrastructuur is echter geen eenvoudige opgave. Hoewel on-premise LLM-uitrol ongeëvenaarde controle over gegevens, gereedheid voor naleving en kostenefficiëntie op lange termijn biedt, vereist het diepgaande expertise in GPU-orchestratie, Kubernetes-beheer en modeloptimalisatie.

Maar stel je voor dat het net zo eenvoudig was als het aansluiten van je gegevens en een paar klikken?

We begrijpen de uitdagingen waar bedrijven voor staan bij de overgang van een LLM proof of concept naar productie. We willen de laag bouwen die dit proces super eenvoudig maakt voor onze partners. Dit is hoe we dat doen:

Introductie van de Model Catalogue

TrueFoundry's Model Catalogue is een opslagplaats van alle populaire open-source Large Language Models (LLMs) die met één klik kunnen worden uitgerold. De gebruiker kan het model ook rechtstreeks vanuit de modelcatalogus fine-tunen.

De catalogus ondersteunt de meeste populaire modellen al, en we voegen elke dag ondersteuning voor meer modellen toe. Enkele van de populaire modellen die u al op uw eigen cloud kunt uitrollen zijn:

1. Pythia-70M
2. Vicuna 7B 1.1 HF en Vicuna 13 B 1.1 HF
3. Dolly V2 7B en Doly V2 12B
4. Flan T5 XL
5. Alpaca 7B en Alpaca 13B

En nog veel meer.....

De magie die we doen bovenop open-source LLM's  🪄

We zijn er door geobsedeerd dat bedrijven op dag 1 moeten kunnen opleveren. Om dit mogelijk te maken, zijn dit de principes waarop we onze LLM-mogelijkheden bouwen:

1. Kostenoptimalisatie: Maximaliseert het gebruik van resources om infrastructuurkosten te verlagen zonder in te boeten aan prestaties.
2. Vereenvoudigde uitrol: Gestroomlijnde LLM-uitrol met containerisatie en Kubernetes voor naadloze schaalbaarheid en hoge beschikbaarheid.
3. Infrastructuurbeheer: Verwerkt ingewikkelde taken zoals GPU-toewijzing en Kubernetes-beheer, waardoor bedrijven zich kunnen concentreren op LLM-optimalisatie.
4. Kant-en-klare abstracties: Biedt kant-en-klare oplossingen voor eenvoudige integratie van LLM's in bestaande workflows, waardoor maatwerkontwikkeling overbodig wordt.
5. Ondersteuning voor modelschaling: Maakt het schalen van LLM's van alle groottes en typen mogelijk voor optimale prestaties en efficiëntie.

ℹ️

Voor een gedetailleerde walkthrough van de trainings- en fine-tuning-flows op de UI, raadpleeg deze YouTube-video

Tutorial: Uitrollen van LLM's binnen drie klikken.

Het uitrollen van uw LLM's is net zo eenvoudig als drie keer klikken!

• Selecteer het gewenste model: Kies uit een verscheidenheid aan open-source taalmodellen die beschikbaar zijn op TrueFoundry. We stellen het beste small language model en andere modellen voor uw toepassing voor. (Benchmarking per taak komt binnenkort!) Selecteer het model dat het beste past bij uw specifieke probleem of toepassing en klik op de knop Uitrollen.
• Kies de juiste resources: Bevestig de resources die u aan het model wilt toewijzen. TrueFoundry biedt een gecureerde selectie van hardware-opties die geoptimaliseerd zijn voor elk model om het besluitvormingsproces te vereenvoudigen dat goed werkt met het door u geselecteerde model.
• Rol het model uit: Nadat u het model en de uitrolomgeving hebt geselecteerd, klikt u eenvoudig op de knop "Verzenden". TrueFoundry zorgt voor de taken achter de schermen bij het opzetten van de infrastructuur, het configureren van het model en het gereedmaken voor inferentie.

🚀

Uw model is nu uitgerold!

Start inferentie met het model-API-eindpunt. TrueFoundry biedt u de OpenAPI-interface om uw model te testen en de voorbeeldcode om het model binnen uw toepassingen aan te roepen.

Tutorial: Large Language Models fine-tunen met TrueFoundry

De meeste bedrijven willen modellen gebruiken die gefinetuned zijn voor hun specifieke toepassing. Om een model te fine-tunen met TrueFoundry:

1. Selecteer het gewenste model: Kies het model dat u wilt gebruiken uit de catalogus. Nadat u het model hebt geselecteerd, klikt u op de knop "Fine-tune" om het proces te starten.
2. Kies de juiste resources: We vooraf configureren de voorgestelde resources voor de fine-tuning-taak. Gebruikers kunnen dit wijzigen als ze een hogere belasting verwachten vanwege configuratiewijzigingen.
3. Start de fine-tuning-job: Na het selecteren van het model en de gewenste resources klikt u op de knop "Verzenden". TrueFoundry zorgt voor de taken achter de schermen bij het opzetten van de infrastructuur en het configureren van de trainingsjob. De fine-tuning-job zal beginnen te draaien met behulp van de gespecificeerde hardware-resources.

🚀

Het model is begonnen met fine-tunen!

U kunt de fine-tuning monitoren terwijl deze vordert. In het tabblad met job-uitvoeringen kunt u alle relevante informatie bekijken die verband houdt met de trainingsjob, zoals loss-metrieken, trainingscurven en evaluatieresultaten. Hiermee kunt u het fine-tuning-proces volgen en geïnformeerde beslissingen nemen op basis van de prestaties van de job.

Wat volgt er nu?

Dit is pas het begin van onze reis met Large Language Models (LLMs) en Generatieve AI. We zijn van plan om in de komende dagen nog veel meer te bouwen en houden u op de hoogte!

Chat met ons

We leren nog steeds over dit onderwerp, net als ieder ander. Als u probeert Large Language Models te gebruiken in uw organisatie, drinken we graag een kop koffie om ervaringen uit te wisselen.

Drink een ☕️ met ons