TrueFoundry: 2024 jaaroverzicht

Vorig jaar vergeleken we onze startup-reis met het bouwen van een raket, en stelden we ons 2024 voor als het jaar van de ontsteking — het moment waarop onze raket naar zijn baan om de aarde zou springen. En ontstoken is hij zeker! Dachten we groot toen het binnenhalen van een Fortune 500-klant betekende dat we gingen samenwerken met NVidia, of toen we werden erkend als een opkomende leider in Gartner’s Magic Quadrant?

Maar zoals altijd is dit verhaal niet alleen een viering van onze prestaties, maar ook een erkenning van de uitdagingen die we zijn aangegaan, een waardering voor de kansen die we hebben gekregen en de lessen die we hebben geleerd. Laten we je meenemen op deze enerverende rit — van opwindende doorbraken tot onverkend terrein — waarin we navigeren door zowel turbulentie als overwinningen in deze stellaire odyssee!

TrueFoundry en het jaar 2023

TrueFoundry bouwt aan een cloud-agnostisch PaaS op Kubernetes dat de training en deployment van Machine Learning & Generatieve AI-applicaties standaardiseert met behulp van productieklare, ontwikkelaarsvriendelijke API's — terwijl we een uitgesproken standpunt innemen dat MLOps / LLMOps en DevOps twee handen op één buik zijn!

2023 was het jaar van ongekende kansen en tegelijkertijd een existentiële dreiging voor de meeste organisaties ter wereld. De manier waarop zij deze veranderde wereld omarmden, zou hun toekomst bepalen of dicteren óf ze überhaupt een toekomst hadden! En organisaties zochten naar alle mogelijke hulp om use cases te definiëren, experimenten uit te voeren, de strijd aan te gaan met beveiligingsbeleid en persberichten op te stellen om bekend te staan als de voorlopers in de GenAI-wereld.

TrueFoundry was uitstekend gepositioneerd om organisaties te helpen navigeren door deze onzekere tijden, de keuzes tussen in-house versus closed-source modellen, de complexiteit van GPU-gebaseerde infrastructuur, en de toolkit om applicaties naar productie te brengen. En dát was precies de sleutel — we wisten dat elke applicatie die niet in productie staat een kostenpost is die nul waarde oplevert. En terwijl de rest van de wereld experimenten uitvoerde voor PR-doeleinden, bracht een Fortune 100-klant van TrueFoundry in razend tempo applicaties naar productie! Die voorsprong in 2023 maakte hen een leider in GenAI binnen hun sector! We hebben in 2023 een paar cruciale beslissingen genomen die ons hebben klaargestoomd voor succes — we hebben gescheiden wat op de korte termijn urgent was en wat op de lange termijn belangrijk was!

1. Ten eerste richtten we ons op organisaties waarvan we geloofden dat ze een duidelijke, langetermijn gedifferentieerde bedrijfswaarde uit GenAI konden halen en niet zomaar achter de hype aanrenden!
2. Ten tweede renden we niet achter het helpen van organisaties aan met alles wat op dat moment viraal ging - zoals overmatig inzetten op het schaars zijn van GPU's, of organisaties die geen toestemming hadden om de beste closed-source modellen te gebruiken. Begrijp me niet verkeerd: die problemen moesten worden opgelost, maar ze konden niet het enige zijn waarop je je richtte, omdat het slechts een kwestie van tijd was voordat deze zouden verdwijnen! In plaats daarvan richtten we ons doelgericht op de vraag welke uitdagingen organisaties op de lange termijn zouden tegenkomen bij het met vertrouwen naar productie brengen van apps!

Dit leidde tot twee belangrijke inzichten die we goed hebben ingeschat en ter harte hebben genomen.

1. De echte test is niet alleen je product voor de klant zetten, maar in het pad van daadwerkelijke bedrijfswaarde die voor die klant wordt gegenereerd!

2. Het is prima als je een trendy golf wilt meepakken, maar wanneer er een schifting plaatsvindt, zorg dan dat je er aan de andere kant weer uitkomt — en dat gebeurt alleen door je te focussen op de eerste principes.

De aftrap van 2024

Daarmee gingen we 2024 krachtig in — een jaar van uitvoering voor ons, waarin we dubbel inzetten op wat volgens ons zou werken — en het aan echte testen onderwierpen — op de TrueFoundry-manier!

We werkten samen met enkele van 's werelds grootste organisaties en hielpen hen applicaties tot leven te brengen die honderden miljoenen dollars aan waarde zouden opleveren — door het automatiseren van klantenservicegesprekken / een optimaal gebruik van GPU-clusters / het helpen van sales-reps om medicijnen beter te verkopen. We werden een cruciaal onderdeel van de GenAI-stack van meerdere Fortune 500-bedrijven, verdubbelden de omvang van ons team en verviervoudigden onze omzet — dit alles binnen dit jaar. De vraag is: wat leidde tot deze resultaten, gecategoriseerd in wat we strategisch en tactisch goed en niet goed hebben gedaan? Laten we hier dieper op ingaan —

[Strategisch, Werkte] Uniformiteit van LLMOps, MLOps & DevOps —

We hebben hier in het verleden uitgebreid over gesproken. Maar het is zo'n cruciale beslissing van ons platform dat het belangrijk is om te vermelden! In 2022, toen we ons richtten op MLOps, zagen we het nooit als fundamenteel anders dan DevOps — ML-modellen zijn immers ook applicaties die op een vorm van compute moeten draaien — al is het ingewikkelder. In 2023 namen we hetzelfde standpunt in toen GenAI de wereld veroverde: LLM fine-tuning, ML-model training of het uitvoeren van een datapipeline-job zijn allemaal langlopende compute-jobs, en LLM-model serving, ML-model inferencing of een eenvoudige Rest API zijn allemaal continu draaiende jobs. En zolang ze architecturaal hetzelfde zijn, is het een kwestie van het bouwen van de juiste UX om de complexiteit van het beheren van GPU-resources, distributed computing, grote modelgroottes of zeer langlopende jobs te sturen — absoluut een hoop engineering, maar niets wat fundamenteel anders is.

Met andere woorden: TrueFoundry neemt in de kern elke applicatie of code en vertaalt deze naar een K8s-manifest, terwijl de applicatiespecifieke complexiteit wordt verborgen. Dit ontwerp had een diepgaande impact op de manier waarop klanten naar TrueFoundry keken.

TrueFoundry fungeerde als een brug van het onbekende terrein van GPU's, cross-cloud infrastructuur en zeer grote modellen naar het bekende terrein van hun bestaande platform dat op K8s is gebouwd.

TrueFoundry sprak hun taal, paste in hun bestaande stack en stelde organisaties in staat om gebruik te maken van alle fundamentele build- en deploy-pipelines die ze zorgvuldig hadden opgezet!

[Strategisch, Werkte] Kern opgebouwd uit primitieven — Services, Jobs, Helm Charts & Volumes

Bij TrueFoundry geloven we dat elke applicatie ter wereld fundamenteel kan worden opgevat in termen van 4 primitieven —

1. Services — altijd actieve API's
2. Jobs — Langlopende offline taken
3. Helm Charts — Gebruik, vind en deel applicaties gebouwd op K8s.
4. Volumes — Data mounts, filestore en opslaglaag.

Deze primitieven werden onze kernlaag en vervolgens wordt alles hier bovenop gebouwd. Zo is LLM-hosting niets meer dan een service, fine-tuning niets anders dan een job en VectorDB niets anders dan een Helm Chart!

En het nieuwe paradigma van compound AI-applicaties kan worden gezien als een combinatie van deze primitieven. Een RAG-applicatie bestaat bijvoorbeeld uit: het lezen van brongegevens uit een volume, parsen, chunking en indexeren als een job, VectorDB als een Helm Chart, LLM als een service en de RAG API als een service!

Waar de modus operandi in 2023 RAG was en in 2024 agentic applicaties, zou dit in de toekomst anders kunnen zijn. Deze architectuur helpt ons toekomstbestendig te zijn en we zijn niet gebonden aan specifieke manieren van ontwikkelen. In 2024 hebben we dit concept gegeneraliseerd als product en het is zeer goed ontvangen door onze klanten.

[Tactisch, Werkte] Toekomstbestendig ontwerp — vermijd vendor lock-ins

De standaard voor het bouwen van GenAI-apps is er nog niet, en organisaties zijn niet bereid zich vast te leggen op één specifieke oplossing; dit geldt voor cloudproviders, modelproviders en frameworkproviders.

TrueFoundry’s ontwerp om elke compute van elke provider te kiezen zonder je zorgen te maken over de infrastructuurbeheerlaag, elk model te kiezen via Gateway zonder je zorgen te maken over API-signatures, of mensen te helpen deployments te orchestreren zonder dwingende code — waardoor afhankelijkheid van welk framework dan ook (inclusief het onze) wordt voorkomen — heeft enorm geïnspireerd bij onze klanten. We gaan zelfs zo ver dat we TrueFoundry overbodig maken door ruwe K8s-manifesten te tonen die door TrueFoundry zijn gegenereerd, zodat de klant ook nooit vastzit aan TrueFoundry!

Ik moet echter toegeven dat, hoewel dit nu werkt, we er niet van overtuigd zijn dat dit op de lange termijn zo zal blijven werken. Dit is een potentieel voorbeeld van het meepakken van een golf, maar wel indachtig blijven wat er aan de andere kant ligt.

[Tactisch, Werkte] Focus op time-to-value

TrueFoundry's focus is altijd geweest op het verkorten van de tijd die nodig is om productieklare applicaties op te leveren voor onze eindgebruikers. Time-to-value is de kernmetric die we altijd hebben geoptimaliseerd. In 2024 hebben we veel tijd besteed aan het optimaliseren van de time-to-value voor ons als platform — wat betekent: hoe snel kan TrueFoundry worden geïnstalleerd binnen een klantomgeving en hoe snel kan er uiteindelijke bedrijfswaarde worden gerealiseerd voor eindgebruikers.

Uit onze G2-reviews blijkt duidelijk dat onze Time to Go-Live van 0,42 maanden aanzienlijk beter is dan die van anderen in onze categorie (2,29 maanden), en de geschatte ROI ligt op 4 maanden vergeleken met het gemiddelde van 13,66!

[Tactisch, Werkte Niet] Dicht bij use cases staan

Met onze focus op het goed krijgen van de architectuur geloven we dat er gevallen zijn geweest waarin we het doel misten om superdicht te staan bij het einddoel dat de gebruiker probeert te bereiken. Wat dat betekent, is dat het voor eindgebruikers soms een flinke inspanning is om de uiteindelijke applicatie te bouwen, en we kunnen onze productervaring daar beter op afstemmen. Mensen kunnen nu bijvoorbeeld elke agentic applicatie bouwen en shipen op TrueFoundry — dankzij de manier waarop onze architectuur het shipen van elke compound AI-applicatie mogelijk maakt — maar is de ervaring zo naadloos als we zouden willen? Waarschijnlijk niet!

We hadden op dit gebied één groot succes in 2024 met onze eerste open-source lancering, Cognita — een framework gebouwd om productieklare RAG-applicaties op te leveren dat binnen de eerste paar weken na de lancering meer dan 3000 sterren kreeg! Maar ik moet zeggen: dit is misschien te weinig, te laat! Idealiter is dit een gebied waar we al in 2023 voor hadden moeten optimaliseren en waar we in 2024 veel meer aan hadden moeten bouwen! Maar nu we ons dit hebben gerealiseerd, moeten we hier in 2025 actief aan gaan werken.

[Strategisch, Werkte Niet] Focus op Buyer Persona

Bekende overtuiging in de startup-wereld: als je een herhaalbaar verkoopproces wilt creëren, moet je je als een laser focussen op je Ideal Customer Profile en de buyer persona. We dachten dat we dit wisten en hebben dit onderdeel "meedogenloos geprioriteerd" om onze kopers uiteindelijk te versmallen tot een van de twee gebruikers: een Head of Data Science die een GenAI-app naar productie wil brengen, en een Head of Platform die developer tooling bouwt voor alle interne Data Science-teams.

Onze nieuwste overtuiging is: twee is nog steeds niet goed genoeg. Laserfocus betekent één en slechts één! Dit zal ons helpen alles te optimaliseren, van de uiteindelijke UX van het product tot de Sales Enablement-materialen, de productmarketing en elke functie die het bedrijf opbouwt. De definitieve beslissing is nog niet genomen, maar vooralsnog lijkt het erop dat we in 2025 tijd moeten besteden aan het verder vernauwen hiervan!

Vooruitblikken & Welkom 2025

Gewapend met deze lessen, een fundamenteel & architecturaal onderbouwd product, een sterk klantmomentum en samen met een briljant & onvermoeibaar team dat oprecht geeft om het oplossen van dit probleem, zijn we enthousiast om 2025 in te stappen — we voelen ons sterker gepositioneerd dan ooit!

Het belangrijkste is dat we enthousiast zijn om de veranderingen te omarmen die GenAI voor ons als startup heeft gebracht en om onze eigen visie uit te breiden! Met de mogelijkheden die door GenAI zijn ontsloten, geloven we dat alle verbeteringen in time-to-value, kostenbesparingen en het in staat zijn om meer te doen met minder, slechts mijlpalen zijn. Uiteindelijk zal alles instant, het meest efficiënt en volledig op AutoPilot gaan! Net zoals we er vandaag de dag niet over nadenken of een compiler het geheugen efficiënt heeft verplaatst of resources heeft toegewezen wanneer we een programma schrijven, zullen we er morgen niet over nadenken of de infrastructuur die door AI wordt beheerd wel goed is uitgevoerd.

Als we een wereld betreden waarin duizenden agents gaan samenwerken met mensen om elke taak te volbrengen, is het noch haalbaar, noch logisch dat mensen de bottleneck worden voor het beheer ervan. Het centrale platform dat 's werelds

AI beheert, zal worden beheerd door AI

Met onze ogen gericht op deze verruimde visie verwelkomen we 2025 met open armen! Gelukkig nieuwjaar iedereen.

‍