EMEA, hallo! TrueFoundry breidt zijn aanwezigheid uit in Europa, het Midden-Oosten en Afrika. Lees meer. →
Krijg direct toegang tot een live TrueFoundry-omgeving. Implementeer modellen, stuur LLM-verkeer aan en verken het volledige platform — je sandbox is binnen enkele seconden klaar, creditcard niet vereist.
NVIDIA is 's werelds toonaangevende leverancier van GPU's. Met een ongekende wereldwijde vraag naar GPU's wilde het team de prestaties en het gebruik van GPU-clusters in de datacenters verbeteren. Deze oplossing zou hen helpen om GPU's aan meer klanten te leveren en de gebruikerservaring te verbeteren door de wachttijd tussen GPU-aanvragen en de afhandeling ervan te verkorten.
De bedachte oplossing was een AI-systeem dat alle GPU-telemetriegegevens (gebruik, stroomverbruik, geheugengebruik, fouten, enz.) die in realtime uit hun clusters worden verzameld, verwerkt, de GPU's beoordeelt op basis van hun gebruik en stappen voorstelt om de workloads te optimaliseren.
Het team bouwde en implementeerde een innovatief multi-agent conversatiesysteem en domeinspecifieke LLM's op het TrueFoundry-platform. De agents bouwden ML-modellen en optimalisatie-algoritmen met behulp van telemetriegegevens om het GPU-gebruik te optimaliseren!
NVIDIA is vandaag de dag een van de meest waardevolle bedrijven ter wereld in het midden van de AI-goudkoorts. Het werd in 1993 opgericht om versnelde computing te bouwen die uitdagingen oplost die specifiek zijn voor gaming en andere toepassingen die met algemene computing niet konden worden opgelost.
Het verhaal achter de naam van NVIDIA is grappig! Voordat het bedrijf een naam had, noemden de medeoprichters al hun bestanden NV, als in "next version". Bij de oprichting van het bedrijf moesten de medeoprichters alle woorden met die twee letters bekijken. Op een gegeven moment wilden ze het bedrijf NVision noemen, maar een toiletpapierfabrikant had die naam al geclaimd. Huang stelde de naam NVIDIA voor, afgeleid van "invidia", het Latijnse woord voor "afgunst".
Snel vooruit naar 2024. De GPU's van NVIDIA vormen de krachtpatser van het meeste onderzoek en de waardecreatie met behulp van LLM's en GenAI. In een bepaald kwartaal genereerde NVIDIA meer dan $25 miljard aan omzet, en NVIDIA GPU's zijn zo waardevol geworden dat ze in gepantserde wagens naar datacenters worden vervoerd. Er is zoveel vraag naar de GPU's van NVIDIA dat externe en interne gebruikers vaak moeten wachten op de beste versies in hun klasse.
Gezien hoe kostbaar een GPU tegenwoordig is en hoe de vraag ernaar exponentieel toeneemt, heeft NVIDIA een team binnen het bedrijf opgericht met de volgende doelstellingen:
Het maximaliseren van de prestaties en het gebruik van elk GPU-cluster
Verbetering van de gebruikerservaring en waardecreatie uit bestaande GPU's.
Traditioneel wordt dit probleem opgelost door naar historische telemetriegegevens te kijken en domeinkennis te gebruiken om machine learning-modellen te bouwen die de prestaties/het gebruik van de clusters op bepaalde assen optimaliseren.
Het probleem met deze aanpak is dat deze wordt beïnvloed door:
Dit zorgt ervoor dat veel GPU's onderbenut blijven, veel workloads moeten wachten, veel innovatie op de plank blijft liggen en veel mensen ontevreden zijn.
Het team overwoog om LLM's in te zetten vanwege hun vermogen om grote datasets te verwerken en logische acties af te leiden om GPU-optimalisatie te verbeteren en op te schalen. Een oplossing zou het volgende vereisen:
Het NVIDIA-team wilde dat het LLM-agentsysteem domeinexperts en operators zou helpen bij het genereren van bruikbare inzichten door hen relevante, domeinspecifieke vragen te laten stellen. De LLM-agent moet in staat zijn om alle dataverwerking, code-uitvoering en modelbouw uit te voeren die nodig zijn om deze inzichten te verkrijgen. Gebruikers kunnen abstracte vragen stellen zoals:
Het Autonomous Observability Agents-team bij NVIDIA bedacht een unieke aanpak om dit probleem op te lossen door deze optimalisatie te automatiseren met AI-agents die het volgende kunnen:
Deze strategieën kunnen aan de eindgebruiker worden gepresenteerd via een applicatie genaamd Llo11yPop, waarmee ze abstracte vragen kunnen stellen en het model de volledige orkestratie kunnen laten uitvoeren!
Dit ambitieuze probleem vereiste dat het NVIDIA-team aangepaste fundamentele modellen bouwde, Small Language Models (SLM's) finetunede, gespecialiseerde agents ontwikkelde, gedistribueerd computergebruik over verschillende gegevensbronnen automatiseerde en workloads uitvoerde op on-premise en cloudserviceproviders. Enkele van de technische uitdagingen bij het bouwen van een dergelijk systeem zijn:
Het team besloot het TrueFoundry-platform te gebruiken om deze technische uitdagingen op te lossen en de nodige toolkit te bieden voor het pre-trainen van modellen, fine-tuning, agent-implementatie en meer. Het team wilde zich uitsluitend concentreren op het oplossen van het zakelijke probleem en het ontwikkelen van de meest performante oplossing.
We konden eenvoudig modellen wisselen op basis van de use case, en naarmate er nieuwe modellen werden uitgebracht, hielp dit tempo van snelle experimenten ons om in slechts 6 weken een werkend PoC op te leveren
.svg)
Het NVIDIA-team realiseerde zich al vroeg dat ze, om een ingewikkeld probleem als het bovenstaande op te lossen, de uitdagingen vanaf het begin direct moesten aanpakken. Dit zou snelle iteraties mogelijk maken en de ondersteuning van verschillende gegevensbronnen, agents, gebruikerspersona's en vraagtypen versnellen. Ze maakten gebruik van het TrueFoundry-platform om een uitgebreide GenAI-stack te bouwen.
De vraag naar NVIDIA GPU's is in de AI-revolutie vrijwel onbeperkt. Deze oplossing beïnvloedt het gebruik en de snellere vervanging van deze GPU-vloten, waardoor NVIDIA deze middelen aan veel meer klanten kan aanbieden, en dat veel sneller.
Elk percentage of deel daarvan vertaalt zich in een substantiële zakelijke impact. Zelfs kleine verbeteringen in het gebruik stellen het team in staat om nieuwe klanten te bedienen, wat resulteert in netto nieuwe business voor het bedrijf. Het team van TrueFoundry prijst zich gelukkig dat het met het NVIDIA-team heeft mogen samenwerken aan een impactvol project in zo'n transformatieve tijd voor dit vakgebied.
Vertrouwd door zowel Fortune 100-bedrijven als startups
Het laatste nieuws, artikelen en bronnen in je inbox
