Hoe NVIDIA de GPU-clusterbenutting verbetert met LLM-agents

Hoe NVIDIA de GPU-clusterbenutting verbetert met LLM-agents

Samenvatting

NVIDIA is 's werelds toonaangevende leverancier van GPU's. Vanwege de ongekende wereldwijde vraag naar GPU's wilde het team de prestaties en benutting van GPU-clusters in datacenters verbeteren. Deze oplossing zou hen helpen om meer klanten van GPU's te voorzien en de gebruikerservaring te verbeteren door de wachttijd tussen GPU-aanvragen en levering te verkorten.

De bedachte oplossing was een AI-systeem dat alle GPU-telemetriegegevens (benutting, stroomverbruik, geheugengebruik, fouten, enz.) die in realtime uit hun clusters worden verzameld, verwerkt, de GPU's beoordeelt op basis van hun benutting en stappen voorstelt om de workloads te optimaliseren.

Het team bouwde en implementeerde een innovatief multi-agent gesprekssysteem en domeinspecifieke LLM's op het TrueFoundry-platform. De agents bouwden ML-modellen en optimalisatie-algoritmen met behulp van telemetriegegevens om de GPU-benutting te optimaliseren!

NVIDIA is tegenwoordig synoniem aan AI

NVIDIA is vandaag de dag een van de meest waardevolle bedrijven ter wereld te midden van de AI-goudkoorts. Het werd in 1993 opgericht om versnelde computing te ontwikkelen die uitdagingen oplost die specifiek zijn voor gaming en andere toepassingen waarvoor algemene computing niet volstond.

Het verhaal achter de naam NVIDIA is grappig! Voordat het bedrijf een naam had, noemden de medeoprichters al hun bestanden NV, als in "next version". Bij de oprichting van het bedrijf besloten de medeoprichters alle woorden met die twee letters te bekijken. Op een gegeven moment wilden ze het bedrijf NVision noemen, maar die naam was al geclaimd door een fabrikant van toiletpapier. Huang stelde de naam NVIDIA voor, afgeleid van "invidia", het Latijnse woord voor "afgunst".

Snel vooruit naar 2024. De GPU's van NVIDIA vormen de drijvende kracht achter het meeste onderzoek en de waardecreatie met LLM's en GenAI. In een kwartaal genereerde NVIDIA meer dan 25 miljard dollar aan omzet, en NVIDIA GPU's zijn zo waardevol geworden dat ze in gepantserde wagens naar datacenters worden vervoerd. De vraag naar NVIDIA's GPU's is zo groot dat externe en interne gebruikers vaak moeten wachten op de beste versies in hun klasse.

Motivatie: Betere GPU-benutting helpt bij het voldoen aan de enorme vraag

Gezien hoe kostbaar een GPU tegenwoordig is en hoe de vraag ernaar exponentieel toeneemt, heeft NVIDIA een team binnen het bedrijf opgericht met de volgende doelstellingen:

1. Verhogen van het rendement op GPU-clusters: Het maximaliseren van de prestaties en benutting van elk GPU-cluster.
2. Snellere afhandeling van GPU-aanvragen: Verbetering van de gebruikerservaring en waardecreatie uit de bestaande GPU's.

Traditionele aanpak met ML-modellen heeft beperkingen

Traditioneel werd dit probleem opgelost door naar historische telemetriegegevens te kijken en domeinkennis te gebruiken om machine learning-modellen te bouwen die de prestaties/benutting van de clusters op specifieke assen optimaliseren.

Het probleem met deze aanpak is dat deze wordt beïnvloed door:

1. Menselijke vooroordelen: Beperkt door de assen die ontwikkelingsteams konden bedenken om te optimaliseren
2. Niet schaalbaar: Het schaalt niet mee met het aantal type workloads, probleemklassen of clustertypes, die elk hun eigen optimalisatietechniek kunnen vereisen!

Hierdoor blijven veel GPU's onderbenut, wachten veel workloads, blijft veel innovatie op de plank liggen en zijn veel mensen ontevreden.

Een compleet nieuwe aanpak voor optimalisatie met behulp van LLM-agents

Het team overwoog om LLM's in te zetten vanwege hun vermogen om grote datasets te verwerken en logische acties af te leiden om GPU-optimalisatie te verbeteren en op te schalen. Een oplossing zou het volgende vereisen:

1. Dataverzameling: Cluster-telemetriegegevens (GPU-gebruik, temperatuur, workloads) moeten worden verzameld uit datacenters in verschillende regio's en bij diverse cloudproviders.
2. Dashboard voor monitoring en analyse: Operators een naadloze manier bieden om vragen te stellen, inkomende data te analyseren, deze in realtime te monitoren en visualisaties te maken.
3. Geautomatiseerde optimalisatie: Een continu monitoringsagent die de data kan verwerken en acties kan ondernemen om de cluster-workloads en het resourcegebruik te optimaliseren.

Het NVIDIA-team wilde dat het LLM-agentsysteem domeinexperts en operators hielp bij het genereren van bruikbare inzichten door hen relevante, domeinspecifieke vragen te laten stellen. De LLM-agent moet in staat zijn om alle databewerking, code-uitvoering en modelbouw uit te voeren die nodig zijn om deze inzichten te verkrijgen. Gebruikers kunnen abstracte vragen stellen zoals:

• Wat kun je me vertellen over geannuleerde taken? Hoe verschillen deze van taken waarbij de gebruiker zelf om beëindiging vroeg? Waarom?
• Welke teams hebben de meeste problemen met GPU's? Zijn er gemeenschappelijke kenmerken?
• Zijn er nog andere afwijkingen in deze data die jij ongebruikelijk vindt? Zo ja, leg dan uit waarom.

Oplossing: Het NVIDIA-team bedacht een innovatieve, op multi-agents gebaseerde aanpak

Het team voor autonome observability-agents bij NVIDIA bedacht een unieke aanpak om dit probleem op te lossen door deze optimalisatie te automatiseren met AI-agents die:

1. Elk een specifieke set taken uitvoeren
2. Met elkaar communiceren
3. Analytics- en ML-modellen bouwen
4. Simulaties uitvoeren
5. Strategieën bedenken om GPU-gebruik te optimaliseren

Deze strategieën kunnen aan de eindgebruiker worden gepresenteerd via een applicatie genaamd Llo11yPop, waarmee ze abstracte vragen kunnen stellen en het model de volledige orkestratie kunnen laten uitvoeren!

Uitdaging: Er was een veelheid aan technische orkestraties nodig om de visie te realiseren

Voor dit ambitieuze project moest het NVIDIA-team aangepaste fundamentele modellen bouwen, Small Language Models (SLM's) finetunen, gespecialiseerde agents ontwikkelen, gedistribueerd computergebruik over verschillende databronnen automatiseren en workloads draaien op zowel on-premise als cloudserviceproviders. Enkele van de technische uitdagingen bij het bouwen van een dergelijk systeem zijn:

• Beheer van hybride en cross-cloudomgevingen: Deze GPU's bevinden zich in alle verschillende on-premise en cloud-datacenters wereldwijd.
• Naadloos wisselen tussen modellen: Om het meest geschikte model te gebruiken op basis van het type inkomende vraag of de taak waar het agentsysteem voor staat
• Agentontwikkeling en benchmarking: Om naadloze communicatie tussen agents mogelijk te maken, verzoeken door te sturen naar relevante agents en de prestaties van verschillende agentarchitecturen te benchmarken.

Het team besloot het TrueFoundry-platform te gebruiken om deze technische uitdagingen op te lossen en de benodigde toolkit te bieden voor het pre-trainen en finetunen van modellen, het implementeren van agents en meer. Het team wilde zich volledig concentreren op het oplossen van het bedrijfsprobleem en het ontwikkelen van de meest prestatiegerichte oplossing.

De stack: TrueFoundry loste de technische uitdagingen op, het team kon binnen 6 weken live!

“We konden eenvoudig wisselen tussen modellen per use case, en naarmate er nieuwe modellen uitkwamen, hielp dit snelle experimenteertempo ons om binnen slechts 6 weken een werkend PoC op te leveren”, aldus Aaron

Het NVIDIA-team realiseerde zich al vroeg dat ze, om een ingewikkeld probleem als het bovenstaande op te lossen, de uitdagingen vanaf het begin direct moesten aanpakken. Dit zou snelle iteraties mogelijk maken en de ondersteuning van verschillende gegevensbronnen, agents, gebruikerspersona's en vraagtypen versnellen. Ze maakten gebruik van het TrueFoundry-platform om een uitgebreide GenAI-stack te bouwen.

Impact van het project

De vraag naar NVIDIA GPU's lijkt in de AI-revolutie vrijwel onbeperkt. Deze oplossing beïnvloedt het gebruik en de snellere vervanging van deze GPU-vloten, waardoor NVIDIA deze middelen aan meer klanten en onderzoekers kan aanbieden. Elke procent stijging in de klantbediening vertaalt zich in een impact van honderden miljoenen dollars op de schaal waarop NVIDIA opereert.

Omdat dit project invloed heeft op het percentage van het gebruik en de output die uit hun volledige vloot GPU-clusters kan worden gehaald, vertaalt elke procent of fractie daarvan zich in een impact van honderden miljoenen dollars. Zelfs kleine verbeteringen in het gebruik stellen het team in staat om nieuwe klanten te bedienen, wat resulteert in netto nieuwe business voor het bedrijf. We hebben het geluk gehad om met het team samen te werken aan een impactvol project in zo'n transformatieve tijd voor dit vakgebied.