Versnel Gegevensverwerking met 30–40× met NVIDIA RAPIDS op TrueFoundry

‍Versnel Gegevensverwerking met 30–40× met NVIDIA RAPIDS op TrueFoundry

De hedendaagse machine learning-projecten op ondernemingsniveau omvatten vaak het verwerken van grootschalige datasets. Dit brengt uitdagingen met zich mee voor traditionele, op CPU gebaseerde frameworks zoals pandas, die vaak te maken krijgen met prestatie-enpassers. NVIDIA RAPIDS biedt een revolutionaire oplossing door gebruik te maken van GPU-parallellisme om de gegevensverwerking drastisch te versnellen. In deze technische verdieping verkennen we hoe RAPIDS uw data-workflows met 30–40× kan versnellen en laten we zien hoe TrueFoundry het naadloos benutten van GPU-geaccelereerde gegevensverwerking vereenvoudigt.

Introductie tot GPU-Geaccelereerde Gegevensverwerking met NVIDIA RAPIDS

NVIDIA RAPIDS bestaat uit verschillende kernbibliotheken, elk ontworpen om specifieke aspecten van de data science-pipeline te versnellen door de kracht van GPU's te benutten. De volgende tabel biedt een kort overzicht van deze kerncomponenten:

Laten we een bibliotheek uitlichten die in de praktijk het meest door bedrijven wordt gebruikt voor data-engineering

cuDF: GPU-Geaccelereerde DataFrames voor Data-Preparatie

1. cuDF dient als een GPU DataFrame-bibliotheek die geaccelereerde functionaliteiten biedt voor veelvoorkomende datamanipulatietaken zoals laden, joinen, aggregeren, filteren en algemene datatransformatie. 
2. Het ontwerp biedt een pandas-achtige API die zeer vertrouwd is voor data-engineers en data scientists, wat een soepele overgang naar GPU-geaccelereerde workflows vergemakkelijkt. 
3. Een belangrijke vooruitgang is de "pandas accelerator mode", die GPU-versnelling mogelijk maakt met minimale of "nul codeaanpassingen" aan bestaande pandas-workflows. 

Maar GPU's waren historisch gezien niet de makkelijkste om te integreren in data-workflows. We spraken met leidinggevenden op het gebied van data-engineering bij drie bedrijven die Rapids in productie wilden draaien - een Fortune-500 fintech, een unicorn in online onderwijs en een bekend Q&A-platform—en we hoorden steeds dezelfde klacht: “Elke sprint ontdekken we weer een job die is gecrasht omdat CUDA 11.8 ongemerkt op een enkele worker is geslopen. Twee keer per maand bouwen we onze Conda-locks opnieuw op.” — Head of Data Platform, FinTech

‍De Traditionele Uitdaging: RAPIDS Installeren en Uitvoeren

Als u ooit hebt geprobeerd RAPIDS te installeren op uw eigen machine of een generieke cloud-instantie, weet u dat het moeizaam kan zijn. RAPIDS heeft specifieke versie-afhankelijkheden (CUDA toolkit-versies, exacte Python- en bibliotheekversies, etc.), wat betekent dat een verkeerde combinatie kan leiden tot cryptische foutmeldingen.

Dit is haalbaar, maar verre van eenvoudig – het opzetten van de omgeving kan lang duren en het combineren van RAPIDS met andere Python-pakketten kan gemakkelijk leiden tot afhankelijkheidsconflicten. In feite vereist het onderhouden van een requirements.txt voor RAPIDS vaak het vastzetten van zeer specifieke versies van NumPy, pandas, scikit-learn, etc., en afwijkingen kunnen uw code breken. Al deze installatie-overhead vormt een drempel als u alleen maar de gegevensverwerking wilt versnellen.Google Colab Gebruiken

Google Colab biedt integratie met RAPIDS. De GPU-runtimes van Colab bieden compatibele drivers en CUDA-versies, waardoor handmatige installatie overbodig is. Hoewel `!pip install rapids-cuda12.0` nog steeds nodig is, beheert Colab de afhankelijkheden, wat een snelle inzet van GPU-geaccelereerde cuDF en cuML mogelijk maakt zonder ingewikkelde lokale installaties.

Machine learning-systemen op ondernemingsniveau vereisen echter meestal meer dan alleen een codeer-IDE, wat Colab niet kan bieden

‍GPU-Versnelling Eenvoudig Gemaakt op TrueFoundry

TrueFoundry neemt deze traditionele drempels weg en maakt RAPIDS eenvoudig te gebruiken en te beheren:

Vooraf Geconfigureerde GPU-Omgevingen: TrueFoundry biedt een beheerde NVIDIA CUDA 12.x toolkit-omgeving. U hoeft alleen dit notebook uit te voeren en pip install rapids <cuda-versie> uit te voeren

On-Demand GPU-Provisioning: Selecteer eenvoudig GPU's (spot of on-demand) rechtstreeks vanuit de TrueFoundry-interface. Het platform beheert automatisch de driverinstallaties en afhankelijkheidsconfiguraties.

Docker-Integratie: Vooraf gebouwde Docker-images met RAPIDS bieden onmiddellijke toegang zonder installatie-overhead.

De geïntegreerde omgeving van TrueFoundry stelt data scientists in staat om snel GPU-geaccelereerde pipelines te prototypen, ontwikkelen en implementeren.

Hyperparameter-Optimalisatie (HPO) is in de praktijk vaak moeilijk te implementeren vanwege de resources die nodig zijn om zoveel afzonderlijke trainingsjobs uit te voeren. U kunt HPO ook uitvoeren met Nvidia Rapids als Jobs op Truefoundry.

End-to-End Voorbeeld: Pandas vs cuDF op ~1 Mld NYC Taxi-rijen

Hieronder staat het exacte notebook dat we op TrueFoundry hebben uitgevoerd om het gemiddelde te berekenen 

‍ Laden van de dataset

‍Definiëren van de Pandas-workflow

GPU-run – Dask + cuDF-workflow

Resultaten

Zelfs op een enkele GPU zagen we al looptijden van minder dan 10 seconden; het toevoegen van GPU's met Dask zorgde voor een vrijwel lineaire schaling totdat het netwerk verzadigd raakte.
Dat is een productiviteitswinst van 37× zonder een enkele regel bedrijfslogica te veranderen. Klaar om uw verwerkingstijden te verkorten van minuten naar seconden? Start een RAPIDS-notebook op TrueFoundry en ervaar het verschil.

Verder dan Snelheid: Schaalbaarheid en Productiewaardige Workflows

Snelheid is fantastisch, maar even belangrijk is hoe u deze GPU-workflows integreert in uw algehele dataplatform. Hier zijn enkele aanvullende voordelen van het gebruik van RAPIDS op TrueFoundry:

• Multi-GPU Schaling – Start een Dask-cuDF cluster op twee of meer GPU's met een enkele Job-specificatie. TrueFoundry configureert de scheduler en workers automatisch, wat zorgt voor vrijwel lineaire doorvoerwinst op datasets die het geheugen van een enkele GPU overschrijden.
  
  
• Naadloze Pipeline-Promotie – Dezelfde notebookcode kan worden gepromoveerd tot een geplande batch-job of worden opgenomen in een grotere workflow via de UI van TrueFoundry. Omgevingsconsistentie voorkomt "het-werkt-lokaal"-afwijkingen tussen exploratie en productie.
  
  
• Kostenbewuste GPU-Allocatie – Vraag on-demand of spot-GPU's aan, definieer auto-scaling regels en combineer CPU- en GPU-stappen binnen één pipeline. Resources worden vrijgegeven wanneer ze inactief zijn, zodat u alleen betaalt voor de versnelling die u daadwerkelijk gebruikt.
  
  
• Geïntegreerde Observability – Platformdashboards tonen GPU-gebruik, geheugenfootprint, doorvoer en fout-/latentiemetrieken, inclusief alerting-koppelingen voor proactieve afstemming en capaciteitsplanning.

Kortom, TrueFoundry overbrugt de kloof tussen het uitproberen van RAPIDS op uw data en het op een robuuste, schaalbare manier implementeren ervan. U krijgt het beste van twee werelden: extreme snelheidswinst door NVIDIA RAPIDS en de betrouwbaarheid en het gebruiksgemak van een beheerd platform.