TrueFoundry上のNVIDIA RAPIDSでデータ処理を30～40倍高速化

‍TrueFoundry上でNVIDIA RAPIDSを使ってデータ処理を30～40倍高速化

今日のエンタープライズ級機械学習プロジェクトでは、大規模なデータセットの処理が頻繁に発生します。これは、pandasのような従来のCPUベースのフレームワークにとって課題であり、しばしばパフォーマンスのボトルネックに悩まされています。 NVIDIA RAPIDS は革新的なソリューションを提供し、 GPU並列処理 を活用してデータ処理を劇的に高速化します。この技術的な詳細解説では、RAPIDSがデータワークフローを 30～40倍 に向上させ、TrueFoundryがいかにGPUアクセラレーションによるデータ処理の活用をシームレスに簡素化するかを実演します。

NVIDIA RAPIDSによるGPUアクセラレーションデータ処理の紹介

NVIDIA RAPIDSは、GPUのパワーを活用してデータサイエンスパイプラインの特定の側面を高速化するように設計された、いくつかの主要なライブラリで構成されています。以下の表は、これらの主要コンポーネントの概要を示しています。

データエンジニアリングで企業に最もよく使われているライブラリを1つ取り上げてみましょう。

cuDF: データ準備のためのGPUアクセラレーションDataFrame

1. cuDFは GPU DataFrameライブラリとして機能し、読み込み、結合、集計、フィルタリング、一般的なデータ変換といった一般的なデータ操作タスクに対して高速化された機能を提供します。 
2. その設計はpandasのようなAPIを提供しており、データエンジニアやデータサイエンティストにとって非常に馴染み深く、GPUアクセラレーションワークフローへのスムーズな移行を促進します。 
3. 注目すべき進歩は、 「pandasアクセラレーターモード」」により、既存のpandasワークフローに最小限の、あるいは「コード変更なし」でGPUアクセラレーションを可能にします。 

しかし、GPUはこれまでデータワークフローへの統合が容易ではありませんでした。私たちは、以下の3社のデータエンジニアリングリーダーに話を聞きました。 Rapidsを本番環境で実行したいと考えている、フォーチュン500のフィンテック企業、オンライン学習のユニコーン企業、そして有名なQ&Aプラットフォームです。彼らからは同じ不満の声が聞かれました。「スプリントごとに、CUDA 11.8が単一のワーカーに忍び込んだせいで、また一つジョブが壊れているのを発見します。月に2回はCondaロックを再構築しています。」 — データプラットフォーム責任者、フィンテック企業

‍従来の課題：RAPIDSのインストールと実行

自分のマシンや一般的なクラウドインスタンスにRAPIDSをインストールしようとしたことがあるなら、それがどれほど 厄介なことかご存知でしょう。RAPIDSには特定のバージョン依存関係（CUDAツールキットのバージョン、正確なPythonおよびライブラリのバージョンなど）があり、誤った組み合わせが原因で、解読不能なエラーにつながる可能性があります。

これは可能ですが、決して単純ではありません。環境設定には時間がかかり、RAPIDSを他のPythonパッケージと混ぜると、簡単に依存関係の競合を引き起こす可能性があります。実際、RAPIDSのrequirements.txtを維持するには、しばしば 非常に特定のバージョン のNumPy、pandas、scikit-learnなどの、そして不一致はコードを壊す可能性があります。データ処理を高速化することだけが目的なら、これらすべてのセットアップのオーバーヘッドは障壁となります。‍

Google Colabの利用

Google ColabはRAPIDS統合を提供しています。ColabのGPUランタイムは互換性のあるドライバーとCUDAバージョンを提供し、手動でのセットアップを不要にします。`!pip install rapids-cuda12.0`は依然として必要ですが、Colabが依存関係を管理するため、複雑なローカルインストールなしでGPUアクセラレーションされたcuDFとcuMLを迅速に利用できます。

しかし、多くの場合、エンタープライズグレードの機械学習システムは、コーディングIDE以上のものを必要としますが、Colabはそれを提供できません。

‍TrueFoundryでGPUアクセラレーションを簡単に

TrueFoundryはこれらの従来の障壁を解消し、RAPIDSの利用と管理を容易にします。

事前設定済みのGPU環境： TrueFoundryは、マネージドNVIDIA CUDA 12.xツールキット環境を提供します。このノートブックを実行し、`pip install rapids <cuda version>` をインストールするだけで利用できます。

オンデマンドGPUプロビジョニング： TrueFoundryのインターフェースから直接、GPU（スポットまたはオンデマンド）を簡単に選択できます。プラットフォームがドライバーのインストールと依存関係の設定を自動的に管理します。

Docker連携： RAPIDSが組み込まれた事前構築済みDockerイメージにより、インストールの手間なくすぐに利用できます。

TrueFoundryの統合環境により、データサイエンティストはGPUアクセラレーションされたパイプラインを迅速にプロトタイプ作成、開発、デプロイできます。

ハイパーパラメータ最適化 多くの異なるトレーニングジョブを実行するために必要なリソースのため、実用的なアプリケーションでの実装は困難でした。Nvidia Rapidsを使用してHPOを実行することもできます。 Truefoundry上のジョブとして。

エンドツーエンドの例：約10億行のNYCタクシーデータにおけるPandas vs cuDF

以下は、平均を求めるためにTrueFoundryで実行した正確なノートブックです 

import os, time, urllib.request
from pathlib import Path
import pandas as pd
import cudf
import dask_cudf
from dask.distributed import Client
from dask_cuda import LocalCUDACluster

# ----- CONFIG -------
MONTHS = pd.date_range("2018-01-01", "2021-07-01", freq="MS").strftime("%Y-%m").tolist()
DATA_DIR = Path("data")               # where Parquet files will live
REPEATS  = 3                         
TS_COL   = "tpep_pickup_datetime"
VAL_COL  = "total_amount"
BASE_URL = "https://d37ci6vzurychx.cloudfront.net/trip-data/"

‍ データセットの読み込み

def ensure_data():
    DATA_DIR.mkdir(exist_ok=True)
    files = []
    for m in MONTHS:
        fname = f"yellow_tripdata_{m}.parquet"
        out   = DATA_DIR/fname
        if not out.exists():
            url = BASE_URL + fname
            print(f"Downloading {fname} …")
            urllib.request.urlretrieve(url, out)
        files.append(str(out))
    return files
files = ensure_data()
print(f"→ {len(files)} files ready (≈{len(files)*23:,} M rows total)")

‍Pandasワークフローの定義

def pandas_workflow(files):
    dfs = [pd.read_parquet(f) for f in files]
    pdf = pd.concat(dfs, ignore_index=True)
    pdf["day"] = pd.to_datetime(pdf[TS_COL]).dt.date 
    return pdf.groupby("day")[VAL_COL].mean().max()

GPU実行 – Dask + cuDFワークフロー

# <code:dask-cudf-workflow>
from dask.distributed import Client
from dask_cuda import LocalCUDACluster
import dask_cudf, cudf

def dask_cudf_workflow(files):
    cluster = LocalCUDACluster()
    client  = Client(cluster)
    print("▶ Running on", len(client.ncores()), "GPU(s)")
    
    ddf = dask_cudf.read_parquet(files)
    ddf["day"] = ddf[TS_COL].dt.floor("D")
    # compute group→mean→max across the cluster
    result = (
        ddf
        .groupby("day")[VAL_COL]
        .mean()
        .max()
        .compute()
    )
    client.close()
    cluster.close()
    return result

結果

シングルGPUでも10秒未満の実行時間を確認できました。DaskでGPUを追加すると、ネットワーク飽和までほぼ線形のスケーリングが得られました。
ビジネスロジックを一行も変更することなく、生産性が37倍向上します。処理時間を数分から数秒に短縮する準備はできていますか？TrueFoundryでRAPIDSノートブックを起動し、その違いを実感してください。

スピードを超えて：スケーラビリティと本番環境対応のワークフロー

スピードは素晴らしいですが、これらのGPUワークフローをデータプラットフォーム全体にどのように統合するかも同様に重要です。TrueFoundryでRAPIDSを使用する追加の利点をいくつかご紹介します。

• マルチGPUスケーリング – 単一のジョブ仕様で2つ以上のGPU上にDask-cuDFクラスターを起動します。TrueFoundryはスケジューラーとワーカーを自動的にプロビジョニングし、単一GPUのメモリを超えるデータセットに対して、ほぼ線形のスループット向上を実現します。
  
  
• シームレスなパイプライン昇格 – 同じノートブックコードを、TrueFoundryのUIを通じてスケジュールされたバッチジョブに昇格させたり、より大規模なワークフローに組み込んだりできます。環境の一貫性により、探索段階と本番環境の間で発生しがちな「ローカルでは動く」という乖離が解消されます。
  
  
• コストを意識したGPU割り当て – オンデマンドまたはスポットGPUをリクエストし、オートスケーリングルールを定義し、1つのパイプライン内でCPUとGPUのステージを混在させることができます。リソースはアイドル時に解放されるため、使用したアクセラレーションに対してのみ料金を支払うことになります。
  
  
• 統合された可観測性 – プラットフォームのダッシュボードは、GPU使用率、メモリフットプリント、スループット、エラー/レイテンシの各メトリクスを可視化し、プロアクティブなチューニングとキャパシティプランニングのためのアラートフックも備えています。

結論として、TrueFoundryは、データでRAPIDSを試すことと、堅牢でスケーラブルな方法でデプロイすることの間のギャップを埋めます。これにより、両方の利点が得られます。 圧倒的な高速化 NVIDIA RAPIDSによるものと、 信頼性と使いやすさ マネージドプラットフォームの。