Falcon-40B auf AWS bereitstellen: 40 % günstiger als SageMaker

In diesem Artikel besprechen wir die Bereitstellung des Falcon-Modells in Ihrer eigenen Cloud.

Das Technology Innovation Institute in Abu Dhabi hat Falcon entwickelt, eine innovative Serie von Sprachmodellen. Diese Modelle, die unter der Apache 2.0-Lizenz veröffentlicht wurden, stellen einen bedeutenden Fortschritt auf diesem Gebiet dar. Insbesondere Falcon-40B sticht als wirklich offenes Modell hervor, das zahlreiche Closed-Source-Modelle in seinen Fähigkeiten übertrifft. Diese Entwicklung bringt enorme Chancen für Fachleute, Enthusiasten und die Branche mit sich, da sie den Weg für verschiedene spannende Anwendungen ebnet.

In diesem Blogbeitrag beschreiben wir den LLMOps-Prozess auf SageMaker – das Hosten des Falcon-Modells in Ihrem eigenen AWS-Cloud-Konto und die verschiedenen verfügbaren Optionen. Darüber hinaus planen wir, in Zukunft einen weiteren Blogbeitrag zu veröffentlichen, der sich auf die Ausführung von Falcon in anderen Clouds konzentriert.

Wir haben auch einen weiteren Blogbeitrag über die Bereitstellung von Llama 2 in Ihrer Cloud geschrieben. Lesen Sie unten weiter:

‍

Metas Open-Source-LLM bereitstellen & feintunen: Llama 2 in Ihrer Cloud

Metas Open-Source-LLM Llama 2 steht für Forschungs- und kommerzielle Zwecke kostenlos zur Verfügung. In diesem Blog erklären wir, wie Sie es in Ihrer Cloud feintunen und bereitstellen können.

TrueFoundry Blog TrueFoundry

‍

Weiter geht's: Die Falcon-Familie besteht aus zwei Basismodellen: Falcon-40B und  Falcon-7B. Das Modell mit 40B Parametern führt derzeit die Ranglisten des Open LLM Leaderboard an, während das 7B-Modell das beste in seiner Gewichtsklasse ist. Wir werden die Optionen für die Bereitstellung des Falcon-40B-Modells besprechen.

Falcon-40B benötigt ~90 GB GPU-Speicher – daher passt es nicht in eine einzelne A100-Instanz mit 80 GB RAM. Der Instanztyp, der in AWS funktioniert, ist g5.12xlarge (https://aws.amazon.com/ec2/instance-types/g5/). Wir können das Modell entweder als API-Endpunkt für Echtzeit-Inferenz bereitstellen oder es direkt im Code für Batch-Inferenz-Anwendungsfälle laden. 

Der Code zum Laden des Modells und zum Ausführen von Textgenerierungsaufgaben darauf sieht wie folgt aus:

# pip install "transformers[tokenizers]>=4.29.2,<5.0.0" # "sentencepiece==0.1.99" "accelerate>=0.19.0,<1.0.0" # "safetensors>=0.3.1,<0.4.0"

import torch
from transformers import pipeline

generator = pipeline(
   "text-generation",
   model="tiiuae/falcon-40b-instruct",
   tokenizer="tiiuae/falcon-40b-instruct",
   torch_dtype=torch.bfloat16,
   device_map="balanced_low_0",
)
output = generator(
   "Explain to me the difference between nuclear fission and fusion.",
   min_new_tokens=30,
   max_new_tokens=50
)
print(output)


Python-Code zum Laden von Falcon40B im Notebook

Bereitstellen des Modells als API

Wir können das Modell als Endpunkt entweder auf AWS SageMaker, einem EKS-Cluster oder einer reinen EC2-Maschine bereitstellen. Um das Modell auf SageMaker bereitzustellen, können Sie diesem Tutorial folgen: https://aws.amazon.com/blogs/machine-learning/deploy-falcon-40b-with-large-model-inference-dlcs-on-amazon-sagemaker/.

Um das Modell auf EKS bereitzustellen, müssen wir einen EKS-Cluster einrichten, einen GPU-Knotenpool und GPU-Operator darauf konfigurieren sowie eine Ingress-Schicht bereitstellen, um den API-Endpunkt aufrufen zu können. TrueFoundry kann diesen gesamten Prozess erheblich vereinfachen, indem die Modellbereitstellung zu einem Ein-Klick-Prozess wird.

Kostenanalyse

Lassen Sie uns einen Blick auf die Kosten für die Ausführung von Falcon LLM in Ihrem eigenen AWS-Konto werfen. Wir vergleichen die Kosten für die Ausführung auf SageMaker mit TrueFoundry.

SageMaker-Kosten

Kosten für eine SageMaker-Instanz (ml.g5.12xlarge) pro Stunde (us-east-1): 7,09 $

Wir haben einen kurzen Benchmark durchgeführt, um den Anfragedurchsatz und die Latenz für das Falcon-Modell auf AWS JumpStart zu berechnen. Die genauen Zahlen variieren je nach Prompt-Länge und Nebenläufigkeit der Anfragen, aber dies sollte einen groben Überblick geben:

Wie wir in den obigen Diagrammen sehen können, liegt die p50-Latenz bei etwa 5,7 Sekunden und die p90-Latenz bei etwa 9,4 Sekunden. Wir erreichen einen Durchsatz von etwa 6–7 Anfragen pro Sekunde.

Bereitstellen des Modells auf EKS mit TrueFoundry

TrueFoundry stellt das Modell auf EKS bereit, und wir können Spot- und On-Demand-Instanzen nutzen, um die Kosten drastisch zu senken. Vergleichen wir die On-Demand-, Spot- und Reserved-Preise pro Stunde für die g5.12xlarge-Maschine in der Region us-east-1.

On-Demand: 5,672 $ (20 % günstiger als SageMaker)

Spot: 2,076 $ (70 % günstiger als SageMaker)

1 Jahr Reserved: 3,573 $ (50 % günstiger als SageMaker)

3 Jahre Reserved: 2,450 $ (65 % günstiger als SageMaker)

Vergleichen wir nun den Durchsatz und die Latenz des Modells, das auf EKS mit TrueFoundry bereitgestellt wurde.

Wie wir aus den obigen Statistiken ersehen können, beträgt die p50-Latenz 5,8 Sekunden und die p90-Latenz 9,5 Sekunden. Der Durchsatz liegt bei etwa 6–7 Anfragen pro Sekunde. Wie oben zu sehen ist,

Preiskalkulator

Versuchen wir, die Kosten für das Hosten des Falcon-Modells für einen tatsächlichen Anwendungsfall mit Live-Traffic zu schätzen. Nehmen wir an, dass wir 100.000 Anfragen pro Tag erhalten und für jede einzelne Anfrage das Falcon-Modell aufrufen. Um diesen Traffic zu bedienen, sollte 1 Instanz von g5.2xlarge ausreichen, da jede Instanz 6 Anfragen pro Sekunde verarbeiten kann und 100.000 Anfragen pro Tag durchschnittlich etwa 1 Anfrage pro Sekunde entsprechen. Aus Zuverlässigkeitsgründen werden wir jedoch mindestens 2 Instanzen ausführen wollen. Vergleichen wir die Kosten für den Betrieb von 2 Instanzen:

SageMaker: 7,1 $ * 2 ($ pro Stunde) = 10.000 $ pro Monat

EKS:
Mit Spot-Instanzen: 2 $ * 2 ($ pro Stunde) = 2.880 $ pro Monat
Mit On-Demand-Instanzen: = 8.000 $ pro Monat

Wir können auch eine Kombination aus 1 Spot- und 1 On-Demand-Instanz verwenden, um die Kosten um etwa 40 % zu senken und gleichzeitig ein hohes Maß an Zuverlässigkeit zu erreichen.

Sprechen Sie mit uns

Wenn Sie den Ertrag Ihrer LLM-Projekte maximieren und Ihr Unternehmen befähigen möchten, AI auf die richtige Weise zu nutzen, würden wir uns freuen, uns mit Ihnen auszutauschen.