De $ 360K-vraag over de economie van Large Language Models

Het doel van dit artikel is om de lezer uit te leggen hoe de prijsstelling van Large Language Models (LLM) werkt. Dit is ingegeven door onze gesprekken met meerdere bedrijven die LLM's commercieel gebruiken. We realiseerden ons in deze gesprekken dat de economie achter LLM's vaak verkeerd wordt begrepen, wat enorm veel ruimte laat voor optimalisatie.

Realiseert u zich dat het uitvoeren van dezelfde taak $ 3500 kan kosten met het ene model of $ 1.260.000 met een ander? Dit gaat uiteraard gepaard met een verschil in prestaties, maar het laat in het midden veel ruimte over om na te denken over wat de afweging tussen kosten en prestaties is. Is de taak zo ingestoken dat ik iets kan gebruiken dat goedkoper is?

‍

$ 360k Question - Understanding the LLM Economics - Video | MLOps Community

De meesten van ons gebruiken LLM's en sommigen van ons bereiken het punt waarop LLM's naar productie gaan. De witsnoerfase is binnenkort voorbij en praktische realiteiten zoals kosten en onderhoudbaarheid worden mainstream. De kosten voor het draaien..

MLOps Community

‍

We zien steeds weer dat bedrijven hun uitgaven aan Large Language Models overschatten of onderschatten. Daarom proberen we hier de kosten van het draaien van enkele populaire grote taalmodellen te begrijpen en te kijken hoe hun prijsstelling werkt.

ℹ️

Het doel van deze blog is niet om de lezer te onderwijzen over LLM's of hun prestaties. Dit is een wiskundige blog die gericht is op het begrijpen van LLM-prijzen. Omwille van de eenvoud vergelijken we de prestaties tussen deze modellen niet.

Wikipedia samenvatten

The voorbeeld voor prijsanalyse

Om te begrijpen hoe de prijsstelling voor LLM's werkt, vergelijken we de kosten die worden gemaakt voor dezelfde taak, namelijk het samenvatten van Wikipedia tot de helft van de oorspronkelijke omvang.

Details Omvang van de taak

We gebruiken enkele benaderingen om de berekeningen te vereenvoudigen en ze gemakkelijk begrijpelijk te maken

Grootte van het Wikipedia-corpus

• ~ 6 miljoen artikelen in totaal
• ~ 750 woorden per artikel
• ~ 1000 tokens per artikel

❓

Tokens zijn onderdelen van woorden die niet precies afhankelijk zijn van het begin of einde van woorden. Het is de eenheid waarin de OpenAI API's de invoer opsplitsen in tokens voordat ze worden verwerkt. Tokens kunnen spaties aan het einde en zelfs subwoorden bevatten.

De verwachte grootte van de samengevatte uitvoer

Voor deze taak nemen we omwille van de eenvoud aan dat elk artikel tot de helft van de grootte wordt gecomprimeerd. De verwachte uitvoer ziet er dus als volgt uit:

• ~ 6 miljoen artikelen
• ~ 375 woorden per samengevat artikel
• ~ 500 tokens per artikel

De kosten begrijpen

Vergelijking van wat het gebruik van verschillende modellen voor deze taak zou kosten

Prijsfactoren in OpenAI/API's van derden

OpenAI en andere API's van derden kosten meestal geld op basis van twee factoren als u wilt infereren via hun API's

Invoerkosten

Deze kosten hangen af van het aantal tokens (zoals hierboven uitgelegd) dat als context/prompt/instructie aan de API wordt doorgegeven.

Uitvoerkosten

Dit zijn kosten gebaseerd op het aantal tokens dat de API als antwoord retourneert.

Voor een taak zoals samenvatten, waarbij u het gehele document of fragment naar het model moet sturen om te worden samengevat, kan het aantal tokens dat deel uitmaakt van de prompt aanzienlijk zijn, en daarmee dus ook de invoerkosten.

Basis van de kosten bij zelfgehoste modellen

Bij zelfgehoste modellen moet de gebruiker de machine beheren/provisieën die nodig is om het model uit te voeren. Hoewel dit de kosten van het beheren van deze bronnen kan omvatten, is de prijsstelling relatief eenvoudig te begrijpen, aangezien deze louter is gebaseerd op de operationele kosten van de machine (meestal het tarief van cloudproviders, tenzij u een eigen on-premise cluster hebt)

Kosten van de machine

Kosten voor het provisieën van de benodigde machine om het model uit te voeren/te hosten. Aangezien de meeste van deze grotere modellen te groot zijn om op een laptop of een enkel lokaal apparaat te draaien, is het gebruik van een cloudprovider voor deze machines het meest gebruikelijk.

Cloudproviders bieden deze instanties aan, hoewel gebruikers te maken kunnen krijgen met GPU-beschikbaarheidsproblemen aangezien deze modellen een GPU vereisen.

AWS-instantiekosten

Google Cloud-instantiekosten

Microsoft Azure-instantiekosten

Spot-instanties

Cloudproviders bieden hun overcapaciteit aan voor een prijs die 40-90% goedkoper is dan on-demand instanties

Kosten van verschillende modellen vergelijken

GPT 4 - 8K contextlengte

Eenheidskosten

‍

Kostenformule

Kosten = Aantal tokens (per 1000 artikelen)  X  Aantal artikelen (in duizendtallen) X Eenheidskosten (per 1 mln. tokens)

Kosten van invoer

1K (tokens/artikel) X 6.000K (artikelen) X $ 30 (/mn. tokens) = $ 180.000

Kosten van uitvoer

0,5 K (tokens/artikel) X 6.000K (artikelen) X $ 60 (/mn. tokens) = $ 180.000

Totale kosten

Invoerkosten + Uitvoerkosten

= $ 360.000

GPT 4 - 32K contextlengte

Eenheidskosten

‍

Invoerkosten (/Mn Tokens)Uitvoerkosten (/Mn Tokens)$ 60$ 120

Kostenformule

Kosten = Aantal tokens (per 1000 artikelen)  X  Aantal artikelen (in duizendtallen) X Eenheidskosten (per 1 mln. tokens)

Kosten van invoer

1K (tokens/artikel) X 6.000K (artikelen) X $ 60 (/mn. tokens) = $ 360.000

Kosten van uitvoer

0,5 K (tokens/artikel) X 6.000K (artikelen) X $ 120 (/mn. tokens) = $ 360.000

Totale kosten

Invoerkosten + Uitvoerkosten

= $ 720.000

Anthropic Claude V1

Eenheidskosten

‍

Kostenformule

Kosten = Aantal tokens (per 1000 artikelen)  X  Aantal artikelen (in duizendtallen) X Eenheidskosten (per 1 mln. tokens)

Kosten van invoer

1K (tokens/artikel) X 6.000K (artikelen) X $ 11 (/mn. tokens) = $ 66.000

Kosten van uitvoer

0,5 K (tokens/artikel) X 6.000K (artikelen) X $ 60 (/mn. tokens) = $ 96.000

Totale kosten

Invoerkosten + Uitvoerkosten

= $ 162.000

InstructGPT - DaVinci

Eenheidskosten

‍

Kostenformule

Kosten = Aantal tokens (per 1000 artikelen)  X  Aantal artikelen (in duizendtallen) X Eenheidskosten (per 1 mln. tokens)

Kosten van invoer

1K (tokens/artikel) X 6.000K (artikelen) X $ 20 (/mn. tokens) = $ 120.000

Kosten van uitvoer

0,5 K (tokens/artikel) X 6.000K (artikelen) X $ 20 (/mn. tokens) = $ 60.000

Totale kosten

Invoerkosten + Uitvoerkosten

= $ 180.000

Curie

Eenheidskosten

‍

Kostenformule

Kosten = Aantal tokens (per 1000 artikelen)  X  Aantal artikelen (in duizendtallen) X Eenheidskosten (per 1 mln. tokens)

Kosten van invoer

1K (tokens/artikel) X 6.000K (artikelen) X $ 2 (/mn. tokens) = $ 12.000

Kosten van uitvoer

0,5 K (tokens/artikel) X 6.000K (artikelen) X $ 60 (/mn. tokens) = $ 6.000

Totale kosten

Invoerkosten + Uitvoerkosten

= $ 18.000

Zelfgehost 7B-model

Eenheidskosten

Kosten voor draaien machine (/uur voor Spot A100-80Gb)$ 10

Kostenformule

Kosten = Aantal tokens (per 1000 artikelen)  X  Aantal artikelen (in duizendtallen) X Eenheidskosten (per 1 mln. tokens)

Kosten van invoer

1K (tokens/artikel) X 6.000K (artikelen) X $ 30 (/mn. tokens) = $ 180.000

Kosten van uitvoer

0,5 K (tokens/artikel) X 6.000K (artikelen) X $ 60 (/mn. tokens) = $ 180.000

Totale kosten

Invoerkosten + Uitvoerkosten

= $ 360.000

Modellen fine-tunen

De meeste use cases die bedrijven hebben, vereisen dat ze modellen fine-tunen op hun eigen data en voor specifieke taken. Meerdere bedrijven hebben gemeld dat gefine-tunede open-source modellen op die specifieke taak gelijkwaardig zijn aan of soms zelfs beter presteren dan API's van derden zoals OpenAI.

Gefine-tuned DaVinci-model

Totale kosten

Invoerkosten + Uitvoerkosten

= $ 1.260.000

Gefine-tuned Curie-model

Totale kosten

Invoerkosten + Uitvoerkosten

= $ 126.000

Zelfgehost, gefine-tuned, 7B-model

Totale kosten

Invoerkosten + Uitvoerkosten

= $ 126.000

Alles op een rij

‍

Opvallende zaken uit de prijsstelling:

1. DaVinci- en Curie-modellen zijn ~7X zo duur als u ze fine-tuned voor uw use case
2. Kosten stijgen bij een vergroting van het contextvenster met ~2X
3. Kosten voor het gebruik van het model stijgen naarmate het aantal parameters van het model toeneemt

Effect van fine-tuning op prestaties

We gebruiken de volgende benchmark om het effect van fine-tuning op de prestaties van de modellen te analyseren. Het is interessant om op te merken dat:

1. Modellen met minder parameters ook beter kunnen presteren dan grotere modellen wanneer ze gefine-tuned zijn voor een specifieke use case.
2. Aanzienlijke kostenbesparingen mogelijk zijn zonder de prestaties sterk te schaden, mits de juiste balans tussen kosten en prestaties wordt gevonden.

Task   TypeBest   6B/7B OOTB Model     Few-shotMoveLM   7B     Zero-shotGPT-3.5   Turbo     Zero-shotGPT-3.5   Turbo     Few-shotGPT-4     Zero-shotGPT-4     Few-shotRelevance   - internal dataset0.330.930.840.840.920.95Extraction   - structured output for queries0.380.980.220.720.380.73Reasoning   - custom triggering0.620.930.870.880.90.88Classification   - domain of user query0.210.790.60.730.70.76Extraction   - structured output from entity typing0.830.870.90.890.890.89

‍

Wat wij doen

TrueFoundry gelooft dat de toekomst van LLM's ligt in de co-existentie van open-source en commerciële LLM's binnen dezelfde applicatie!

Wij geloven in een applicatielandschap waarin de eenvoudigere taken worden afgehandeld door lichtgewicht open-source LLM's, terwijl de meer complexe taken of taken die specifieke functionaliteiten vereisen (bijv. webzoekopdrachten, API-calls, etc.) die alleen worden geboden door gesloten, commerciële LLM's, aan hen kunnen worden uitbesteed.

Als u OpenAI gebruikt

Wij helpen het aantal tokens dat naar OpenAI API's wordt gestuurd te verminderen. Waarom we besloten hebben hieraan te werken:

1. We merkten dat meer dan de helft van de kosten opging aan het verwerken van context- / prompt-tokens.
2. Niet alle woorden zijn noodzakelijk. LLM's zijn uitstekend in staat om te werken met onvolledige zinnen.

Daarom bouwt TrueFoundry een compressie-API om OpenAI-kosten met ~30% te verlagen.

Als u open-source LLM's wilt gebruiken

Wij vereenvoudigen het draaien van deze modellen binnen uw eigen infrastructuur via het volgende aanbod:

1. Modelcatalogus: Van open-source LLM's - geoptimaliseerd voor inference & fine-tuning.  
2. Direct vervangbare API's: Deze kunnen rechtstreeks worden uitgewisseld voor de HuggingFace- & OpenAI API's die u al in uw applicaties gebruikt.
3. Kostenoptimalisatie: Multi-cloud op K8s door gebruik te maken van uw cloudcredits of budget.