Benchmarking van de TrueFoundry LLM Gateway: bloedsnel ⚡

• TrueFoundry LLM Gateway biedt een universele, OpenAI-compatibele interface naar diverse LLM-providers zoals Anthropic, OpenAI, Bedrock, Gemini en vele anderen
• TrueFoundry LLM Gateway schaalt moeiteloos naar 350 RPS op een enkele replica van 1 unit CPU met een geheugengebruik van slechts 270 MB. We hebben dit vergeleken met een ander gateway-product, LiteLLM, in een vergelijkbare opstelling, waarbij LiteLLM niet verder kon schalen dan 50 RPS
• TrueFoundry LLM Gateway voegt slechts een extra latentie van 3-5 ms toe, terwijl LiteLLM tussen de 15-30 ms per verzoek toevoegt.

Waarom heeft jouw organisatie een LLM Gateway nodig?

Een LLM Gateway biedt een gecentraliseerde interface om het LLM-gebruik van je organisatie te beheren:

• Geünificeerde API: Toegang tot meerdere LLM-providers via één OpenAI-compatibele interface, zonder dat er codeaanpassingen nodig zijn
• API-sleutelbeveiliging: Veilig en gecentraliseerd beheer van inloggegevens
• Governance & Controle: Stel limieten, toegangsbeheer en contentfiltering in
• Rate Limiting: Voorkom misbruik en borg eerlijk gebruik
• Observability: Volg gebruik, kosten, latentie en prestaties
• Load Balancing: Stuur verzoeken automatisch door naar verschillende providers
• Kostenbeheer: Bewaak uitgaven en stel budgetwaarschuwingen in
• Audit Trails: Log alle LLM-interacties voor compliance

Hoe snel is de TrueFoundry LLM Gateway?

Inrichting van de loadtest

Voor ons loadtest-experiment hebben we met TrueFoundry deze fake OpenAI endpoint-service uitgerold. De service simuleerde het verzoek- en responsformaat van OpenAI zonder daadwerkelijk tokens te genereren.

We hebben ook de TrueFoundry LLM Gateway en de LiteLLM Proxy Server uitgerold, beide draaiend op een enkele replica met 1 unit CPU en 1 GB geheugen. 

We hebben onze fake OpenAI-provider toegevoegd aan zowel de TrueFoundry- als de LiteLLM-gateways. Tijdens de loadtest hebben we op 3 verschillende manieren verzoeken gestuurd naar de fake OpenAI-server:

• Opstelling 1: Rechtstreeks zonder gebruik te maken van een proxy of gateway
• Opstelling 2: Via de TrueFoundry LLM Gateway uitgerold op 1 unit CPU en 1 GB geheugen
• Opstelling 3: Via de LiteLLM Proxy Server uitgerold op 1 unit CPU en 1 GB geheugen

Observaties

1. TrueFoundry Gateway voegt slechts 3 ms extra latentie toe tot 250 RPS en 4 ms bij RPS > 300
2. TrueFoundry LLM Gateway kon schalen zonder enige kwaliteitsvermindering in prestaties tot ongeveer 350 RPS (1 vCPU, 1 GB machine) voordat het CPU-gebruik 100% bereikte en de latentie begon op te lopen. Met meer CPU of meer replica's kan de LLM Gateway schalen naar tientallen duizenden verzoeken per seconde.
3. LiteLLM op dezelfde machine kon niet verder schalen dan 40-50 RPS voordat de CPU-limiet werd bereikt

Meer metrieken

Opstelling 1: Directe OpenAI endpoint-aanroep

‍Opstelling 2: TrueFoundry LLM Gateway

Opstelling 3: LiteLLM

Snelheidsfuncties van de LLM Gateway

• Minimale Overhead: Slechts 3-5 ms extra latentie
• Geoptimaliseerde Backend: Gebouwd met een krachtig Node.js-framework
• Configuratiecaching: Configuratie wordt in het geheugen opgeslagen voor snelle consultatie
• Slimme Routing: Minimale verwerkings overhead
• Edge Ready: Eenvoudig uit te rollen dicht bij je applicaties
• Hoge Capaciteit: Een t2.2xlarge AWS-instance ($ 43 per maand op spot) kan probleemloos schalen tot ~3000 RPS.

Ondersteunde Providers

Hieronder vind je een overzicht van populaire LLM-providers die worden ondersteund door de TrueFoundry LLM Gateway: