Load Balancing im AI Gateway: Leistungsoptimierung

Wie konfiguriere ich den Lastenausgleich in True Foundry?

Das AI Gateway von TrueFoundry unterstützt zwei Hauptmethoden für die Anwendung von Load-Balancing-Konfigurationen über YAML: direkt über die Gateway-Benutzeroberfläche oder programmgesteuert mit GitOps und der tfy-CLI.

Um das Load Balancing in der Gateway-Benutzeroberfläche zu aktualisieren, navigieren Sie zum AI Gateway Ihres Projekts und wählen Sie den Tab Config unter „Load Balancing“. Der YAML-Editor zeigt Ihr aktuelles Gateway-Load-Balancing-Config-Manifest an, einschließlich Feldern der obersten Ebene wie Name und Typ, optionaler model_configs für Ratenbegrenzungen und des Kernregel-Arrays für Routing-Strategien.

Bearbeiten Sie einfach das YAML inline, ändern Sie Modellkennungen, passen Sie usage_limits oder failure_tolerance an und definieren Sie load_balance_targets mit Gewichtungen oder Latenzstrategien neu — und klicken Sie auf Speichern, um die Validierung und Bereitstellung sofort ohne Ausfallzeiten durchzuführen. Unter der Haube validiert TrueFoundry die Syntax, wendet die neuen Regeln der Reihe nach an und leitet den Datenverkehr sofort gemäß Ihrer aktualisierten Richtlinie weiter.

Alternativ können Teams, die GitOps üben, Ihr Load-Balancing-Manifest (z. B. loadbalancer-config.yaml) zusammen mit Ihrem Infrastrukturcode in einem versionskontrollierten Repository speichern. Nachdem Sie die Änderungen festgeschrieben und übertragen haben, führen Sie die TrueFoundry CLI aus:

• pip install truefoundry und tfy login --host https://app.truefoundry.com zur Authentifizierung
  
• versuche apply -f loadbalancer-config.yaml, um die YAML in das Gateway zu übertragen
  

Dieser Workflow erzwingt Pull-Request-Reviews, CI/CD-Validierungen und vollständige Überprüfbarkeit, bevor eine Richtlinienänderung in Produktion geht. Ganz gleich, ob Sie direkte Änderungen an der Benutzeroberfläche für schnelle Iterationen oder GitOps für eine robuste Governance bevorzugen, der deklarative YAML-Ansatz von TrueFoundry stellt sicher, dass Ihre Richtlinien für den Lastenausgleich transparent, versioniert und konsistent angewendet werden, ohne den Anwendungscode zu berühren.

Grundlegendes zur Load Balancing-Konfiguration von True Foundry

Die Lastausgleichskonfiguration von TrueFoundry ist vollständig in einem deklarativen YAML-Manifest definiert, das aus zwei Hauptabschnitten besteht: model_configs und rules. Auf der obersten Ebene geben Sie einen Namen, eine für Menschen lesbare Kennung, die für die Protokollierung verwendet wird, und den Typ an, der gateway-load-balancing-config sein muss, damit die Plattform diese Datei als Lastausgleichsspezifikation erkennt.

Mit dem optionalen model_configs-Block können Sie globale Einschränkungen für jeden Modellendpunkt erzwingen. Für jeden Eintrag fügen Sie Folgendes ein:

• modell: die Gateway-ID (z. B. azure/gpt4)

• Nutzungsbeschränkungen: begrenzt Tokens_per_Minute und Requests_per_Minute, um zu verhindern, dass ein Modell seinen zugewiesenen Durchsatz überschreitet

• Ausfalltoleranz: Parameter, die festlegen, wann ein Modell als fehlerhaft eingestuft wird, einschließlich allowed_failures_per_minute, cooldown_period_minutes und einer Liste von HTTP-Statuscodes, die als Fehler gelten
  

Wenn ein Modell einen Nutzungs- oder Ausfallschwellenwert überschreitet, markiert das Gateway es für die angegebene Abklingzeit als fehlerhaft und schließt es vom Routing aus, bis es wieder hergestellt ist.

Der Kern der Konfiguration ist das Regel-Array. Jede Regel muss Folgendes deklarieren:

• ID: ein eindeutiger Name, der für Metriken und Logs verwendet wird

• typ: entweder gewichtsbasiertes Routing oder latenzbasiertes Routing

• wann: Bedingungen, die die Regel auf spezifische Anfragen von Modellen und optional nach Betreff oder Metadaten ausdehnen
  

Regeln werden in der Reihenfolge ausgewertet, in der sie erscheinen, und nur die erste passende Regel wird wirksam. Dadurch wird eine vorhersehbare, deterministische Verkehrsweiterleitung gewährleistet.

Listen Sie unter load_balance_targets ein oder mehrere Zielmodelle auf. Für gewichtsbasiertes Routing benötigt jedes Ziel eine Ganzzahlgewichtung zwischen 0 und 100, wobei sich alle Gewichtungen zu 100 summieren. Für latenzbasiertes Routing sind keine Gewichtungen erforderlich. Das Gateway misst die aktuelle Latenz pro Token und leitet jede Anfrage an das Modell weiter, das am schnellsten funktioniert. Beide Strategien unterstützen optionale override_params pro Ziel und ermöglichen so die Anpassung von Laufzeitparametern wie temperature oder max_tokens.

Durch die Zentralisierung der Verkehrsverteilungsrichtlinien in einer einzigen YAML-Datei ermöglicht TrueFoundry Versionskontrolle, Pull-Request-Reviews und die schnelle Iteration von Load-Balancing-Strategien ohne Änderungen am Anwendungscode.

Häufig verwendete Load Balancing-Konfigurationen

Unternehmen wenden häufig unterschiedliche Lastenausgleichsmuster an, um unterschiedliche betriebliche Ziele zu erreichen. Im Folgenden finden Sie vier häufig verwendete Setups auf dem TrueFoundry AI Gateway, die jeweils auf einen bestimmten Anwendungsfall zugeschnitten sind.

1. Einsatz von Canary

Schrittweise Rollouts ermöglichen es den Teams, neue Modellversionen sicher einzuführen. Sie weisen dem Canary-Modell einen kleinen Prozentsatz des Traffics zu und den Rest der stabilen Version. Durch die Überwachung der Fehlerraten und der Latenz auf dem Canary wird sichergestellt, dass alle Regressionen vor der vollständigen Umstellung erkannt werden.

Name: loadbalancing-config
Typ: Gateway-Load-Balancing-Config
Regeln:
- ID: „gpt4-canary“
Typ: „gewichtsbasiertes Routing“
wann:
Modelle:
- „gpt-4“
load_balance_targets:
- Ziel: „azure/gpt4-v1"
Gewicht: 90
- Ziel: „azure/gpt4-v2"
Gewicht: 10

2. Gesundheitsbewusstes, gewichtsbasiertes Routing

Premium-Benutzer oder Workflows mit hoher Priorität können auf Modelle mit der besten Leistung gelenkt werden. Durch die Definition von Ausfalltoleranzen in model_configs wird jedes Modell, das die Fehlerschwellenwerte überschreitet, automatisch entfernt, bis es wiederhergestellt ist. Das Verkehrsaufkommen zwischen den verbleibenden intakten Endpunkten setzt sich dann fort.

Name: loadbalancing-config
Typ: Gateway-Load-Balancing-Config
Modellkonfigurationen:
- Modell: „azure/gpt4"
Ausfalltoleranz:
Erlaubte_Ausfälle_pro_Minute: 3
Abklingzeit_Minuten: 5
Fehlerstatuscodes: [429, 500, 502, 503, 504]
- Modell: „openai/gpt4"
Ausfalltoleranz:
Erlaubte_Ausfälle_pro_Minute: 5
Abklingzeit_Minuten: 10
Fehlerstatuscodes: [429, 500, 502, 503, 504]
Regeln:
- id: „Premium-Nutzer“
Typ: „gewichtsbasiertes Routing“
wann:
Fächer:
- „virtuelles Konto: Premium“
Modelle:
- „gpt-4“
load_balance_targets:
- Ziel: „azure/gpt4"
Gewicht: 80
Parameter überschreiben:
Temperatur: 0,7
- Ziel: „openai/gpt4"
Gewicht: 20

3. Tokenbewusstes, latenzbasiertes Routing

Um Kosten und Leistung in Einklang zu bringen, können Sie die Token-Nutzung für ein Modell begrenzen und gleichzeitig einem alternativen Endpunkt erlauben, einen Überlauf zu bewältigen. Latenzbasiertes Routing stellt dann sicher, dass jede Anfrage an das schnellste Modell unter den Modellen weitergeleitet wird, die noch innerhalb der Quote sind.

Name: loadbalancing-config
Typ: Gateway-Load-Balancing-Config
Modellkonfigurationen:
- Modell: „azure/gpt4"
Nutzungsbeschränkungen:
Token_pro_Minute: 50000
Anfragen pro Minute: 100
Regeln:
- id: „kostengünstig“
Typ: „latenzbasiertes Routing“
wann:
Modelle:
- „gpt-4“
load_balance_targets:
- Ziel: „azure/gpt4"
Parameter überschreiben:
max_token: 500
- Ziel: „openai/gpt4"
Parameter überschreiben:
max_token: 1000

4. Umgebungsbasiertes Routing

Verschiedene Umgebungen wie Entwicklung, Staging oder Produktion erfordern oft unterschiedliche Routing-Richtlinien. Mithilfe von Umgebungsmetadaten können Sie gewichtsbasierte oder latenzbasierte Regeln durchsetzen, die vom Anforderungskontext abhängig sind.

Name: loadbalancing-config
Typ: Gateway-Load-Balancing-Config
Regeln:
- id: „Entwicklungsumgebung“
Typ: „gewichtsbasiertes Routing“
wann:
Modelle:
- „gpt-4“
Metadaten:
Umwelt: „Entwicklung“
load_balance_targets:
- Ziel: „openai/gpt4"
Gewicht: 100
Parameter überschreiben:
Temperatur: 0,8
- id: „Produktionsumgebung“
Typ: „latenzbasiertes Routing“
wann:
Modelle:
- „gpt-4“
Metadaten:
Umgebung: „Produktion“
load_balance_targets:
- Ziel: „azure/gpt4"
- Ziel: „openai/gpt4"

Jede dieser Konfigurationen veranschaulicht, wie das deklarative YAML von TrueFoundry es Teams ermöglicht, schnell eine ausgeklügelte Routing-Logik zu implementieren, sei es für schrittweise Rollouts, gesundheitsbewusste Traffic-Aufteilung, kostensensitive Leistungsoptimierung oder umgebungsorientierte Richtlinien, und das alles, ohne den Anwendungscode zu berühren.

Fazit

Lastenausgleichstransformationen KI-Gateway von einfachen Routern bis hin zu intelligenten Verkehrsmanagern, die hohe Verfügbarkeit, konsistente Leistung und nahtloses Failover über mehrere LLM-Endpunkte hinweg gewährleisten. Durch die Definition globaler Nutzungsgrenzen und Fehlertoleranzen verhindern Sie, dass überlastete oder fehleranfällige Modelle den Betrieb unterbrechen. Mit gewichtsbasiertem Routing können Sie die Verkehrsanteile präzise steuern — ideal für Canary-Releases oder Premium-Workflows. Latenzbasiertes Routing leitet Anfragen dynamisch an die Modelle weiter, die am schnellsten funktionieren. Durch die deklarative YAML-Konfiguration sind diese Richtlinien transparent, versionskontrolliert und einfach zu überprüfen. Mit den Lastenausgleichsfunktionen von TrueFoundry können Teams LLMs ohne Bedenken bereitstellen, da sie wissen, dass sich die Verkehrsverteilung automatisch an die Echtzeitbedingungen anpasst, ohne dass Änderungen am Anwendungscode vorgenommen werden müssen.

Häufig gestellte Fragen

Was ist Load Balancing in einem KI-Gateway?

Beim Lastenausgleich in KI-Gateway-Systemen werden Inferenzanforderungen auf verschiedene Modellendpunkte verteilt, um Engpässe zu vermeiden. Es stellt sicher, dass kein einzelner Anbieter oder keine Modellinstanz überfordert ist, wodurch die Systemverfügbarkeit aufrechterhalten wird. Durch die Überwachung von Integritätskennzahlen wie Anzahl der Anfragen und Fehlerraten sorgt das Gateway für eine reibungslose und zuverlässige Benutzererfahrung.

Wie führt ein KI-Gateway einen Lastenausgleich zwischen mehreren LLM-Anbietern durch?

Das Gateway verwendet spezielle Algorithmen, um den Verkehr auf der Grundlage der Anbieterleistung in Echtzeit weiterzuleiten. Techniken wie das gewichtsbasierte Routing ermöglichen feste Verkehrsaufteilungen, während latenzbasierte Strategien dynamisch den am schnellsten funktionierenden Endpunkt auswählen. Wenn ein Anbieter ein Ratenlimit erreicht oder ausfällt, leitet das Gateway den Datenverkehr automatisch an eine funktionierende Alternative weiter.

Wie unterscheidet sich der Lastausgleich bei KI-Gateways von dem von API-Gateways?

Während sich API-Gateways auf Metriken auf Netzwerkebene wie die CPU-Last konzentrieren, ist der Lastausgleich in KI-Gateway-Architekturen semantikbewusst. Es verfolgt KI-spezifische Daten wie Tokens pro Minute und modellspezifische Fehlercodes. Dies ermöglicht ein präziseres Verkehrsmanagement, das die einzigartigen Durchsatzgrenzen und das Verarbeitungsverhalten verschiedener LLMs berücksichtigt.

Ist Load Balancing für KI-Bereitstellungen mit mehreren Modellen erforderlich?

Ja, es ist wichtig, um eine hohe Verfügbarkeit aufrechtzuerhalten und KI-Produktionsanwendungen effektiv zu skalieren. Ohne sie bleibt Ihr System anfällig für Ausfälle oder Leistungsverzögerungen einzelner Anbieter. Die Verteilung von Anfragen auf mehrere Modelle bietet die Redundanz, die für die Bewältigung umfangreicher Datenmengen erforderlich ist, und gewährleistet gleichzeitig konsistente Antwortzeiten für alle Endbenutzer.

Wie hilft TrueFoundry beim Lastenausgleich in KI-Gateways?

TrueFoundry vereinfacht den Lastenausgleich im AI-Gateway-Management durch eine deklarative YAML-basierte Konfiguration. Es bietet automatische Zustandsprüfungen, latenzbasiertes Routing und nahtlose Failovers, um unternehmenskritische Zuverlässigkeit zu gewährleisten. Indem Sie diese Infrastruktur in Ihrer eigenen VPC hosten, ermöglicht Ihnen die Plattform, Leistung und Kosten zu optimieren, ohne Abstriche bei der Datensicherheit machen zu müssen.