Claude Managed Agents nutzen: Eine Schritt-für-Schritt-Anleitung zur Einrichtung

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Der Aufbau eines KI-Agenten umfasst mehr als nur den Aufruf eines Modells. Sie müssen die Agentenschleife verwalten, Tools ausführen, eine Laufzeitumgebung bereitstellen, den Sitzungsstatus pflegen, Berechtigungen handhaben und die Aktivitäten des Agenten überwachen.
Claude Managed Agents übernimmt einen Großteil dieser Infrastruktur für Sie. Anstatt Ihre eigene Agenten-Laufzeitumgebung zu entwickeln und zu betreiben, definieren Sie den Agenten, konfigurieren dessen Ausführungsumgebung und erstellen Sitzungen, in denen er Aufgaben ausführt. Die verwaltete Laufzeitumgebung kümmert sich um Modellaufrufe und Tool-Ausführungen, während Ihre Anwendung über Ereignisse mit dem Agenten interagiert.
In dieser Anleitung zeigen wir Ihnen, wie Sie Claude Managed Agents Schritt für Schritt verwenden, von der Erstellung Ihres ersten Agenten und der Konfiguration seiner Umgebung bis hin zum Ausführen einer Sitzung, dem Hinzufügen von Tools und MCP-Servern sowie der Verarbeitung von Agenten-Ereignissen.
Wenn Sie zunächst die konzeptionellen Grundlagen benötigen, lesen Sie unseren Leitfaden zu der Funktionsweise von Claude Managed Agents und deren Architektur. Diese Anleitung setzt voraus, dass Sie bereit sind, mit der Entwicklung zu beginnen.
Voraussetzungen
Bevor Sie einen Managed Agent erstellen, benötigen Sie:
- Ein Konto in der Claude Console
- Einen Anthropic-API-Schlüssel
- Das Anthropic SDK
- Python, TypeScript oder eine andere unterstützte Sprache
Schritt 1: Installation der CLI und des SDK
Für Python installieren Sie das SDK wie folgt:
pip install anthropicSetzen Sie anschließend Ihren API-Schlüssel als Umgebungsvariable:
export ANTHROPIC_API_KEY="your-api-key"Anthropic stellt außerdem ein ant CLI zur Verwaltung von Managed-Agent-Ressourcen bereit.
Das SDK liest den Schlüssel aus Ihrer Umgebung, sodass Sie ihn nicht direkt in Ihren Anwendungscode einfügen müssen.
Aktivieren Sie die Managed Agents API
Claude Managed Agents ist derzeit über die Beta-API von Anthropic verfügbar. Die Managed-Agents-Beta wird durch den folgenden Header gekennzeichnet:
managed-agents-2026-04-01Beta-Header.
Wenn Sie das offizielle SDK verwenden, übernimmt das SDK diesen Header automatisch für Sie, sobald Sie auf die Managed-Agents-APIs zugreifen.
Die grundlegende Einrichtung des Clients sieht wie folgt aus:
from anthropic import Anthropic
client = Anthropic()Damit ist Ihre Anwendung bereit für die Arbeit mit der Managed Agents API.
Der nächste Schritt besteht darin, den Agenten selbst zu erstellen – also festzulegen, welches Claude-Modell er verwendet, welchen Anweisungen er folgt und auf welche Tools er zugreifen kann.
Schritt 2: Definieren Sie Ihren Agenten
Ein Agent ist eine Markdown-Datei. Das Frontmatter enthält die Konfiguration des Agenten, während der Hauptteil den System-Prompt enthält.
Hier ist ein Beispiel für einen Agenten, der Release-Notes aus einem Repository entwirft:
---
name: Release Notes Agent
model: claude-opus-5-5
tools:
- type: agent_toolset_20260401
---
Das agent_toolset_20260401 Toolset bietet dem Agenten Zugriff auf die vorgefertigten Tools von Anthropic, einschließlich Funktionen wie Shell-Befehle und Dateioperationen. Sie können auch einzelne Tools konfigurieren, falls Sie nicht das gesamte Toolset benötigen. Weitere Informationen zu den verfügbaren Optionen finden Sie in der Tools-Referenz .
Speichern Sie die Konfiguration als release-notes-agent.mdund wenden Sie sie dann mit der ant CLI an:
ant apply release-notes-agent.md
Dadurch wird der Agent erstellt und seine ID zurückgegeben.
Der Agent ist eine persistente Ressource. Sie erstellen ihn einmal und verweisen dann auf seine ID, wann immer Sie eine Sitzung starten, die ihn verwendet – Sie müssen den Agenten nicht für jede Aufgabe neu erstellen.
Als Nächstes erstellen Sie die Umgebung , in der Ihre Agentensitzungen ausgeführt werden.
Schritt 3: Erstellen einer Umgebung
Die Umgebung definiert die Sandbox, in der Ihre Agentensitzungen ausgeführt werden.
Erstellen Sie eine environment.yaml Datei:
# yaml-language-server: $schema=https://platform.claude.com/schemas/ant/beta/environment.json
name: release-notes-env
config:
type: cloud
networking:
type: unrestrictedWenden Sie es dann an:
ant apply environment.yaml
Sie können Agent und Umgebung auch gemeinsam anwenden:
ant apply release-notes-agent.md environment.yamlDie networking: unrestricted -Einstellung gewährt der Sandbox uneingeschränkten Netzwerkzugriff. Verwenden Sie für Agenten, die mit internen Systemen oder sensiblen Daten arbeiten, eine restriktivere Netzwerkkonfiguration.
Sie verfügen nun über die zwei Ressourcen, die zum Ausführen eines Agenten erforderlich sind:
- Agent: definiert, was der Agent ist und was er tun kann.
- Umgebung: definiert, wo der Agent ausgeführt wird.
Als Nächstes erstellen Sie eine Sitzung, die beide miteinander verbindet.
Schritt 4: Sitzung starten
Eine Sitzung ist eine laufende Instanz Ihres Agenten, die an einer bestimmten Aufgabe arbeitet.
Erstellen Sie eine Sitzung, indem Sie Ihre Agenten- und Umgebungs-IDs übergeben:
session = client.beta.sessions.create(
agent=agent.id,
environment_id=environment.id,
title="Release notes for v2.4", )
print(f"Session ID: {session.id}")Die Sitzungs-ID identifiziert diesen speziellen Durchlauf. Sie verwenden sie, um Nachrichten zu senden, Ereignisse zu streamen und weiterhin mit dem Agenten zu interagieren.
Derselbe Agent kann mehrere Sitzungen haben. Zum Beispiel Ihr Release Notes Agent können für jedes Release eine separate Sitzung ausführen und dabei dieselbe Agentenkonfiguration beibehalten.
Schritt 5: Nachricht senden und Antwort streamen
Sobald die Sitzung läuft, können Sie dem Agenten eine Aufgabe senden.
Öffnen Sie zuerst den Event-Stream und senden Sie dann die Benutzernachricht:
with client.beta.sessions.events.stream(session.id) as stream:
client.beta.sessions.events.send(
session.id,
events=[
{
"type": "user.message",
"content": [
{
"type": "text",
"text": "Read the commits since v2.3 and draft release notes to NOTES.md",
},
],
},
],
)
for event in stream:
match event.type:
case "agent.message":
for block in event.content:
if block.type == "text":
print(block.text, end="")
case "agent.tool_use":
print(f"\n[Using tool: {event.name}]")
case "session.status_idle":
print("\n\nAgent finished.")
breakHinter diesem Aufruf stellt die verwaltete Laufzeitumgebung die Sandbox basierend auf Ihrer Umgebungskonfiguration bereit, startet die Agentenschleife, lässt Claude Tools auswählen und ausführen und streamt die Ereignisse zurück an Ihre Anwendung.
Die drei oben genannten Ereignistypen sind diejenigen, die Sie normalerweise zuerst verarbeiten werden:
agent.message– der Agent sendet eine Antwort.agent.tool_use– der Agent verwendet ein Tool.session.status_idle– der Agent hat seine aktuelle Arbeit abgeschlossen.
Die vollständige Liste der Ereignisse, einschließlich Statusänderungen und Fehlern, finden Sie in der Referenz zu Ereignissen und Streaming.
An diesem Punkt verfügen Sie über einen funktionierenden Managed Agent: Sie haben ihn definiert, ihm eine Ausführungsumgebung zugewiesen, eine Sitzung gestartet und ihm eine Aufgabe erteilt.
Als Nächstes sehen wir uns an, wie Sie einen laufenden Agenten steuern und lang laufende Sitzungen verwalten.
Schritt 6: Einen laufenden Agenten steuern
Sie müssen nicht warten, bis ein Agent seine Arbeit beendet hat, um seine Richtung zu ändern.
Sie können ein user.interrupt -Ereignis senden, um den aktuellen Durchgang zu stoppen, gefolgt von einer user.message mit der neuen Anweisung:
client.beta.sessions.events.send(
session.id,
events=[
{"type": "user.interrupt"},
{
"type": "user.message",
"content": [
{
"type": "text",
"text": "Instead, focus on fixing the bug in line 42.",
},
],
},
],
)Der Interrupt stoppt die aktuelle Antwort des Modells und gibt die Kontrolle an die Sitzung zurück. Wenn sich der Agent gerade in einem Tool-Aufruf befindet, kann die Anwendung des Interrupts länger dauern, bis das Tool abgeschlossen ist. Sobald der Interrupt verarbeitet wurde, kehrt die Sitzung in den Status idlezurück, und die folgende user.message startet den nächsten Durchgang.
Dies ist nützlich für langwierige Aufgaben, bei denen Sie feststellen, dass der Agent in die falsche Richtung läuft. Anstatt die Sitzung zu beenden und von vorne zu beginnen, können Sie dieselbe Sitzung weiterverwenden und sie mit zusätzlichem Kontext neu ausrichten.
Sie können eine laufende Sitzung auch unterbrechen, ohne sofort eine neue Anweisung zu senden:
client.beta.sessions.events.send(
session.id,
events=[
{"type": "user.interrupt"},
],
)Die Sitzung bleibt nach der Unterbrechung verfügbar, sodass Sie überprüfen können, was passiert ist, und entscheiden können, was als Nächstes gesendet werden soll.
Als Nächstes erfahren Sie, wie Sie damit umgehen, wenn Ihre Anwendung die Verbindung zu einer laufenden Sitzung verliert.
Schritt 7: Verbindungsabbrüche behandeln und Sitzungen fortsetzen
Eine Streaming-Verbindung kann unterbrochen werden, während ein Agent noch arbeitet. Das bedeutet nicht, dass die Sitzung oder ihre Arbeit verloren ist.
Managed Agents speichert den Ereignisverlauf der Sitzung serverseitig, sodass Ihre Anwendung eine Verbindung zur selben Sitzung wiederherstellen kann, anstatt die Aufgabe erneut zu starten.
Es ist wichtig, dass Sie die Session-ID dauerhaft speichern, wenn Sie die Sitzung erstellen:
session = client.beta.sessions.create(
agent=agent.id,
environment_id=environment.id,
title="Release notes for v2.4",
)
session_id = session.idWenn Ihre Anwendung die Verbindung verliert, verwenden Sie dieselbe session_id um die Verbindung wiederherzustellen und die Interaktion mit der Sitzung fortzusetzen.
Dies ist bei langlebigen Agenten entscheidend. Das Schließen eines Browser-Tabs, ein Neustart des Prozesses oder ein vorübergehender Netzwerkausfall sollten den Agenten nicht dazu zwingen, die Aufgabe von Grund auf neu zu beginnen.
Für Produktionsanwendungen sollten Sie die Session-ID als dauerhaften Anwendungszustand behandeln: Speichern Sie sie an einem Ort, an dem Ihre Anwendung sie nach einem Neustart abrufen kann, anstatt sie nur im Arbeitsspeicher zu halten.
Der Event-Stream ist lediglich die Verbindung zwischen Ihrer Anwendung und der laufenden Sitzung. Die Sitzung selbst existiert unabhängig von dieser Verbindung weiter.
Als Nächstes sehen wir uns an, wie Sie Ihrem Agenten mit MCP-Servern und -Toolszusätzliche Funktionen verleihen können.
Ausführung auf der eigenen Infrastruktur
Die Cloud-Sandbox ist die Standardeinstellung, was für manche Teams ein Hindernis für die Implementierung darstellt. Wenn Datenresidenz oder Compliance-Vorgaben eine von Anthropic gehostete Ausführung ausschließen, ermöglichen selbst gehostete Sandboxes es, Sitzungen auf Ihrer eigenen Infrastruktur auszuführen, während Anthropic weiterhin die Orchestrierung übernimmt.
Beachten Sie, was sich verlagert und was nicht: Die Ausführung findet auf Ihrer Infrastruktur statt, die Orchestrierung verbleibt bei Anthropic.
Planung wiederkehrender Ausführungen
Für Agents, die eher nach einem festen Zeitplan als auf Abruf laufen sollen, geplante Bereitstellungen führen eine Sitzung nach einem Cron-Zeitplan aus. Eine nächtliche Triage oder ein wöchentlicher Bericht lassen sich hier ohne die Einrichtung eines eigenen Schedulers umsetzen.
Kostenkontrolle
Claude Managed Agents werden in zwei Dimensionen abgerechnet: nach Modell-Tokens sowie einer Laufzeitgebühr von etwa 0,08 $ pro Sitzungsstunde für die Container-Nutzung.
Drei Dinge, die man frühzeitig wissen sollte:
Leerlaufzeiten sind kostenlos; eine Sitzung, die auf eine menschliche Eingabe wartet, verursacht also keine Laufzeitkosten. Es gibt keinen Mengenrabatt, daher kosten Aufgaben, die Sie normalerweise stapelweise verarbeiten würden, hier genauso viel. Zudem wird die Websuche separat vom Toolset abgerechnet.
Die Gebühr pro Sitzungsstunde ist meist der kleinere Kostenfaktor. Den Großteil machen die Tokens aus, und wie viele Tokens ein Durchlauf verbraucht, hängt davon ab, wie das Framework den Kontext verwaltet, und nicht von Ihren Konfigurationen. Die vollständige Kostenstruktur haben wir unter Claude Managed Agents-Preiseaufgeschlüsselt.
Wo Teams an Grenzen stoßen
Zwei Einschränkungen zeigen sich meist erst, wenn der Prototyp funktioniert. Da das Modell von Anthropic stammt, ist ein Wechsel zu einem günstigeren Anbieter bei steigendem Volumen nicht möglich. Zudem wird die Schleife von Anthropic betrieben, sodass Sie die Kontextstrategie nicht selbst steuern können.
Wenn Sie sich noch in der Evaluierungsphase befinden, Alternativen zu Claude Managed Agents bietet einen Überblick über den Markt.
TrueForge: Eine Open-Source-Alternative zu Claude Managed Agents, bis zu 75 % günstiger

TrueForge ist das Open-Source- und anbieterneutrale Agent-Framework von TrueFoundry für Teams, die mehr Kontrolle über den Betrieb ihrer Agents in der Produktion wünschen. Anstatt die Laufzeit an einen einzigen Modellanbieter zu binden, ermöglicht TrueForge die Nutzung eigener Modelle, MCP-Server und Infrastrukturen, während es sich um die Agent-Schleife, Tool-Ausführung, Kontextverwaltung, Freigaben und Sandboxing kümmert.
Während ein selbst gehosteter Agent wie Hermes einen Großteil der Produktionsinfrastruktur dem Entwickler überlässt, bietet TrueForge die notwendige Steuerungsebene, um Agents team- und umgebungsübergreifend zu betreiben. Dies umfasst zentralen MCP-Zugriff und Anmeldedaten, Human-in-the-Loop-Freigaben, isolierte Ausführung (Sandboxing), Observability und Governance.
Sie können es lokal ausführen mit npx @truefoundry/trueforge oder stellen Sie es für ein Team mit Docker Compose oder Helm bereit.
TrueForge trennt zudem die Agent-Runtime von der Modellebene. Das bedeutet, dass Teams Modelle wechseln oder Workloads an verschiedene Anbieter weiterleiten können, ohne den Agenten selbst neu aufbauen zu müssen. In Kombination mit dem AI Gateway von TrueFoundry können Teams außerdem Modell-Routing und Kostenkontrollen anwenden, um den Einsatz teurer Frontier-Modelle für Aufgaben zu vermeiden, die diese nicht erfordern. Das Ergebnis ist ein Mittelweg zwischen einer vollständig verwalteten Runtime und dem eigenständigen Aufbau der gesamten Agenten-Infrastruktur: ein Open-Source-Agenten-Framework mit den operativen Kontrollen, die für den produktiven Einsatz von Agenten in großem Maßstab erforderlich sind.
Im Benchmark von TrueFoundry gegen Claude Managed Agents erreichte TrueForge bei Betrieb auf Opus 4.8 etwa die gleiche Aufgabenpräzision bei einem um 40 % geringeren Token-Verbrauch, was die Kosten pro Durchlauf um etwa 30 % senkt. Als derselbe Benchmark mit GLM-5.2 auf TrueForge durchgeführt wurde, erreichte er bei etwa 2,90 $ pro Durchlauf denselben Aufgaben-Score von ca. 11/14, verglichen mit 11,80 $ bei Claude Managed Agents, was einer Ersparnis von etwa 75 % geringeren Kostenentspricht.
TrueFoundry bietet zudem einen zweiten Hebel zur Senkung der Modellkosten durch das Auto-Routingdes AI Gateways. Anstatt jede Anfrage an ein Frontier-Modell zu senden, klassifiziert das Auto-Routing Anfragen nach Komplexität und leitet sie an verschiedene Modell-Tiers weiter. Im Benchmark von TrueFoundry über 550 Prompts hinweg reduzierte das Routing zwischen Haiku, Sonnet und Opus die Kosten um 69 %, während 98 % der ursprünglichen Qualität erhalten blieben und die durchschnittliche Latenz von 7,6 Sekunden auf 4,0 Sekunden sank. Bei produktionsnahem Traffic erreichte die Gesamtkostensenkung sogar 80 %.
Diese beiden Ebenen adressieren unterschiedliche Aspekte der Kostenrechnung. TrueForge reduziert den Overhead beim Betrieb des Agenten selbst, während Modell-Routing es Ihnen ermöglicht, den Einsatz teurer Modelle zu vermeiden, wenn die Aufgabe dies nicht erfordert. Für Teams, die Agenten in großem Maßstab betreiben, kann das Vorhandensein beider Kontrollmechanismen wichtiger sein als der reine Preis des Modells.
TrueForge ist Open Source und unter der MIT-Lizenz verfügbar, während das AI Gateway von TrueFoundry die operative Ebene ergänzt, die Teams beim Übergang von einzelnen Agenten zur Produktion benötigen: zentralisierter Modellzugriff, Budgets, Guardrails, Credential-Management und einheitliche Traces.
Wenn Sie Claude Managed Agents mit einer konfigurierbareren Architektur vergleichen, ist TrueFoundry eine Überlegung wert, wenn Modellflexibilität, Infrastrukturkontrolle und die Optimierung der Agentenkosten neben der Agenten-Laufzeit selbst eine Rolle spielen.
Was Managed Agents nicht abdecken
Managed Agents steuern die Laufzeit eines einzelnen Agenten sehr gut. Was sie jedoch nicht leisten, ist die Steuerung einer Flotte – genau das Problem, das ab dem fünften Agenten auftritt, wenn die Finanzabteilung nach den Kosten fragt und die Sicherheitsabteilung wissen will, wer die Zugangsdaten freigegeben hat.
Ein Agent-Harness steuert, wie ein Agent funktioniert. Ein AI Gateway steuert, wie dieser Agent auf Modelle zugreift.
Ein Unternehmen könnte beispielsweise Agenten mit Claude Managed Agents oder TrueForge betreiben und die Modellanfragen über ein AI Gateway leiten.
Das AI Gateway von TrueFoundry schaltet sich vor jeden Modell- und MCP-Aufruf eines Agenten. Es sorgt für zentralisierten Modellzugriff, teambasierte Budgets, Ratenbegrenzungen, Sicherheitsleitplanken, Credential-Management und einheitliche Traces – unabhängig davon, welche Agenten und Frameworks Ihre Teams verwenden. Es unterstützt über 1.000 LLMs über eine einzige OpenAI-kompatible API, fügt etwa 3–4 ms Overhead hinzu und bewältigt über 350 Anfragen pro Sekunde (RPS) auf einer einzigen vCPU. So kann es im kritischen Pfad eines langlebigen Agenten agieren, ohne zum Flaschenhals zu werden. Es läuft in Ihrer eigenen VPC, On-Premise oder in isolierten Umgebungen (Air-Gapped).
Dies ist besonders nützlich, wenn ein Unternehmen Agenten über mehrere Modelle hinweg einsetzt, anstatt sich auf einen einzigen Modellanbieter zu verlassen.
Agent-Laufzeit: verwaltet die Agenten-Schleife, Tools, den Status und die Ausführung.
AI Gateway: verwaltet Modellzugriff, Routing, Richtlinien, Observability und Anbieterabstraktion.
Diese Trennung ermöglicht es Teams, Modelle zu ändern oder hinzuzufügen, ohne den Agenten selbst neu konzipieren zu müssen.
FAQ
F: Wie verwendet man Claude Managed Agents?
A: Installieren Sie die ant CLI und das Anthropic SDK, definieren Sie einen Agenten in einer Markdown-Datei mit seinem Modell, System-Prompt und Tools, deklarieren Sie eine Umgebung in YAML für die Sandbox, erstellen Sie dann eine Sitzung, die auf beides verweist, und streamen Sie deren Ereignisse. Agenten und Umgebungen werden einmal erstellt und wiederverwendet; Sitzungen sind aufgabenbezogen. Der gesamte Prozess dauert etwa zehn Minuten.
F: Benötigt man die ant CLI oder kann man alles über das SDK erledigen?
A: Die CLI ist praktisch, aber nicht zwingend erforderlich. Anthropic dokumentiert cURL- und native SDK-Pfade für jeden Schritt im Quickstart, für Python, TypeScript, Java, Go, C#, Ruby und PHP. Was die CLI hinzufügt, ist ant apply und claude-lock.json, wodurch Agenten- und Umgebungs-IDs zusammen mit Ihrem Code versioniert werden, anstatt sie irgendwo in eine Konfiguration kopieren zu müssen.
F: Können Claude Managed Agents auf der eigenen Infrastruktur ausgeführt werden?
A: Teilweise. Selbst gehostete Sandboxes ermöglichen es, Sitzungen auf einer Infrastruktur auszuführen, die Sie kontrollieren, was für Anforderungen an die Datenresidenz meist ausreicht. Die Orchestrierungsebene verbleibt in jedem Fall bei Anthropic; es ist also nicht dasselbe, als würde man den gesamten Stack selbst betreiben.
F: Lässt es sich in meinen bestehenden Observability-Stack integrieren?
A: Die Gateway-Ebene von TrueFoundry ist OpenTelemetry-kompatibel und lässt sich in Grafana, Datadog, Prometheus oder jedes andere von Ihnen genutzte System einbinden, wobei jede Anfrage vom Prompt bis zur Tool- und Modellausführung nachverfolgt wird. Das ist wichtig, sobald Agenten aus verschiedenen Frameworks an einem zentralen Ort sichtbar sein müssen.
F: Wie verwalte ich Modelle und MCP-Server über viele Agenten hinweg?
A: Über ein Gateway, sobald API-Schlüssel pro Team nicht mehr skalierbar sind. Das AI Gateway bündelt über 1.000 LLMs hinter einer einzigen OpenAI-kompatiblen API mit einer zusätzlichen Latenz von etwa 3 bis 4 ms und über 350 RPS auf einer einzelnen vCPU, inklusive RBAC, Budgets, Guardrails und Credential-Rotation. Agents auf Claude Managed Agents, LangGraph oder anderen Plattformen werden auf die gleiche Weise verwaltet.
Weiterführende Informationen
- Was sind Claude Managed Agents?: die Architektur hinter den oben genannten Schritten
- Preise für Claude Managed Agents: die vollständige Kostenaufschlüsselung mit einem Praxisbeispiel
- Claude Agent SDK vs. Claude Managed Agents: was Sie für die Produktion wählen sollten
- Alternativen zu Claude Managed Agents: der Marktüberblick, falls Sie noch in der Evaluierungsphase sind
- Best Practices für Agent-Harnesses: zehn Regeln, die unabhängig vom gewählten Harness gelten
Fazit
Um Claude Managed Agents effektiv zu nutzen, müssen Sie im Wesentlichen vier Objekte und deren Erstellungsreihenfolge kennen: Agent, Environment, Session und Events. Die Einrichtung ist wirklich schnell erledigt. Die Aspekte, denen Sie mehr Zeit widmen sollten, sind die, die im Quickstart nur kurz angerissen werden: der Umgang mit Verbindungsabbrüchen, die Netzwerkkonfiguration Ihrer Umgebung und das Verständnis dafür, welchen Teil Ihrer Rechnung Sie tatsächlich beeinflussen können.
Wenn Sie an den Punkt gelangen, an dem die Modellwahl und die Kontextstrategie wichtiger werden als die Einrichtungsgeschwindigkeit, ist das der richtige Zeitpunkt, sich nach einem offenen Harness umzusehen. npx @truefoundry/trueforge führt lokal in etwa einer Minute einen aus, oder buchen Sie eine Demo wenn Sie es lieber direkt mit Ihrer eigenen Arbeitslast sehen möchten.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.














%20(28).webp)



.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






