Claude Code met LiteLLM: Instelgids + Wanneer TrueFoundry AI Gateway te Gebruiken

Claude Code wordt standaard gekoppeld aan de API van Anthropic geleverd. Dat is prima voor individuele ontwikkelaars, maar zodra u met een team werkt, heeft u kostenbeheersing, inzicht in gebruik en toegang tot modellen buiten de catalogus van Anthropic nodig. Dat is precies wat een AI gateway u biedt.

LiteLLM is hiervoor de populairste open-source optie. Richt Claude Code op een LiteLLM proxy en u kunt routeren naar Bedrock, Vertex AI, Azure OpenAI of elke andere provider, zonder te veranderen hoe Claude Code in de terminal werkt. De zelfbeheerde architectuur van LiteLLM veroorzaakt op schaal echter aanzienlijke overhead, en het gebrek aan enterprise-functionaliteiten wordt snel zichtbaar.

Deze gids behandelt beide paden: hoe u Claude Code vandaag instelt met LiteLLM, en wanneer overstappen naar TrueFoundry AI Gateway verstandiger is voor uw team.

Waarom Claude Code Verbinden met een AI Gateway?

Claude Code maakt gebruik van één omgevingsvariabele - ANTHROPIC_BASE_URL die al het API-verkeer omleidt naar elk eindpunt dat de Anthropic Messages API ondersteunt. Stel die variabele in op een gateway-URL en elke aanvraag die Claude Code doet, stroomt door uw infrastructuur in plaats van rechtstreeks naar api.anthropic.com.

Die ene variabele biedt vier voordelen die individuele API-sleutels niet kunnen bieden:

• Inzicht in kosten. Directe Anthropic-sleutels genereren uitgaven die onzichtbaar blijven totdat de maandelijkse factuur arriveert. Een gateway onderschept elke aanvraag en biedt in real-time toewijzing per ontwikkelaar, per team of per project.
• Toegang tot meerdere providers. Routeer taken op opus-niveau naar het beste beschikbare topmodel en taken op haiku-niveau naar goedkopere alternatieven, zonder één regel in Claude Code aan te passen.
• Gecentraliseerde inloggegevens. Geen ruwe Anthropic API-sleutels meer in .bash_profile bestanden op laptops van ontwikkelaars. De gateway beheert de inloggegevens van providers; ontwikkelaars authenticeren bij de gateway met afgeschermde virtuele sleutels.
• Betrouwbaarheid. Automatische fallback-routing wanneer Anthropic te maken krijgt met rate limits of een storing. Claude Code merkt nooit dat er een failover heeft plaatsgevonden.

De vraag is niet óf u een gateway moet gebruiken, maar wélke u kiest.

Hoe Claude Code Verbindt met Elke Gateway

Het mechanisme is hetzelfde, ongeacht of u LiteLLM, TrueFoundry of een andere Anthropic-compatibele proxy gebruikt. Twee omgevingsvariabelen regelen alles:‍


Sla deze op in de settings.json van Claude Code voor een permanente configuratie over verschillende sessies heen:

Het configuratiebestand bevindt zich op ~/.claude/settings.json (globaal voor de gebruiker) of .claude/settings.json in de root van uw project (gedeeld met het team). Voor team-implementaties is het bestand op projectniveau de juiste keuze - het zorgt ervoor dat elke ontwikkelaar in het project dezelfde gateway-configuratie gebruikt zonder instellingen per machine.

Vanaf dit punt heeft Claude Code geen idee dat het met een gateway communiceert in plaats van rechtstreeks met Anthropic. Alles - streaming, toolgebruik, model-aliassen, gesprekken over meerdere fasen - werkt precies zoals voorheen.

Claude Code Instellen met LiteLLM

LiteLLM draait als een lokale of self-hosted proxy die de Anthropic Messages API vertaalt naar het formaat dat elke upstream-provider verwacht. Hier is de standaardinstelling.

Stap 1: Installeer LiteLLM en Schrijf Uw Configuratie

Maak een litellm-config.yaml aan waarin u uw modellijst definieert. Een minimale configuratie met Anthropic direct en AWS Bedrock als fallback ziet er als volgt uit:

Exporteer uw sleutels en start de proxy:‍


Stap 2: Richt Claude Code op LiteLLM‍


Of voor een permanente teamconfiguratie in .claude/settings.json:‍


Voer claude uit in uw terminal. Claude Code verbindt via LiteLLM, en LiteLLM stuurt de aanvraag door naar Anthropic (of de provider die u hebt geconfigureerd).

Stap 3: Voeg Bedrock, Vertex of Andere Providers Toe

De belangrijkste reden waarom teams LiteLLM toevoegen, is om te routeren naar AWS Bedrock (voor VPC-gebonden inference) of Google Vertex AI (voor GCP-native workflows). Voeg providers toe aan uw modellijst:‍


Opmerking over Bedrock en experimentele headers: Claude Code voegt bij elke aanvraag anthropic-beta experimentele headers toe. Bedrock accepteert deze niet allemaal en kan een 400 invalid beta flag foutmelding retourneren. Stel CLAUDE_CODE_DISABLE_EXPERIMENTAL_BETAS=1 in in uw ~/.claude/settings.json env-blok wanneer u via Bedrock routeert.

Beperkingen van LiteLLM op Enterprise-Schaal

LiteLLM werkt goed voor individuele ontwikkelaars en kleine teams. Naarmate organisaties groeien, worden enkele tekortkomingen echter duidelijk zichtbaar:

Overhead in latentie. LiteLLM voegt meetbare proxy-overhead toe onder gelijktijdige belasting. Bij Claude Code-sessies, waarbij één enkele codeertaak tientallen opeenvolgende API-calls genereert, stapelt dit zich op. Bij een hoge RPS heeft LiteLLM moeite zonder horizontale schaling, wat handmatige Kubernetes-configuratie vereist.

Geen native RBAC. Het virtuele sleutelsysteem van LiteLLM is vrij basis. Het afdwingen dat Team A alleen toegang heeft tot Claude-modellen terwijl Team B elke provider mag gebruiken, of dat de sleutel van een externe medewerker na 30 dagen verloopt, vereist aangepaste middleware bovenop LiteLLM.

Last van zelfbeheerde infrastructuur. LiteLLM is open source. Elke upgrade, Postgres-migratie, Redis-cacheconfiguratie en elk SSL-certificaat valt onder de verantwoordelijkheid van uw team. Voor toch al drukbezette platformteams wordt dit een aanzienlijke onderhoudslast.

Beperkte budgethandhaving. LiteLLM ondersteunt budgetlimieten per sleutel, maar proactieve limieten per ontwikkelaar met real-time waarschuwingen voordat de limiet wordt bereikt, vereisen extra tools.

Tekortkomingen op het gebied van compliance. Werkbelastingen die onder SOC 2, HIPAA of AVG vallen, hebben auditlogs, onveranderlijke aanvraaggeschiedenis en regels voor dataresidentie nodig. Deze zijn niet ingebouwd in de open-source versie van LiteLLM.

Voor teams die LiteLLM in productie draaien en tegen deze limieten aanlopen, biedt het artikel over LiteLLM-alternatieven een compleet overzicht. De korte samenvatting: TrueFoundry AI Gateway is speciaal gebouwd voor de enterprise-use-cases waarvoor LiteLLM nooit is ontworpen.

Claude Code met TrueFoundry AI Gateway

TrueFoundry AI Gateway is een direct vervangbaar, Anthropic-compatibel eindpunt. Hetzelfde ANTHROPIC_BASE_URL mechanisme dat Claude Code met LiteLLM verbindt, verbindt het met TrueFoundry - zonder wijzigingen in de werking van Claude Code, zonder nieuwe SDK en zonder herschrijvingen aan de clientzijde.

Het verschil zit in wat er op de gateway-laag gebeurt. TrueFoundry draait in uw eigen VPC, verwerkt ~3–4 ms gateway-overhead bij 350+ RPS op een enkele vCPU, en wordt standaard geleverd met RBAC, budgethandhaving, audit-logging en multi-provider routing zonder dat hiervoor aangepaste configuratie nodig is.

Stap 1: Verkrijg Uw TrueFoundry Gateway-URL en Virtuele Sleutel

Log in op uw TrueFoundry control plane. Navigeer naar AI Gateway → Virtual Keys en maak een afgeschermde sleutel aan voor uw team of project. U ontvangt:

• Een control plane URL in het formaat https://<your-org>.truefoundry.cloud/api/llm/v1
• Een virtuele sleutel (afgeschermd voor specifieke modellen, providers en optionele budgetlimieten)

Stap 2: Verbind Claude Code met TrueFoundry‍


Voor een permanente configuratie op projectniveau voegt u dit toe aan .claude/settings.json:‍


Voer claude uit - Claude Code stroomt nu via TrueFoundry. Elke aanvraag wordt gelogd, toegewezen en beheerd volgens de regels die u voor die virtuele sleutel hebt ingesteld.

Stap 3: Configureer Providers en Modelrouting in het Dashboard

In tegenstelling tot de YAML-configuratie van LiteLLM vindt de instelling van providers bij TrueFoundry plaats in het Gateway-dashboard. Voeg uw Anthropic-account toe, koppel inloggegevens van AWS Bedrock of Google Vertex, en definieer model-aliassen, allemaal vanuit een UI die uw platformteam centraal beheert.

De ingebouwde model-aliassen van Claude Code (opus, sonnet, haiku) worden naadloos gekoppeld aan virtuele TrueFoundry-modellen. Stel de koppeling eenmalig in het dashboard in en elke ontwikkelaar die de project- .claude/settings.json gebruikt, krijgt automatisch de juiste modelrouting zonder omgevingsvariabelen op individuele machines aan te passen.

Wat U Ontgrendelt: Enterprise Claude Code Workflows

Zodra Claude Code via TrueFoundry routeert, komen er vijf functionaliteiten beschikbaar die niet aanwezig zijn bij directe Anthropic-toegang of de standaard LiteLLM:

Kostenbeheersing. Stel dagelijkse tokenbudgetten per ontwikkelaar of per team direct in op virtuele sleutels. De gateway dwingt limieten proactief af - aanvragen boven het budget retourneren een foutmelding voordat ze kosten genereren, in plaats van een melding achteraf op de factuur.

Observability. Elke Claude Code-aanvraag wordt van begin tot eind getracet: welke ontwikkelaar de aanvraag verzond, welk model deze verwerkte, hoeveel tokens er zijn verbruikt en wat de kosten waren. TrueFoundry is OpenTelemetry-compatibel en koppelt zonder extra instrumentatie aan Grafana, Datadog of Prometheus.

Beveiliging en governance. Virtuele sleutels vervangen ruwe Anthropic API-sleutels op apparaten van ontwikkelaars. Wanneer een engineer de organisatie verlaat, trekt u de sleutel op één centrale plek in. De onderliggende Anthropic-inloggegevens verlaten nooit de secrets manager van de gateway. Voor bedrijven die integratie van Claude Code met SSO en via MDM afgedwongen configuratie vereisen, vormt de gateway van TrueFoundry de handhavingslaag.

Toegang tot meerdere providers. Claude Code communiceert met één eindpunt. Achter dat eindpunt routeert TrueFoundry naar Anthropic direct, AWS Bedrock, Google Vertex AI, Azure OpenAI of on-premise modellen, op basis van de door u gedefinieerde regels. Schakel over van provider zonder een enkele ontwikkelaarsmachine aan te raken.

Betrouwbaarheid. Automatische fallback-routing vangt rate limits van Anthropic transparant op. Als de primaire provider een 429- of 503-fout retourneert, probeert de gateway het opnieuw via een geconfigureerde fallback voordat Claude Code een foutmelding ziet. Voor ontwikkelworkflows die geen onderbreking kunnen gebruiken, is dit het verschil tussen een klein ongemak en een geblokkeerde sprint.

LiteLLM vs TrueFoundry voor Claude Code

LiteLLM is een uitstekende proxy voor individuele ontwikkelaars of kleine teams die experimenteren. TrueFoundry is gebouwd voor het scenario waarin Claude Code als teamomvattende tool wordt gebruikt en het platformteam governance moet toepassen zonder die laag zelf te hoeven bouwen.

Veelgestelde Vragen

V: Hoe gebruik ik Claude Code met LiteLLM?

‍Installeer LiteLLM met pip install litellm[proxy], maak een litellm-config.yaml aan waarin u uw modellen definieert, en start de proxy met litellm --config. Stel vervolgens ANTHROPIC_BASE_URL=http://localhost:4000 en ANTHROPIC_AUTH_TOKEN in op uw LiteLLM master key voordat u claude uitvoert. De volledige instelling wordt stapsgewijs hierboven uitgelegd.

V: Is TrueFoundry een directe vervanging voor LiteLLM bij Claude Code?

‍Ja. TrueFoundry AI Gateway biedt een Anthropic-compatibel eindpunt, waardoor de overstap van LiteLLM naar TrueFoundry een kwestie van één regel is: werk ANTHROPIC_BASE_URL bij naar uw TrueFoundry gateway-URL en vervang de auth token. Claude Code merkt geen verschil. Wat wel verandert, is alles achter de gateway - observability, kostenbeheersing, RBAC en beheerde infrastructuur.

V: Hoeveel latentie voegt TrueFoundry AI Gateway toe aan Claude Code-aanvragen?

‍Slechts ~3–4 ms gateway-overhead, bij een verwerking van 350+ RPS op een enkele vCPU. Vergeleken met de responstijden van Claude Code (gemeten in seconden, niet in milliseconden) voegt de gateway geen merkbare latentie toe aan de ontwikkelaarservaring.

V: Kan ik TrueFoundry in mijn eigen VPC of on-premise uitrollen?

‍Ja. TrueFoundry draait in uw eigen VPC, on-premise, air-gapped, hybride of verspreid over meerdere clouds; er verlaat geen data uw eigen infrastructuur. Dit is de belangrijkste reden waarom gereguleerde bedrijven kiezen voor TrueFoundry in plaats van SaaS-only gateways of zelfbeheerd LiteLLM.

Conclusie

LiteLLM is een beproefde eerste stap om Claude Code te verbinden met meerdere AI-providers. Als u een individuele ontwikkelaar bent of met een klein team experimenteert, is het een solide keuze om met een paar regels YAML-configuratie multi-provider routing in te stellen.

Wanneer Claude Code een tool voor het hele team wordt - waarbij u budgetten moet afdwingen, gebruik moet auditen, toegang moet beheren en aan compliance-eisen moet voldoen zonder die infrastructuur zelf te bouwen - worden de installatiecomplexiteit en het gebrek aan functionaliteiten van zelfbeheerd LiteLLM een reële kostenpost. TrueFoundry AI Gateway is het direct vervangbare, Anthropic-compatibele eindpunt dat dit allemaal afhandelt, met het aanpassen van slechts één omgevingsvariabele.

Begin met het routeren van Claude Code via TrueFoundry AI Gateway → truefoundry.com/ai-gateway