Blank white background with no objects or features visible.

EMEA, hallo! TrueFoundry breidt zijn aanwezigheid uit in Europa, het Midden-Oosten en Afrika. Lees meer. →

Introductie van Auto Routing op de TrueFoundry AI Gateway

DoorRhea Jain

Bijgewerkt: november 20, 2026

Gepubliceerd: november 9, 2026

We hebben zojuist een nieuwe functionaliteit toegevoegd aan de TrueFoundry AI Gateway. De nieuwe Auto-Routing-functie leest elk inkomend verzoek, deelt het in een van de drie complexiteitsniveaus in en stuurt het naar het meest geschikte model dat aan dat niveau is toegewezen.

We hebben dit gebouwd om een terugkerend patroon in het verkeer van klanten op te lossen. Meestal is het merendeel van de vragen eenvoudig en kan het worden afgehandeld door eenvoudige modellen, terwijl slechts een klein aantal daadwerkelijk complexe vragen naar een complexer model moet worden gestuurd. In de praktijk krijgt echter één model uniform elke vraag toegewezen, ongeacht de complexiteit. Het gevolg is dat bedrijven aan het einde van elke cyclus worden geconfronteerd met een onnodig hoge rekening. Het hardcoden van routingregels is geen schaalbare oplossing, omdat elk team uiteindelijk zijn eigen routinglogica toepast zonder enige standaardisatie.

Dat werk hoort nu thuis bij de gateway.

Van tokenmaxxing naar tokenomics

Gedurende het grootste deel van de afgelopen twee jaar maten teams de AI-adoptie aan de hand van consumptie. Het aantal verbruikte tokens werd een synoniem voor verricht werk. Sommige bedrijven eerden interne ranglijsten om degene te vieren die het meeste verbruikte. Dit was wellicht logisch in de beginfase van AI-adoptie, toen het doel was om te begrijpen hoeveel werk daadwerkelijk aan modellen kon worden uitbesteed. 

Toen kwamen de facturen binnen. In een IDC-enquête onder cloud- en AI-beslissers overschreed 61% van de organisaties hun cloud AI-budget voor 2025. De CTO van Uber maakte bekend dat zijn team medio april al het gehele jaarlijkse AI-budget had opgebruikt. Reasoning loops werden langer, context windows raakten voller en agents begonnen uit zichzelf duizenden keren per dag modellen aan te roepen zonder dat iemand meekeek.

De prioriteiten zijn dus verschoven. Tokenmaxxing is vervangen door tokenomics, een strategie waarbij bedrijven proberen de AI-uitgaven te maximeren zonder de adoptie of het experimenteren te vertragen. Dit betekent dat er meer focus is op real-time kostenobservatie, chargeback-modellen, toewijzing per team en gebruikslimieten. Dit zijn allemaal belangrijke functies, maar ze helpen alleen om uitgaven te monitoren of te beperken, niet om ze te optimaliseren.

De beslissing die uw rekening daadwerkelijk bepaalt, vindt veel eerder en veel sneller plaats: welk model krijgt dit verzoek. Dat is de laag waarin Auto Routing opereert.

Wat Auto Routing daadwerkelijk doet

Drie niveaus achter één enkele modelnaam

Auto Routing wordt geconfigureerd op een virtueel model, een benoemde ingang die uw applicatie aanroept. Er zijn drie complexiteitsniveaus waaraan u specifieke modellen kunt toewijzen.

Niveau De verzoeken die hier terechtkomen Wijs dit toe aan
simple Snelle antwoorden, lookups, classificatie, eenvoudige herschrijvingen Uw snelste, goedkoopste model
medium Samenvattingen in meerdere stappen, concepten opstellen, standaardcode, lichte reasoning Een gebalanceerd middenklassemodel
complex Diepe reasoning, lange context, moeilijke problemen, complexe codering Uw meest krachtige model

Omdat de niveautoewijzingen zich op het virtuele model bevinden, kunt u het model achter een niveau vervangen zodra er een betere of goedkopere optie beschikbaar is, zonder dat er wijzigingen in de applicatiecode nodig zijn. Het routingbeleid wordt een configuratie-object met een eigenaar, een wijzigingshistorie en één enkele plek om het te bewerken.

Hoe wordt een complexiteitsniveau geselecteerd?

Er zijn twee methoden waarmee elke query in een van de drie niveaus wordt gecategoriseerd:

  1. Heuristische classificatie (de standaard)

De heuristische classifier leest de prompt, beoordeelt deze op basis van een vaste set signalen en kiest een niveau. Het draait binnen het gateway-proces, dus het veroorzaakt geen latentie en geen kosten, en het is volledig deterministisch. 

Het bepaalt de complexiteit van een query op basis van bepaalde parameters:

  • Code, oftewel programmeersleutelwoorden in de gebruikers- of systeemtekst zoals function, class, api, docker, sql en taalnamen
  • Expliciete reasoning-verzoeken zoals "step by step", "think through", "pros and cons", "explain your reasoning"
  • Technische woordenschat zoals architecture, distributed, concurrency, throughput
  • Promptlengte, aangezien lange prompts de neiging hebben meer werk te bevatten
  • Structuur met meerdere stappen, zoals "first, then"-formuleringen of genummerde lijsten
  • Veel vragen tegelijk, wat betekent dat er meer dan drie vraagtekens in één enkel verzoek staan
  1. LLM-classificatie

Hier kiest u het classifier-model, wat een catalogus-chatmodel moet zijn in plaats van een ander virtueel model, en stelt u een timeout in milliseconden in. U moet ook configureren wat er gebeurt als die aanroep mislukt. Er zijn twee fallback-opties beschikbaar: heuristic, die de beslissing teruggeeft aan de ingebouwde signalen, of static, die alles naar een door u genoemd niveau stuurt. Een fout in de classifier laat het verzoek nooit mislukken.

Dit brengt twee afwegingen met zich mee. De classifier draait als een modelaanroep voorafgaand aan het verzoek, dus het voegt latentie toe. En het is een factureerbaar gateway-verzoek, toegewezen aan dezelfde tenant en subject als het verzoek dat het heeft geactiveerd. 

Opvallende mogelijkheden van Auto Routing

Auto Routing gaat verder dan eenvoudige routingregels en biedt u extra mogelijkheden om ervoor te zorgen dat de modeluitgaven worden geoptimaliseerd, behoudens de nauwkeurigheid:

  • Escalatie en fallback: Auto Routing bouwt een volledig geordende keten waarin een verzoek dat in een niveau is geclassificeerd eerst de doelen van dat niveau probeert, in de volgorde die u hebt opgegeven, en vervolgens naar hogere niveaus werkt. 
  • Gesprekspinnen: De eerste beurt wordt normaal geclassificeerd, en zodra een doel succesvol antwoordt, registreert de gateway het niveau ervan. Latere beurten worden opnieuw geclassificeerd. Als een beurt moeilijker is, gaat het gesprek omhoog. Als een beurt eenvoudiger is, wint het bestaande hogere niveau.
  • Observatie: ai_gateway_complexity_routing_decisions_total telt elke beslissing, gelabeld door zowel het niveau dat is besloten als het niveau dat daadwerkelijk is opgelost. U kunt finance de niveaumix tonen, engineering het escalatiepercentage tonen en naar een specifiek verzoek wijzen om uit te leggen waarom het terechtkwam waar het terechtkwam.

Wat de benchmarks tonen

We hebben Auto Routing getest tegen een baseline die elk verzoek naar Claude Opus 5 stuurt, over 16 publieke datasets en ongeveer 4.700 aanroepen, met behulp van de gratis heuristische classifier en een Haiku, Sonnet, Opus-ladder. De beoordeling is deterministisch: gegenereerde code draait tegen de unit-tests van elke benchmark in een sandbox, en wiskunde- en meerkeuzeantwoorden worden gekoppeld aan sleutels.

Workload Kostenbesparing Behouden kwaliteit
Beoordeelde academische benchmarks (11 datasets, 550 prompts) 69% 98%
Productie-achtig verkeer (chat, developer, agent) 80% Alleen kosten, geen ground truth om tegen te beoordelen

In elk geval waren er aanzienlijke kostenbesparingen, zonder dat dit ten koste ging van de kwaliteit.

Voor de volledige methodologie, de uitsplitsing per dataset en de analyse van het productieverkeer leest u de technische deep dive: How we cut LLM cost by two-thirds without losing quality.

Aan de slag

Auto Routing bevindt zich op een virtueel model. Ga naar AI Gateway → Models → Virtual Model, kies Complexity onder routing type, kies een classificatiestrategie en stel een doel in voor elk niveau dat u wilt bedienen. Wijs uw applicatie vervolgens naar de naam van het virtuele model en test het uit met prompts van verschillende complexiteit in de playground.

Probeer het nu.

Eén gateway voor al je modellen, MCP-servers en agents. Geen creditcard nodig.

Start gratis
Inhoudsopgave

Eén gateway voor elk LLM, elke agent en elke MCP-server

Boek een gesprek van 30 minuten met onze AI-expert

Demo aanvragen

De snelste manier om je AI te bouwen, beheren en schalen

Demo boeken
Samenvatten met
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Ontdek meer

Geen items gevonden.
november 20, 2026
|
5 min leestijd

Bifrost AI Gateway Review: Performance Benchmarked op 1 vCPU

Geen items gevonden.
november 20, 2026
|
5 min leestijd

OpenRouter rate limits: je gratis tier hangt af van wat je al hebt betaald

Geen items gevonden.
november 20, 2026
|
5 min leestijd

Agent-sandboxes uitgelegd: Waarom TrueForge de sandbox als een tool behandelt

Geen items gevonden.
TrueFoundry AI gateway is an enterprise alternative to Bifrost and Portkey
november 20, 2026
|
5 min leestijd

Bifrost vs Portkey: prijzen, gateway-functies en geschiktheid voor enterprise vergeleken

Geen items gevonden.
Geen items gevonden.

Recente blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Volg een korte producttour
Start producttour
Product Tour