Auto Routing is een routeringsstrategie in de AI Gateway van TrueFoundry die elk inkomend verzoek classificeert als eenvoudig, gemiddeld of complex en dit verstuurt naar het model dat u aan dat niveau hebt toegewezen. In tegenstelling tot routering op basis van gewicht, prioriteit of latentie, hangt de beslissing af van de inhoud van het verzoek zelf.

In onze benchmarks was Auto Routing 69% goedkoper dan een opstelling met alleen Opus 5 op beoordeelde academische datasets en 80% goedkoper bij verkeer met een productie-karakter. Als u in plaats daarvan routeert vanaf een topmodel van de vorige generatie, komen de beoordeelde besparingen dichter bij de 50% uit. De gateway logt het gekozen niveau voor elk verzoek, zodat u uw eigen besparingen direct kunt meten.

Het behoud van kwaliteit was 98% van de baseline bij deterministische beoordeling. De bekende beperking is dat de gratis heuristische classifier de vorm van een prompt leest in plaats van de werkelijke moeilijkheidsgraad, waardoor een korte maar oprecht moeilijke vraag naar een goedkoop niveau kan worden gerouteerd. Door dat virtuele model over te schakelen naar de LLM-classifier wordt het grootste deel van die kwaliteit hersteld voor ongeveer tien punten minder aan besparingen.

De heuristische classifier scoort de prompt op basis van een vaste set signalen binnen het gateway-proces. Het is gratis, volledig deterministisch en voegt geen latentie toe. De LLM-classifier roept een klein model aan dat u aanwijst om elk verzoek te beoordelen; dit is nauwkeuriger bij dubbelzinnige prompts, maar voegt per verzoek één factureerbare modelaanroep en enige latentie toe.

Nee. Auto Routing is een instelling op een virtueel model en uw applicatie blijft de naam van dat virtuele model aanroepen. Het wijzigen van niveaus, het wisselen van modellen of het veranderen van de classificatiestrategie gebeurt in de configuratie.

Het kan omhoog gaan en zal niet omlaag gaan. Conversation pinning registreert het niveau dat een beurt succesvol heeft afgehandeld en houdt latere beurten op dat niveau of hoger. Pins zijn automatisch, vereisen geen configuratie en blijven tien minuten na inactiviteit actief.

Auto Routing ondersteunt precies drie niveaus en de signalen van de heuristische classifier zijn vast in plaats van aanpasbaar. Het werkt alleen op virtuele modellen voor de modeltypen chat, completion en responses. Het dashboardformulier ondersteunt één doel per niveau; voor meerdere doelen in een niveau is het YAML-manifest of de API vereist.