Wat de checklist dekt:
56
Evaluatiecriteria voor model-, tool- en agentverkeer
4
Gebieden: LLM-gateway, MCP-gateway, agent-gateway en platform
49
Essentiële functies: waar een productie-gateway absoluut aan moet voldoen
<5 ms
Doelstelling voor p95 gateway-overhead voor time-to-first-token
Inhoud van de checklist
Download de checklist en ontvang:
Een open referentie die uw platform- en engineeringteams kunnen gebruiken om AI-gateways naast elkaar te vergelijken of om uw eigen uitrol te plannen.
Checklist downloaden✓
Het volledige AI-gateway framework van 56 punten
Elk criterium gegroepeerd per gebied, met de bijbehorende vraag en een prioriteit (must-have of nice-to-have).
✓
Criteria voor LLM-routering, veerkracht en guardrails
Virtuele modellen, gewogen load balancing, failover, retries, health checks, input- en output-guardrails en budgetten.
✓
Criteria voor MCP- en agent-gateways
MCP-registers, 2- en 3-legged OAuth, RBAC op toolniveau, agent-identiteit en goedkeuringen met menselijke tussenkomst.
✓
Benchmarks voor prestaties en compliance
Doelen voor latentie en doorvoer, multi-regio implementatie, SSO, SOC 2 Type II, AVG en encryptie-eisen.
Waarom dit belangrijk is
De AI-gateway is uitgegroeid van een router naar essentiële AI-infrastructuur
De eerste AI-gateways waren eenvoudige routeringslagen: één API-sleutel, een paar providers, misschien een retry-functie. Dat is niet langer voldoende. Teams gebruiken nu tientallen modellen, verbinden agents met MCP-servers die toegang hebben tot bronsystemen en rollen coding agents zoals Claude Code en Cursor uit naar elke engineer.
Al dat verkeer heeft dezelfde zaken nodig: één endpoint, veerkracht bij uitval van een provider, guardrails voor inkomende en uitgaande data, toegangscontrole, kostenregistratie en een volledig audit-spoor. Wanneer elk team deze onderdelen afzonderlijk bouwt, is de dekking inconsistent en heeft niemand volledig overzicht.
Eén gateway, drie soorten verkeer, één set controles. De checklist dekt elke laag.
Een moderne AI-gateway dekt drie soorten verkeer. De LLM-gateway beheert modelaanroepen. De MCP-gateway beheert de tools die agents gebruiken. De agent-gateway beheert de agents zelf. Onder deze drie liggen de platformcontroles: SSO, RBAC, logging, dashboards, snelheidslimieten en compliance.
Hoe een AI-gateway van productieniveau eruitziet
Ontwikkelaars gebruiken één OpenAI-compatibel endpoint, of hun eigen provider-SDK's, zonder dat er codewijzigingen nodig zijn. Virtuele modelnamen ontkoppelen apps van de modelkeuze, en verkeer wordt automatisch geladen, opnieuw geprobeerd en gefailoverd wanneer een provider vertraagt of uitvalt. Guardrails inspecteren prompts en antwoorden op PII en prompt-injectie, en elk verzoek wordt gecalculeerd en aan een budget getoetst, inclusief verkeer van coding agents.
MCP-servers bevinden zich in één register achter één endpoint, met OAuth voor gebruikers en services, RBAC op toolniveau, guardrails voor tools en een volledig audit-spoor. Agents worden geregistreerd, toegangsgecontroleerd en voorzien van hun eigen scoped identiteit, waarbij menselijke goedkeuring vereist is voor gevoelige acties. De gehele gateway voegt minder dan 5 ms p95 toe, schaalt naar meer dan 100 gelijktijdige verzoeken per seconde en draait over regio's heen met SOC 2 Type II, AVG-compliance en encryptie.
Een open raamwerk voor een evoluerende categorie
TrueFoundry heeft deze checklist opgesteld op basis van de samenwerking met honderden engineering- en platformteams. We hebben deze openbaar en leverancierneutraal gemaakt, zodat elke organisatie deze kan gebruiken om met vertrouwen een AI-gateway te evalueren, implementeren en schalen.
Voorbeeld
De vier gebieden in de evaluatiechecklist voor AI-gateways
Een greep uit de criteria in elk gebied. De volledige checklist bevat alle 56 punten, inclusief prioriteiten en evaluatievragen.
Gebied 1 · 18 criteria
LLM-gateway
Een OpenAI-compatibel eindpunt zorgt ervoor dat één SDK elk model kan bereiken
Een primair model schakelt automatisch over naar secundaire doelen bij uitval
Verkeer van coding agents wordt toegeschreven, gebudgetteerd en toegangsgecontroleerd
+15 criteria meer
Gebied 2 · 16 criteria
MCP-gateway
MCP-servers worden geregistreerd in één centrale catalogus
OAuth 2.0 per gebruiker met inline toestemming tijdens een chat
RBAC op toolniveau per gebruiker, team en service-account
+13 criteria meer
Gebied 3 · 8 criteria
Agent-gateway
Alle agents worden geregistreerd en beheerd in één catalogus
Elke agent heeft zijn eigen scoped service-identiteit
Gevoelige tool-aanroepen pauzeren voor menselijke goedkeuring
+5 criteria meer
Gebied 4 · 14 criteria
Platform en overkoepelend
SSO via SAML 2.0 en OIDC met je zakelijke IdP
Elk verzoek gelogd met prompt, respons, tokens, kosten en identiteit
Minder dan 5 ms p95 overhead bij 100+ gelijktijdige RPS
+11 criteria meer
4,7
★★★★★
Gartner Peer Insights
Beoordeeld met een 4,7 op Gartner Peer Insights
Ondernemingen gebruiken de AI Gateway van TrueFoundry, die LLM-, MCP- en Agent-gateways omvat, om modellen, tools en agents te verbinden, te observeren en te beheren vanuit één controlepaneel, als SaaS, on-premises of in een air-gapped omgeving.
96%
van de beoordelaars beveelt dit waarschijnlijk aan
4,9
gebruiksgemak bij implementatie en beheer
3–4 ms
extra gateway-latentie
