Wafer-integratie met TrueFoundry AI Gateway

Nieuwe inference-providers voor open-weight-modellen lijken elke paar weken gelanceerd te worden, waarbij elke provider snellere tokens per seconde belooft op dezelfde handvol modellen die iedereen al draait. Het probleem voor engineeringteams is zelden of een provider snel genoeg is. Het gaat erom wat er daarna gebeurt: een nieuwe base URL, een nieuwe API-sleutel, een nieuwe observability-koppeling en een reeks applicatiecodepaden die nu weer getest moeten worden tegen alweer een nieuw schema. De komst van Wafer binnen de TrueFoundry AI Gateway neemt dat tweede probleem weg, waardoor alleen de eerste vraag overblijft: is het model snel genoeg voor de workload.

TrueFoundry AI Gateway: Eén uitvoeringslaag voor elk model

De TrueFoundry AI Gateway bevindt zich tussen applicaties en elk model dat ze aanroepen. Het biedt één enkele OpenAI-compatibele interface, ongeacht welke provider het verzoek uiteindelijk bedient. In plaats van dat een applicatie voor elke provider een andere client, een andere sleutel en een ander retry-beleid moet onderhouden, stuurt deze elk verzoek naar één endpoint en laat de Gateway bepalen waar dat verzoek daadwerkelijk naartoe moet.

Die afhandeling gebeurt via wat TrueFoundry Virtual Models noemt: logische model-identifiers die mappen naar een of meer fysieke providers, waarbij de routing wordt bepaald op basis van prioriteit, gewicht of latency. Nieuwe providers vereisen geen nieuwe integratiecode aan de applicatiezijde. Ze worden toegevoegd als een provider-account en een reeks geregistreerde modellen, en elke applicatie die al naar de Gateway wijst, kan ze beginnen te gebruiken zodra ze worden ingeschakeld.

Wafer: Serverless snelheid voor open-weight-modellen

Wafer is een gehoste inference-provider die speciaal is gebouwd voor het snel serveren van open-weight-modellen. De propositie is geen bredere modelcatalogus, maar een snellere uitvoering van de modellen die teams al willen draaien. Dit wordt bereikt door de volledige inference-stack te optimaliseren voor specifieke hardware, in plaats van modellen te serveren op een generieke stack. Via TrueFoundry is die snelheid beschikbaar voor GLM 5.2, geserveerd als een serverless chat completion met streaming en tool calling. 

Wafer behandelt dataverwerking bovendien als een eersteklas optie in plaats van een enterprise-add-on. Verzoeken kunnen per verzoek worden gemarkeerd voor zero data retention, en Wafer isoleert verkeer en biedt SLA-gegarandeerde uptime voor workloads die die garanties nodig hebben, zonder dat een afzonderlijk contractniveau vereist is om de optie in te schakelen.

Eén Gateway, elk model: Wafer binnen TrueFoundry

Het verbinden van de twee is een kwestie van Wafer registreren als een provider-account in de sectie Models van de Gateway. Het accountformulier vraagt om een Base URL (standaard ingesteld op Wafer's eigen pass.wafer.ai/v1 endpoint), een API-sleutel en een schakelaar voor zero data retention, die standaard is ingeschakeld. Het inschakelen hiervan vertelt de Gateway om een Wafer-ZDR: required header toe te voegen aan elk verzoek dat naar Wafer wordt gestuurd, zodat het bewaarbeleid wordt afgedwongen op verzoekniveau in plaats van overgelaten te worden aan accountbrede configuratie.

Zodra het account bestaat, worden individuele chatmodellen geregistreerd op hun Display Name en hun exacte Wafer Model ID, zoals glm-5.2. Wat deze integratie ongewoon licht maakt, is dat de API van Wafer het OpenAI chat completions-schema al van nature spreekt. De provider-adapter van de Gateway, die normaal gesproken verzoeken vertaalt naar het eigen formaat van een partner, hoeft hier niets te vertalen. Het stuur het verzoek grotendeels ongewijzigd door. Dit is dezelfde reden waarom bestaande OpenAI-compatibele clients rechtstreeks naar Wafer kunnen wijzen door alleen de base URL en de sleutel te vervangen.

‍

Hoe Smart Routing werkt

Een verzoek dat gericht is op een door Wafer ondersteund model doorloopt hetzelfde verzoekpad als elk ander model op de Gateway:

1. Een applicatie roept het chat completions-endpoint van de Gateway aan met een model-identifier in de vorm uw-wafer-account/glm-5.2, met behulp van de standaard OpenAI SDK.

2. De Gateway valideert de JWT van het verzoek tegen gecachte publieke sleutels en controleert de toegang van de aanroeper tegen een in-memory map van gebruikers tot modellen, beide zonder een externe aanroep.

3. De Virtual Model-identifier verwijst naar het geregistreerde Wafer-provider-account, inclusief de Base URL, API-sleutel en de instelling voor zero data retention.

4. Het verzoek wordt doorgestuurd naar pass.wafer.ai/v1/chat/completions via HTTPS. Omdat Wafer het OpenAI-schema al gebruikt, brengt de provider-adapter van de Gateway geen formaatwijzigingen aan en voegt alleen de Wafer-ZDR-header toe wanneer de retentie is ingesteld op vereist.

5. Wafer voert inference uit op het gevraagde GLM 5.2-model en streamt tokens terug naarmate ze worden gegenereerd.

6. De Gateway streamt de respons terug naar de applicatie en publiceert asynchroon aantallen tokens, latency en kosten naar de telemetriepijplijn, net zoals bij elke andere provider.

Geen van deze stappen is uniek voor Wafer. Dat is precies het punt: een nieuwe, snelle inference-provider wordt een routingtarget in plaats van een nieuw integratieoppervlak. Dit zorgt ervoor dat een Gateway-account nieuwe providers kan opnemen zodra ze zichzelf bewijzen, zonder dat voor elke applicatie een codewijziging nodig is.

Aan de slag met snellere open-model-inference

Open vanuit het TrueFoundry-dashboard de AI Gateway, ga naar Models en selecteer Wafer om een account toe te voegen en uw chatmodellen te registreren. Roep ze aan via de Playground of rechtstreeks via de OpenAI-compatibele client, waarbij het model is ingesteld op uw accountnaam en model-ID. Volledige instellingsstappen en codevoorbeelden vindt u in de TrueFoundry AI Gateway-documentatie voor Wafer, samen met Wafer's eigen handleiding voor routerinstellingen.