Blank white background with no objects or features visible.

EMEA, hallo! TrueFoundry breidt zijn aanwezigheid uit in Europa, het Midden-Oosten en Afrika. Lees meer. →

Realtime / Live API en Voice Agents via de Gateway

DoorAshish Dubey

Bijgewerkt: november 20, 2026

Gepubliceerd: november 9, 2026

TL;DR
  • De Realtime / Live API is speech-to-speech via een permanente WebSocket — het model hoort audio en spreekt terug in één bidirectionele stream, in plaats van de driestaps pipeline van speech-to-text → LLM → text-to-speech.
  • Het ruilt kosten in voor latency. Realtime API's voelen natuurlijker aan, maar kosten meer per minuut; de STT → LLM → TTS-pipeline is goedkoper en beter af te stemmen.
  • OpenAI Realtime kost ongeveer 10× zoveel per minuut als Gemini Live tegen de huidige tarieven, en beide berekenen de context bij elke beurt opnieuw, waardoor lange gesprekken naverloop van tijd duurder worden.
  • De TrueFoundry AI Gateway fungeert als proxy voor de WebSocket voor OpenAI, Gemini, Vertex en Azure — één wss://-endpoint, één sleutel, met kostenoverzicht en de mogelijkheid om van provider te wisselen.
  • U behoudt de native SDK en de volledige functionaliteit van elke provider; de gateway bevindt zich in het pad voor governance, zonder het protocol in de weg te zitten.

Wat de Realtime / Live API inhoudt

Voice agents waren voorheen simpelweg een pipeline van spraaktranscriptie naar tekst (STT), die werd doorgegeven aan een LLM voor generatie, en vervolgens weer werd omgezet naar spraak (TTS). Drie services, drie stappen en cumulatieve latency bij elke stap.

De Realtime API (OpenAI) en Live API (Google) brengen dat terug tot één geheel. Het model is verbonden via een tot stand gebrachte WebSocket, ontvangt audio-invoer en reageert op dezelfde wijze, waarbij het geheel zelfstandig luistert en spreekt. Dit levert merkbaar betere resultaten op qua lagere latency, wat het gesprek interactiever maakt. Daarom is dit de standaardkeuze voor gesprekken met voice chatbots.

Er zijn nadelen verbonden aan de kosten en de controle over die functionaliteit, en er is het praktische feit dat het introduceren van een API een extra sleutel, een extra endpoint en een extra factuur betekent. Dit zijn allemaal redenen om deze activiteit te laten plaatsvinden achter een gateway.

Realtime API vs. de STT → LLM → TTS-pipeline

Geen van beide benaderingen is strikt beter — ze optimaliseren voor verschillende zaken.

Realtime API vs the STT to LLM to TTS pipeline
Realtime API vs. de STT naar LLM naar TTS-pipeline

De Realtime / Live API wint het op het gebied van latency en natuurlijkheid omdat er sprake is van een enkele stream en de provider het bepalen van de spreekbeurt afhandelt. De pipeline (de aanpak die we hebben besproken in onze Deepgram-post) wint het op het gebied van kosten en controle: u kiest het STT-model, het LLM en de TTS-stem onafhankelijk van elkaar, stemt elk onderdeel af en kunt ze afzonderlijk vervangen. Een veelvoorkomend patroon is om Realtime te gebruiken voor de hoogwaardige, latency-gevoelige ervaring en de pipeline voor kostengevoelige of sterk aangepaste flows — en omdat de gateway beide ondersteunt, is dat een routingbeslissing, geen herontwerp van de architectuur.

Wat het kost

Realtime voice wordt geprijsd in audio-tokens, en de twee leidende providers lopen ver uiteen.

Realtime voice: rough cost per minute
Realtime voice: geschatte kosten per minuut

Tegen de huidige tarieven kost de Realtime API van OpenAI ongeveer $ 0,30 per minuut aan actief gesprek, terwijl Gemini Live van Google ruwweg $ 0,03 per minuut is — een verschil van ongeveer 10× [VERIFIEER huidige tarieven op de prijzpagina's van OpenAI en Google; cijfers zijn samengestelde schattingen per minuut]. Beide brengen kosten in rekening per token, en cruciaal is dat beide de groeiende context bij elke beurt opnieuw factureren, waardoor een lang gesprek naverloop van tijd meer per minuut kost, niet minder. Voor een telefoon-agent die duizenden minuten per dag afhandelt, bepalen de providerkeuze en de verdeling van de gespreksduur het grootste deel van de factuur — wat precies het soort ding is dat u per gesprek wilt laten meten bij de gateway in plaats van dit achteraf op een factuur te ontdekken.

Realtime via de gateway

De gateway fungeert als proxy voor de WebSocket-verbinding met de provider met behulp van de native SDK van elke provider, zodat u het echte Realtime/Live-protocol krijgt met een governancelaag eromheen.

Realtime voice through the AI Gateway
Realtime voice via de AI Gateway

Uw client verbinding maakt via één wss://-verbinding met de gateway; de gateway beheert de provider-sleutel en stuurt de bidirectionele audiostream door. Dat geeft u één endpoint en één sleutel over meerdere providers, kostenoverzicht voor realtime sessies naast uw overige LLM-uitgaven, en de mogelijkheid om van provider te wisselen — bijvoorbeeld van OpenAI naar Gemini wanneer de kostenberekening verandert — zonder uw client opnieuw naar een nieuwe leverancier te hoeven verwijzen.

Realtime / Live API support through the gateway
Realtime / Live API-ondersteuning via de gateway

Vier providers worden vandaag de dag ondersteund — OpenAI, Google Gemini, Google Vertex AI en Azure AI Foundry — elk via hun native SDK (openai, google-genai of azure-ai-voicelive) gericht op de WebSocket-URL van de gateway.

Waar teams de mist in gaan

Ze gaan ervan uit dat Realtime altijd de oplossing is. Voor kostengevoelige of sterk aangepaste flows is de STT → LLM → TTS-pipeline goedkoper en beter beheersbaar. Stem de aanpak af op de use case.

Ze negeren herfacturering per beurt. Realtime-context wordt bij elke beurt opnieuw in rekening gebracht, waardoor lange gesprekken slechter schalen dan u zou verwachten. Bereken de modelkosten op basis van realistische gespreksduren.

Ze leggen zich in de client vast op de SDK van één provider. Het hardcoden van de endpoint van OpenAI in de app betekent dat overstappen naar Gemini een volledige herschrijving vereist. Richt de SDK op de gateway en overstappen is slechts een configuratie-aanpassing.

Ze laten realtime-uitgaven ongemonitord. Facturering op basis van audio-tokens verschijnt niet in token-dashboards die zijn gebouwd voor tekst. Meet dit bij de gateway.

Wilt u de kosten van realtime voice en uw providerkeuze onder controle houden?

Verbinding maken in TrueFoundry

Voeg uw realtime-model toe aan een model-account met het modeltype Realtime en maak vervolgens verbinding via WebSocket. Het model-ID in de code moet overeenkomen met de weergavenaam van het model in uw account. Voor het native Live API-pad maakt u verbinding met

U behoudt het volledige Realtime/Live-eventmodel van OpenAI of Google — session.update, conversation.item.create, response.create, streaming deltas en tool calling — omdat de gateway het native protocol doorsluist. Voor telefonie ondersteunt de gateway ook WebRTC en LiveKit.

Een uitgewerkt voorbeeld: een telefoon-agent die van provider kan wisselen

Een bedrijf lanceert een voice agent voor telefonische ondersteuning op OpenAI Realtime vanwege de natuurlijke beurtwisseling. Drie maanden later is het gespreksvolume gestegen en is de Realtime-factuur de grootste enkele post in hun AI-uitgaven. Ze willen Gemini Live, dat ruwweg 10× goedkoper is per minuut, testen op een deel van het verkeer.

Omdat de agent verbinding maakt via de gateway, is de test slechts een routingwijziging: stuur een percentage van de sessies naar het Gemini-account, houd de rest op OpenAI, me vergelijk kwaliteit en kosten zij aan zij in de metrieken van de gateway — met dezelfde clientcode en hetzelfde wss://-endpoint. Als Gemini goed presteert bij hun gesprekken, verplaatsen ze meer verkeer; zo niet, dan rollen ze direct terug. Zonder de gateway zou dat experiment betekenen dat er een tweede provider-SDK in de client geïntegreerd moet worden en dat er een app-update naar elke beller uitgerold moet worden.

Belangrijke aandachtspunten

  • Gebruik wss:// en het juiste basispad. Live API gaat naar /live/{account}; OpenAI Realtime accepteert ook /v1/realtime.
  • Model ID = weergavenaam. Het model in de code moet overeenkomen met de weergavenaam van uw TrueFoundry model-account.
  • Herfacturering per beurt. Lange gesprekken kosten meer per minuut naarmate de context groeit; houd hier rekening mee in het budget.
  • Realtime-uitgaven zijn audio-tokens. Zorg ervoor dat dit wordt bijgehouden en niet wordt aangenomen op basis van tekst-dashboards.
  • Telefonie vereist transport. Gebruik WebRTC of LiveKit voor telefonie-integraties.

Gerelateerde artikelen

Conclusie

De Realtime en Live API's vormen de snelste weg naar een natuurlijke voice agent — één WebSocket, spraak in en spraak uit, en de beurtwisseling wordt voor u afgehandeld. Het addertje onder het gras zit in de kosten en lock-in: facturering op basis van audio-tokens die meegroeit met de gespreksduur, en een SDK per provider die eenvoudig rechtstreeks in uw client wordt geïntegreerd.

Het uitvoeren van realtime voice via de TrueFoundry AI Gateway behoudt het native protocol en de volledige functionaliteit, terwijl de laag wordt toegevoegd die productie vereist: één endpoint en sleutel over verschillende providers, kosten bijgehouden per sessie, en het wisselen van provider als een configuratiewijziging. Bouw de voice-ervaring die u wilt, en houd de economische aspecten en governance onder controle.

Laat realtime voice draaien via één beheerd endpoint

Probeer het nu.

Eén gateway voor al je modellen, MCP-servers en agents. Geen creditcard nodig.

Start gratis
Inhoudsopgave

Eén gateway voor elk LLM, elke agent en elke MCP-server

Boek een gesprek van 30 minuten met onze AI-expert

Demo aanvragen

De snelste manier om je AI te bouwen, beheren en schalen

Demo boeken
Samenvatten met
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Ontdek meer

Geen items gevonden.
november 20, 2026
|
5 min leestijd

Bifrost AI Gateway Review: Performance Benchmarked op 1 vCPU

Geen items gevonden.
november 20, 2026
|
5 min leestijd

OpenRouter rate limits: je gratis tier hangt af van wat je al hebt betaald

Geen items gevonden.
november 20, 2026
|
5 min leestijd

Agent-sandboxes uitgelegd: Waarom TrueForge de sandbox als een tool behandelt

Geen items gevonden.
TrueFoundry AI gateway is an enterprise alternative to Bifrost and Portkey
november 20, 2026
|
5 min leestijd

Bifrost vs Portkey: prijzen, gateway-functies en geschiktheid voor enterprise vergeleken

Geen items gevonden.
Geen items gevonden.

Recente blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.

Veelgestelde vragen

Wat is de Realtime / Live API?

Een bidirectionele, low-latency streaming-API over WebSocket waarbij een model direct audio ontvangt en produceert - speech-to-speech - in plaats van via aparte transcriptie- en text-to-speech-stappen. OpenAI noemt het de Realtime API; Google noemt het de Live API.

Hoe verschilt dit van een STT → LLM → TTS-pijplijn?

De Realtime API is één enkele stream met lagere latentie en door de provider beheerde beurtwisseling, maar kost meer per minuut. De pijplijn gebruikt drie aparte diensten, wat goedkoper en beter afstembaar is, maar latentie toevoegt. De gateway ondersteunt beide.

Hoeveel kost realtime voice?

Dit wordt geprijsd in audiotokens. OpenAI Realtime kost tegen de huidige tarieven ongeveer $0,30 per minuut en Gemini Live ongeveer $0,03 per minuut, en beide factureren context opnieuw bij elke beurt. Verifieer de actuele cijfers op de prijspagina's van de providers.

Welke providers kan ik gebruiken via de gateway?

OpenAI, Google Gemini, Google Vertex AI, en Azure AI Foundry, elk via zijn native SDK gericht op de WebSocket-URL van de gateway.

Kan ik van realtime-provider wisselen zonder mijn client te wijzigen?

Ja. Omdat de client verbinding maakt met de gateway in plaats van rechtstreeks met een provider, is overstappen van OpenAI Realtime naar Gemini Live een configuratiewijziging, en u kunt verkeer splitsen om ze te vergelijken.

Kan ik dit draaien in mijn eigen cloud?

Ja. Het data plane van TrueFoundry draait in uw VPC of on-prem, zodat de prompts en optimalisatiedata van DSPy binnen uw omgeving blijven.

Volg een korte producttour
Start producttour
Product Tour