.png)
October 16, 2026
|
5 minutos de lectura
Realtime / Live API and Voice Agents Through the Gateway
Por Ashish Dubey
Published: October 16, 2026
.png)
Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
¡Una forma increíblemente rápida de crear, rastrear e implementar sus modelos!
- Gestiona más de 350 RPS en solo 1 vCPU, sin necesidad de ajustes
- Listo para la producción con soporte empresarial completo
TrueFoundry AI Gateway ofrece una latencia de entre 3 y 4 ms, gestiona más de 350 RPS en una vCPU, se escala horizontalmente con facilidad y está listo para la producción, mientras que LitellM presenta una latencia alta, tiene dificultades para superar un RPS moderado, carece de escalado integrado y es ideal para cargas de trabajo ligeras o de prototipos.
Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
Try now.
Inscríbase
¿Cómo se puede evitar que los costos de GenAI se disparen a gran escala?
Gartner Hype Cycle for Platform Engineering 2026
One Layer of Control for All AI
Tabla de contenido
Controle, implemente y rastree la IA en su propia infraestructura
Summarize with
Descubra más
No se ha encontrado ningún artículo.
.png)
No se ha encontrado ningún artículo.
Blogs recientes
.png)
.png)
.png)
.png)
.png)
Preguntas frecuentes
What is the Realtime / Live API?
A bidirectional, low-latency streaming API over WebSocket where a model receives and produces audio directly — speech-to-speech — instead of going through separate transcription and text-to-speech steps. OpenAI calls it the Realtime API; Google calls it the Live API.
How is it different from an STT → LLM → TTS pipeline?
The Realtime API is a single stream with lower latency and provider-managed turn-taking, but costs more per minute. The pipeline uses three separate services, which is cheaper and more tunable but adds latency. The gateway supports both.
How much does realtime voice cost?
It’s priced in audio tokens. OpenAI Realtime is roughly $0.30 per minute and Gemini Live roughly $0.03 per minute at current rates, and both re-bill context each turn. Verify current figures on the providers’ pricing pages.
Which providers can I use through the gateway?
OpenAI, Google Gemini, Google Vertex AI, and Azure AI Foundry, each via its native SDK pointed at the gateway’s WebSocket URL.
Can I switch realtime providers without changing my client?
Yes. Because the client connects to the gateway rather than a provider directly, switching from OpenAI Realtime to Gemini Live is a configuration change, and you can split traffic to compare them.
Can I run this in my own cloud?
Yes. TrueFoundry’s data plane runs in your VPC or on-prem, so DSPy’s prompts and optimization data stay in your environment.
