Respuestas de herramientas grandes, explicadas: mantenga las cargas útiles accesibles sin saturar el contexto

Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
¡Una forma increíblemente rápida de crear, rastrear e implementar sus modelos!
- Gestiona más de 350 RPS en solo 1 vCPU, sin necesidad de ajustes
- Listo para la producción con soporte empresarial completo
Una herramienta puede devolver los datos correctos con un formato inadecuado para el razonamiento del modelo. El manejo de respuestas de gran tamaño separa la posesión de la carga útil de la atención inmediata a cada byte.
1. Los datos correctos pueden ser operativamente hostiles
Una herramienta MCP puede responder correctamente y aun así perjudicar la ejecución. Una API de repositorio puede devolver cientos de solicitudes de extracción con descripciones largas. Una herramienta de métricas puede emitir todas las series temporales. Una búsqueda en un CRM puede adjuntar historiales anidados a cada cuenta. La carga útil es relevante en principio, pero es posible que el modelo solo necesite tres campos.
Si el resultado completo entra en el contexto, ocurren varias cosas a la vez: la entrada crece, el razonamiento posterior hereda el volumen, los hechos importantes compiten con campos irrelevantes y las llamadas de seguimiento pueden empujar la ejecución hacia el límite del modelo. Es preferible pedir menos a la herramienta cuando su API admite proyección, paginación o filtrado. El tiempo de ejecución aún necesita una alternativa, ya que muchas herramientas no ofrecen controles adecuados.
El manejo de respuestas documentado de TrueForge escribe un resultado de gran tamaño en un archivo de sandbox y coloca una breve vista previa junto con la ruta del archivo en el contexto. El agente conserva el acceso sin verse obligado a procesar toda la carga útil.

2. El umbral de respuesta única
La primera regla se aplica al resultado de una sola herramienta. Si la respuesta estimada supera el umbral configurado por llamada, TrueForge escribe el resultado completo en el sandbox. El contexto recibe un aviso, la ruta del archivo y una vista previa limitada. El umbral predeterminado actual es de 6000 tokens; la vista previa predeterminada actual contiene los primeros y últimos 100 caracteres.
La vista previa sirve para navegar, no es un resumen. Los caracteres de los límites pueden revelar el tipo de objeto, las claves de nivel superior, el recuento total o los metadatos finales, pero pueden omitir los registros exactos que la tarea necesita. Un siguiente paso competente consiste en inspeccionar la estructura, buscar un objetivo o ejecutar un pequeño analizador, no en inferir el contenido completo a partir de la vista previa.
3. Las llamadas paralelas crean un modo de fallo agregado
Los límites por llamada son insuficientes cuando un agente emite herramientas de forma simultánea. Cuatro resultados de 4000 tokens superan cada uno una comprobación de 6000 tokens, pero juntos inyectan 16 000 tokens en un solo paso del modelo.
Por lo tanto, TrueForge documenta un segundo umbral para el contenido combinado de llamadas a herramientas devuelto en conjunto. El valor predeterminado actual es de 10 000 tokens. Cuando la suma supera ese límite, el sistema descarga las respuestas una por una, comenzando por la más grande, hasta que el contenido restante en línea cae por debajo del umbral.
Esta política de "la más grande primero" preserva más resultados pequeños en línea mientras elimina rápidamente los que más contribuyen al volumen. Es una heurística de contexto, no un juicio de relevancia. La respuesta más grande podría contener la evidencia más importante; la ruta del archivo permite recuperarla.

4. Por qué la descarga requiere un sandbox
La carga útil completa necesita una superficie de ejecución duradera que el agente pueda inspeccionar. La función de TrueForge está habilitada de forma predeterminada, pero requiere que el sandbox del agente esté activado, ya que el resultado descargado se almacena como un archivo de sandbox.
El sandbox no es donde se ejecuta todo el bucle del agente. La documentación de TrueForge lo describe como un entorno aislado utilizado para código, archivos y operaciones de shell, que se aprovisiona cuando es necesario. El modelo recibe una ruta y puede utilizar operaciones de sandbox para inspeccionar o transformar el archivo.
Este diseño ofrece una separación útil: el sistema controla la ejecución y las credenciales, mientras que el sandbox gestiona el procesamiento de la carga útil. También plantea una cuestión sobre el ciclo de vida. Si la tarea, el usuario o la política de retención son sensibles, los equipos deben saber cuánto tiempo persiste el archivo, quién puede descargarlo, qué telemetría lo referencia y cómo se propaga la eliminación.
5. El comportamiento de recuperación correcto es la inspección progresiva
Una vez que se descarga una respuesta, el agente debe restringirla deliberadamente:
- Inspeccione un prefijo pequeño o infiera el esquema.
- Confirme la estructura de nivel superior y el recuento de registros esperados.
- Busque la entidad o los campos específicos relevantes para la solicitud.
- Utilice código determinista para filtrar, agrupar o realizar uniones.
- Imprima solo la evidencia o el resumen necesario para el siguiente paso de razonamiento.
- Conserve una referencia al archivo de origen para la depuración cuando la política lo permita.
La documentación de TrueForge conecta explícitamente este patrón con el Modo Código. Un script puede leer el archivo descargado, calcular un resultado y devolver solo las líneas impresas al contexto del modelo.

6. La descarga, el truncamiento, el resumen y la recuperación son diferentes
TrueFoundry AI Gateway ofrece una latencia de entre 3 y 4 ms, gestiona más de 350 RPS en una vCPU, se escala horizontalmente con facilidad y está listo para la producción, mientras que LitellM presenta una latencia alta, tiene dificultades para superar un RPS moderado, carece de escalado integrado y es ideal para cargas de trabajo ligeras o de prototipos.













.webp)


.png)
.png)
.png)
.png)
.png)
.png)
.png)

.png)
.png)
.png)
.png)







