Fine-tuning vs Prompting: cuándo especializar un SLM

Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
¡Una forma increíblemente rápida de crear, rastrear e implementar sus modelos!
- Gestiona más de 350 RPS en solo 1 vCPU, sin necesidad de ajustes
- Listo para la producción con soporte empresarial completo

Por qué fine-tuning vs prompting confunde a los equipos de producto
Cuatro decisiones que la gente reduce a una sola pregunta

A menudo los equipos preguntan "¿SLM o LLM?" como si eso definiera el producto. No es así. Se terminan mezclando cuatro decisiones distintas:
Puedes aplicar prompting a un LLM privado. Puedes hacer fine-tuning y aun así llamar a una API pública para las partes abiertas. El alojamiento y la especialización son ortogonales. Mezclarlos es la razón por la que los equipos en entornos regulados se bloquean durante un trimestre analizando GPU cuando el verdadero obstáculo era la falta de un índice de documentos.
Para saber cómo los equipos mantienen bajo control la elección de modelos y el gasto una vez que el tráfico está activo, consulta qué es un LLM gateway. La cuestión del gateway surge después de saber en qué vía te encuentras.
Las tres vías que realmente ayudan

Una vez que separas esas cuatro decisiones, la hoja de ruta se reduce a tres vías:
- Learn (Aprender): modelo alojado, conjunto de evaluación (eval set), registro de logs. Demuestra el flujo de trabajo antes de ser propietario de un modelo.
- Ground (Enraizar): recuperación, herramientas, esquemas. Proporciona evidencia al modelo en lugar de cambiar los pesos.
- Specialize (Especializar): haz fine-tuning de un modelo pequeño en un segmento estrecho tras superar las puertas de validación. No de todo el asistente.
La mayoría de los planteamientos de "necesitamos un SLM" son en realidad problemas de Learn o Ground vestidos con el lenguaje de Specialize.
Construimos un pequeño resolutor de fine-tuning vs prompting basándonos en ese enfoque. Responde a unas pocas preguntas de producto y te entregará un diagnóstico, las vías bloqueadas frente a las actuales y un memorando para copiar y pegar. Es la misma rúbrica cada vez, para que PM, ingeniería y seguridad debatan partiendo del mismo documento.
Qué evaluar antes de hacer fine-tuning

El entusiasmo de los desarrolladores importa. Las demostraciones de proveedores importan menos. Ninguno de los dos sustituye a las puertas de validación.
1. Define la tarea, no el modelo
¿Se trata de triaje de tickets, extracción de campos, preguntas y respuestas sobre documentación, chat abierto o un agente de múltiples pasos?
El trabajo cerrado o limitado por esquemas se puede especializar más adelante. Los asistentes de chat abierto y los agentes de código casi nunca deberían someterse a fine-tuning al principio. Si puedes aislar una subtarea concreta (clasificar y luego redactar), especializa únicamente ese segmento.
2. Decide la ruta de los datos antes que el tamaño del modelo
Los datos internos o de bajo riesgo pueden empezar en una API pública con una revisión de proveedores habitual. La información de identificación personal (PII) de los clientes requiere una revisión de privacidad. Los datos regulados (PHI, residencia de datos financieros, air-gap) obligan a usar VPC o soluciones on-prem.
Esa decisión atañe al alojamiento. No desbloquea el fine-tuning por sí sola. Para el gasto y la latencia una vez que el volumen crece, la optimizacion de costes en LLM es la conversación paralela, no un sustituto de las etiquetas.
3. Cuenta etiquetas doradas (gold labels), no volcados de tickets
Los tickets históricos y los registros de chat no constituyen un conjunto de entrenamiento hasta que alguien marque la salida correcta. Volcar un CSV en LoRA solo sirve, en su mayor parte, para memorizar ruido.
Si alguien dice "tenemos algunos ejemplos", pregunta si son definitivos (gold) o brutos. Los datos brutos cuentan como cero.
4. Asigna un propietario del modelo durante más de 6 meses
Hacer fine-tuning sin un propietario es como tener un prompt congelado que no puedes actualizar de forma segura cuando los datos o el modelo base cambian. Las evaluaciones, la desviación (drift) y los redespliegues necesitan un responsable directo. "Quizás más adelante" significa Learn, no Specialize.
5. Sé honesto sobre la escala del próximo trimestre
Los proyectos piloto raras veces amortizan la GPU más las operaciones de MLOps. Cientos de solicitudes al día pueden seguir siendo más favorables a través de API. El volumen alto y constante es cuando el coste unitario y la latencia empiezan a justificar un modelo especialista, y solo después de haber superado las demás puertas.
6. Alinea a ingeniería y seguridad antes de iniciar el entrenamiento
Pide a ingeniería el conjunto de evaluación, el plan de registros de logs y confirma si ya existe una línea base basada en prompts. Pregunta a seguridad sobre las listas de proveedores permitidos, el registro de prompts y qué sucederá si una función futura empieza a enviar PII. Si te saltas esto, el fine-tuning se convertirá en una sorpresa de cumplimiento normativo tras la primera demostración.
Seis situaciones en las que los equipos eligen el camino equivocado
Preguntas y respuestas sobre documentos sin un índice de confianza
Alguien quiere que el modelo "conozca nuestra wiki". Eso es recuperación. El fine-tuning no inventará las páginas que faltan ni se mantendrá actualizado cuando la documentación cambie. Si nadie administra un corpus, aún no tienes un problema de RAG. Tienes un problema de corpus. Primero aplica Ground.
Triaje de tickets con muchas etiquetas, un responsable y volumen real
Este es uno de los pocos escenarios donde Specialize se gana un sitio. Mantén una línea base basada en prompts sobre la misma evaluación. Ejecuta un experimento estrecho con LoRA. Solo entonces debate entre un endpoint privado gestionado o autoalojamiento. La clasificación y la extracción son los éxitos habituales, no "reemplazar a todo el asistente".
Chat de soporte de respuesta abierta
Los equipos intentan ajustar la personalidad en un modelo pequeño mediante fine-tuning y se preguntan por qué la calidad cae en los casos límite. Mantén el agente de respuesta abierta en un modelo generalista. Si hay un paso cerrado antes de la redacción (intención, enrutamiento, extracción), aísla ese paso y especializa únicamente esa parte.
"Algunas etiquetas" que en realidad son tickets brutos
La hoja de cálculo tiene miles de filas. Nadie ha marcado la respuesta correcta. Trátalo como si no hubiera etiquetas hasta que exista una revisión. La vía Specialize se mantiene bloqueada por una razón.
Datos regulados, por lo que "debemos hacer fine-tuning"
La privacidad puede exigir un alojamiento en VPC o on-prem. No obliga a actualizar los pesos. Muchos equipos en entornos regulados deberían aplicar prompting a un LLM privado (Learn) o realizar búsquedas sobre un índice privado (Ground) mucho antes de entrenar.
Alto gasto en API sin un sistema de evaluación
La presión del gasto es real. Entrenar sin un marcador reservado es la forma de desplegar un especialista que pierde frente a la línea base de prompts que nunca llegaste a medir. Corrige el sistema primero. Para enrutar el trabajo rutinario hacia modelos más baratos mientras estás en fase Learn, un LLM router suele ser una palanca más económica que un fine-tuning.
Una forma sencilla de informar al equipo
Cuando empiece el debate, exige tres oraciones:
- Diagnóstico: qué tipo de problema es realmente (recuperación, clasificación estrecha, agente abierto, brecha en el corpus).
- Esto no: la bifurcación incorrecta ("no estamos eligiendo entre un SLM vs GPT; estamos eligiendo cómo se enraizan las respuestas").
- Vía actual: Learn, Ground o Specialize, además de la razón por la cual Specialize está bloqueado o desbloqueado.
A continuación, enumera las puertas infranqueables según su gravedad. No tener etiquetas es una parada obligatoria. No tener un propietario es una parada moderada pero real. "Algunas etiquetas" es un problema de secuencia: suficiente para medir, insuficiente para entrenar. La ruta de los datos es una puerta de alojamiento, no un permiso para especializar.
Usamos esa estructura en el resolutor de estrategia. El resultado es un memorando breve que los PM pueden pegar en un PRD o en un hilo de Slack, con la versión de la rúbrica en la parte superior para que las discusiones se mantengan sujetas a las mismas reglas.

Cómo ejecutan los equipos Learn, Ground y Specialize en producción
Elegir la vía es solo la mitad del trabajo. Una vez que el tráfico está activo, surgen los mismos problemas para cualquier carga de trabajo de LLM.
La selección del modelo se mantiene como una preferencia de configuración. Los modelos especializados se despliegan sin una línea base. El gasto y la calidad permanecen invisibles hasta que alguien se queja.
Los equipos que se mantienen a la vanguardia suelen colocar una capa de control frente al tráfico de los modelos. Un AI gateway se sitúa entre las aplicaciones y los proveedores. Establece valores predeterminados, controla quién puede llamar a los modelos principales, atribuye costes por equipo y mantiene la inferencia dentro del límite de red adecuado. Para conocer la mecánica, consulta LLM gateway y multi-model routing.
El AI Gateway de TrueFoundry es una opción creada para esa función: una API compatible con OpenAI a través de más de 1.000 modelos, con cuotas, RBAC, seguimiento de costes y políticas de enrutamiento. Puedes ejecutarlo en tu VPC, en instalaciones locales (on-prem), en entornos aislados (air-gapped) o híbridos, de modo que la decisión sobre la ruta de datos tomada previamente siga siendo exigible. Cuando Specialize se desbloquea finalmente, el proceso de entrenamiento y fine-tuning de TrueFoundry cubre el trabajo estrecho con LoRA sin necesidad de incorporar primero un conjunto de herramientas de MLOps independiente.
Si la gobernanza de modelos, el alojamiento privado o una ruta clara desde una línea base con prompts hacia un modelo especializado siguen pendientes tras elegir tu vía, vale la pena echarle un vistazo.
Conclusiones
Fine-tuning vs prompting es una decisión de presupuestación y secuenciación, no una preferencia de marca. La mayoría de los equipos deberían optar por Learn o Ground este trimestre. La fase Specialize se gana: una tarea delimitada, etiquetas doradas (gold labels), un propietario asignado, un volumen real y una línea base con prompts a la que se pueda superar.
Mapea la tarea antes de nombrar un modelo. Separa el alojamiento del fine-tuning. Cuenta los ejemplos revisados, no los volcados de tickets. Proporciona a finanzas y seguridad una vía y una lista de puertas de validación, no una votación basada en sensaciones.
Aprendimos la mayor parte de esto tras observar cómo proyectos del tipo "hagamos fine-tuning" consumían un trimestre entero para terminar fallando en una evaluación que el modelo con prompts ya había superado. El catálogo de modelos seguirá creciendo. Las puertas de validación no se volverán más sencillas. Acertar con la estrategia desde el principio ahorra muchos reajustes incómodos en la hoja de ruta más adelante.
Lecturas relacionadas
TrueFoundry AI Gateway ofrece una latencia de entre 3 y 4 ms, gestiona más de 350 RPS en una vCPU, se escala horizontalmente con facilidad y está listo para la producción, mientras que LitellM presenta una latencia alta, tiene dificultades para superar un RPS moderado, carece de escalado integrado y es ideal para cargas de trabajo ligeras o de prototipos.



Controle, implemente y rastree la IA en su propia infraestructura
Blogs recientes
Preguntas frecuentes
¿Cuándo debería hacer fine-tuning en lugar de usar prompts?
Cuando la tarea es acotada y repetitiva, dispone de más de unos 1.000 ejemplos etiquetados y limpios, hay un responsable designado para las evaluaciones y los redespliegues, el volumen es suficiente para que el coste unitario o la latencia supongan un problema, y existe una línea base con prompts que puede superar en un conjunto reservado. Si falta alguno de estos elementos, siga con los prompts (y añada RAG si la tarea es de conocimiento).
¿Cuál es la diferencia entre fine-tuning, RAG y alojamiento privado?
El fine-tuning cambia los pesos del modelo para lograr un comportamiento especializado. RAG recupera documentos de confianza en el momento de la pregunta para que las respuestas sigan fundamentadas y actualizadas. El alojamiento privado se refiere a dónde se ejecuta la inferencia. Puede combinarlos en cualquier orden; elegir el alojamiento en VPC no implica que deba hacer fine-tuning.
¿Por qué nuestro fine-tuning rindió peor que el modelo con prompts?
Normalmente por una de estas causas: no había una evaluación con datos reservados, las etiquetas eran tickets en bruto, la tarea era abierta y no debería haberse especializado, o no había un responsable que evitara la deriva del modelo especializado. Aplicar Specialize sin un marcador es ir a ciegas.
¿Cómo controlan los equipos el gasto en modelos mientras están en Learn o Ground?
Enrute el tráfico a través de un AI gateway. Establezca modelos predeterminados. Restrinja el acceso a los modelos premium. Exponga el gasto por equipo. El AI Gateway de TrueFoundry ofrece a los responsables de ingeniería visibilidad del uso y del coste en más de 1.000 LLM detrás de una única API compatible con OpenAI, para que las decisiones sobre modelos no se acumulen en sorpresas de facturación mientras aún está validando el producto.
¿Puedo desplegar TrueFoundry en mi propia VPC o en on-prem?
Sí. TrueFoundry se ejecuta en su VPC, on-prem, en entornos air-gapped o híbridos, de modo que los prompts y las respuestas nunca salen de su dominio, incluso cuando enruta entre muchos proveedores.











%20(28).webp)



.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






