Construir contra comprar

A medida que las organizaciones adoptan cada vez más aplicaciones de IA generativa, las empresas se enfrentan a la decisión crítica de crear sus propias soluciones o comprar los productos existentes. Esta decisión es compleja y está influenciada por varios factores, incluidas las necesidades únicas de la organización, la evolución del panorama tecnológico y los riesgos asociados.

TL; DR: no se trata de construir contra comprar en el mundo de la IA generativa. Se trata de construir, comprar y construir un poco más.

¿Cómo deberían pensar las empresas sobre el dilema entre construir y comprar para las aplicaciones GenAI?

A continuación, se presentan algunas consideraciones clave que se deben tener en cuenta al explorar la decisión de construir o comprar aplicaciones de IA generativa‍

Gobierno centralizado

• Riesgos de datos: Alto riesgo de exposición de datos cuando se utilizan API alojadas o de código cerrado.
• Control de acceso: Garantizar un control adecuado sobre el acceso a los modelos, las solicitudes de datos y las terminaciones en varias aplicaciones.
• Gobernanza y barandillas: Se requiere una gobernanza centralizada para gestionar los riesgos de seguridad y cumplimiento, y para establecer las barreras de seguridad necesarias.
• Registros de auditoría: Los registros de auditoría, fundamentales para mantener la transparencia y la responsabilidad, son imprescindibles para las aplicaciones de IA generativa.

Adaptado a casos de uso específicos

• Necesidades únicas en todos los equipos: Los diferentes equipos de las organizaciones están creando aplicaciones de IA generativas, cada una con sus propios requisitos específicos.
• No hay una solución única para todos: No existe un modelo universal que equilibre la precisión, la latencia y el costo. Esto también es válido para el hardware de GPU, los servidores modelo, los marcos de desarrollo, los sistemas de evaluación, etc.
• Ejecución federada: Los equipos deben tener la flexibilidad de elegir los componentes adecuados para sus necesidades específicas, teniendo en cuenta factores como la sensibilidad de los datos, el alcance de la aplicación, la personalización del modelo, la tolerancia al riesgo y la escalabilidad.

Conjunto tecnológico en rápida evolución

• Conocimientos especializados: La gama de IA generativa está evolucionando rápidamente y ningún proveedor por sí solo puede cubrir todos sus aspectos. Se necesita experiencia en áreas tales como: algunos textos
  • Infraestructura de GPU distribuida para el entrenamiento y el alojamiento de modelos.
  • Almacenamiento en caché eficiente de modelos grandes e imágenes de Docker, así como gestión de tareas de ajuste de larga duración.
  • Despliegue de sistemas de IA complejos y multicomponentes.
  • Adaptarse a los cambios constantes en los modelos, el hardware y los marcos.
• Preparados para el futuro: La pila de IA generativa ideal sigue evolucionando, por lo que es fundamental que su enfoque se adapte a las innovaciones futuras.

Bloqueo de proveedor

Dado que la tecnología cambia rápidamente, el riesgo de depender de un solo proveedor es mayor que nunca, por lo que es esencial mantener la flexibilidad. Es importante mantener las opciones abiertas y evitar estar atado a un solo proveedor a medida que la tecnología sigue evolucionando.

Optimización de costos

• Costos crecientes: Los costos de los prototipos pueden dispararse al pasar a la producción. La estructura de costos de los modelos lingüísticos de gran tamaño no siempre se ajusta a los requisitos de producción, lo que a menudo genera ineficiencias.
• Optimización de recursos: Es crucial optimizar la selección y la utilización de los recursos, incluidos los modelos y las GPU correctos, para gestionar los costos de manera eficaz.

Mejores prácticas de SRE y creación rápida de prototipos

• Mejores prácticas de software: Emplee las mejores prácticas como GitOps, el control de acceso, el registro, la supervisión, los registros de auditoría, las reversiones, el escalado automático y el escalado a cero para garantizar un funcionamiento fluido.
• Experimentación rápida: La innovación está estrechamente relacionada con la rapidez con la que se pueden experimentar con nuevos modelos y tecnologías. La creación rápida de prototipos es clave para mantenerse a la vanguardia.

Lecciones de MLOps

Partiendo de la evolución de la gama de MLOps, el uso de herramientas especializadas adaptadas a las diferentes etapas del ciclo de vida, como Databricks para la ingeniería de datos, SageMaker para el entrenamiento de modelos y otras plataformas basadas en Kubernetes para la implementación, permite a las organizaciones optimizar los flujos de trabajo y mejorar la eficiencia.

En lugar de depender de una sola plataforma, la integración de las fortalezas de varias plataformas permite una mejor asignación de recursos, control de costos y escalabilidad.

Este panorama en evolución está impulsando a los equipos de plataformas a adoptar un enfoque híbrido que combina la creación de soluciones internas y la compra de herramientas de terceros para crear la pila de IA generativa ideal.

Cómo TrueFoundry permite crear aplicaciones GenAI

Diseño centrado en el desarrollador

TrueFoundry se creó con una mentalidad que prioriza al desarrollador, lo que brinda una experiencia de desarrollador fluida y flexible. Ofrece varias maneras de empezar:

• Código y modelos personalizados: Los desarrolladores pueden traer su propio código y modelos, lo que garantiza la máxima flexibilidad y facilidad de configuración.
• Integración de plantillas y GitHub: Para una implementación más rápida, los desarrolladores pueden elegir entre plantillas prediseñadas o conectarse directamente a sus repositorios de GitHub para una integración perfecta de los modelos.

Abstracciones principales

TrueFoundry simplifica el ciclo de vida de la IA con poderosas abstracciones:

• Servicios: Implemente fácilmente modelos de IA como servicios escalables, simplificando las tareas operativas y de inferencia.
• Empleos: Gestione las tareas programadas o bajo demanda, ideal para el procesamiento por lotes, la formación y los flujos de trabajo automatizados.
• flujos de trabajo: Cree canalizaciones de IA complejas conectando varias tareas.
• Helm Charts de código abierto: Empaquete e implemente sin esfuerzo cargas de trabajo de IA en Kubernetes mediante gráficos de Helm.

Módulos para construir sistemas de IA compuestos

• Modelo como servicio: Implemente modelos de IA con escalabilidad y confiabilidad integradas, minimizando los problemas de infraestructura.
• Ajuste fino del modelo sin código: Ajuste fácilmente los modelos previamente entrenados sin necesidad de programar.
• Agentes y RAG Framework: Cree agentes y aplicaciones RAG con marcos integrados para empezar
• Puerta de enlace de IA: Administración rápida, administración centralizada de claves, API unificada para modelos y más para un mejor control y seguridad en todos los equipos.

Funciones para la escalabilidad y la optimización de costos

• Administración de GPU: Optimice el uso de la GPU para un entrenamiento e inferencia de modelos eficientes.
• Optimización de costos: Gestiona automáticamente los recursos para reducir los gastos operativos mediante instancias puntuales y GPU fraccionadas, lo que evita errores costosos y herramientas de supervisión y alertas.
• Escalado automático: Amplía dinámicamente los recursos informáticos en función de las demandas de la carga de trabajo para garantizar un rendimiento óptimo.
• Gestión secreta: Maneja de forma segura la información confidencial, incluidas las claves y los tokens de API.
• Integración de CI/CD: Intégrese sin problemas con las canalizaciones de CI/CD para agilizar el desarrollo y la implementación de modelos.
• Escalar a cero: Reduce automáticamente el consumo de recursos durante los períodos de inactividad para minimizar los costos.

Infraestructura subyacente

En esencia, TrueFoundry se basa en Kubernetes, lo que proporciona una alta escalabilidad, confiabilidad y una administración eficiente de los recursos.

Es compatible con cargas de trabajo locales y en múltiples nubes, lo que ofrece flexibilidad en cualquier entorno.

¿Cuándo tiene sentido construir en casa?

La creación interna es una opción inteligente a la hora de desarrollar soluciones de IA patentadas que distingan sus ofertas y optimicen los costos a largo plazo a escala. Sin embargo, exige una inversión inicial sustancial para reclutar talentos altamente cualificados y formar un equipo técnico capaz. Además, existe una importante curva de aprendizaje, ya que el equipo necesita diseñar, construir y mantener una infraestructura de IA compleja, integrarla con los sistemas existentes y garantizar la escalabilidad, la seguridad y el cumplimiento.

Plataforma interna frente a TrueFoundry

¿Cómo evitamos el bloqueo de proveedores?

TrueFoundry está diseñado con la filosofía básica de evitar la dependencia de un proveedor, lo que facilita la transición fuera de la plataforma si es necesario.

• Brindamos acceso al archivo de manifiesto de Kubernetes, lo que le brinda un control y una visibilidad totales de su infraestructura.
• El código de la aplicación permanece intacto, por lo que la migración no requiere una refactorización exhaustiva.
• A diferencia de los proveedores de nube o plataformas como Databricks, que basan los precios en función del uso, nuestros precios basados en los puestos se centran en la productividad de los desarrolladores, lo que garantiza que no se le penalice a medida que escala.
• Además, TrueFoundry se integra sin esfuerzo con su oferta tecnológica existente, lo que permite flujos de trabajo como el entrenamiento en plataformas como SageMaker y la implementación en TrueFoundry. No es necesaria una migración completa del sistema: nuestro enfoque basado en API funciona a la perfección con lo que ya tienes.

Enfoque de «construir y» comprar

En el mundo de la IA generativa, no se trata simplemente de elegir entre construir o comprar, sino de una combinación de ambas. Las organizaciones están adoptando un enfoque híbrido, adquiriendo herramientas y creando soluciones personalizadas para satisfacer sus necesidades únicas, evolucionando y perfeccionando continuamente su oferta de IA para seguir siendo competitivas.

Este enfoque garantiza la flexibilidad, lo que permite a los equipos aprovechar los puntos fuertes de las plataformas existentes y, al mismo tiempo, mantener el control sobre los elementos críticos y propietarios.