TrueFoundry FAQs: Answers to Common Questions

Nos está llevando bastante tiempo poner en producción nuestros modelos y obtener el impacto de ellos. ¿Hay alguna forma de empoderar a los científicos de datos para que se hagan cargo de este proceso?

La razón principal por la que hemos descubierto los retrasos en los plazos es la dependencia entre los equipos y la falta de habilidades con diferentes personajes. TrueFoundry facilita a los científicos de datos la formación y el despliegue en Kubernetes mediante Python, y también permite a los equipos de infraestructura establecer las restricciones de seguridad y los presupuestos de costes. TrueFoundry configura el clúster para el aprovisionamiento automático y el apagado de la GPU, lo que permite gestionar los costes y evitar errores humanos.

Los ingenieros de aprendizaje automático dependen en gran medida de los equipos de DevOps y plataformas para sus necesidades de infraestructura a la hora de entrenar o implementar modelos

TrueFoundry se integra con su infraestructura existente, incluida la infraestructura en la nube, el clúster de Kubernetes, el registro de Docker, el repositorio de Git y los administradores secretos. Proporciona una capa de abstracción sobre la infraestructura que es fácil de entender para los científicos de datos y los ingenieros de aprendizaje automático, y permite que el equipo de Infra pueda configurarla por completo.

Queremos usar nuestra infraestructura estándar de Kubernetes para la capacitación y las implementaciones de ML

TrueFoundry es nativo de Kubernetes y funciona en EKS, AKS y GKE (clústeres estándar y de piloto automático). El aprendizaje automático requiere algunas cosas personalizadas en comparación con la infraestructura de software estándar, como el aprovisionamiento dinámico de nodos, la compatibilidad con GPU, los volúmenes para un acceso más rápido, la presupuestación de costos y la autonomía de los desarrolladores. Nos ocupamos de todos los detalles esenciales de los clústeres para que pueda centrarse en crear las mejores aplicaciones en una infraestructura de última generación.

Los científicos de datos no quieren trabajar con infraestructura o YAML

Proporcionamos las API de Python, por lo que nunca tendrás que interactuar con YAML. También ofrecemos soporte para YAML si quieres usarlo en tus canalizaciones de CI/CD.

Queremos que nuestros datos permanezcan en nuestra propia nube o en las instalaciones

TrueFoundry se implementa completamente en tu propio clúster de Kubernetes. Los datos permanecen en tu propia VPC, las imágenes de Docker se guardan en tu propio registro de Docker y todos los modelos permanecen en tu propio sistema de almacenamiento de blobs.

Los modelos se implementan con el ajuste de escala automático configurado mediante HPA, pero el ajuste de escala automático es muy lento debido al tiempo de descarga de los modelos.

Montamos los modelos en un volumen compartido en todos los módulos de implementación, lo que reduce el tiempo de carga de los modelos y permite que el escalado automático sea mucho más rápido. También configuramos el escalado automático en función del número de solicitudes en lugar de en función de la CPU o la memoria, lo que permite un escalado mucho más rápido.

Queremos alojar las computadoras portátiles Jupyter y convertirlas en autoservicio con flexibilidad para aprovisionar recursos y, al mismo tiempo, limitar los costos y la seguridad.

Nos hemos esforzado mucho para ejecutar los cuadernos Jupyter en Kubernetes sin problemas. Los científicos de datos pueden configurar los recursos que necesitan y el tiempo de inactividad, tras el cual las libretas se detienen automáticamente. Las libretas se pueden reanudar con un solo clic y conservar todo el estado. Esto permite a DS trabajar de forma independiente con su propio conjunto de dependencias y, además, ahorrar costes.

¿Cómo hacer un seguimiento de todos los modelos de la empresa en un solo lugar y averiguar cuáles están implementados en qué entorno?

TrueFoundry proporciona un registro de modelos que puede rastrear qué modelos se encuentran en qué etapa, y el esquema y la API de todos los modelos del registro.

¿Cómo duplico o divido el tráfico de mi nueva versión del modelo para que podamos probarla en el tráfico en línea antes de implementarla por completo?

Hemos trabajado para reflejar o dividir de manera eficiente el tráfico en los modelos, lo que permite a los científicos de datos probar los modelos sin implementarlos por completo en producción.

Queremos usar hardware y computación en todas las nubes (AWS, GCP, Azure) y en las instalaciones. ¿Cómo los conecto para que los desarrolladores no tengan que preocuparse por la computación subyacente y puedan mover sin problemas las cargas de trabajo de un entorno a otro?

Nos hemos esforzado mucho para asegurarnos de eliminar las diferencias esenciales de los clústeres de Kubernetes en las nubes. Los desarrolladores pueden escribir el mismo código e implementarlo en cualquier entorno sin preocuparse por la infraestructura subyacente. Nos encargamos de comprobar si los componentes subyacentes de Kubernetes están instalados, modificando la entrada y los recursos automáticamente.

Queremos utilizar el poder de las LLM para nuestro negocio, pero no podemos permitir que los datos salgan de nuestro entorno. ¿Hay alguna forma de utilizar el poder de las LLM sin enviar mis datos a OpenAI?

TrueFoundry le permite implementar y ajustar los LLM de código abierto en su propia infraestructura. Ya hemos descubierto la mejor configuración para los modelos de código abierto más comunes para que no tengas que hacer el trabajo duro.

¿Cómo puedo permitir que todos mis desarrolladores prueben rápidamente diferentes LLM y vean qué resultados pueden obtener?

Organizamos un campo interno de LLM donde puedes decidir qué LLM quieres incluir en la lista blanca para los desarrolladores de la empresa, incluidos los alojados internamente, y diferentes desarrolladores pueden experimentar con los datos internos.

Estamos incurriendo en grandes costos en nuestra infraestructura de aprendizaje automático y cada vez es más difícil rastrearla y reducirla.

Exponemos la visibilidad de los costos de los servicios a los desarrolladores y proporcionamos información para reducir el costo. Todos nuestros clientes actuales han conseguido una reducción de costes de al menos un 30% tras adoptar TrueFoundry.

Preguntas frecuentes

¡Una manera increíblemente rápida de alojar, monitorear y compartir sus modelos ML!

Preguntas frecuentes

¡Una manera increíblemente rápida de alojar, monitorear y compartir sus modelos ML!

Suscríbase a nuestro boletín