Implementaciones de aprendizaje automático en 2023

La implementación de aplicaciones e infraestructura es un proceso complejo y requiere la coordinación de los equipos de desarrolladores de aplicaciones e infraestructura. Una plataforma de desarrolladores interna ayuda a ambos equipos a avanzar con rapidez y con menos errores, lo que se traduce en un aumento de la productividad y una mayor estabilidad.

Aspectos clave a tener en cuenta en la implementación y el ciclo de vida del software

1. Dockerización — Empaquetar las dependencias con la fijación de versiones es importante para la reproducibilidad. Las imágenes de Docker con dependencias innecesarias pueden hacer que las imágenes de Docker se hinchen, lo que lleva a tiempos de inicio más largos.
2. Elección del modo de implementación: Hay muchas opciones de implementación (servicios web, trabajos, métodos sin servidor, sitios web estáticos), cada una de ellas tiene sus ventajas y desventajas y puede ser el mejor método según los patrones de tráfico, los requisitos de latencia y los requisitos de memoria y CPU.
3. Escalabilidad — La escalabilidad conlleva muchos problemas y requiere una configuración adecuada de las políticas de escalado, la configuración de los escaladores automáticos y la garantía de que nuestros servicios no tengan estado y, al mismo tiempo, optimizar los costos.
4. Monitorización y capacidad de depuración — ¿Cómo comparar diferentes versiones de software? Observar los registros y las métricas, registrar las métricas personalizadas y observarlas en los paneles debería ser muy fácil.
5. Administración de secretos y seguridad — Es necesario apoyar la gestión adecuada de los secretos, así como proporcionar acceso a otros sistemas mediante cuentas de servicio en lugar de credenciales circulantes.
6. Automatización y CI/CD — Tener una buena canalización de CI/CD es crucial para un rápido desarrollo y detección de errores. Ser capaz de crear nuevos entornos sin problemas con un solo clic. Poder pasar del desarrollo a la puesta en escena y a la producción de forma automatizada hace que el proceso sea mucho más sencillo.
7. Control de versiones, despliegues inmutables y reversiones — Debería ser fácil deshacer las implementaciones junto con los valores secretos. En todos los sistemas actuales, resulta casi imposible deshacer una implementación con el último conjunto de variables de entorno o valores secretos.
8. Entornos múltiples: La capacidad de administrar varios entornos o de activar o desactivar entornos dinámicos ayuda a los desarrolladores a realizar pruebas de forma más aislada y hace que el progreso general sea mucho más rápido con un costo menor.
9. Seguridad y autenticación de API — Autenticación de las API tanto externa como internamente: ¿autenticación simple de nombre de usuario y contraseña, autenticación OIDC, cuenta de servicio, token de portador?
10. Configuración del balanceador de carga y la limitación de velocidad — Buenas prácticas generales que se incorporarán para cada API (configuración del balanceador de carga)
11. Velocidad y autonomía de despliegue — Los desarrolladores deben sentir que tienen el control de las implementaciones en lugar de abstraerse de ellas. Mantenerlos informados y hacerlos autónomos y, al mismo tiempo, garantizar que la infraestructura central no se rompa debido a errores humanos es uno de los objetivos principales de la plataforma.
12. Optimización de costos — La elección del mejor hardware y el mejor tipo de implementación ayudan a optimizar esto.
13. Coordinación de cambios en la infraestructura y las aplicaciones: Al pasar de un entorno a otro, a menudo también es necesario implementar cambios en la infraestructura, lo que, si no se cumple, provocará que las aplicaciones se interrumpan en la producción.
14. Pruebas AB/Modelado del tráfico

¿Presentamos TrueFoundry?

Una plataforma de implementación que puede servir como plataforma de desarrollo interna para una empresa. El objetivo es facilitar realmente a los desarrolladores la implementación y el mantenimiento de sus aplicaciones sin tener un conocimiento detallado de la infraestructura, y también facilitar a los equipos de infraestructura y desarrollo la creación de políticas para aplicar las mejores prácticas de ingeniería y seguridad.

¿Cuáles son los principios clave de diseño de la plataforma TrueFoundry?

1. Arquitectura totalmente basada en API — TrueFoundry sigue una arquitectura totalmente basada en API, muy similar a la de Kubernetes. Esto permite a los usuarios crear interfaces, interfaces de usuario y automatizaciones sobre esta base.
2. PAAS extensible sobre Kubernetes — se puede personalizar con varios complementos para las principales funciones permitidas por Kubernetes.
3. Impulsado por Gitops (también admite un modo que no sea Gitops)
4. Control de acceso detallado desde el primer día
5. Infraestructura como código (Terraform): se puede activar en cualquier cuenta de nube en poco tiempo.
6. Seguridad por defecto — Truefoundry sigue el principio POLP (principio de mínimo privilegio) y utiliza las mejores prácticas de seguridad, como el uso de cuentas de servicio, TLS, cifrado de datos en reposo y soporte para entornos aislados.
7. Diseño nativo de la nube — Elegimos conscientemente componentes que son nativos de la nube por diseño y están disponibles en todos los proveedores de nube.

Funcionalidades clave compatibles con TrueFoundry

Diferentes métodos de implementación en las nubes:

Diferentes cargas de trabajo pueden ser adecuadas para diferentes métodos de implementación en función del patrón de tráfico, el consumo de CPU y memoria. El objetivo es proporcionar una interfaz única para la implementación en varios sistemas, como servicios en Kubernetes, trabajos en Kubernetes, AWS Lambda, servidores sin servidor en Kubernetes (Knative), Google Cloud Run y servidores modelo. Truefoundry se integra con los repositorios de git para permitir la implementación directamente desde cualquier repositorio de Git.

Registro y visualización de métricas y gráficos en todos los trabajos

TrueFoundry permite a los desarrolladores registrar detalles de métricas, parámetros, imágenes, gráficos y artefactos, lo que les permite comparar las ejecuciones de trabajos mediante los paneles detallados.

Software Canarie/Shadow Testing

TrueFoundry hace que sea muy fácil probar nuevas versiones del software con datos en tiempo real sin dañar la producción existente, mediante pruebas clandestinas. También permite el despliegue rápido del software al desplazar gradualmente el tráfico a las nuevas versiones.

Gestión de secretos

Los desarrolladores podrán crear secretos y hacer referencia a ellos en sus aplicaciones. Algunas de las principales características de la gestión de secretos:

1. El almacenamiento secreto está respaldado por almacenes secretos como Vault, AWS Secrets Manager, Google Secrets Manager, AWS Parameter Store, etc. Ninguno de los valores secretos reales se almacena en la propia plataforma.
2. La plataforma mantiene un registro de qué secreto se usa en qué aplicación, de modo que cada vez que se cambia un secreto, puede solicitar a los usuarios que vuelvan a implementar los servicios correspondientes.
3. La plataforma mantiene versiones secretas que permiten la reversión de las aplicaciones junto con las versiones secretas correspondientes.

Control de acceso a secretos — Los espectadores pueden ver las claves de los secretos, pero no los valores de los secretos. De esta forma, el equipo de devops e infra puede compartir las claves con los desarrolladores sin preocuparse por exponer los valores de los secretos.

Administración e implementación de múltiples clústeres

Truefoundry permite la integración con varios clústeres y la gestión del control de acceso entre ellos. Truefoundry no almacena las credenciales del clúster en ningún lugar propio, lo que lo hace seguro para los diferentes usuarios de la empresa.

Control de acceso en Kubernetes para diferentes equipos

Truefoundry facilita el control de acceso a los espacios de nombres de Kubernetes y su asignación a diferentes equipos con cuotas de recursos, lo que permite a los desarrolladores ser más autónomos y, al mismo tiempo, garantizar que la infraestructura se mantenga estable, segura y controlada en cuanto a costos.

Las interfaces de usuario básicas de monitoreo y registro se pueden ver directamente en la plataforma

TrueFoundry no emite ninguna opinión sobre la plataforma de registro o métricas que desea utilizar. En cambio, el objetivo aquí es integrarlo con algunas soluciones comunes de registro y monitoreo para que podamos echar un vistazo rápido a la propia plataforma. Para obtener vistas más detalladas y personalizables, recomendamos utilizar las soluciones de monitorización existentes, como Prometheus, Loki, ELK, Datadog o NewRelic.

Vista unificada de todos los servicios implementados y en ejecución (catálogo de servicios)

Estimación y optimización de costos por nivel de servicio/equipo/ingeniero.

Queremos permitir el seguimiento de la estimación y optimización de costos a nivel de servicio o equipo. El simple hecho de exponer la visibilidad de los costos a todos los ingenieros crea la conciencia necesaria para optimizar los costos y eliminar la carga de un solo equipo.

Implemente cualquier módulo de terraform (lo que permite la implementación de cualquier servicio administrado de bases de datos, colas o almacenamiento en caché)

Queremos permitir el despliegue de servicios en la nube mediante módulos de terraform escritos por el equipo de DevOps o Infra. Por ejemplo, el equipo de devops puede crear un módulo terraform para crear una base de datos y los desarrolladores pueden aprovisionar una base de datos desde la interfaz de usuario basada en el módulo terraform para RDS. Esto se basará en el marco de complementos que se menciona a continuación y en un controlador de terraform en Kubernetes.

¿Funcionará TrueFoundry con mi pila actual?

En TrueFoundry no queremos reinventar la rueda y utilizar los sistemas existentes en la medida de lo posible. Por eso nos integramos con muchas herramientas de infraestructura existentes para que los usuarios puedan traer su propia infraestructura o personalizar Truefoundry según sus propias necesidades.

1. Cuentas en la nube (AWS, GCP, Azure): esto nos ayuda a aprovisionar clústeres automáticamente, crear Lambda e implementar servicios gestionados.
2. Integración con Git (Github, Bitbucket, Azure): esto ayuda a los desarrolladores a implementar sus aplicaciones directamente desde sus repositorios de Git.
3. Tiendas secretas (AWS Secrets Manager, Google Secrets Manager, Hashicorp Vault): de esta forma, los valores reales de los secretos se almacenarán en las tiendas secretas y no en la plataforma.
4. Registro de Docker: registro de Dockerhub, Google GCR, Amazon ECR, Github Docker
5. Integración con Terraform
6. Integraciones de monitoreo: Promethues Grafana, Datadog, NewRelic
7. Integraciones de infraestructura de registro: Loki, Datadog, ELK stack.
8. Integración de CI/CD: Truefoundry puede integrarse con las canalizaciones de CI/CD existentes, como Github Actions, Jenkins, AWS Codebuild, Google Codebuild, etc.

Si no ves ningún nombre en la lista, estaremos encantados de trabajar contigo y añadir más integraciones a la lista.

¿Cómo mejora TrueFoundry la seguridad?

Principio POLP

Seguimos y facilitamos a los equipos de infraestructura la aplicación del principio POLP en todo el sistema. Los desarrolladores pueden añadirse a cualquier espacio de trabajo al que necesiten acceder, y sus cambios se limitarán a esos espacios de trabajo.

Sin secretos, contraseñas almacenadas en la plataforma Truefoundry

Truefoundry no almacena ninguna información confidencial consigo misma, como las credenciales o los secretos de Kubernetes. Todos los datos se cifran en reposo. Recomendamos proporcionar todos los accesos a través de cuentas de servicio

También planeamos proporcionar registros de auditoría completos que ayuden a los equipos a comprender todas las acciones realizadas en todas las plataformas.

¿Cómo es abierto y personalizable TrueFoundry?

Kubernetes Cluster está bajo tu control

TrueFoundry expone el clúster de Kubernetes sin procesar en el que implementa las cargas de trabajo y proporciona acceso total (incluido kubectl con los permisos de acceso adecuados) a los clientes. Esto permite a cualquiera hacer prácticamente lo que quiera, además de usar Truefoundry, sin tener que bloquearlo.

Además de esto, también admitimos un marco de complementos mediante el cual es fácil crear más complementos, similar a los CRD de Kubernetes.

Creación de complementos personalizados en TrueFoundry

TrueFoundry admite cada metodología de implementación como un complemento personalizado:

Para crear un plugin, el usuario tiene que escribir 3 partes:

1. Un archivo de referencia de entrada que define la especificación del esquema de entrada
2. Procesador que define cómo convertir la especificación de entrada en una especificación de salida
3. Especificación de salida que se enviará a Kubernetes.

Actualmente, la especificación de entrada y la especificación de salida deben estar en Cue Lang y el procesador debe estar en Go. Sin embargo, en el futuro, podemos permitir que los esquemas de entrada y salida también sean posibles en JSON Schema y que los procesadores se escriban en cualquier idioma.

Generamos automáticamente la interfaz de usuario y Python a partir de los archivos de referencia de entrada.

¿Cómo incorporarme a TrueFoundry?

Configuración de la infraestructura por parte de los equipos de infra/devops:

1. Crea clústeres de Kubernetes con terraform. Truefoundry proporciona ejemplos de código de terraform que puede hacer girar clústeres con un clic y, al mismo tiempo, guardar el código de terraform en un repositorio de github. Los equipos de Devops e Infra pueden personalizar el código de terraformación según su elección y volver a aplicar la terraforma.
2. Cree cuentas de servicio a través de terraform para proporcionar acceso a otra infraestructura desde los espacios de nombres de Kubernetes.
3. Agregue las cuentas de servicio a los espacios de trabajo en la plataforma truefoundry y asigne espacios de trabajo a diferentes equipos.
4. Truefoundry arranca el clúster de Kubernetes con una pila de monitoreo predeterminada (pila Kube-Prometheus-Loki-Grafana), Istio (entrada) y ArgoCD (implementación de infraestructura). Truefoundry volcará los archivos de manifiesto en un repositorio de Github, que luego podrá modificar según los requisitos del equipo de infraestructura.
5. Para implementar una infraestructura gestionada, los equipos de infraestructura pueden proporcionar los módulos de terraform para la base de datos, la cola, la caché, etc. Luego, los desarrolladores pueden aprovisionar esta infraestructura utilizando los módulos proporcionados por el equipo de Infra.
6. Incorpore a los desarrolladores a la plataforma.
7. Asigne espacios de trabajo a equipos o aplicaciones.
8. De este modo, los desarrolladores pueden empezar a implementar en poco tiempo siguiendo los documentos.

¿Cómo funciona TrueFoundry?

TrueFoundry tiene 2 componentes: un plano de control y un agente de clúster de carga de trabajo. Esto permite a TrueFoundry organizar las cargas de trabajo en varios clústeres.

Diferenciación con otras plataformas

Arquitectura

1. Clúster múltiple desde el primer día: Truefoundry admite el soporte para múltiples clústeres desde el primer día, donde los clústeres pueden residir en diferentes regiones y VPC y pueden ser privados o públicos. Esto será muy difícil en la arquitectura actual de Porter y Northflank. La arquitectura de Komodor puede hacer esto, pero se centra más en la visualización y el monitoreo de Kubernetes, que vienen de forma predeterminada en nuestra plataforma.
2. Nube múltiple desde el primer día: Esto será cierto para Porter, Northflank y Qovery, pero solo en la capa de Kubernetes. Nuestra arquitectura admite la creación de integraciones con muchos más componentes nativos de la nube debido a la apertura de la arquitectura. Argonaut hace esto en la misma capa más amplia que nosotros.
3. Transparencia total y Gitops — Seguimos un modelo de transparencia total en el que el usuario tiene el control total sobre su arquitectura y Truefoundry no lo bloquea en ningún momento. En el caso de Porter, Northflank y Qovery, las empresas más grandes superarán el conjunto de funcionalidades debido a la arquitectura cerrada. También permitimos el modo Gitops y el modo no Gitops, algo que nadie admite todavía: Porter, Norhtflank y Qovery no están basados en Gitops push, mientras que CoSphere está totalmente basado en Git.

Implementación uniforme de aplicaciones e infraestructuras

Nos integramos profundamente en la implementación de aplicaciones, trabajos y aprendizaje automático. Esto traduce una gran cantidad de conocimientos de infraestructura en terminología para desarrolladores. Muchas de las demás plataformas hacen esto creando abstracciones y reduciendo los conceptos de infraestructura, mientras que nosotros intentamos hacerlo simplificando y no ocultando cosas.

Argonaut adopta este enfoque de combinar el despliegue de infraestructuras y aplicaciones, pero este será un ciclo de producto de 2 a 3 años. Han empezado con más en el sector de la infraestructura.

Plugins

Nuestra arquitectura basada en complementos se basa en el marco CRD de Kubernetes con nuestra propia versión de CueLang. Esto nos permite crear plugins en la CLI, en la interfaz de usuario y en todos los lenguajes con rapidez. Esto se inspiró en el diseño de Kubevela (un repositorio de código abierto). No conocemos a ningún otro jugador que haya descubierto este patrón. Esta es una de nuestras características propias que también nos permitirá construir mucho más rápido que otros jugadores.

Transparencia

Intentamos ser lo más transparentes posible proporcionando el código fuente completo, lo que hace que sea muy fácil migrar fuera de nosotros. Porter y purple.sh solo parecen garantizar esto; el resto son sistemas muy cerrados.

Perspectivas

Ya estamos mostrando información única y previniendo los errores más comunes en la implementación del software, como no cambiar las variables de entorno durante la implementación. No conocemos ninguna otra plataforma que esté haciendo esto o que pueda hacerlo en la medida de lo posible, porque conocemos tanto el historial secreto como el historial de despliegues. También podemos obtener una gran cantidad de información sobre el coste, la estabilidad y la productividad de los desarrolladores, ya que vemos el proceso del código fuente desde el control de código fuente hasta la producción.

Suplente del equipo de plataforma

Nuestra plataforma está diseñada para parecerse más a lo que los equipos de plataformas crean internamente. Aborda las cuestiones clave de la asignación de recursos, la seguridad y las abstracciones para los desarrolladores. Porter y Northflank son más parecidos a Heroku. Qovery, Argonaut es más como un sustituto de Devops para empresas más pequeñas. Humanitec y shipa están más diseñados para equipos de plataformas, pero nos pareció que sus abstracciones eran bastante difíciles de razonar y entender.