TrueFoundry: revisión de fin de año de 2024

El año pasado, comparamos el viaje de nuestra startup con la construcción de un cohete, e imaginó 2024 como el año de la ignición, el momento en que nuestro cohete saltaría a la órbita. ¡Y lo encendimos! ¿Pensamos en grande cuando conseguir un cliente de Fortune 500 significaba trabajar con nVidia, o ser reconocido como líder emergente en el cuadrante mágico de Gartner?

Pero, como siempre, esta historia no es solo una celebración de nuestros logros, sino también un reconocimiento de los desafíos a los que nos hemos enfrentado, una apreciación de las oportunidades que se nos han presentado y los aprendizajes que hemos aprovechado. ¡Vamos a llevaros a este emocionante viaje, desde emocionantes avances hasta territorios inexplorados! ¡Naveguéis por las turbulencias y los triunfos en esta odisea estelar!

TrueFoundry y el año 2023

TrueFoundry está creando una PaaS independiente de la nube en Kubernetes, que estandariza la capacitación y el despliegue de aplicaciones de aprendizaje automático e inteligencia artificial generativa mediante API listas para la producción y aptas para desarrolladores, al tiempo que adopta una postura obstinada sobre cómo los MLOP, los LLMOP y DevOps son plumas del mismo rebaño.

2023 fue el año de oportunidades sin precedentes y amenazas existenciales al mismo tiempo para la mayoría de las organizaciones del mundo. ¡La forma en que abrazaran el mundo cambiante definiría su futuro o determinaría si lo tenían o no! Y las organizaciones buscaban toda la ayuda posible para definir casos de uso, llevar a cabo experimentos, luchar contra las políticas de seguridad y elaborar comunicados de prensa para ser conocidas como las precursoras del mundo de la GenAI.

TrueFoundry estaba muy bien posicionada para ayudar a las organizaciones a afrontar estos tiempos de incertidumbre: las opciones entre modelos internos y modelos de código cerrado, la complejidad de la infraestructura basada en GPU y el conjunto de herramientas para enviar las aplicaciones a la producción. Y ahí estaba la clave: sabíamos que cualquier aplicación que no esté en producción es un centro de costes que no aporta ningún valor. Y mientras el resto del mundo realizaba experimentos con fines de relaciones públicas, un Cliente de TrueFoundry que figura en la lista Fortune 100 ¡estaba acumulando solicitudes para picar a la velocidad del rayo! ¡Esa ventaja inicial en 2023 los convirtió en líderes en GenAI en su industria! Tomamos un par de decisiones clave en 2023 que nos prepararon para el éxito: ¡separamos lo que era urgente a corto plazo de lo que era importante a largo plazo!

1. En primer lugar, nos centramos en las organizaciones que creíamos que tenían un valor empresarial claro y diferenciado a largo plazo fuera de GenAI, ¡y no solo perseguían la moda!
2. En segundo lugar, no buscábamos ayudar a las organizaciones con todo lo que estaba de moda en aquel momento: la sobreindexación de las GPU era escasa o las organizaciones no tenían permiso para utilizar los mejores modelos de código cerrado de su clase. No me malinterpretes: había que resolver esos problemas, pero no podían ser lo único en lo que te concentraras, ¡porque era cuestión de tiempo que desaparecieran! Por el contrario, nos centramos exclusivamente en cuáles son los desafíos a los que se enfrentarían las organizaciones a la hora de enviar aplicaciones con confianza para impulsar a largo plazo.

Esto nos llevó a dos aprendizajes importantes que acertamos y de los que hemos tomado nota.

1. La verdadera prueba no consiste solo en presentar tu producto a un cliente, ¡sino en el camino hacia el verdadero valor empresarial generado para ese cliente!

2. Está bien si quieres captar una ola de tendencias, pero cuando se produzca un chantaje, prepárate para salir del otro lado, y eso solo ocurre si te centras en los primeros principios.

Arranca en 2024

Con eso, entramos en 2024 con fuerza, que fue un año de ejecución para nosotros, redoblando lo que creíamos que funcionaría y sometiéndolo a pruebas reales, ¡al estilo de TrueFoundry!

Trabajamos con algunas de las organizaciones más grandes del mundo y las ayudamos a crear aplicaciones con un valor de 100 millones de dólares, mediante la automatización de las llamadas de atención al cliente, la utilización óptima de los clústeres de GPU y la ayuda a los representantes de ventas a vender mejor los medicamentos. Nos convertimos en un componente fundamental de la cartera GenAI de varias empresas incluidas en la lista Fortune 500, duplicamos el tamaño de nuestro equipo y cuadruplicamos nuestros ingresos, todo ello en el transcurso de este año. La pregunta es: ¿qué llevó a que esto se clasificara como lo que hicimos bien y lo que no hicimos estratégica y tácticamente? Vamos a profundizar en esto:

Uniformidad [estratégica, trabajada] de LLMOP, MLOps y DevOps —

Hemos hablado de esto en el pasado en detalle. ¡Pero es una decisión tan crítica de nuestra plataforma que es importante mencionarla! En 2022, cuando nos centramos en los MLOps, nunca pensamos que fuera radicalmente diferente de DevOps: los modelos de aprendizaje automático también son aplicaciones que necesitan ejecutarse en algunos procesos, aunque más complicados. En 2023, adoptamos la misma postura, cuando GenAI llegó al mundo: el ajuste fino de LLM o el entrenamiento de modelos de aprendizaje automático o la ejecución de un trabajo de canalización de datos son trabajos de procesamiento de larga duración y el servicio de modelos de LLM o la inferencia de modelos de aprendizaje automático o una simple API REST son todos trabajos de ejecución continua. Y mientras la arquitectura sea la misma, es cuestión de crear la experiencia de usuario adecuada para gestionar la complejidad de la gestión de los recursos de la GPU, la computación distribuida, los modelos de gran tamaño o los trabajos de ejecución muy prolongada; sin duda, mucha ingeniería, pero nada fundamentalmente diferente.

En otras palabras, TrueFoundry básicamente toma cualquier aplicación o código y lo traduce en un manifiesto de K8s mientras oculta la complejidad específica de la aplicación. Este diseño tuvo un profundo impacto en la forma en que los clientes veían TrueFoundry.

TrueFoundry actuó como un puente desde el territorio desconocido de las GPU, la infraestructura entre nubes y los modelos muy grandes hasta el territorio conocido de su plataforma existente basada en K8.

¡TrueFoundry hablaba su idioma, se adaptaba a su oferta actual y permitía a las organizaciones aprovechar todos los procesos fundamentales de construcción e implementación que habían establecido minuciosamente!

[Estratégico, trabajado] Núcleo construido a partir de primitivos: servicios, trabajos, gráficos de timón y volúmenes

En TrueFoundry, creemos que cualquier aplicación del mundo puede pensarse fundamentalmente en términos de 4 primitivas:

1. Servicios: API siempre en funcionamiento
2. Trabajos: trabajos fuera de línea de larga duración
3. Helm Charts: use, busque y comparta aplicaciones basadas en K8.
4. Volúmenes: montajes de datos, almacenamiento de archivos y capa de almacenamiento.

Estas primitivas se convirtieron en nuestra capa central y, luego, todo se construyó sobre ella. Por ejemplo, el alojamiento de LLM no es más que un servicio, el ajuste no es más que un trabajo y VectorDB no es más que una guía.

Y el nuevo paradigma de la aplicación de la IA compuesta puede considerarse como una combinación de estas primitivas. Por ejemplo, una aplicación RAG se compone de: leer los datos fuente de un volumen, analizarlos, fragmentarlos e indexarlos como un trabajo, VectorDB como un gráfico de referencia, LLM como un servicio y RAG API como un servicio.

Si bien el modus operandi en 2023 era RAG y 2024 eran aplicaciones de agencia, podría ser diferente en el futuro. Esta arquitectura nos ayuda a estar seguros para el futuro y no estamos atados a ninguna forma específica de desarrollo. En 2024, generalizamos este concepto como producto y nuestros clientes nos recibieron muy bien.

[Táctico, funcional] Diseño seguro para el futuro: evite la dependencia de los proveedores

El estándar para crear aplicaciones GenAI aún no está disponible y las organizaciones no están dispuestas a encerrarse en nada, y esto se extiende a los proveedores de nube, proveedores de modelos y proveedores de marcos.

El diseño de TrueFoundry de elegir cualquier procesamiento de cualquier proveedor sin preocuparse por la capa de administración de infraestructuras, elegir cualquier modelo a través de Gateway sin preocuparse por la firma de la API o ayudar a las personas a organizar las implementaciones sin codificación prescriptiva, lo que ahorra la dependencia de cualquier marco, incluido el nuestro, ha tenido muy buena acogida entre nuestros clientes. De hecho, también llegamos a hacer que TrueFoundry sea redundante al exponer los manifiestos K8 sin procesar generados a partir de TrueFoundry para que el cliente tampoco quede atrapado en TrueFoundry.

Sin embargo, debo admitir que, si bien esto funciona ahora, no estamos seguros de que, a largo plazo, vaya a funcionar de esta manera. Un posible ejemplo de cómo atrapar una ola, pero siendo conscientes de lo que hay del otro lado.

[Táctico, trabajado] Concéntrese en el tiempo para rentabilizar

El enfoque de TrueFoundry siempre ha sido reducir el tiempo necesario para enviar las aplicaciones listas para la producción a nuestros usuarios finales. El tiempo de generación de valor es la métrica principal para la que siempre nos hemos optimizado. En 2024, también dedicamos suficiente tiempo a intentar optimizar el tiempo de generación de valor para nosotros como plataforma, es decir, qué tan rápido se instala TrueFoundry en el entorno de un cliente y qué tan rápido se obtiene el valor empresarial final para los usuarios finales.

En nuestras reseñas de G2 queda claro que nuestro tiempo de puesta en marcha, de 0,42 meses, es significativamente mejor que el de otros productos de nuestra categoría, con 2,29 meses, y el ROI estimado es de 4 meses, ¡en comparación con la media de 13,66!

[Táctico, no funcionó] Estar más cerca de los casos de uso

Con nuestro enfoque en lograr la arquitectura correcta, creemos que ha habido casos en los que no hemos dado en el blanco por estar muy cerca del objetivo final que el usuario intenta lograr. Esto significa que, a veces, es un poco exagerado para los usuarios finales crear la aplicación final y nosotros podemos adaptar mejor nuestra experiencia con el producto a ese objetivo. Por ejemplo, hoy en día las personas pueden crear y distribuir cualquier aplicación de agencia en TrueFoundry, ya que nuestra arquitectura permite enviar cualquier aplicación de IA compuesta, pero ¿la experiencia es tan fluida como nos gustaría? ¡Probablemente no!

Tuvimos un gran éxito en esta área en 2024, con nuestro primer lanzamiento de código abierto, Cognita — ¡un marco creado para enviar aplicaciones RAG listas para la producción que obtuvo más de 3000 estrellas en las primeras dos semanas de su lanzamiento! Pero quiero decir que ¡esto puede ser demasiado poco y demasiado tarde! ¡Idealmente, esta es un área para la que deberíamos haber optimizado en 2023 y construir muchas más en 2024! Pero ahora que nos hemos dado cuenta de esto, necesitamos trabajar activamente para lograrlo en 2025.

[Estratégico, no funcionó] Céntrese en la persona del comprador

Sabiduría común en el mundo de las empresas emergentes: si pretendes crear un movimiento de venta repetible, debes centrarte en tu perfil de cliente ideal y en la personalidad del comprador. Pensamos que lo sabíamos y «priorizamos sin piedad» esta parte para finalmente reducir nuestros compradores y convertirlos en uno de los dos usuarios: un jefe de ciencia de datos que intentaba lanzar una aplicación de GenAI a producción y un jefe de herramientas para desarrolladores de creación de plataformas para todos los equipos internos de ciencia de datos.

Nuestra última creencia es que dos todavía no es suficiente. ¡El enfoque láser significa uno y solo uno! Esto nos ayudará a optimizar todo, desde la experiencia de usuario final del producto hasta los materiales de capacitación en ventas, el marketing del producto y todas las funciones que hacen crecer la empresa. El jurado aún no está deliberando, pero por ahora, ¡parece que tendremos que dedicar tiempo en 2025 a reducir aún más esta cifra!

Mirando hacia el futuro y dando la bienvenida al 2025

Con los aprendizajes, un producto con una base fundamental y arquitectónica, un fuerte impulso por parte de los clientes y junto a un equipo brillante e incansable que realmente se preocupa por resolver este problema, estamos entusiasmados por aventurarnos en 2025: ¡sentimos que estamos en una posición más fuerte que nunca!

Y lo que es más importante, ¡estamos entusiasmados de aceptar los cambios que GenAI nos ha traído como empresa emergente y de expandir nuestra propia visión! Con las capacidades que GenAI ha desbloqueado, creemos que todas las mejoras en cuanto a la rentabilidad, el ahorro de costes y la capacidad de hacer más con menos son solo hitos. Con el tiempo, ¡todo será instantáneo, más eficiente y todo en modo AutoPilot! Al igual que hoy, cuando escribimos un programa, no pensamos si un compilador movió la memoria o asignó recursos de manera eficiente, mañana no pensaremos en que la infraestructura gestionada por la IA funciona correctamente.

Si estamos entrando en un mundo en el que miles de agentes interoperarían con seres humanos para llevar a cabo cada tarea, no es ni factible ni lógico que los seres humanos se conviertan en el cuello de botella para gestionarlas. La plataforma central que gestiona la

La IA será gestionada por la IA

Con los ojos puestos en esta visión ampliada, ¡damos la bienvenida al 2025 con los brazos abiertos! Feliz Año Nuevo a todos.

‍