Aplicaciones de GenAI en Google
Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
¡Una forma increíblemente rápida de crear, rastrear e implementar sus modelos!
- Gestiona más de 350 RPS en solo 1 vCPU, sin necesidad de ajustes
- Listo para la producción con soporte empresarial completo
Resumen
En este episodio de True ML, Nikunj, cofundador y director ejecutivo de True Foundry, entabló un diálogo exhaustivo con Priya Mathur, directora de dispositivos de inteligencia artificial de Google. Este debate no solo arrojó luz sobre la trayectoria y las experiencias de Priya, sino que también abordó diversas facetas del aprendizaje automático, la IA y las implicaciones de la IA generativa en el panorama tecnológico. Estas son las principales conclusiones de su conversación:
-Introducción y antecedentes
-Las mujeres en el aprendizaje y el aprendizaje
-Retos en la ciencia de datos
-Innovaciones en Google
-IA en diferentes industrias
-Generar confianza con la IA generativa
Introducción y antecedentes
Priya aporta más de una década de experiencia en inteligencia artificial, en particular su tiempo en Groupon, ocupándose de los desafíos de la ciencia de datos de marketing, y su puesto actual en Google, centrado en la ciencia de datos de productos para dispositivos y servicios. Sus conocimientos provienen de la resolución de problemas complejos y de la dirección de iniciativas de inteligencia artificial y aprendizaje automático.
Priya ha acumulado una rica experiencia en inteligencia artificial, que abarca más de diez años. Durante su mandato en Groupon, Priya dirigió el equipo de ciencia de datos de marketing, centrándose en una variedad de desafíos, incluida la medición del ROI de los anuncios de televisión y las campañas interactivas, lo que demostró su capacidad para aprovechar la inteligencia artificial para resolver problemas empresariales complejos.
La mujer en el aprendizaje y el aprendizaje
Como mujer líder en un campo tradicionalmente dominado por los hombres, los logros y el papel de liderazgo de Priya subrayan sus capacidades individuales y representan un paso importante hacia la diversificación de la industria de la IA. Su participación en foros como Women in ML ejemplifica aún más su compromiso con el aprendizaje comunitario y con la tutoría de los futuros líderes en IA. Hace hincapié en la importancia de estos foros para contribuir al dominio de la IA y el aprendizaje automático.
Desafíos en la ciencia de datos
Priya está a la vanguardia de la inteligencia artificial y el aprendizaje automático para los servicios de dispositivos, lo que indica una importante responsabilidad a la hora de impulsar la innovación y aplicar soluciones de inteligencia artificial para mejorar las experiencias y funcionalidades de los productos.
- Cuantificación del ROI de marketing: Priya desarrolló modelos para medir la eficacia de los canales de marketing, incluidos los anuncios de televisión, en Groupon, lo que facilitó la toma de decisiones estratégicas y la optimización del presupuesto.
- Cálculo de los costos de adquisición de clientes: Abordó el desafío de estimar los costos de adquisición de clientes a partir de los anuncios de televisión, empleando la ciencia de datos para guiar las estrategias de marketing y la asignación de recursos.
- Estimación predictiva de referencia: Priya ideó métodos para predecir la captación de clientes en ausencia de ciertos anuncios, utilizando modelos de aprendizaje automático innovadores para realizar estimaciones de referencia precisas.
- Solución de problemas de ciencia de datos de productos en Google: En Google, se centró en mejorar los embudos de productos mediante la integración de la IA y el aprendizaje automático, abordando los desafíos únicos que presenta el diverso ecosistema de productos de Google.
- Implementación de modelos de lenguaje de gran tamaño: Priya dirigió un proyecto para simplificar la generación de consultas de SQL mediante LLM, con el objetivo de mejorar la productividad y reducir la dependencia de los equipos de datos para las tareas de consulta.
Innovaciones en Google
Durante la transición a su puesto en Google, Priya explicó que se centraba en mejorar los canales de productos para dispositivos y servicios. A pesar del cambio en la industria y en la disponibilidad de datos, las principales herramientas de ciencia de datos se mantuvieron consistentes.
- Consultas SQL mediante un modelo de lenguaje grande: Priya desarrolló un LLM para generar consultas SQL, agilizando el análisis de datos para usuarios no técnicos y aumentando la productividad.
- Céntrese en la privacidad de los datos: Sus proyectos en Google priorizaron la privacidad y el control de los datos de los usuarios, estableciendo un punto de referencia para el desarrollo responsable de IA y ML.
- Colaboración interdisciplinaria: Priya lideró los esfuerzos de colaboración cruzada entre diferentes equipos de Google para comprender y ofrecer soluciones de chatbot para el equipo con necesidades específicas.
- Proyecto de IA generativa: La apuesta de Priya por aprovechar los grandes modelos lingüísticos (LLM) para simplificar la generación de consultas SQL ejemplifica los enfoques innovadores que se están adoptando para mejorar la productividad y reducir la dependencia de los equipos de datos especializados.
La IA en diferentes industrias
Priya Mathur hizo hincapié en el potencial transformador de la IA generativa en varios sectores, en particular en aquellos que aún no se benefician plenamente de los avances tecnológicos, como la atención médica, las finanzas y la educación.
Destacó los beneficios exponenciales que estos sectores podrían lograr con la IA generativa, desde acelerar el descubrimiento de fármacos mediante simulaciones hasta personalizar las experiencias de aprendizaje. Al aumentar la productividad y permitir experiencias personalizadas a escala, la IA generativa promete revolucionar las prácticas del sector, haciendo que las operaciones sean más eficientes y centradas en el cliente. Las ideas de Priya sugieren que, a medida que evolucionen las tecnologías de inteligencia artificial, generarán cambios significativos, no solo en la forma en que operan las empresas, sino también en la mejora de las experiencias de los usuarios y los resultados en sectores críticos.
Generar confianza con la IA generativa
Priya y Nikunj discutieron los aspectos cruciales de fomentar la confianza en las tecnologías de inteligencia artificial, haciendo hincapié en la educación de los usuarios, el control de los datos personales y la necesidad de una normativa integral.
- Educación del usuario: Al hacer hincapié en la necesidad de educar a los usuarios sobre cómo funciona la IA generativa, Priya considera que el aumento del conocimiento es un camino hacia la confianza, lo que refleja la curva de adopción de Internet.
- Control sobre los datos: Abogando por que los usuarios tengan control sobre sus datos personales, sugiere que la capacidad de administrar y borrar los datos propios fomenta la confianza en las tecnologías de inteligencia artificial.
- Protecciones reglamentarias: Al destacar el papel de la regulación, Priya aboga por políticas que eviten el uso indebido de los datos y protejan a los usuarios contra los posibles daños de la IA, reforzando la confianza a través de salvaguardias legales.
- Transparencia y comprensión: La confianza se basa en la transparencia sobre las capacidades y limitaciones de la IA, lo que fomenta una comprensión realista de lo que la IA puede y no puede hacer.
- Desarrollo ético de la IA: Al priorizar las consideraciones éticas en el desarrollo de la IA, como la equidad y la no discriminación, se puede establecer la confianza en las aplicaciones de IA en todos los sectores, garantizando que sirvan al bien común de manera efectiva.
Este profundo diálogo entre Nikunj y Priya Mathur arroja luz sobre el potencial transformador de la IA en todos los sectores. Subraya la importancia del aprendizaje continuo, la colaboración y las consideraciones éticas para avanzar en este campo. A medida que la IA continúa evolucionando, su impacto en la resolución de problemas complejos, la mejora de la productividad y la mejora de las vidas sigue siendo innegablemente significativo.
TrueFoundry AI Gateway ofrece una latencia de entre 3 y 4 ms, gestiona más de 350 RPS en una vCPU, se escala horizontalmente con facilidad y está listo para la producción, mientras que LitellM presenta una latencia alta, tiene dificultades para superar un RPS moderado, carece de escalado integrado y es ideal para cargas de trabajo ligeras o de prototipos.
La forma más rápida de crear, gobernar y escalar su IA

















.png)


.webp)




.webp)







