Actions Web collaboratives : création d'un copilote de films intelligent avec TrueFoundry et Google ADK

Pensez à la gymnastique mentale qu'implique une simple réservation de film. Basculez entre la discussion de groupe avec vos amis, la programmation des cinémas, les critiques et les plans de sièges dynamiques. Trouver un juste équilibre entre le lieu et les horaires des séances, jongler avec les prix des billets en constante évolution. Il ne s'agit pas simplement d'une tâche ; il s'agit d'un fardeau mental fragmenté en plusieurs étapes qui conduit souvent à l'abandon de chariots ou à des options moins coûteuses. Nous finissons par lutter contre l'interface dynamique de sites Web complexes, en essayant simplement d'énoncer une intention unique et simple.

Au lieu de parcourir manuellement le terrain complexe des sites dynamiques, imaginez ouvrir une seule fenêtre de discussion ciblée et énoncer cette intention une seule fois. « Réservons deux billets pour le nouveau film Dune au cinéma IMAX le plus proche demain soir. » Cette simple déclaration déclenche une chaîne d'événements complexe et magnifiquement orchestrée. Un guide numérique lance immédiatement une conversation résiliente en interprétant vos contraintes, en récupérant dynamiquement des choix en temps réel sur un site en ligne et en vous guidant sans effort vers une action décisive.

C'est la promesse d'une véritable IA orientée vers l'action. Il ne s'agit pas d'un chatbot statique, mais d'une orchestration dynamique de l'intelligence et de l'action. Il s'agit de créer un transfert fluide entre un guide numérique et votre décision humaine. Pour vous aider à créer ce type d'expérience de copilote sophistiquée, nous sommes ravis de publier notre toute dernière version et la plus avancée TrueFoundry Accelerator : l'agent d'automatisation du navigateur de réservation de films.

Cet accélérateur fournit un plan complet et prêt pour la production pour un agent d'IA qui navigue sur le site Web de Fandango pour le compte d'un utilisateur. Construit sur une architecture modulaire et résiliente, il réunit Kit de développement Google Agent (ADK), une configuration robuste de navigateur sans tête côté serveur (interface de ligne de commande agent-navigateur), et le Passerelle TrueFoundry LLM, tout en mettant en œuvre un modèle de sécurité unique pour les tâches les plus sensibles.

Comprendre le flux collaboratif : du chat au site en direct

La partie la plus difficile de l'automatisation des navigateurs basés sur l'IA est la gestion des états complexes et la gestion des interactions sensibles, comme le traitement des paiements. La nature dynamique des interfaces utilisateur Web modernes, dans lesquelles les éléments changent, se chargent de manière asynchrone et varient en fonction de l'utilisateur, rompt avec les scripts d'automatisation traditionnels. Pour créer un agent résilient, vous avez besoin d'une architecture conçue de A à Z pour s'auto-corriger et pour collaborer intelligemment avec l'utilisateur.

Notre accélérateur est unique car il adopte une approche robuste et axée sur la sécurité modèle de transfert collaboratif. Dans ce modèle, l'IA gère toutes les étapes fastidieuses et basées sur des règles pour trouver un film, mais elle ne gère pas les informations de paiement réelles. Le contrôle est transféré de manière fluide vers le navigateur de l'utilisateur à l'étape la plus critique, ce qui garantit la confiance de l'utilisateur et réduit la complexité de la conformité PCI pour votre application.

L'ensemble de cet écosystème est encapsulé dans une norme Serveur FastAPI et une couche d'API, ce qui facilite le déploiement, la sécurisation et la surveillance. Le schéma que vous voyez ici est ce schéma d'orchestration, détaillant exactement comment le contexte passe de l'intention de l'utilisateur à l'action du navigateur.

Approfondissement de l'architecture : gestion résiliente de l'état et actions collaboratives

Décomposons les composants techniques et les quatre boucles clés de ce flux orchestré par l'État, en faisant directement référence à notre plan technique.

L'orchestrateur : BookingAgent (State Orchestrator)

Ce composant constitue le cœur du système. Surnommé « State Orchestrator », le BookingAgent ne se contente pas de transmettre du texte ; il transforme les intentions de haut niveau en un flux de travail structuré, fiable et conversationnel. Il utilise une série de boucles interconnectées pour maintenir un état précis.

1. Choix guidés initiaux : L'agent (informé par la logique de l'agent ADK) est conçu pour présenter des choix structurés à l'utilisateur dès le départ. Plutôt que de demander en blanc « Quel film aimerais-tu voir ? » , il propose immédiatement des options guidées telles que « [Recherche par film] [Recherche par genre] ». Lorsque l'utilisateur effectue une sélection, il ne se contente pas de saisir du texte ; il définit le contexte interne de l'agent, dirigeant ainsi l'ensemble de la conversation suivante. Cette structure initiale est essentielle pour maintenir l'accent sur les tâches.
2. La boucle d'état : injection de contexte et génération de listes dynamiques : Cette boucle (indiquée dans l'encadré gris central du diagramme) est à l'origine de la conversation dynamique.
   
   • 1. Injection contextuelle : Le gestionnaire de session préserve l'état, s'assurant que chaque tour de conversation connaît les contraintes précédentes. Le BookingAgent injecte ce contexte complet (code postal de l'utilisateur, date, film préféré) dans ses instructions.
   • 2. Exécution des appels d'outils : La couche d'intelligence (pointée par la combinaison ADK Agent + LLM Gateway) génère une réponse JSON structurée qui détermine quel outil appeler (par exemple, Maps, click).
   • 3. Génération de listes dynamiques : C'est crucial. Lorsque l'agent demande à l'utilisateur de sélectionner une date, il ne se contente pas de demander. Il utilise les outils de son navigateur pour obtenir l'état réel du DOM à partir de Fandango. C'est alors extrait la liste des dates valides directement depuis la page et génère des options guidées cliquables dans le chat, permettant à l'utilisateur de rester sur la bonne voie et d'éviter les impasses. Cela est parfaitement illustré dans le schéma : lorsque l'utilisateur saisit un code postal et une date, l'agent présente des options spécifiques telles que les horaires « 14 h 30 » et « 17 h 45 », créées dynamiquement à partir des résultats de la capture d'écran DOM en temps réel de Fandango.
   • 4. Récupération des erreurs : Que se passe-t-il lorsque le site dynamique change et qu'un sélecteur CSS échoue ? Cette partie de la boucle est le moteur de résilience de l'agent. Au lieu d'une panne grave, le système capture l'erreur et le BookingAgent lance une étape d'autocorrection, demandant souvent au LLM des indications sur la raison de l'échec de la page et sur la manière de réessayer.

Le cerveau : l'agent ADK et la passerelle TrueFoundry LLM

Ce partenariat fournit des renseignements à l'agent. L'agent ADK (Google ADK Runner + InMemorySession) fournit le cadre standardisé, tandis que TrueFoundry LLM Gateway fournit la flexibilité du modèle et de puissantes fonctionnalités de backend.

• La puissance de la passerelle : Le routage de tous les appels de modèles via la passerelle TrueFoundry LLM (via l'ADK Runner) permet une observabilité instantanée, une mise en cache rapide pour réduire la vitesse et les coûts, et la possibilité de basculer facilement entre les modèles haut de gamme tels que GPT-4, Claude ou Gemini. Cela est essentiel pour optimiser les performances d'une tâche particulière (comme l'analyse du DOM) tout en gérant les coûts d'infrastructure.

La chaîne d'actions : outils du navigateur, DriverManager et interface de ligne de commande agent-navigateur

Cette chaîne de composants exécute les commandes.

• Couche d'abstraction : Les outils du navigateur font abstraction de l'interaction brute, ce qui rend la logique d'orchestration propre et modulaire.
• Mise à l'échelle simultanée : La conception du BrowserManager est essentielle. Comme le souligne l'étiquette, il maintient « Instances BrowserDriver par session + préchauffage », ce qui signifie que chaque session de chat possède sa propre instance de navigateur headless isolée. Cela évite la collision des données utilisateur et permet à votre application de s'adapter simultanément à des milliers d'utilisateurs en toute sécurité.
• Le moteur : La CLI agent-navigateur (Headless Chromium alimenté par Playwright) est le moteur d'exécution brut qui gère le site Web de Fandango. Il passe le plus important Instantané DOM et résultats d'interaction revenir à la boucle pour la génération de listes dynamiques.

Le coup de maître : le modèle de transfert collaboratif

Il s'agit de l'aboutissement de l'ensemble de la conception architecturale. Comme vous pouvez le constater sur « Logique de transfert (contexte utilisateur préservé) » ligne pointillée, une fois les étapes fastidieuses de collecte de données terminées (par exemple, une fois que l'utilisateur a sélectionné le théâtre et l'heure du spectacle), l'automatisation côté serveur arrêts.

Cela déclenche le transfert de contrôle par le BookingAgent. Le page Fandango en direct (ou un cadre sécurisé distinct) est chargé directement dans le navigateur de l'utilisateur (la case jaune étiquetée « Page Fandango en direct (l'utilisateur a le contrôle direct) »). Comme le contexte (théâtre et heure de représentation spécifique) a été préservé, l'utilisateur est redirigé exactement là où il doit se trouver.

L'utilisateur interagit ensuite directement avec le plan de salle visuel complexe et procède aux étapes de paiement sécurisées, comme il le ferait normalement. C'est génial parce que :

• Sécurité : Votre application ne gère, ne traite ni ne stocke jamais de données de paiement PCI sensibles, ce qui réduit les coûts liés à la sécurité et à la conformité.
• Transfert humain : Il permet à l'utilisateur humain de choisir visuellement le siège final sur la carte dynamique, tâche qui convient le mieux à une personne.

Cette dernière boucle de sélection et de paiement des sièges contrôlée par l'utilisateur (saisie directe) mène directement au résultat final : la confirmation de la réservation.

👉 Regardez la Supademo interactive de l'ensemble du flux collaboratif

Découvrez comment cette architecture robuste permet à l'utilisateur de passer d'une simple recherche par genre à un plan de salle en temps réel sur Fandango en quelques clics, illustrant chaque étape de ce plan orchestré.

Pourquoi commencer par un accélérateur ?

Les accélérateurs TrueFoundry sont conçus pour accélérer la production. L'automatisation du Web avec les LLM est notoirement complexe, avec des problèmes cachés de gestion des états et de résilience. En commençant par ce plan unique et prêt à être mis en production, vous :

• Contournez le développement complexe : Démarrez votre projet grâce à des modèles éprouvés de persistance de l'état, d'autocorrection et de boucles collaboratives homme-IA.
• Garantir une mise à l'échelle simultanée : Tirez parti du modèle de session isolée du BrowserManager et du DriverManager, qui sont essentiels pour tout déploiement en entreprise.
• Réduire les risques : Le modèle de transfert collaboratif éprouvé est le moyen le plus efficace de sécuriser les actions Web, en réduisant les risques de sécurité, juridiques et de conformité liés aux données sensibles.

Commencez dès aujourd'hui

Le Movie Booking Accelerator est bien plus qu'une simple démonstration de technologie ; c'est un modèle fondamental pour créer des agents robustes, sécurisés et collaboratifs. Que vous créiez un copilote de réservation d'hôtel, un assistant automatisé pour une compagnie aérienne ou un outil d'extraction de données automatisé, cette architecture vous montre comment connecter de manière fiable les LLM aux actions Web.

Plongez dans la plateforme TrueFoundry dès aujourd'hui, accédez à ce référentiel d'accélérateurs et commencez à adapter ce plan technique à vos besoins d'automatisation uniques.

‍