Kollaborative Webaktionen: Entwicklung eines intelligenten Filmkopiloten mit TrueFoundry und Google ADK

Denken Sie an die mentale Gymnastik, die mit einer einfachen Filmbuchung verbunden ist. Wechseln Sie per Tabulatortaste zwischen dem Gruppenchat Ihrer Freunde, den Kinoangeboten, den Bewertungen und den dynamischen Sitzplänen. Wir balancieren Ort und Spielzeiten ab und jonglieren mit den ständig wechselnden Ticketpreisen. Es ist nicht nur eine Aufgabe; es ist eine fragmentierte, mehrstufige mentale Belastung, die oft dazu führt, dass Einkaufswagen verlassen werden oder sich mit weniger Optionen zufrieden geben. Am Ende kämpfen wir gegen die dynamische Oberfläche komplexer Websites und versuchen nur, eine einzige, einfache Absicht zu formulieren.

Anstatt manuell durch das komplexe Terrain dynamischer Websites zu navigieren, stellen Sie sich vor, Sie öffnen ein einziges, fokussiertes Chat-Fenster und geben Sie diese Absicht einmal an. „Lasst uns zwei Karten für den neuen Dune-Film im nächstgelegenen IMAX-Kino für morgen Abend buchen.“ Diese einfache Aussage löst eine komplexe und wunderschön orchestrierte Kette von Ereignissen aus. Ein digitaler Leitfaden leitet sofort eine belastbare Konversation ein, interpretiert Ihre Einschränkungen, ruft dynamisch in Echtzeit Entscheidungen von einer Live-Site ab und führt Sie mühelos zu einer entscheidenden Maßnahme.

Das ist das Versprechen einer echten, handlungsorientierten KI. Es ist kein statischer Chatbot; es ist eine dynamische Orchestrierung von Intelligenz und Aktion. Es geht darum, einen nahtlosen Übergang zwischen einem digitalen Leitfaden und Ihrer menschlichen Entscheidung zu schaffen. Wir freuen uns, unser neuestes und fortschrittlichstes Co-Pilot-Erlebnis veröffentlichen zu können, um dir dabei zu helfen, ein solch anspruchsvolles Co-Pilot-Erlebnis zu entwickeln TrueFoundry Accelerator: Der Automatisierungsagent für Filmbuchungen.

Dieser Beschleuniger bietet einen vollständigen, produktionsbereiten Entwurf für einen KI-Agenten, der im Namen eines Benutzers auf der Fandango-Website navigiert. Er basiert auf einer modularen, belastbaren Architektur und fügt die Google Agent-Entwicklungskit (ADK), ein robustes serverseitiges Headless-Browser-Setup (Agent-Browser-CLI) und die TrueFoundry LLM Gateway, während gleichzeitig ein einzigartiges Sicherheitsmuster für die sensibelsten Aufgaben implementiert wird.

Den kollaborativen Ablauf verstehen: Vom Chat zur Live-Site

Die größte Herausforderung der KI-Browserautomatisierung besteht darin, komplexe Zustände zu verwalten und sensible Interaktionen wie die Zahlungsabwicklung abzuwickeln. Die Dynamik moderner Web-Benutzeroberflächen, bei denen sich Elemente verschieben, asynchron geladen werden und je nach Benutzer variieren, macht herkömmliche Automatisierungsskripte zunichte. Um einen robusten Agenten zu erstellen, benötigen Sie eine Architektur, die von Grund auf so konzipiert ist, dass sie sich selbst korrigiert und intelligent mit dem Benutzer zusammenarbeitet.

Unser Beschleuniger ist einzigartig, weil er eine robuste, sicherheitsorientierte kollaboratives Übergabemodell. In diesem Modell erledigt die KI alle mühsamen, regelbasierten Schritte, um einen Film zu finden, aber sie geht nicht auf die tatsächlichen Zahlungsinformationen ein. Die Steuerung wird im kritischsten Schritt nahtlos an den eigenen Browser des Benutzers übertragen. So wird das Vertrauen der Benutzer gewährleistet und die Komplexität der PCI-Konformität Ihrer Anwendung verringert.

Dieses gesamte Ökosystem ist in einem Standard zusammengefasst FastAPI-Server und API-Ebene, was die Bereitstellung, Sicherung und Überwachung einfach macht. Das Diagramm, das Sie hier sehen, ist der Orchestrierungsplan, der genau beschreibt, wie sich der Kontext von der Benutzerabsicht zur Browseraktion bewegt.

Tiefer Einblick in die Architektur: Resilientes Staatsmanagement und kollaboratives Handeln

Lassen Sie uns die technischen Komponenten und die vier Schlüsselschleifen dieses staatlich orchestrierten Ablaufs aufschlüsseln und dabei direkt auf unseren technischen Entwurf verweisen.

Der Orchestrator: BookingAgent (State Orchestrator)

Diese Komponente ist das Herzstück des Systems. Der als „State Orchestrator“ bezeichnete BookingAgent leitet nicht nur Text weiter, sondern wandelt übergeordnete Absichten in einen strukturierten, zuverlässigen und dialogorientierten Arbeitsablauf um. Er verwendet eine Reihe miteinander verbundener Schleifen, um den genauen Status aufrechtzuerhalten.

1. Erste geführte Entscheidungen: Der Agent (informiert durch die ADK-Agent-Logik) ist so konzipiert, dass er dem Benutzer von Anfang an strukturierte Auswahlmöglichkeiten präsentiert. Anstatt eine leere Frage zu stellen: „Welchen Film würdest du gerne sehen?“ Es bietet sofort geführte Optionen wie „[Nach Film suchen] [Nach Genre suchen]“. Wenn der Benutzer eine Auswahl trifft, erhält er nicht nur eine Texteingabe, sondern legt auch den internen Kontext für den Agenten fest und leitet die gesamte nachfolgende Konversation. Diese anfängliche Struktur ist entscheidend, um den Aufgabenfokus aufrechtzuerhalten.
2. The State Loop: Kontextinjektion und dynamische Listengenerierung: Diese Schleife (auf die im mittleren grauen Feld des Diagramms hingewiesen wird) macht die Konversation aus dynamisch.
   
   • 1. Kontext-Injektion: Der Sitzungsmanager behält den Status bei und stellt sicher, dass jede Runde der Konversation die vorherigen Einschränkungen kennt. Der BookingAgent fügt diesen vollständigen Kontext (Postleitzahl des Benutzers, Datum, bevorzugter Film) in seine Eingabeaufforderungen ein.
   • 2. Ausführung des Toolaufrufs: Die Intelligence-Ebene (auf die die Kombination ADK Agent und LLM Gateway zeigt) generiert eine strukturierte JSON-Antwort, die entscheidet, welches Tool aufgerufen werden soll (z. B. Maps, Klick).
   • 3. Dynamische Listengenerierung: Das ist entscheidend. Wenn der Agent den Benutzer auffordert, ein Datum auszuwählen, fragt er nicht einfach. Es verwendet seine Browsertools, um den tatsächlichen DOM-Status von Fandango abzurufen. Es dann extrahiert die gültige Datumsliste direkt von der Seite aus und generiert anklickbare, geführte Optionen im Chat, sodass der Nutzer stets auf dem Laufenden bleibt und Sackgassen vermieden werden. Dies wird im Diagramm perfekt veranschaulicht: Wenn der Benutzer eine Postleitzahl und ein Datum eingibt, präsentiert der Agent bestimmte Optionen wie die Spielzeiten „14:30 Uhr“ und „17:45 Uhr“, die dynamisch aus den DOM-Snapshot-Ergebnissen von Fandango in Echtzeit erstellt wurden.
   • 4. Wiederherstellung des Fehlers: Was passiert, wenn sich die dynamische Seite ändert und ein CSS-Selektor ausfällt? Dieser Teil der Schleife ist die Resilienz-Engine des Agenten. Anstatt eines schwerwiegenden Fehlers erfasst das System den Fehler und der BookingAgent leitet einen Schritt zur Selbstkorrektur ein, wobei der LLM häufig Hinweise dazu gibt, was auf der Seite fehlgeschlagen ist und wie der Vorgang wiederholt werden kann.

Das Gehirn: ADK Agent und das TrueFoundry LLM Gateway

Diese Partnerschaft liefert die Informationen des Agenten. Der ADK Agent (Google ADK Runner + InMemorySession) stellt das standardisierte Framework bereit, während das TrueFoundry LLM Gateway die Modellflexibilität und leistungsstarke Backend-Funktionen bietet.

• Die Macht des Gateways: Das Routing aller Modellanrufe über das TrueFoundry LLM Gateway (über den ADK Runner) bietet sofortige Beobachtbarkeit, schnelles Caching zur Schnelligkeit und Kostenreduzierung und die Möglichkeit, nahtlos zwischen erstklassigen Modellen wie GPT-4, Claude oder Gemini zu wechseln. Dies ist entscheidend, um die Leistung für eine bestimmte Aufgabe (wie DOM-Parsing) zu optimieren und gleichzeitig die Infrastrukturkosten zu verwalten.

Die Aktionskette: Browser-Tools, DriverManager und Agent-Browser-CLI

Diese Komponentenkette führt die Befehle aus.

• Abstraktionsschicht: Browser-Tools abstrahieren die rohe Interaktion und machen die Orchestrierungslogik übersichtlich und modular.
• Gleichzeitige Skalierung: Das BrowserManager-Design ist entscheidend. Wie auf dem Etikett angegeben, behauptet es „BrowserDriver-Instanzen pro Sitzung + Vorwärmen“, Das bedeutet, dass jede Chat-Sitzung ihre eigene isolierte Headless-Browserinstanz hat. Dadurch wird eine Kollision zwischen Benutzerdaten verhindert und Ihre Anwendung kann sicher gleichzeitig auf Tausende von Benutzern skaliert werden.
• Der Motor: Die Agent-Browser-CLI (Playwright-powered Headless Chromium) ist die Raw-Ausführungsengine, die die Fandango-Website steuert. Sie besteht das alles Wichtige DOM-Snapshot und Interaktionsergebnisse zurück zur Schleife für die dynamische Listengenerierung.

The Masterstroke: Das kollaborative Übergabemodell

Dies ist der Höhepunkt der gesamten architektonischen Gestaltung. Wie Sie aus dem sehen können „Handoff Logic (Benutzerkontext bleibt erhalten)“ gepunktete Linie, nachdem die mühsamen Schritte zur Datenerfassung abgeschlossen sind (z. B. nachdem der Benutzer das Theater und die Spielzeit ausgewählt hat), die serverseitige Automatisierung stoppt.

Es veranlasst den BookingAgent, die Kontrolle zu übertragen. Der Live-Fandango-Seite (oder ein separater sicherer Frame) wird direkt in den eigenen Browser des Benutzers geladen (das gelbe Feld ist beschriftet „Live-Fandango-Seite (der Benutzer hat die direkte Kontrolle)“). Da der Kontext (Theater und spezifische Spielzeit) erhalten geblieben ist, landet der Nutzer genau dort, wo er sein muss.

Der Benutzer interagiert dann direkt mit dem komplexen, visuellen Sitzplan und durchläuft wie gewohnt die sicheren Zahlungsschritte. Das ist genial, weil:

• Sicherheit: Ihre Anwendung verarbeitet, verarbeitet oder speichert niemals sensible PCI-Zahlungsdaten, wodurch der enorme Sicherheits- und Compliance-Aufwand reduziert wird.
• Menschliche Übergabe: Es ermöglicht dem menschlichen Benutzer, die endgültige visuelle Platzwahl auf der dynamischen Karte zu treffen, was eine Aufgabe ist, die für eine Person am besten geeignet ist.

Diese letzte, vom Benutzer gesteuerte Schleife der Sitzplatzauswahl und -zahlung (Direkteingabe) führt direkt zum Endergebnis: Buchung bestätigt.

👉 Sehen Sie sich die interaktive Supademo des gesamten kollaborativen Ablaufs an

Sieh dir an, wie diese robuste Architektur den Nutzer mit nur wenigen Klicks von einer einfachen Genre-Suche zu einem Live-Sitzplan auf Fandango führt, der jeden Schritt dieses orchestrierten Entwurfs veranschaulicht.

Warum mit einem Beschleuniger beginnen?

TrueFoundry Accelerators wurden entwickelt, um Sie schneller zur Produktion zu bringen. Die Webautomatisierung mit LLMs ist bekanntermaßen komplex und birgt versteckte Herausforderungen in den Bereichen Zustandsmanagement und Resilienz. Wenn Sie mit diesem einzigartigen, produktionsbereiten Entwurf beginnen, können Sie:

• Umgehen Sie komplizierte Entwicklungen: Bringen Sie Ihr Projekt mit bewährten Mustern für Zustandspersistenz, Selbstkorrektur und kollaborative Mensch-KI-Loops in Schwung.
• Gleichzeitige Skalierung sicherstellen: Nutzen Sie das isolierte Sitzungsmodell von BrowserManager und DriverManager, die für jede Unternehmensbereitstellung von entscheidender Bedeutung sind.
• Risiko reduzieren: Das bewährte kollaborative Übergabemodell ist der effektivste Weg, um Webaktionen abzusichern und die Sicherheits-, Rechts- und Compliance-Risiken im Zusammenhang mit sensiblen Daten zu reduzieren.

Fangen Sie noch heute an

Der Movie Booking Accelerator ist mehr als nur eine Demonstration der Technologie; er ist eine grundlegende Blaupause für den Aufbau robuster, sicherer und kollaborativer Agenten. Ganz gleich, ob Sie einen Co-Piloten für Hotelbuchungen, einen automatisierten Assistenten für Fluggesellschaften oder ein automatisiertes Datenextraktionstool entwickeln, diese Architektur zeigt Ihnen, wie Sie LLMs zuverlässig mit Webaktionen verbinden können.

Tauchen Sie noch heute in die TrueFoundry-Plattform ein, greifen Sie auf dieses Accelerator-Repository zu und beginnen Sie, diesen technischen Entwurf an Ihre individuellen Automatisierungsanforderungen anzupassen.

‍