TrueFoundry Accelerator-Serie: Aufbau einer belastbaren Webautomatisierung, wenn es keine APIs gibt

‍

Die API-Lücke

Es ist ein vertrautes Szenario um 10 Uhr für Betriebsteams: Ein kritischer Arbeitsablauf muss automatisiert werden — die Überprüfung des Lieferantenbestands, die Durchführung von Wettbewerbsanalysen oder die Sicherung von Reservierungen —, aber die Zielplattform bietet keinen programmatischen Zugriff.

Obwohl wir in einer Ära der Konnektivität leben, sperren viele hochwertige Plattformen ihre Daten hinter „digitalen Wassergräben“. Ihnen fehlen öffentliche APIs, sodass Entwickler gezwungen sind, sich auf das Fallback von Web Scraping zu verlassen. Traditionelles Scraping ist jedoch bekanntermaßen fragil. Es stützt sich auf „spröde Selektoren“ — fest codierte CSS-Pfade oder XPaths (z. B. div.btn-primary), die in dem Moment kaputt gehen, in dem ein Frontend-Entwickler einen Klassennamen in btn-submit ändert.

Um dem entgegenzuwirken, haben wir das gebaut Beschleuniger für die Automatisierung von Restaurantbuchungen. Es ist eine Referenzimplementierung für eine neue Klasse von Automatisierung: robuste Agenten, die das Web nicht nur „scrapen“, sondern es auch bedienen.

Der Wandel: Von Selektoren zur semantischen Absicht

Die Kerninnovation dieses Beschleunigers ist die Abkehr vom Document Object Model (DOM) hin zum Barrierefreiheitsobjektmodell (AOM).

In einem herkömmlichen Skript schlägt die Automatisierung fehl, wenn eine Schaltfläche von einer Seitenleiste zu einer Kopfzeile wechselt. In diesem agentischen System stellen wir der Inferenz-Engine einen Snapshot des Accessibility Tree zur Verfügung. Dabei handelt es sich um eine semantische Darstellung der Seite, die für Screenreader konzipiert wurde. Dabei werden Stylingfehler weggelassen, um den Kernnutzen der Benutzeroberfläche sichtbar zu machen.

Dies ermöglicht es dem System, auf der Grundlage von Absichten und nicht anhand von Koordinaten zu argumentieren: „Ich sehe ein Kalender-Widget; ich werde auf das Datum '15.' klicken, weil das der Anfrage des Benutzers entspricht.“ Wenn die Website neu gestaltet wird, die semantische Rolle der Schaltfläche jedoch weiterhin „Buchung bestätigen“ bleibt, heilt der Agent sich selbst und der Workflow ist erfolgreich.

Architektur: Das Controller-Worker-Muster

Wir haben die Bewerbung mit einem speziellen Controller/Arbeiter Muster. Anstatt eines monolithischen Skripts haben wir verschiedene Agenten, die Dramatiker zur Ausführung und LLMs zur Entscheidungsfindung.

Abbildung 1: High-Level-Architektur

Wie im Architekturdiagramm gezeigt, ist der Workflow-Controller verwaltet den Staat und delegiert Aufgaben an zwei spezialisierte Komponenten:

1. Der Suchagent (Discovery): Dieser Agent verwaltet die nichtlineare Einkaufsphase.
   
   • Dynamische URL-Konstruktion: Anstatt sich durch fünf Landingpages zu klicken, erstellt es Abfrageparameter (z. B.? cuisine=italian&party_size=4), um direkt zu den Ergebnissen zu gelangen.
   • Kontextuelle Extraktion: Es identifiziert „Karten“ in der Benutzeroberfläche, um Bewertungen, Preise und Zeitfenster zu extrahieren, ohne dass spezielle HTML-Tags erforderlich sind.
   • Adaptive Navigation: Es behandelt Popups und Cookie-Banner als „Hindernisse“, die es zu beseitigen gilt, und nicht als Fehler, die das Skript zum Absturz bringen.
2. Der Buchungsagent (Transaktion): Sobald ein Ziel ausgewählt ist, kümmert sich dieser Agent um die zustandsbehaftete, hochpräzise Interaktion.
   
   • Semantische Formabbildung: Es ordnet Benutzerdaten Eingabefeldern zu, die auf Bezeichnungen (Vorname) und nicht auf beliebigen IDs (input #user_fname) basieren.
   • Temporales Denken: Es navigiert durch Zeitwähler und behandelt „ausverkaufte“ Zustände. Es kann logische Funktionen wie die Auswahl eines Termins um 19:15 Uhr ausführen, wenn die angeforderte Uhrzeit um 19:00 Uhr nicht verfügbar ist.

Infrastruktur: TrueFoundry und das Model Context Protocol (MCP)

Für den Betrieb dieser Agenten in der Produktion ist eine robuste Steuerungsebene erforderlich. Wir nutzen die TrueFoundry-Plattform zur Verwaltung der Infrastruktur und der Modellkontextprotokoll (MCP) um die Browserintegration zu standardisieren.

Abbildung 2: Wie TrueFoundry den Anwendungslebenszyklus unterstützt

• TrueFoundry KI-Gateway: Dies bietet die notwendige einheitliche Verwaltung und Beobachtbarkeit. Wir können jeden „Gedanken“, den der Agent hat, zentral überwachen und AOM-Schnappschüsse und Entscheidungsbäume protokollieren. Entscheidend ist, dass es die Ratenbegrenzung durchsetzt und sicherstellt, dass unsere Agenten als gute Bürger agieren und die Zielserver nicht überlasten.
• MCP und Isolierung: MCP abstrahiert die Browserfunktionen in standardisierte Tools. Die Plattform stellt sicher, dass jede Benutzersitzung in einem isolierten Container ausgeführt wird. Das bedeutet, dass die Sitzungscookies und der lokale Speicher von Benutzer A physisch von denen von Benutzer B getrennt sind, wodurch das Risiko einer Datenkreuzkontamination ausgeschlossen wird.

Benutzererfahrung: Betreute Autonomie

Für transaktionale Workflows implementieren wir eine „Überprüfen und dann ausführen“ Muster. Der Agent übernimmt die schwere Arbeit der Entdeckung, benötigt jedoch vor der endgültigen Ausführung eine Bestätigung durch einen Menschen.

Schritt 1: Absicht und Entdeckung

Das System akzeptiert Eingaben in natürlicher Sprache und normalisiert sie in strukturiertes JSON (Location, Time, Party Size) für den Suchagenten.

Schritt 2: Das Bestätigungstor

Sobald der Buchungsagent einen Slot gefunden hat, pausiert er. Es präsentiert dem Benutzer die Details und wechselt in den WAIT-Status. Der Vorgang wird erst fortgesetzt, nachdem ein klares Signal empfangen wurde.

Engineering für Randfälle: Das WAF-Problem

Der kritischste Test eines Webagenten ist seine Fähigkeit, „Human-in-the-Loop“ -Szenarien (HITL) zu bewältigen. Moderne Websites verwenden häufig Web Application Firewalls (WAFs), die CAPTCHAs oder E-Mail-Bestätigungscodes auslösen, wenn sie eine Automatisierung erkennen.

Ein Standardskript schlägt hier fehl. Unser System verwendet eine State Machine anhalten und fortsetzen.

Abbildung 3: Zustandslogik für die Ausnahmebehandlung

Wie in der Abbildung oben (Schritte 7—11) beschrieben, gilt Folgendes, wenn der Agent eine Abfrageaufforderung erkennt:

1. Es stoppt die Ausführung und benachrichtigt den Benutzer über die Chat-Oberfläche.
2. Die Browsersitzung bleibt aktiv (wird innerhalb der TTL des Containers verwaltet).
3. Sobald der Benutzer den Code eingegeben hat, nimmt der Agent die Sitzung nahtlos wieder auf, um die Buchung abzuschließen.

Fazit: Webbetrieb

Wir wechseln von „Web Scraping“ zu „Web Operating“. Indem wir Playwright für die „Hände“ und semantische Inferenz für die „Augen“ nutzen, können wir das menschenorientierte Web als programmatische Oberfläche behandeln.

Dieser Beschleuniger zeigt, dass mit der richtigen Architektur — semantische Interpretation, statusbehaftete Orchestrierung und sichere Infrastruktur wie Wahre Gießerei—wir können belastbare Automatisierungen entwickeln, die die API-Lücke schließen.

Entdecken Sie TrueFoundry Accelerators