TrueFoundry Accelerator-serie: Robuuste web-automatisering bouwen wanneer er geen API's bestaan

‍

Het API-gat

Het is een herkenbaar scenario om 10 uur 's ochtends voor operationele teams: een kritieke workflow moet worden geautomatiseerd — het verifiëren van leveranciersvoorraden, het uitvoeren van concurrentie-analyses voor prijzen of het veiligstellen van reserveringen — maar het doelplatform biedt geen programmatische toegang.

Hoewel we in een tijdperk van connectiviteit leven, vergrendelen veel waardevolle platforms hun gegevens achter "digitale slotgrachten". Ze hebben geen openbare API's, waardoor ontwikkelaars moeten terugvallen op web scraping. Traditionele scraping is echter berucht kwetsbaar. Het leunt op "breekbare selectors" — hardcoded CSS-paden of XPaths (bijv. div.btn-primary) die breken zodra een frontend-ontwikkelaar een class-naam wijzigt in btn-submit.

Om dit aan te pakken, hebben we de Restaurant Booking Automation Accelerator gebouwd. Het is een referentie-implementatie voor een nieuwe klasse van automatisering: robuuste agents die het web niet alleen "scrapen", but het ook bedienen.

De verschuiving: van selectors naar semantische intentie

De belangrijkste innovatie in deze accelerator is de overstap van het Document Object Model (DOM) naar het Accessibility Object Model (AOM).

In een traditioneel script mislukt de automatisering als een knop van een zijbalk naar een koptekst verhuist. In dit agentische systeem bieden we de inference-engine een momentopname van de Accessibility Tree. Dit is een semantische representatie van de pagina, ontworpen voor schermlezers, die lay-out-divs verwijdert om de kernfunctionaliteit van de interface te onthullen.

Hiermee kan het systeem redeneren op basis van intentie in plaats van coördinaten: "Ik zie een kalender-widget; ik klik op de datum '15e' omdat dat overeenkomt met het verzoek van de gebruiker." Als de site een herontwerp ondergaat maar de semantische rol van de knop "Boeking bevestigen" blijft, herstelt de agent zichzelf en slaagt de workflow.

Architectuur: Het Controller-Worker-patroon

We hebben de applicatie gestructureerd met behulp van een gespecialiseerd Controller/Worker-patroon. In plaats van een monolithisch script hebben we afzonderlijke agents die Playwright gebruiken voor de uitvoering en LLMs voor de besluitvorming.

Afbeelding 1: High-Level Architectuur

Zoals getoond in het architectuurdiagram beheert de Workflow Controller de status, waarbij taken worden gedelegeerd aan twee gespecialiseerde componenten:

1. De Search Agent (Discovery): Deze agent beheert de niet-lineaire "winkel"-fase.
   
   • Dynamische URL-constructie: In plaats van door vijf landingspagina's te klikken, bouwt deze queryparameters (bijv. ?cuisine=italian&party_size=4) om rechtstreeks naar de resultaten te navigeren.
   • Contextuele extractie: Deze identificeert "kaarten" in de UI om beoordelingen, prijzen en tijdsloten te extraheren zonder specifieke HTML-tags nodig te hebben.
   • Adaptieve navigatie: Deze behandelt pop-ups en cookiebanners als "obstakels" die moeten worden gesloten in plaats van fouten die het script doen crashen.
2. De Booking Agent (Transactie): Zodra een doel is geselecteerd, verwerkt deze agent de statusvolle interactie met hoge precisie.
   
   • Semantische formulierenmapping: Deze mapt gebruikersgegevens naar invoervelden op basis van labels (Voornaam) in plaats van willekeurige ID's (input#user_fname).
   • Temporeel redeneren: Deze navigeert door tijdselecteurs en verwerkt "uitverkocht"-statussen, en is in staat tot logica zoals het selecteren van een slot om 19:15 uur als de gevraagde 19:00 uur niet beschikbaar is.

Infrastructuur: TrueFoundry & het Model Context Protocol (MCP)

Het draaien van deze agents in productie vereist een robuust control plane. We gebruiken het TrueFoundry Platform om de infrastructuur te beheren en het Model Context Protocol (MCP) om de browserintegratie te standaardiseren.

Afbeelding 2: Hoe TrueFoundry de levenscyclus van de applicatie ondersteunt

• TrueFoundry AI Gateway: Dit biedt het benodigde gecentraliseerde beheer en de waarneembaarheid. We kunnen elke "gedachte" van de agent centraal monitoren, en AOM-snapshots en beslisbomen vastleggen. Cruciaal is dat het rate limiting afdwingt, wat ervoor zorgt dat onze agents zich netjes gedragen en doelservers niet overbelasten.
• MCP & Isolatie: MCP abstraheert de browsermogelijkheden naar gestandaardiseerde tools. Het platform zorgt ervoor dat elke gebruikerssessie in een geïsoleerde container draait. Dit betekent dat de sessiecookies en lokale opslag van Gebruiker A fysiek gescheiden zijn van Gebruiker B, wat het risico op kruisbesmetting van gegevens elimineert.

Gebruikerservaring: Gevulde autonomie (Supervised Autonomy)

Voor transactionele workflows implementeren we een "Verify-then-Execute"-patroon. De agent voert het zware werk van de discovery uit, maar vereist menselijke bevestiging voor de definitieve uitvoering.

Stap 1: Intentie & Discovery

Het systeem accepteert invoer in natuurlijke taal en normaliseert deze naar gestructureerde JSON (Locatie, Tijd, Groepsgrootte) voor de Search Agent.

Stap 2: De bevestigingspoort

Bij het vinden van een slot pauzeert de Booking Agent. Deze presenteert de details aan de gebruiker en gaat in een WAIT-status, om pas verder te gaan na het ontvangen van een duidelijk signaal.

Engineering voor uitzonderingen: Het WAF-probleem

De meest kritische test van een web-agent is het vermogen om om te gaan met "Human-in-the-Loop" (HITL)-scenario's. Moderne sites gebruiken vaak Web Application Firewalls (WAF's) die CAPTCHA's of e-mailverificatiecodes activeren wanneer ze automatisering detecteren.

Een standaardscript faalt hier. Ons systeem gebruikt een Pause-and-Resume State Machine.

Afbeelding 3: Uitzonderingsafhandeling State-logica

Zoals gedetailleerd beschreven in het bovenstaande diagram (Stappen 7-11), wanneer de agent een verificatieverzoek detecteert:

1. Pauzeert deze de uitvoering en informeert de gebruiker via de chat-interface.
2. De browsersessie blijft actief (behouden binnen de TTL van de container).
3. Zodra de gebruiker de code verstrekt, hervat de agent de sessie naadloos om de boeking te voltooien.

Conclusie: Web-bediening

We bewegen van "Web Scraping" naar "Web Operating" (web-bediening). Door Playwright te gebruiken voor de "handen" en semantische inference voor de "ogen", kunnen we het voor mensen bestemde web behandelen als een programmatische interface.

Deze accelerator toont aan dat we met de juiste architectuur — semantische interpretatie, statusvolle orchestratie en veilige infrastructuur zoals TrueFoundry — robuuste automatiseringen kunnen bouwen die het API-gat overbruggen.

Ontdek TrueFoundry Accelerators