Wat is gefundeerdheid en waarom is het belangrijk?

‍

Wanneer een AI-systeem een vraag beantwoordt met behulp van opgehaalde documenten of aangeleverde context, is de cruciale vraag of het antwoord die bron daadwerkelijk weerspiegelt. Een antwoord kan vloeiend en zelfverzekerd klinken terwijl het stilletjes feiten verzint die nooit in de bron stonden. Groundedness is de maatstaf voor hoe getrouw de output verbonden blijft aan de bron van waarheid, en het is een van de belangrijkste signalen voor het vertrouwen in AI in productieomgevingen.

Groundedness is het belangrijkst in retrieval-augmented systemen, waarbij het hele doel is om te antwoorden op basis van specifieke documenten in plaats van op basis van het geheugen van het model. Als het antwoord afwijkt van die documenten, heeft het systeem gefaald, zelfs als de tekst goed leest. Deze gids legt uit wat groundedness is, hoe het wordt gemeten en waarom het essentieel is voor betrouwbare AI.

We behandelen de definitie, hoe groundedness wordt gescoord, hoe het zich verhoudt tot hallucinaties en wanneer je het moet gebruiken.

Wat is groundedness?

Groundedness is de mate waarin elke bewering in de output van een model wordt ondersteund door een opgegeven bron van waarheid, zoals de documenten die voor een vraag zijn opgehaald of de context die in de prompt is meegegeven. Een volledig gegrond antwoord bevat alleen uitspraken die terug te voeren zijn naar de bron; een ongegrond antwoord bevat beweringen die niet door de bron worden ondersteund, of ze nu verzonnen, aangenomen of uit de eigen trainingsdata van het model afkomstig zijn.

Zie het als een student die een openboekexamen maakt. Een gegronde student antwoordt alleen met wat in het boek staat en kan voor elke bewering naar de juiste pagina verwijzen. Een ongegronde student schrijft zelfverzekerde antwoorden uit het hoofd die al dan niet overeenkomen met het boek. Bij groundedness draait het om de vraag: kan elke uitspraak in de bron worden teruggevonden?

Het kernidee is getrouwheid aan de bron, niet correctheid in abstracte zin. Een antwoord kan feitelijk juist zijn in algemene zin, maar toch ongegrond als de verstrekte bron het niet ondersteunt, omdat het systeem geacht werd vanuit die bron te antwoorden en in plaats daarvan verder ging dan dat.

Hoe wordt groundedness gemeten?

Groundedness wordt gescoord door elke bewering in de output te vergelijken met de broncontext.

• Verzamel de bron. Verzamel de opgehaalde documenten of de context waarop het antwoord gebaseerd moet zijn.
• Extraheer beweringen. Splits de output op in individuele feitelijke uitspraken.
• Controleer elke bewering. Test of de bron de bewering ondersteunt, tegenspreekt of er geen informatie over bevat.
• Score. Bereken het aandeel beweringen dat door de bron wordt ondersteund.
• Markeer hiaten. Identificeer niet-ondersteunde beweringen als mogelijke hallucinaties.

In de praktijk wordt deze controle vaak geautomatiseerd met behulp van een ander model als beoordelaar, dat de bron en het antwoord leest en beoordeelt in hoeverre elke bewering wordt ondersteund. Teams houden de resulterende score voor onderbouwing in de loop van de tijd bij om regressies op te sporen en wijzigingen in retrieval of prompting te vergelijken.

Onderbouwing vs. hallucinatie vs. relevantie

Hallucinatie is de foutmodus: een output bevat beweringen die niet door de bron of de werkelijkheid worden ondersteund. Onderbouwing is de positieve maatstaf van het tegenovergestelde: in hoeverre de output wordt ondersteund. Een lage score voor onderbouwing is een direct signaal dat er sprake is van hallucinatie.

Relevantie is een andere as. Een antwoord kan perfect onderbouwd zijn door de bron, maar toch niet ingaan op de daadwerkelijke vraag van de gebruiker, en een relevant antwoord kan nog steeds ongefundeerd zijn. Goede systemen hebben beide nodig: antwoorden die relevant zijn en trouw blijven aan de bron. Onderbouwing bewaakt specifiek de kant van de betrouwbaarheid.

Waarom is onderbouwing belangrijk?

• Vertrouwen.Onderbouwde antwoorden kunnen worden geverifieerd aan de hand van hun bron.
• Hallucinatiecontrole. Het detecteert direct niet-ondersteunde beweringen.
• Naleving.In gereguleerde sectoren moeten antwoorden herleidbaar zijn naar documenten.
• Foutopsporing. Lage scores wijzen op problemen met retrieval of prompting.
• Kwaliteitscontroles. Het biedt een metriek om slechte releases tegen te houden.

Wat zijn de uitdagingen?

• Beoordelingskosten. Het scoren van elke bewering aan de hand van bronnen kost rekenkracht of menselijke inspanning.
• Betrouwbaarheid van de beoordelaar. Een geautomatiseerde beoordelaar kan zelf ook fouten maken.
• Gedeeltelijke ondersteuning. Beweringen worden soms slechts gedeeltelijk ondersteund door de bron.
• Geen correctheid. Een gefundeerd antwoord kan nog steeds onjuist zijn als de bron onjuist is.

Wanneer moet je gefundeerdheid meten?

Meet gefundeerdheid wanneer een AI-systeem geacht wordt antwoord te geven op basis van specifieke bronnen; dit geldt voor de meeste RAG-systemen (retrieval-augmented generation) en systemen voor het beantwoorden van vragen over documenten. Het is essentieel in sectoren met hoge belangen, zoals de gezondheidszorg, financiën en de juridische sector, waar een niet-onderbouwde bewering echte schade kan aanrichten en waar antwoorden herleidbaar moeten zijn naar hun bron.

Als je systeem puur generatief en creatief moet zijn, zonder dat er een bron van waarheid is om aan vast te houden, is gefundeerdheid minder relevant. Maar zodra het doel is om antwoord te geven op basis van verstrekte informatie, is gefundeerdheid een kernstatistiek om bij te houden.

Kernpunten over gefundeerdheid

• Gefundeerdheid meet in hoeverre een output wordt ondersteund door de bron.
• Een gefundeerd antwoord doet alleen beweringen die door de bron worden ondersteund.
• Het is het belangrijkste signaal voor het detecteren van hallucinaties.
• Het wordt gescoord door elke bewering te controleren aan de hand van de context.
• Het verschilt van relevantie, wat gaat over antwoorden die on-topic zijn.
• Het is essentieel voor betrouwbare RAG in productieomgevingen.

Conclusie

Gefundeerdheid is de maatstaf voor hoe getrouw een AI-output wordt ondersteund door de bron van waarheid. Het is het duidelijkste signaal of een systeem antwoordt op basis van zijn documenten of stilletjes hallucineert, wat het cruciaal maakt voor het bouwen van AI waar mensen op kunnen vertrouwen. Door elke bewering te scoren tegen de verstrekte context, kunnen teams niet-onderbouwde uitspraken opvangen voordat ze de gebruikers bereiken.

TrueFoundry helpt teams bij het bouwen en evalueren van retrieval-augmented systemen op hun eigen infrastructuur, inclusief de gefundeerdheidscontroles die ervoor zorgen dat antwoorden trouw blijven aan hun bronnen. Wanneer betrouwbaarheid ertoe doet, is het meten van gefundeerdheid de manier om AI eerlijk te houden.