Wat zijn modelkaarten en waarom zijn ze belangrijk?

Een machine learning-model is op zichzelf een black box: een verzameling gewichten die output genereert, zonder enige informatie over waarvoor het is getraind, hoe goed het werkt of waar het niet moet worden gebruikt. Een modelkaart vult dat gat. Het is een beknopt document dat met het model meereist en de essentiële feiten vastlegt die iemand nodig heeft om het verantwoord te gebruiken.

Naarmate modellen vaker worden gedeeld, hergebruikt en ingezet in situaties met grote belangen, is dit soort documentatie essentieel geworden. Met een modelkaart kan een gebruiker snel het doel, de prestaties en de beperkingen van een model begrijpen en beslissen of het aan hun behoeften voldoet. Deze gids legt uit wat modelkaarten zijn, wat ze bevatten en waarom ze belangrijk zijn.

We behandelen de definitie, de gebruikelijke inhoud, hoe ze bijdragen aan verantwoorde AI en wanneer je ze moet gebruiken.

Wat is een modelkaart?

Een modelkaart is een gestandaardiseerd document dat de belangrijkste kenmerken van een machine learning-model beschrijft: het beoogde doel, hoe het is getraind, hoe het presteert onder relevante omstandigheden, en de bekende beperkingen en risico's. Het is bedoeld om het model overal te vergezellen, zodat iedereen die ermee in aanraking komt, de context krijgt die nodig is om het op de juiste manier te gebruiken.

Zie het als het voedingsetiket op etenswaren of de specificatielijst van een apparaat. Je wilt immers niets consumeren of installeren zonder informatie over wat erin zit of hoe het zich gedraagt. Een modelkaart is dat etiket voor een AI-model; het vat in een consistente, leesbare vorm samen wat het is en hoe het presteert.

Het kernidee is gestandaardiseerde transparantie. Door telkens dezelfde categorieën informatie te documenteren, maken modelkaarten het eenvoudig om modellen te begrijpen en te vergelijken, en om te zien waar een model mogelijk niet geschikt voor is.

Wat bevat een modelkaart?

Een modelkaart verzamelt de essentiële feiten over een model in consistente secties.

• Overzicht. Wat het model doet en wie het heeft gebouwd.
• Beoogd gebruik. De taken en omgevingen waarvoor het is ontworpen, en situaties die vermeden moeten worden.
• Trainingsdata. Op welke data het model is getraind, op hoofdlijnen.
• Prestaties. Hoe goed het model presteert, idealiter voor verschillende groepen of onder diverse omstandigheden.
• Beperkingen en risico's. Bekende zwakheden, vooroordelen en ethische overwegingen.

Goede modelkaarten rapporteren prestaties niet alleen in het algemeen, maar ook voor relevante subgroepen en omstandigheden, zodat verborgen zwakheden zichtbaar worden. Ze zijn geschreven om begrepen te worden door een breed publiek, niet alleen door het team dat het model heeft gebouwd, omdat de mensen die beslissen of ze een model gaan gebruiken vaak niet de makers ervan zijn.

Modelkaarten en verantwoorde AI

Modelkaarten zijn een praktisch hulpmiddel voor verantwoorde AI. Door het beoogde gebruik, de prestaties en de beperkingen van een model expliciet te maken, helpen ze misbruik te voorkomen, zoals het toepassen van een model op een taak of populatie waarvoor het nooit is gevalideerd. Ze brengen bekende vooroordelen en risico's aan het licht, zodat gebruikers deze kunnen afwegen voordat ze tot implementatie overgaan.

Ze ondersteunen ook verantwoording en, in toenemende mate, naleving van regelgeving. Naarmate AI-regulering toeneemt, wordt documentatie over hoe een model is gebouwd en getest een vereiste, en modelkaarten bieden hiervoor een kant-en-klaar formaat. Ze veranderen transparantie van een vaag doel in een concreet, herhaalbaar document dat elk model vergezelt.

Waarom zijn modelkaarten belangrijk?

• Transparantie. Ze maken het gedrag en de grenzen van een model inzichtelijk.
• Verantwoord gebruik. Ze helpen mensen modellen op de juiste manier toe te passen.
• Vergelijking.Standaardsecties maken modellen eenvoudig vergelijkbaar.
• Verantwoording. Ze documenteren beslissingen voor latere evaluatie.
• Naleving. Ze ondersteunen de groeiende eisen op het gebied van documentatie.

Wat zijn de uitdagingen?

• Inspanning. Het schrijven van een grondige kaart kost echt werk.
• Eerlijkheid. Kaarten zijn alleen nuttig als beperkingen openhartig worden gerapporteerd.
• Onderhoud. Deze moeten worden bijgewerkt naarmate het model verandert.
• Volledigheid. Hiaten kunnen een vals gevoel van zekerheid geven.

Wanneer moet je modelkaarten gebruiken?

Gebruik modelkaarten telkens wanneer een model wordt gedeeld, hergebruikt of ingezet; dit geldt voor de meeste modellen die de experimentele fase van een individu overstijgen. Ze zijn vooral belangrijk voor modellen die worden gebruikt in risicovolle domeinen of door anderen dan de makers zelf, waarbij inzicht in de beperkingen en het beoogde gebruik cruciaal is voor een veilig gebruik.

Zelfs voor interne modellen is een modelkaart een goede gewoonte, omdat deze de context bewaart die anders na verloop van tijd verloren gaat. Telkens wanneer een model belangrijk genoeg is om op te vertrouwen, is het de moeite waard om dit te documenteren met een modelkaart.

Kernpunten over modelkaarten

• Een modelkaart documenteert het doel, de opbouw en de prestaties van een model.
• Het legt het beoogde gebruik, de beperkingen en de risico's vast.
• Het reist mee met het model als een gestandaardiseerd dossier.
• Het ondersteunt verantwoord gebruik, vergelijking en verantwoording.
• Goede kaarten rapporteren prestaties over verschillende groepen en omstandigheden heen.
• Ze zijn van belang telkens wanneer een model wordt gedeeld of ingezet.

Conclusie

Een modelkaart is de documentatie die mensen in staat stelt een model verantwoord te gebruiken, door vast te leggen wat het doet, hoe het is gebouwd, hoe goed het presteert en waar het niet moet worden gebruikt. Net als een voedingswaardelabel voor AI reist het mee met het model en maakt het de werking en beperkingen ervan transparant. Naarmate modellen op grotere schaal worden gedeeld en ingezet, zijn modelkaarten een hoeksteen geworden van verantwoorde AI.

TrueFoundry helpt teams bij het beheren en inzetten van modellen op hun eigen infrastructuur, inclusief de documentatie en governance die het gebruik van modellen transparant en verantwoord houden. Wanneer modellen verder gaan dan een enkel experiment, is een modelkaart de manier waarop de context met hen meereist.