EMEA, hallo! TrueFoundry breidt zijn aanwezigheid uit in Europa, het Midden-Oosten en Afrika. Lees meer. →
Krijg direct toegang tot een live TrueFoundry-omgeving. Implementeer modellen, stuur LLM-verkeer aan en verken het volledige platform — je sandbox is binnen enkele seconden klaar, creditcard niet vereist.
.webp)
examroom.ai is een AI-first beoordelingsplatform voor universiteiten, certificeringsinstanties en accreditatieorganisaties. Het platform faciliteert de volledige levenscyclus van examens — van het opstellen van vragen (door het team "items" genoemd) tot het registreren van kandidaten, het surveilleren bij online en offline examens en het direct verstrekken van gecertificeerde resultaten zodra een kandidaat klaar is. Sommige examens duren wel 28 uur. Achter de bewust naadloze ervaring voor de kandidaat schuilt een uitgebreid AI-landschap: meer dan 60 verschillende AI-oplossingen, variërend van computervisie voor het nakijken van antwoordformulieren (OMR) tot grote taalmodellen voor ondersteuning, evaluatie, surveillance, voorspellingen en itemselectie.
Toen examroom.ai deze oplossingen van experimentele fase naar productie bracht voor honderdduizenden gebruikers, verschoof de uitdaging van modelnauwkeurigheid naar AI op schaal exploiteren: observeerbaarheid, governance, kostenbeheersing en vangrails. Deze casestudy beschrijft hoe examroom.ai deze operationele laag heeft gestandaardiseerd op TrueFoundry — door het platform te gebruiken om diensten in uren in plaats van dagen uit te rollen, en door de TrueFoundry AI Gateway te adopteren als het controlepaneel voor observeerbaarheid en governance binnen het gehele AI-landschap.
"AI maakt zaken ingewikkelder als je het niet op de juiste manier gebruikt. Maar het lost problemen op als je het wel op de juiste manier inzet." — Deepak M K, VP, examroom.ai
examroom.ai is vanaf het begin ontworpen met productie in gedachten. "examRoom.ai heeft een productie-eerst mentaliteit," legt Deepak uit. "We ontwerpen de oplossing niet alleen voor experimenten of POC-doeleinden; het moet geschikt zijn voor het productienetwerk. Want in productie is schalen en het oplossen van problemen een heel ander verhaal."
Het team leerde die les al vroeg. In 2021 draaide een objectdetectiemodel (gebaseerd op YOLO en een RCNN-gebaseerde pipeline) voor het monitoren van examenintegriteit zes of zeven uur lang vlekkeloos op een lokale server tijdens tests. In productie liep het echter vast: het model deed er soms wel vijf minuten over om te reageren en het slaagde er niet in de kleine objecten te detecteren die cruciaal zijn voor de examenintegriteit. "We werden onrustig door het vroege succes op de lokale machine," herinnert Deepak zich. "Maar in productie verdwijnt die zekerheid volledig."
Bij het analyseren van het probleem ontdekte het team vier samenhangende factoren: een architectuur die fouten niet snel genoeg zichtbaar maakte voor ontwikkelaars; geen schaalbaar systeem voor het aanbieden van diensten; hard-coded rekenkracht zonder autoscaling; en capaciteitsverwachtingen die onder echte belasting instortten. Naarmate het gebruik toenam, schoten het geheugen- en rekenverbruik onvoorspelbaar omhoog.
Operationeel gezien was de implementatie een uitdaging op zich. Zelfs met beheerde Kubernetes en toegevoegde autoscaling duurde het vijf tot zes dagen om een dienst uit te rollen, en het team hield drie engineers fulltime bezig met alleen ML Ops. "De kosten in productie kunnen uit de hand lopen als je niet de juiste diensten op de juiste manier gebruikt," merkt Deepak op — en op deze schaal waren governance en observeerbaarheid geen optie meer, maar een noodzaak.
De eerste grote verandering was het verplaatsen van de implementatie naar TrueFoundry. In plaats van clusters handmatig te beheren, pusht het team nu containers en regelt het platform de rest.
"Nu hoeven we daar niet meer naar om te kijken, omdat we zijn overgestapt op TrueFoundry. Je hoeft alleen de containers te pushen en het systeem zorgt automatisch voor het opstarten van alle servers met een paar klikken. Je kunt rekenkracht beheren, kosten beheersen en alles visueel inzien. Dat heeft voor ons het verschil gemaakt tussen 6 dagen en minder dan 2 uur."
Die verandering maakte de drie toegewijde ML Ops-engineers vrij om aan het product te werken in plaats van aan de techniek erachter. Vandaag de dag draait examroom.ai 94 diensten op TrueFoundry over productie-, staging-, UAT-, QA- en ontwikkelomgevingen — inclusief GPU-ondersteunde workloads voor OCR, itemgeneratie en detectie — met autoscaling op spot-capaciteit en automatische fallback naar on-demand. Elke service heeft zijn eigen kostenoverzicht, tracking van aanvraagvolume en latentie (P50/P90/P99), pod-status en gecentraliseerde logs, allemaal op één plek.
Nu de implementatie was opgelost, kwam het moeilijkere, meer strategische probleem in beeld: hoe kun je inzicht krijgen en sturen 60+ AI-oplossingen die 500.000 gebruikers bedienen zonder dat iemand vertraging oploopt? Dit is waar examroom.ai de TrueFoundry AI Gateway standaardiseert als het centrale control plane voor zijn modellen, agents en tools.
“Onlangs heeft TrueFoundry ook de gateway geïntroduceerd, waarmee we het gedeelte rondom observability en governance kunnen oplossen.”
Voor examroom.ai is observability geen doel op zich — het is het verschil tussen een kandidaat die uren op een resultaat wacht en een engineer die de hoofdoorzaak binnen enkele minuten oplost. Wanneer een resultaat niet wordt gegenereerd, moet het systeem het team vertellen waarom: was het een probleem met patroonherkenning, of kon het model de vakjes simpelweg niet lezen? Dat onderscheid zorgt ervoor dat de juiste melding bij de juiste beheerder terechtkomt, die vervolgens de juiste engineer inschakelt.
“Voorheen was het begrijpen van het probleem zelf het probleem. Nu ga je gewoon naar de logs, pas je het filter toe en weet je precies wat er aan de hand is — dankzij TrueFoundry, dat je ook direct aangeeft welke actie je moet ondernemen. Je hoeft niet te debuggen of alle logs uit te pluizen. Alles staat recht voor je neus. Je leest het en onderneemt actie.”
Kernpunt: Behandel observability als iets waar je actie op kunt ondernemen, niet alleen als iets om te bekijken — het doel is een aanbevolen actie, geen muur van logs.
Governance wordt vaak gezien als een last voor AI-teams. Deepak ziet dat anders: richt de vangrails vooraf goed in, dan verloopt de governance automatisch.
“Veel mensen zeggen dat AI niet in staat is om governance af te handelen. Maar als je het op de juiste manier gebruikt, komt governance automatisch om de hoek kijken. Creëer de vangrails zoals je ze nodig hebt, en je hoeft de governance helemaal niet meer te beheren.”
Een concreet voorbeeld: examroom.ai beheert een support-assistent voor kandidaten die problemen ondervinden tijdens de registratie of betaling. Een kandidaat die heeft betaald maar geen bevestiging heeft ontvangen, moet precies daarbij geholpen worden — en nergens anders mee. “Wat als hij begint te vragen naar politiek of zijn favoriete eten? Dat is waar de vangrail in beeld komt,” zegt Deepak. “Je geeft alleen antwoord op gerelateerde vragen — het probleem waar de kandidaat tegenaan liep tijdens het registreren of betalen.” De AI Gateway is de plek waar die vangrails consistent worden gedefinieerd en afgedwongen voor alle services, naast de encryptie die examroom.ai gebruikt om examenitems te beschermen, waarvan een lek de integriteit van de toetsing van een hele universiteit in gevaar zou kunnen brengen.
Kernpunt: Codeer governance als afgedwongen vangrails in de gateway, zodat elk model en elke agent automatisch dezelfde richtlijnen overneemt.
Bij 500.000 gebruikers kan één gebruiker tientallen van de 60+ AI-oplossingen tegelijk activeren. De gateway en een microservice-architectuur zorgen ervoor dat examroom.ai soepel kan afschalen — door over te schakelen van drie oplossingen naar twee wanneer er een niet goed functioneert — zonder dat het hele systeem plat komt te liggen. “Zelfs als één service down is, kun je daar actie op ondernemen, maar je algehele services blijven gewoon draaien,” legt Deepak uit. Hetzelfde control plane wordt door het team gebruikt voor het beheren van model-routing, virtuele modellen en de MCP-gateway die de agents met tools verbindt.
Kernpunt: Ontwerp voor fallback op gateway-niveau, zodat verkeer kan worden omgeleid tussen modellen en services zonder het productiesysteem aan te passen.
examroom.ai hanteert een hybride aanpak van RAG en fine-tuning, waarbij geautomatiseerde evaluatie standaard is in plaats van handmatige controle. "Als je naar de tokens kijkt, zijn het er geen paar honderd, maar een paar duizend. Dat is onmogelijk handmatig bij te houden," zegt Deepak. "Dus bouw je een systeem dat zichzelf kan evalueren, en als het misgaat, ben je er natuurlijk om in te grijpen." RAG maakt het eenvoudig om geheugen en vangrails boven op de kennisbank te definiëren; fine-tuning regelt domeinspecifieke terminologie en gestandaardiseerde output.
Gevraagd naar wat het verschil is tussen teams die slagen met AI en teams die worstelen, is het advies van Deepak concreet:
De reis van examroom.ai laat zien dat het moeilijkste deel van AI in productie niet het bouwen van het model is, maar het veilig, inzichtelijk en betaalbaar beheren van een groot aantal modellen op schaal. Door de uitrol te standaardiseren op TrueFoundry en observability en governance te consolideren in de AI Gateway, veranderde examroom.ai een implementatieproces van zes dagen met drie engineers in een push van twee uur. Zo bouwden ze het control plane dat nodig is om meer dan 60 AI-oplossingen voor een half miljoen gebruikers te beheren. Als jij AI opschaalt in productie en behoefte hebt aan observability en governance die gelijke tred houden, neem dan contact op met TrueFoundry.
Het laatste nieuws, artikelen en bronnen in je inbox
