Posted in 2010

Een onderdeel van de beveiliging van het digitale tentamen is dat men zeker wil weten dat het tentamen vanuit de tentamenzaal is gemaakt. Nu zal dit binnen de techniek best te regelen te zijn, maar volgens mij kan het ook ‘the old fashioned way’. Door het tentamen alleen beschikbaar te maken voor degenen die zich daadwerkelijk in de zaal bevinden. Wanneer er verschillende sessies zijn van hetzelfde tentamen kan op deze manier het tentamen per sessie alleen voor de aanwezigen bij de betreffende sessie opengesteld worden.

Het voorbeeld dat ik beschrijf gaat om een tentamen in Blackboard, maar geldt ook voor Maple TA toets in Bb.

Ter voorbereiding op het tentamen dient de docent zijn tentamen (Assignment) middels Adaptive Release beschikbaar te zetten voor een of meerdere groepen. Voor iedere sessie wordt een toetsversie verbonden aan een (nog lege) groep. In het menu van Adaptive Release kan de docent kiezen of alle resultaten in dezelfde kolom in het grade center worden gezet. Dit voorkomt versnippering van de resultaten.
Daarnaast maakt de docent per sessie een ‘sign-up list’ aan in Bb. Er kunnen meerdere lijsten per sessie worden aangemaakt, zodat de studenten zich bij meerdere surveillanten kunnen aanmelden. Let op: de Sign up list moet unavailable zijn voor studenten.

Bij binnenkomst in de tentamenzaal, meldt de student zich bij de surveillant. De surveillant vinkt de student aan op de sign-in lijst als zijnde aanwezig en controleert de collegekaart.

Bij aanvang van het tentamen worden de sign up lijsten gekoppeld aan de groep van de betreffende tentamensessie en alle aanwezigen hebben vervolgens toegang tot het tentamen.

Zoals ik al eerder blogde kunnen we op de TU Delft in Blackboard een beveiliging instellen op een toets. Dit houdt in dat tijdens de toets geen andere applicaties opgestart kunnen worden. Het activeren van de Lockdown Browser (LDB ) is simpel en kan door de docent eenvoudig worden uitgevoerd.

Eind januari werd op IO opnieuw een tentamen afgenomen met gebruik van de LDB. Een tweetal hertentamensessies in de ochtend en een drietal tentamensessies in de middag, waarin twee deeltentamens werden afgenomen. De leerpunten van de vorige keer waren meegenomen:

1. Bij elke computer lag een handleiding waarop vermeld stond hoe het tentamen gestart diende te worden.
2. Het course menu en de ‘Assignment’-map waren vooraf opgeschoond, zodat het tentamen eenvoudig te vinden was binnen de course.
3. 3 attempts waren ingesteld om te voorkomen dat wanneer een toets om een of andere reden werd afgebroken, de student een nieuwe versie kon starten, zonder te hoeven wachten op het verwijderen van zijn 1e poging door een van de surveillanten.
4. Randomisatie van de vragen was uitgeschakeld.

Wachtwoorden 

Bij de opzet van dit tentamen was gekozen om in de Bb-toets geen wachtwoord te zetten, omdat het prompten op twee wachtwoorden achter elkaar (eerst van de LDB en daarna van de Bb-toets) vorige keer wat verwarrend werkte. Tijdens de ochtendsessies bleek echter dat in dit geval (als er geen wachtwoord op de Bb-toets staat) de LDB ook niet vraagt om een wachtwoord. Daarop is voor de middagsessies alsnog een wachtwoord op de Bb-toets gezet.
Als het LDB wachtwoord is ingegeven door de student, vult Bb automatisch het Bb-toetswachtwoord in, zodat je dan alleen nog op ‘submit’ hoeft te drukken om de toets te openen.

Inloggen op computer

In de computerzalen kunnen studenten met hun eigen NetID inloggen op de pc. Het gebruik van hun eigen profiel leverde zo af en toe problemen op:

• Bij twee studenten werd het lettertype in de toets dusdanig klein dat de toets niet langer leesbaar was
• Bij een enkeling bleek de LDB niet in de programmalijst te staan
• Bij sommigen starten MSN of andere applicaties automatisch op. Deze moeten gesloten worden voordat de LDB start (LDB geeft dit zelf aan)

Verder hadden sommige studenten het probleem dat bij het verlaten van het eerste deeltentamen de programmabalk verdween. Om het tweede deeltentamen op te starten moest het systeem opnieuw starten (log off – log on). Dit leidde bij de studenten tot twijfel of het eerste deeltentamen wel opgeslagen was.

Om de omgeving beter controleerbaar te maken is het handiger om met functionele accounts te werken. In het ideale geval worden deze functionele accounts opgeschoond tussen de verschillende tentamensessies, maar daarvan is het de vraag of dat praktisch haalbaar is.

Beveiligd vs onbeveiligd

Door omstandigheden (LDB-client bleek niet in alle zalen geinstalleerd:oops:) heeft een groep studenten buiten de LDB om moeten werken. Hiervoor diende in Bb een aparte tentamensessie te worden aangemaakt, omdat buiten de LDB de Bb-toets niet kan worden gestart. In deze tentamensessies werd slechts 1 poging toegestaan. De bovengenoemde problemen bij deze groep bleken aanzienlijk minder dan in de ‘beveiligde’ groep. Slechts van 2 van de circa 100 studenten moesten de docent de toets opnieuw beschikbaar stellen, omdat hij was vastgelopen. In de ‘beveiligde’ groep waren aanzienlijk meer studenten die een herstart moesten maken.

Omdat de ‘beveiligde’ groep te zien kreeg dat 3 pogingen toestaan waren, dachten zij dat zij bij een ‘fail’-score het tentamen nogmaals mochten maken. Het inzetten van meerdere attempts is vanuit beheer oogpunt dus wel gewenst (de resultaten van de sessie die is afgebroken hoeven namelijk niet te worden verwijderd voordat een nieuwe sessie kan worden gestart), maar het is verwarrend voor de studenten.

Conclusie

Het is nog wel duidelijk dat het digitaal toetsen nog zeker zijn ‘zweethandjes’ moment heeft bij de start van iedere sessie. De computers in de standaard computerzalen zijn niet altijd ‘stabiel’ genoeg voor de tentamensetting. Een extra argument voor ‘dedicated’ tentamenzalen.