Eerste keer toetsen met de Respondus Lock Down Browser in Bb
Deze week is op IO voor het eerst een toets afgenomen met gebruik van de Lock Down Browser die sinds de zomer geinstalleerd staat op Blackboard. In een tijdsbestek van 4 uur moesten 400 studenten de toets maken. Plaats van handeling was Zebrazaal 1 t/m 4 op de begane grond.
De Toetsopzet
De toets bestond uit 10 multiple choice vragen. Deze vragen werden door het gebruik van een ‘random block’ per student getrokken uit een vragenpool van 15 vragen. De vragen werden bovendien in volgorde gerandomiseerd. De toets mocht maar 1 keer door de student gemaakt worden. De toets moest binnen een uur na de start zijn afgerond. Na afronding van de toets kregen de studenten meteen hun score te zien.
De Voorbereiding
In de voorbereiding op het tentamen bleek de browser nog niet geinstalleerd op de pc’s in de zalen, maar een mailtje aan mijn collega’s van WPS loste dit probleem al snel op. Na een eerste test in de zaal kon ik met de docent aan de slag om het tentamen op de juiste manier in Blackboard aan te maken.
De Afname
De afname was verdeeld over vier naast elkaar gelegen zalen. Per zaal van ongeveer 25 studenten werd klassikaal de opstartprocedure medegedeeld. In de eerste zaal hadden 3 studenten problemen, die voor een deel terug te leiden waren naar problemen met hun studentenaccount.
In de tweede zaal werd ongeveer de helft van de studenten geconfronteerd met een runtime error. Wanneer bij de vraag om te ‘debuggen’ op ‘yes’ werd gedrukt, liep de software vast: De lock down browser voorkwam namelijk dat de ‘debugging’ applicatie werd opgestart. Vervelende bijkomstigheid was dat er wel een toetspoging in Bb werd geregistreerd. De docent moest vervolgens eerst de poging uit het gradecenter verwijderen, waarna de toets probleemloos kon worden gestart.
De start van de tweede sessie met 100 studenten verliep beter. Er was inmiddels een korte handleiding voor het starten beschikbaar en de studenten waren erop gewezen, dat zij bij de melding van een runtime error op ‘NO’ moesten drukken.
Een enkele student kreeg bij elke ‘submit’ bij een vraag een runtime error. Deze kon steeds worden weggeklikt en had verder geen gevolgen voor de afname en de registratie van de antwoorden.
Een drietal studenten kon tijdens de toets ineens niet meer verder (1 student al na de eerste vraag, een andere student na vraag 5). Deze poging moest worden verwijderd en de studenten moesten (na een reset van de poging) opnieuw starten met de toets.
Een student probeerde de toets zonder de lock down browser op te starten, maar kwam niet in de toets. En een student probeerde de verkeerde toets te starten. Door de wachtwoord setting op de toets werd dit voorkomen.
De Leerpunten
- Maak een handleiding voor de studenten, waarin staat aangegeven hoe de toets moet worden opgestart binnen de lock down browser.
- Maak in de Bb directory maar 1 toets beschikbaar om verwarring bij studenten te voorkomen.
- Het is niet handig om slechts 1 poging toe te staan te maken bij een toets. Als er iets mis gaat in de toets, moet vervolgens eerst die poging uit het GradeCenter worden verwijderd, voordat de student verder kan. Bovendien blijven de antwoorden die al gegeven zijn bewaard en kan met de student afgesproken worden dat hij of zij in de 2e poging verder gaat met de vragen die hij nog niet gehad heeft.
- Het randomiseren van de volgorde van vragen (in te stellen bij de testoptions in Bb) is niet handig als men door omstandigheden een tweede poging moet doen. Je kunt dan niet met de student afspreken om in de tweede poging verder te gaan waar hij of zij gebleven is.
Conclusie
De docent was enthousiast hoe de toetsmodule in Bb hem in staat stelt om de vragen op een later moment eenvoudig te kunnen hergebruiken. De afscherming van de toets was eenvoudig te regelen en werkte prima.
