Meta 's blog over ICT in onderwijs en meer
Students positive about exam on computer
Review of written exams is a burden to lot of our teaching staff. In a lot of cases the students’ handwriting is hard to read and corrections made by students turn reviewing into a jigsaw puzzle trying to piece together the answers in partially crossed texts, footnotes or by following the arrows.
At TPM a lecturer contacted the IT department, asking about possibilities to have students take their exam on the computer in a secure environment. And so last January and April (re-exams) his students took the exam behind the computer, typing their answers into a protected Word-document in a secure environment: no access to the internet, other applications or network locations. The questions and the articles used in the exam were presented on screen in one and the same Word document. The answers needed to be typed into a text box beneath each question. These text boxes had a fixed size and students were not able to change formatting in these boxes.
Afterwards, a survey was held amongst participants, asking them about their experience with this kind of exams. More than 80% of the participants responded (n=96) and overall their response was positive. In general they preferred typing over writing. Many respondents said it saved time and cramped hands. About 10 percent of the responds stated they preferred a written exam, mostly because they found it harder to read from a computer screen. 39% of the responds stated that they would have preferred to get the articles they had to read on paper, so they could highlight parts of the text or add comments helping them to answer the questions more easy.
When asked if they would prefer other courses to also take exams on the computer, 41% said they like to have more exams on the computer. 52% was positive, but said it should depend on the type of exam (for instance: no sketching or elaborate calculations). Some students mentioned that typing the answers helped them to formulate their answers better, since they could refrase and correct their answers easier and more clear.
An important disadvantage the respondents reported was the noise of typing in the exam room. Some advised to hand out earplugs others advised to install a more silent type of keyboard. Students also preferred having a spelling checker available.
Overall students appreciated this way of examination and they think it suits modern time.
MapleTA – developments over the summer
The past couple of months digital examination in Maple TA has made a giant leap forwards. The server is upgraded to accommodate 750 students taking an exam concurrently. The security level has significantly improved and tested and we have been able to create two large exam rooms containing respectively 225 and 250 seats. During the first week of October first year students in Mechanical Engineering and Maritime Engineering inaugurated the new setting, taking mid terms each day.
- Computer exam room “Drebbelweg 2”
Momentum
At the end of June the board of education directors requested a pilot to show whether it would be possible to scale the MapleTA exam system to 700 concurrent students. This boosted the existing project ‘digital testing campus wide’ towards ‘a grand finale’. All the necessary disciplines, Education and Student Affairs (Scheduling Affairs), Facility Management, Teaching Staff, IT operations and IT development got together to discuss the whole process of digital testing and find solutions to the defined problems.
Exam rooms
The former PMB hall in IO was transformed into 3 concatenated rooms with a total of 225 seats and exam room Drebbelweg 2 was chosen to be converted into a computer exam room with 250 seats. PMB hall has pc’s that can be used for both education and exams. During an exam period the pc rooms are not available for other activities, so IT can guarantee the hardware is checked and repaired if necessary. Drebbelweg 2 is equipped with laptops and an upgrade of the wireless network. This exam room will be converted to a digital exam room during exam periods.
These exam rooms are available for all faculties.
Security
A complete new secure environment was designed, tested and implemented. The exam server can only be reached through a secure connection, https and is only available from within the campus network. This secure layer prevents students from using internet, home directories or other applications, students can only login to the computer with the exam account and the exam can only be made from the exam room.
At the moment it is only possible to run MapleTA in this secure environment. We plan to add applications to this environment so they can be used within this secure environment either with or without MapleTA.
Inauguration
After summer long working hard to get everything in place. Monday, 1 October, at nine in the morning, the first group of 460 3mE students took a test in Calculus. Though there were some problems getting started, the exam session ran quite smooth. Establishing that the concept worked. On tuesday and wednesday some server capacity issues became apparent. Causing up to 15% of the students to turn to a paper copy. Fortunately the last two exams ran smoothly.
Curious?
If you would like to know more about the new situation or digital testing in general, don’t hesitate to contact me.
Ontwikkelingen met MapleTA – digitaal toetsen
De ontwikkelingen ten aanzien van MapleTA gaan snel. Daarom wil ik jullie middels deze blogpost informeren over de volgende onderwerpen:
- Extra mankracht
- Nieuwe functionaliteit
- Workshops in januari
- Gebruikersmiddag
Extra mankracht
Het gebruik van MapleTA groeit gestaag. Ook de organisatie rondom digitale toetsen is groeiend. Per 1 januari wordt E-learning support uitgebreid met een high level support medewerker. Deze nieuwe medewerker wordt Functioneel Applicatie Beheerder voor MapleTA. Zij gaat, samen met mij, de ondersteuning door E-learning support verder uitbouwen en ervoor zorgen dat hun kennis en ervaring met het pakket geborgd wordt. Daarnaast wordt gedurende 1 jaar vanuit ICT/O&S extra mankracht (0.7 FTE) ingezet, om ondersteunende materialen voor docenten op te stellen en de meer geavanceerde opties van MapleTA breder te implementeren en zo de inzet van MapleTA in het onderwijs te optimaliseren.
Nieuwe functionaliteit
Begin januari wordt de nieuwe versie van MapleTA (versie 8) geïnstalleerd. De belangrijkste nieuwe functionaliteit
- Een proctored exam kan beter beveiligd worden (Windows machine):
- Het tentamen kan alleen vanaf bepaalde IP-adressen gemaakt worden
- Een lock down browser voorkomt dat tijdens de toets een andere applicatie kan worden gestart. (IE)
- Een nieuw vraagtype ‘adaptive question’:
- Hoofd- en deelvragen worden mogelijk (Je stelt de hoofdvraag. Student krijgt 1 of meer pogingen om deze vraag te beantwoorden. Lukt dat niet, dan wordt de vraag opgesplitst in deelvragen, die de strategie prijsgeven om de hoofdvraag uiteindelijk toch beantwoord te krijgen.
- Wanneer je een opgave hebt met deelvragen, kan je per deelvraag een aantal pogingen geven om het juiste antwoord te geven. Lukt dat niet, dan wordt het antwoord gegeven en kan dit in een verdere oplossing van de opgave gebruikt worden.
- Tijdens de toets wordt de naam van de student en zijn studienummer groot in beeld weergegeven, zodat dit tijdens een tentamen goed zichtbaar is voor de surveillanten.
- Toegevoegde toets optie: ‘prohibit back tracking’: De student kan niet terug naar eerdere opgaven.
Tijdens de workshops in januari en op de gebruikersmiddag zal deze nieuwe functionaliteit (ook) toegelicht worden.
Workshops MapleTA
In januari wordt een korte reeks aan workshops gegeven. Iedere workshop heeft een specifiek thema en is vooral op de praktijk gericht: Docenten of hun studentassistenten kunnen heel concreet aan de slag. De workshops zijn bedoeld voor docenten die al activiteiten in MapleTA doen.
- Do 12 januari: Toetsopties en Grade Book (studentresultaten en itemanalyse)
- Do 19 januari: Itembanken, metadata en samenstellen van een toets
- Vr 27 januari: Toetsvragen maken (gebruik van randomisatie en templates)
De workshops beginnen om half 1 (tot 2 uur). Locatie: Faculteit IO, Begane Grond: Zebrazaal 1. Deelname is gratis.
Aanmelden bij m.a.keijzer-deruijter@tudelft.nl
U kunt ook kiezen voor een eendaagse workshop, Inleiding Maple T.A. en Digitaal Toetsen, die de leverancier organiseert. Deze staan momenteel gepland voor:
- 16 January 2012, 10.30-17.00 (Enschede)
- 19 January 2012, 10.30-17.00 (Rotterdam)
- 27 January 2012, 10.30-17.00 (Amsterdam)
Deelname aan deze workshops is gratis. Aanmelden via http://www.candiensten.nl/events/details.php?id=19#agenda
Gebruikersmiddag MapleTA
Op vrijdag 10 februari wordt van 12 tot 17 uur de landelijke gebruikersmiddag voor MapleTA georganiseerd. Dit evenement vindt plaats in Delft. Deelname is gratis.Voor het programma en aanmelden voor dit evenement, verwijs ik u naar de website van Can Diensten: http://www.candiensten.nl/events/details.php?id=85
How do I add or edit questions in my 2011 – 2012 MapleTA class
As mentioned in an earlier post. There was a change in set up using MapleTA in combination with Blackboard.
Teaching staff will notice that in the fresh MapleTA classes they will no longer be able to edit questions. And, when creating new questions, they will not be able to add the questions to existing question groups.
In order to easily reuse questions year after year, we’ve created Parent classes for each active MapleTA class of 2010 -2011. New questions should be added in the parent class and existing questions can only be edited in the parent class. In this blogpost I will describe how to get to this parent class, from the child class.
- Go to your Blackboard course and select ‘MapleTA Instructor Menu’ under ‘Course tools’. Now you enter the so called ‘child class’
- Go to a new tab in your browser and type https://mapleta1.tudelft.nl:8443/mapleta/
You are now on the MapleTA home page were you will see all MapleTA classesyou have access to. - Go to the ‘Parent’-version of your class by selecting the class that has “- Parent’ added to the class name
- You now can add, edit or delete questions in your question repositor. Any changes are immediately visible in the corresponding child classes.
For more information on the implications of using Parent and Child classes in MapleTA is available in the online manual to be found under ‘Help” in MapleTA
Preparing MapleTA classes for the new academic year
At the moment we are busy preparing the MapleTA classes connected to last years Blackboard courses for the start of the new academic year. As the new Blackboard courses are being created each summer, so will the corresponding MapleTA classes be ‘renewed’.
In order to improve MapleTA’s functionality we are introducing a slightly different way of working with MapleTA connected to Blackboard. This routine improves
- re-use of questions over the years
- re-use of assignments
- sharing questions with different Bb-courses (for example the Math Question Bank)
- item analysis over all child classes
- class management
The following scheme illustrates the way MapleTA is set up in combination with Blackboard.
In the scheme you see that from an existing MapleTA class (connected to Course A in Bb), the content to be re-used (question repository, assignments and images) are exported to a newly created Parent Class A. The purpose of this parent class is to manage re-usable content for oncoming years or sharing content with different classes within one year.
In order to add new questions to a child class or edit an inherited question, the instructor needs to go to the parent class and add or edit the question there. Since inherited questions can not be modified in a child class. New questions can be created in a child class, but they cannot be added to the inherited question groups. Plus these questions will not be available in next years child class.
In the child class an instructor can choose whether to re-use assignments from the parent class or create new assignments.
Detailed instructions will follow shortly. If you have any questions concerning this set up. Either contact me or E-learning Support.
Update van de Peer Evaluatie Tool
Vorige week hebben we met de leverancier van onze nieuwe Peer Evaluatie Tool, de firma Parantion, een test/demo gehouden van de nieuwe versie. We zijn al een tijdje bezig en de eerste versie voldeed minimaal voor de vakken waarbij het om weinig groepen en kleine aantallen studenten ging. We moesten gebruik maken van een standaard vragenlijst en standaard (zeer uitgemeerde) rapportage.
Met de nieuwe versie zijn grote stappen voorwaarts gemaakt, die er echt goed uitzien. De layout van de schermen is gemoderniseerd, de workflow is ongewijzigd, maar de docent of begeleider kan nu veel beter zien wat het systeem precies doet: door extra infomatie pop-ups.
We kunnen gebruik maken van verschillende vragenlijsten en de groepsindeling kan eenvoudig worden overgehaald uit Blackboard en waar nodig aangepast in Scorion. De rapportage is al een stuk compacter en ook hiervoor zullen verschillende formats mogelijk zijn.
Tot aan het nieuwe academisch jaar werkt de leverancier nog aan de functionaliteit dat voor 1 vak in één keer alle groepen uitgenodigd worden voor een peer evaluatie. Intern gaan we hard aan de slag om de procedures in te regelen (Het opstellen en beheren van goede vragen en vragenlijsten) en de ondersteuning van de applicatie door E-Learning Support (ELS) goed op de rit te zetten.
Met deze tool wordt het uitzetten van een peer evaluatie een peuleschil, ongeacht het aantal groepen en het aantal deelnemers in die groep. Des te meer tijd om te investeren in de opvolging van de resultaten van de peer evaluatie, want daar gaat het uiteindelijk om.
Nieuwsgierig geworden. bel of mail me.
De Digitale Surveillant
Gisterochtend heb ik in het kader van het 3TU-project ‘beveiligd toetsen op de studentenlaptop’ een webpresentatie gevolgd van de applicatie MAS van het Britse bedrijf 3ami. MAS staat voor ‘Monitoring & Audit System’. Deze presentatie gaf weer een geheel nieuwe blik op de oplossingsrichting hoe we studenten digitaal een tentamen af kunnen laten nemen op hun eigen laptop.
De oorsprong van de software ligt in het forensisch onderzoek en dat is duidelijk te merken, maar inmiddels wordt deze software ook in het Noorse onderwijs ingezet voor het monitoren van computertoetsen.
Bij de start van de toets downloaden en installeren de studenten de applicatie in een paar seconden op hun laptop. Vanaf dat moment worden alle activiteiten op de betreffende computer/laptop gemonitoord: welke applicaties worden opgestart, of er nieuwe hardware (bijv USB ) wordt aangesloten en wat wordt ingetypt. Het log-systeem slaat ook snapshots op van het beeldscherm, zodat ook te zien is wat de student exact gezien heeft. Aan het eind van de toets deïnstalleert de student het programma en het loggen stopt. Wanneer de student dit vergeet, kan de beheerder aan het einde van de tentamensessie het account ook markeren, zodat het bij de eerstvolgende keer dat de laptop connectie maakt met het netwerk, de deïnstallatie automatisch gebeurt.
Het systeem kan tijdens het tentamen ook alerts sturen aan de surveillant wanneer de student een verboden actie uitvoert. De surveillant kan dan besluiten om de betreffende actie af te breken en de specifieke actie te blokkeren voor verder gebruik tijdens de toetssessie. Direct ingrijpen en de student op zijn actie aanspreken is dus mogelijk, maar ook achteraf kan de logfile worden bekeken.
Een dergelijke oplossing roept natuurlijk privacy vragen op, want het gaat tenslotte om de laptop van de student en niet om een door de TU beheerd systeem en wat als de student vergeet te deïnstalleren? Het is belangrijk om hier goed over te communiceren en heldere afspraken vast te leggen over de bewaartermijn van de logfiles.
Het voordeel is dat de student geheel op zijn eigen systeem kan werken, kan beschikken over de juiste, voor hem bekende software(versie).
Bij een computertentamen op door TU beheerde systemen, zou het systeem permanent aan kunnen staan en kan de digitale surveillant vanaf 1 systeem alle laptops in de zaal monitoren.
Het klinkt allemaal best interessant, maar ik ben zeer benieuwd naar de reacties van docenten, studenten en onderwijsdirectie op een dergelijke insteek…..
Beveiligd toetsen met Blackboard (2)
Een onderdeel van de beveiliging van het digitale tentamen is dat men zeker wil weten dat het tentamen vanuit de tentamenzaal is gemaakt. Nu zal dit binnen de techniek best te regelen te zijn, maar volgens mij kan het ook ‘the old fashioned way’. Door het tentamen alleen beschikbaar te maken voor degenen die zich daadwerkelijk in de zaal bevinden. Wanneer er verschillende sessies zijn van hetzelfde tentamen kan op deze manier het tentamen per sessie alleen voor de aanwezigen bij de betreffende sessie opengesteld worden.
Het voorbeeld dat ik beschrijf gaat om een tentamen in Blackboard, maar geldt ook voor Maple TA toets in Bb.
Ter voorbereiding op het tentamen dient de docent zijn tentamen (Assignment) middels Adaptive Release beschikbaar te zetten voor een of meerdere groepen. Voor iedere sessie wordt een toetsversie verbonden aan een (nog lege) groep. In het menu van Adaptive Release kan de docent kiezen of alle resultaten in dezelfde kolom in het grade center worden gezet. Dit voorkomt versnippering van de resultaten.
Daarnaast maakt de docent per sessie een ‘sign-up list’ aan in Bb. Er kunnen meerdere lijsten per sessie worden aangemaakt, zodat de studenten zich bij meerdere surveillanten kunnen aanmelden. Let op: de Sign up list moet unavailable zijn voor studenten.
Bij binnenkomst in de tentamenzaal, meldt de student zich bij de surveillant. De surveillant vinkt de student aan op de sign-in lijst als zijnde aanwezig en controleert de collegekaart.
Bij aanvang van het tentamen worden de sign up lijsten gekoppeld aan de groep van de betreffende tentamensessie en alle aanwezigen hebben vervolgens toegang tot het tentamen.
Beveiligd toetsen met Blackboard
Zoals ik al eerder blogde kunnen we op de TU Delft in Blackboard een beveiliging instellen op een toets. Dit houdt in dat tijdens de toets geen andere applicaties opgestart kunnen worden. Het activeren van de Lockdown Browser (LDB ) is simpel en kan door de docent eenvoudig worden uitgevoerd.
Eind januari werd op IO opnieuw een tentamen afgenomen met gebruik van de LDB. Een tweetal hertentamensessies in de ochtend en een drietal tentamensessies in de middag, waarin twee deeltentamens werden afgenomen. De leerpunten van de vorige keer waren meegenomen:
- Bij elke computer lag een handleiding waarop vermeld stond hoe het tentamen gestart diende te worden.
- Het course menu en de ‘Assignment’-map waren vooraf opgeschoond, zodat het tentamen eenvoudig te vinden was binnen de course.
- 3 attempts waren ingesteld om te voorkomen dat wanneer een toets om een of andere reden werd afgebroken, de student een nieuwe versie kon starten, zonder te hoeven wachten op het verwijderen van zijn 1e poging door een van de surveillanten.
- Randomisatie van de vragen was uitgeschakeld.
Wachtwoorden
Bij de opzet van dit tentamen was gekozen om in de Bb-toets geen wachtwoord te zetten, omdat het prompten op twee wachtwoorden achter elkaar (eerst van de LDB en daarna van de Bb-toets) vorige keer wat verwarrend werkte. Tijdens de ochtendsessies bleek echter dat in dit geval (als er geen wachtwoord op de Bb-toets staat) de LDB ook niet vraagt om een wachtwoord. Daarop is voor de middagsessies alsnog een wachtwoord op de Bb-toets gezet.
Als het LDB wachtwoord is ingegeven door de student, vult Bb automatisch het Bb-toetswachtwoord in, zodat je dan alleen nog op ‘submit’ hoeft te drukken om de toets te openen.
Inloggen op computer
In de computerzalen kunnen studenten met hun eigen NetID inloggen op de pc. Het gebruik van hun eigen profiel leverde zo af en toe problemen op:
- Bij twee studenten werd het lettertype in de toets dusdanig klein dat de toets niet langer leesbaar was
- Bij een enkeling bleek de LDB niet in de programmalijst te staan
- Bij sommigen starten MSN of andere applicaties automatisch op. Deze moeten gesloten worden voordat de LDB start (LDB geeft dit zelf aan)
Verder hadden sommige studenten het probleem dat bij het verlaten van het eerste deeltentamen de programmabalk verdween. Om het tweede deeltentamen op te starten moest het systeem opnieuw starten (log off – log on). Dit leidde bij de studenten tot twijfel of het eerste deeltentamen wel opgeslagen was.
Om de omgeving beter controleerbaar te maken is het handiger om met functionele accounts te werken. In het ideale geval worden deze functionele accounts opgeschoond tussen de verschillende tentamensessies, maar daarvan is het de vraag of dat praktisch haalbaar is.
Beveiligd vs onbeveiligd
Door omstandigheden (LDB-client bleek niet in alle zalen geinstalleerd:oops:) heeft een groep studenten buiten de LDB om moeten werken. Hiervoor diende in Bb een aparte tentamensessie te worden aangemaakt, omdat buiten de LDB de Bb-toets niet kan worden gestart. In deze tentamensessies werd slechts 1 poging toegestaan. De bovengenoemde problemen bij deze groep bleken aanzienlijk minder dan in de ‘beveiligde’ groep. Slechts van 2 van de circa 100 studenten moesten de docent de toets opnieuw beschikbaar stellen, omdat hij was vastgelopen. In de ‘beveiligde’ groep waren aanzienlijk meer studenten die een herstart moesten maken.
Omdat de ‘beveiligde’ groep te zien kreeg dat 3 pogingen toestaan waren, dachten zij dat zij bij een ‘fail’-score het tentamen nogmaals mochten maken. Het inzetten van meerdere attempts is vanuit beheer oogpunt dus wel gewenst (de resultaten van de sessie die is afgebroken hoeven namelijk niet te worden verwijderd voordat een nieuwe sessie kan worden gestart), maar het is verwarrend voor de studenten.
Conclusie
Het is nog wel duidelijk dat het digitaal toetsen nog zeker zijn ‘zweethandjes’ moment heeft bij de start van iedere sessie. De computers in de standaard computerzalen zijn niet altijd ‘stabiel’ genoeg voor de tentamensetting. Een extra argument voor ‘dedicated’ tentamenzalen.
Eerste keer toetsen met de Respondus Lock Down Browser in Bb
Deze week is op IO voor het eerst een toets afgenomen met gebruik van de Lock Down Browser die sinds de zomer geinstalleerd staat op Blackboard. In een tijdsbestek van 4 uur moesten 400 studenten de toets maken. Plaats van handeling was Zebrazaal 1 t/m 4 op de begane grond.
De Toetsopzet
De toets bestond uit 10 multiple choice vragen. Deze vragen werden door het gebruik van een ‘random block’ per student getrokken uit een vragenpool van 15 vragen. De vragen werden bovendien in volgorde gerandomiseerd. De toets mocht maar 1 keer door de student gemaakt worden. De toets moest binnen een uur na de start zijn afgerond. Na afronding van de toets kregen de studenten meteen hun score te zien.
De Voorbereiding
In de voorbereiding op het tentamen bleek de browser nog niet geinstalleerd op de pc’s in de zalen, maar een mailtje aan mijn collega’s van WPS loste dit probleem al snel op. Na een eerste test in de zaal kon ik met de docent aan de slag om het tentamen op de juiste manier in Blackboard aan te maken.
De Afname
De afname was verdeeld over vier naast elkaar gelegen zalen. Per zaal van ongeveer 25 studenten werd klassikaal de opstartprocedure medegedeeld. In de eerste zaal hadden 3 studenten problemen, die voor een deel terug te leiden waren naar problemen met hun studentenaccount.
In de tweede zaal werd ongeveer de helft van de studenten geconfronteerd met een runtime error. Wanneer bij de vraag om te ‘debuggen’ op ‘yes’ werd gedrukt, liep de software vast: De lock down browser voorkwam namelijk dat de ‘debugging’ applicatie werd opgestart. Vervelende bijkomstigheid was dat er wel een toetspoging in Bb werd geregistreerd. De docent moest vervolgens eerst de poging uit het gradecenter verwijderen, waarna de toets probleemloos kon worden gestart.
De start van de tweede sessie met 100 studenten verliep beter. Er was inmiddels een korte handleiding voor het starten beschikbaar en de studenten waren erop gewezen, dat zij bij de melding van een runtime error op ‘NO’ moesten drukken.
Een enkele student kreeg bij elke ‘submit’ bij een vraag een runtime error. Deze kon steeds worden weggeklikt en had verder geen gevolgen voor de afname en de registratie van de antwoorden.
Een drietal studenten kon tijdens de toets ineens niet meer verder (1 student al na de eerste vraag, een andere student na vraag 5). Deze poging moest worden verwijderd en de studenten moesten (na een reset van de poging) opnieuw starten met de toets.
Een student probeerde de toets zonder de lock down browser op te starten, maar kwam niet in de toets. En een student probeerde de verkeerde toets te starten. Door de wachtwoord setting op de toets werd dit voorkomen.
De Leerpunten
- Maak een handleiding voor de studenten, waarin staat aangegeven hoe de toets moet worden opgestart binnen de lock down browser.
- Maak in de Bb directory maar 1 toets beschikbaar om verwarring bij studenten te voorkomen.
- Het is niet handig om slechts 1 poging toe te staan te maken bij een toets. Als er iets mis gaat in de toets, moet vervolgens eerst die poging uit het GradeCenter worden verwijderd, voordat de student verder kan. Bovendien blijven de antwoorden die al gegeven zijn bewaard en kan met de student afgesproken worden dat hij of zij in de 2e poging verder gaat met de vragen die hij nog niet gehad heeft.
- Het randomiseren van de volgorde van vragen (in te stellen bij de testoptions in Bb) is niet handig als men door omstandigheden een tweede poging moet doen. Je kunt dan niet met de student afspreken om in de tweede poging verder te gaan waar hij of zij gebleven is.
Conclusie
De docent was enthousiast hoe de toetsmodule in Bb hem in staat stelt om de vragen op een later moment eenvoudig te kunnen hergebruiken. De afscherming van de toets was eenvoudig te regelen en werkte prima.