Toetsen op afstand
Toetsen op afstand – FAQ
De FAQ is ingedeeld in verschillende soorten vragen:
- Technische vragen
- Onderwijskundige vragen
- Surveillance en Fraude
- Organisatorische vragen
-
Belangrijk
Remindo toetsen zijn het beste te maken in de laatste versies van de browsers Chrome of Firefox. Geen Safari of Edge in verband met weergave van figuren of andere vragen die niet correct werken. Studenten kunnen wisselen van browser mochten ze niet zijn gestart in Chrome of Firefox.
Let wel op dat de vragen voor de wissel zijn opgeslagen, Remindo geeft hier een melding van.
[well]Internet Explorer wordt niet meer ondersteund (door Microsoft) en daardoor sterk afgeraden voor algemeen gebruik.[/well]
-
1. Praktische/technische vragen over inzet en gebruik van Remindo thuis
-
Ja, met Remindo is zowel formatief als summatief te toetsen vanaf eigen computers of laptops.
Studenten loggen in via remindo.uu.nl
Een volledige studentinstructie voor toetsen vanuit huis is te vinden op de pagina Ondersteuningsdocumenten.
Helaas is technische ondersteuning op afstand aanbieden moeilijk en beperkt. Hieronder zijn een aantal standaardoplossingen gegeven.
Studenten die problemen tegenkomen kunnen de volgende oplossingen proberen:
- Gebruik de laatste versies van Chrome of Firefox als browser om de toets te maken. Je kunt van browser wisselen als je al met de toets bent gestart, echter let op dat de vragen voor de wissel zijn opgeslagen. Remindo geeft hier een melding van.
- Start de computer opnieuw op en probeer de toets dan te starten.
Verderop in de FAQ staat meer informatie over een haperende internetverbinding.
Een volledige studentinstructie voor toetsen vanuit huis is te vinden op de pagina Ondersteuningsdocumenten.
Eventueel kun je vooraf afspraken maken met je key-user over technische ondersteuning.
Remindo kan op ieder type browser gebruikt worden, maar we adviseren om de laatste versies van Chrome of Firefox te gebruiken.
Op andere browsers ondervinden we wel eens problemen, studenten kunnen wisselen van browser als de toets al is begonnen.
[well]Internet Explorer wordt niet meer ondersteund (door Microsoft) en daardoor sterk afgeraden voor algemeen gebruik.[/well]
Ja, dat hebben ze op basis van hun contract en de facultaire regels rond extra tijd voor toetsen.
- Remindo geeft de student een melding wanneer er geen internetverbinding is. Tijdens de toets geeft Remindo ook aan dat de student door kan werken zonder verbinding.
- Remindo kan de toets alleen afsluiten als er een werkende internetverbinding is. Dus bij het afsluiten van de toets of na het verstrijken van de tijd moet de student wachten op een werkende verbinding en zo de toets afsluiten. Indien dit niet het geval is moet Remindo open blijven staan totdat er wel een verbinding is.
- Als het internet hersteld is en de student de toets wil afronden (uitgangspunt: alle vragen zijn beantwoord), dan verschijnt de melding: ‘Antwoorden verzenden’. Pas als die melding verdwenen is, kan de student de toets daadwerkelijk afsluiten.
Bij problemen die niet snel kunnen worden opgelost heeft de docent enkele mogelijkheden:
- Bij problemen, geef de student extra tijd om zaken te regelen en anders uitstel.
- Bij niet oplosbare problemen: meld dit bij de examencommissie, die zullen verder stappen ondernemen.
Goed om te weten: Als Remindo 2 minuten geen internetverbinding heeft tijdens een toets, staat dit vermeld in het Logboek van de afname. Dat logboek vind je via dit icoontje, dat achter de toetsnaam in de Planning staat:
Het volgende venster (dit is een voorbeeld) wordt dan zichtbaar:
-
2. Onderwijskundige vragen
-
Een grote groep studenten wordt in de regel getoetst door tentamens met gesloten vragen, wat vanuit huis kan leiden tot problemen rond surveillance en fraude (zie ook verder in deze FAQ).
Het advies is om tentamens zoveel mogelijk om te zetten naar open-boek tentamens of door een toets te maken die uit een grote vragenbank random een toets samenstelt voor studenten.
Weeg altijd af of een toets/tentamens het beste aansluit op de leerdoelen van de cursus en of er niet een andere manier is om te toetsen.
Het is belangrijk om voor ogen te houden dat je gehele cursus, inclusief de toetsing voldoet aan constructive alignment: zijn de leerdoelen afgestemd met de leeractiviteiten van de cursus. Sluit vervolgens de toetsing aan op de leerdoelen en de leeractiviteiten, ook qua niveau? Een andere toetsvorm is niet altijd een optie, immers de leeractiviteiten waren gericht op de al vastgestelde toetsvorm. Studenten zijn hier dus niet op voorbereid.
Denk je erover af te wijken van de huidige toetsvorm, check dan wat te doen in deze periode (niet cruciaal onderwijs en toetsing kan worden uitgesteld, bij afwijken van de huidige toetsing, dient te worden voorgelegd aan de Executive Board). Zie het afwegingskader op deze intranetpagina.
Mocht je een andere toetsvorm willen gebruiken, houd dan goed voor ogen dat de toetsvorm qua niveau blijft aansluiten bij het niveau van de leerdoelen van de cursus en de bijbehorende activiteiten. Bereid de studenten vervolgens ook voor op de nieuwe toetsvorm die zij kunnen verwachten. Houd er rekening mee dat studenten bronnen tot hun beschikking hebben.
Met welke onderwijskundige aspecten kan ik rekening houden als ik een online inzage wil organiseren?
Onderwijsadvies & Training heeft een document (in de vorm van een webpagina) opgesteld waarin wordt uitgelegd waarmee je rekening kan houden bij het organiseren van een online inzage.
Inschatting maken van beantwoordingstijd. Studenten moeten wel ruim voldoende tijd hebben. Richtlijnen kunnen daarbij helpen, maar er is geen gouden regel. Eigenlijk zou je moeten pilotten. Hoeveel tijd kost het voor studenten om een antwoord te vinden (het gaat niet om hoe snel ze iets kunnen opschrijven)? Als domein expert kun je beter inschatten hoe dat geldt voor jouw domein.
Indicatie: Bij een toets met vier open vragen bij Onderwijswetenschappen is er 2-2,5 uur tijd. 8 uur is wel erg lang. Als ze voor beantwoorden literatuur moeten zoeken hebben ze daar tijd voor nodig. Als de meeste kennis paraat zou moeten zijn, hoef je niet de hele dag de tijd te geven.
Er is een document beschikbaar waarin dit uitgelegd wordt.
- Inschatting beantwoordingstijd naar vraagtype (Van Berkel 1999)_OT
- Toetslengte-antwoordmogelijkheden-afnametijd_OT
(Beschikbaar gesteld door O&T)
In Toetsen in het Hoger Onderwijs (van Berkel Bax Joosten-ten Brinke) onder redactie van Bax, Joosten-Ten Brinke & Van Berkel vind je informatie over het toetsproces en worden verschillende toetsvormen beschreven. Een algemene inleiding in toetsing in het hoger onderwijs.
In ‘Take-Home Exams in Higher Education: A Systematic Review‘ van Lars Bengsston (2019) vind je een theoretische onderbouwing voor take-home tentamens.
Of ze echt vergelijkbaar zijn is lastig te bepalen, als je echt verschillende vragen stelt. Een variant op eenzelfde vraag, zoals bij casustoetsen, is beter. Technisch is het te realiseren in Remindo.
Strekking zal zijn: zomaar je toets aanpassen naar een hoger niveau zorgt ervoor dat studenten hier waarschijnlijk niet goed op voorbereid zijn, omdat je in je onderwijs andere leeractiviteiten hebt gedaan dan inzichts-activiteiten. Het is belangrijk om na te gaan of de toets, zoals je deze in gedachten hebt, past bij de leerdoelen van je cursus en bij de onderwijsactiviteiten.
Dit hangt af van het leerdoel (zie ook antwoord op de vraag over vervangen kennistoets door inzichttoets, hierboven). Als je leerdoel op het niveau van het samenvatten van de aangeboden literatuur zit dan past het schrijven van een uittreksel als toetsvorm daar goed bij.
Het is goed om het vier ogen principe te hanteren (twee docenten aanwezig).
Met de toets meet je iets anders dan puur kennis. Je meet inzicht, analytisch vermogen, redenatie. Ongewenst ook spreekvaardigheid. Het is lastig ter plekke te bepalen wat het oordeel is. De beoordeling is minder betrouwbaar. Je zou met een antwoordmodel moeten werken en met elkaar moeten kalibreren, om er zeker van te zijn dat je tot hetzelfde oordeel komt. Studenten moeten goed geïnformeerd worden over hoe de toets zal verlopen, het kan ook extra stress opleveren. Fraude speelt hier nog steeds, als studenten niet tegelijkertijd het mondeling hebben, kunnen ze de vragen aan elkaar doorgeven.
Er zijn andere beoordelingsvormen. Denk bijvoorbeeld aan:
- Paper
- Reflectieverslag met integratie van de fundamentele kennis
- Pitchpresentaties over onderwerpen/posterpresentaties
- Het maken van infographics
- Learning log (https://www.youtube.com/watch?v=2WJhByruiBk)
Deze beoordelingsvormen hangen echter nog steeds af van de leerdoelen.
Tools die mogelijk bij deze verschillende beoordelingsvormenaan aansluiten, zijn te vinden op Onderwijs op afstand.In de Handout ‘Aandachtspunten voor de constructie van open vragen’ van Onderwijsadvies & Training vind je aandachtspunten en handvatten om een open vraag te construeren.
Bij een normale afname zou je aan het einde van de toets nagaan wat de kwaliteit van de vragen was, en corrigeren voor vragen met bijvoorbeeld een lage item-restcorrelatie. Dus als je dit doet in het kader van toetskwaliteit, dan is het verantwoord.
Corrigeren voor de hele toets, is minder verantwoord. Je weet niet waarom de toets beter is gemaakt. Komt dat omdat studenten gefraudeerd hebben, of door iets anders, bijvoorbeeld doordat studenten nu alleen maar thuis zijn en zich daardoor veel beter voorbereiden op de toets?
Een MC-toets online afnemen is fraudegevoelig, je zou aan alternatieven kunnen denken, zoals een open boek tentamen, meer toepassingsvragen of ‘progress testing’ (een formatieve vorm van kennis toetsen, waarbij studenten meerdere keren een kennistoets maken, en kunnen zien waar ze nog hiaten hebben. Dit gebeurt o.a. bij Diergeneeskunde).
-
3. Surveillance en Fraude bij thuis toetsen met Remindo (ook info over andere tools)
-
- Studenten kunnen thuis bronnen raadplegen, waar je geen controle over hebt.
- Studenten kunnen samenwerken: fysiek, maar ook online, bijvoorbeeld via de computer of smartphone.
- Vragen in je thuistoets liggen ‘op straat’. Je kunt deze niet hergebruiken.
Wanneer Remindo constateert dat een kandidaat langer dan twee minuten geen internetverbinding heeft gehad, meldt Remindo dit in het logboek van de afname. Dit logboek open je zo: Ga in de Afnameomgeving naar tabblad Planning, zoek je toets op en klik op het icoon zichtbaar in de screenshot:
Je vindt hieronder een testvoorbeeld van hoe de melding er uit kan zien:Bij thuistoetsen kun je uitwisseling van antwoorden op vragen moeilijker maken door vragen en/of antwoordopties in een toets te husselen. Een student krijgt de vragen en/of antwoordopties dan in een andere volgorde dan medestudenten, waardoor uitwisseling moeizamer wordt. Je kunt het via deze weg echter niet 100% voorkomen.
Het husselen van vragen en/of antwoordopties is mogelijk in Remindo, voor uitleg, kijk hier:
Het is moeilijk om te voorkomen en controleren dat bij groepsopdrachten studenten niet meeliften met hun groepsgenoten. In instructie en begeleiding kun je dit deels afvangen. Je kunt er bijvoorbeeld voor kiezen om het eerste deel gezamenlijk te laten doen en het tweede deel individueel. Wat ook een mogelijkheid is, dat je alle studenten een logboek bij laat houden van het groepsproces. Dit kost wel weer extra tijd om na te kijken.
- Iedere student een eigen dataset geven, en misschien ook een eigen onderzoeksvraag.
- Nagesprekje met iedere student naar aanleiding van de gemaakte toets, of student vragen om een korte verantwoording te schrijven waarom hij/zij bepaalde keuzes heeft gemaakt.
- Het is in deze casus lastiger om te frauderen. Als studenten syntaxen gaan delen dan moeten studenten die ook begrijpen (en dat vereist al een bepaald niveau). Als je delen uit syntaxen kopieert zonder erbij na te denken, ga je al snel de fout in. Onderzoeksopdrachten/papers met analyses erin worden ook vaak op afstand gemaakt en beoordeeld als toets.
Dit is nauwelijks te voorkomen. Als je vak het toelaat is het een goed idee om de vragen van te voren al te verspreiden, zo hebben alle studenten gelijke kansen. Het is een kans om meer diepgang in je toetsing te creëren. Bij verschillende vragen per student, loop je het risico dat je toetsing te veel verschilt tussen de studenten.
Vragen over de inzet van online proctoring kun je richten aan:
-
4. Techniek en Mogelijkheden in Remindo
-
In Remindo hebben we geen problemen met het aantal studenten. Grote groepen met meer dan 700 studenten zullen geen problemen veroorzaken.
Ja, ook doen. Daar hebben studenten recht op. Misschien kun je deze vragen dan volgend jaar niet meer gebruiken, dat is dan een gegeven.
Je zou het ook 1-op-1 via Teams kunnen doen. Een andere mogelijkheid is om bij een aantal MC-vragen, waar de p-waarde laag is, aan te geven voor welke afleider veel studenten hebben gekozen, en hier uitleg bij geven.
Een inzage voor een toets in Remindo kan thuis worden gedaan. Er kan worden ingesteld dat je studenten moet accorderen om de inzage te starten. Ook kan worden ingesteld dat studenten digitaal commentaar kunnen leveren. Dit commentaar kan je beantwoorden. Het grote verschil met inzage op Chromebooks is, dat vragen op straat kunnen komen te liggen.
Een alternatief kan zijn om de inzage later te doen. Vraag eerst na of dit mag volgens het examenreglement.
Voor meer informatie over de inzage, zie deze pagina e.v.. Of neem contact op met je key-user.
Nee, dat kan niet per vraag. Een tijdsinstelling kan in Remindo alleen worden ingesteld op de toegang tot een hele toets (of een inzage).
Studenten zijn Remindo gewend. Dat kan een voordeel van het gebruik van Remindo zijn. Het kan lastig zijn om opeens in een andere omgeving een toets te maken. Op plagiaat controleren kan wel met Urkund (stand alone en via Blackboard). Aan het gebruik van Urkund via Remindo wordt nog gewerkt. In Remindo zit ook een toetsanalyse en je ziet er welke vragen door iedereen bijvoorbeeld goed of juist slecht zijn gemaakt.
Als je goede redenen hebt om Blackboard te gebruiken, dan kan dat. Elk systeem moet betrouwbaar zijn en solide (systeem moet niet uitvallen).
Stem eventueel met je key-user af wat in jouw geval het beste is.
