Digitaal Toetsen is ‘hot’ en mede om die reden was de zaal voor deze verdiepingssessie al snel vol. Helaas moest een aantal bezoekers de ruimte weer verlaten omdat zij zich niet via de voorinschrijving hadden aangemeld.
Silvester Draaier (VU) verzorgde een interactieve sessie waarin hij met de aanwezigen het hele proces wilde doorlopen: Van idee naar realisatie met alle bergen en dalen die men op die route tegenkomt.
Op basis van ervaringen bij de VU werden een aantal uitspraken en stellingen gepresenteerd. Bij elke stelling was er 1 à 2 minuten de tijd om met de buurman/-vrouw van gedachten te wisselen.
Het onderwijscentrum van de VU heeft te maken met jaarlijks zo’n 1300 tentames. De toetsen zijn afkomstig uit/gemaakt in Blackboard, Respondus en Question Mark Perception.
The do’s and don’ts
Starten met digitaal toetsen is eerst bepalen hoe groots men het aan wil pakken: ‘large, middle of small scale’. In alle gevallen zal men expertise bijeen moeten brengen, verantwoordelijken moeten benoemen en een projectplanning maken.
De stellingen en uitspraken waren voor velen herkenbaar. Immers, hoe vaak wordt er niet een pilot gestart op een testserver? Na korte discussie in tweetallen bleek dit vaak voor te komen. Echter, het is valkuil nummer 1 volgens Silvester: testservers bieden soms te weinig performance en bij opschaling ontstaan er dan problemen.
Valkuil nummer 2: ontbreken van een fall-back procedure: wat doe je, als er een technisch probleem is tijdens het afnemen van de toets? Het is dan altijd handig een papieren versie achter de hand te hebben. (Een fall-back procedure gaat uiteraard verder dan een terugval naar papier: er kan ook met een schaduwserver of een backup gewerkt worden).
De zwakste schakel bepaalt het succes
Het succes van digitaal toetsen is van een groot aantal factoren afhankelijk. Het is niet alleen de techniek die (aan het einde van de rit) bepalend is, maar meer nog het ambitieniveau en de organisatie:
• Random toetsen genereren impliceert een grote itembank. Een grote itembank impliceert dat inrichting, zoekmogelijkheden (metadata!) en beheerstructuur op orde zijn.
• Toetsuitslagen direct publiceren impliceert dat toetsen en vragen correct zijn (toetsanalyse!) en dat de cesuur niet (naar beneden) aangepast kan worden.
• Adaptief toetsen is mogelijk als de software dit technisch mogelijk maakt. Bovendien is het creëren van een workflow binnen een toets een tijdrovende bezigheid die inhoudelijke kennis van de software én de inhoud vereist.
• Valide toetsen samenstellen en vraagitems aanmaken is mogelijk als er duidelijke afspraken zijn wie waarvoor verantwoordelijk is.
• Van elke toets moet vooraf een toetsmatrijs gemaakt zijn.
Kwaliteit en rendement
Digitaal toetsen wordt regelmatig gekoppeld aan kwaliteitsverhoging en rendementverbetering. Echter, over welke kwaliteit praten we dan en van wie of wat wordt de kwaliteit verhoogd? Als men dit niet vooraf definieert, is achteraf lastig aan te geven wat men bereikt heeft.
Bij het afsluiten van de workshop was nog een -lange- lijst van punten waarover geen tijd voor discussie meer was zoals: welke benadering kies je voor implementatie (topdown? bottomup?); hoe zit het met de financiën? Is digitaal toetsen wel echt tijdsbesparend? Is er voldoende computercapaciteit? etc etc.
De workshop zette alle ins and outs op een rij en daarmee was wederom duidelijk dat digitaal toetsen een onderwerp is dat nog lang op de agenda’s zal blijven staan
NATplaza 