FeedbackFruits

Peter Bremen, onderzoeker Erasmus MC, en Adrie Verhoeven, universitair docent Erasmus MC, hebben de tool FeedbackFruits voor het eerst gebruikt voor geautomatiseerde feedback en peerreview in de cursus ‘Scientific Writing’. Voor deze cursus moeten studenten in drietallen een wetenschappelijk verslag/artikel schrijven waarin ze de resultaten beschrijven van een klein experiment dat ze tijdens een practicum van 2 uur samen hebben uitgevoerd. In het verleden voerden getrainde onderwijsassistenten een beoordelingsproces uit dat bestond uit twee stappen: een eerste uitgebreide feedbackronde gevolgd door een beoordelingsronde van het gereviseerde verslag (voldoende/onvoldoende).

Peter en Adrie waren benieuwd of het mogelijk was om de feedbackronde te gebruiken als een aanvullende actieve leermogelijkheid voor de studenten. Hun redenatie was dat wanneer studenten feedback moeten geven op het werk van hun medestudenten, dit ze kan helpen hun eigen werk te verbeteren.

Vooraf hadden Peter en Adrie aan de studenten een modelreferentiedocument en een op maat gemaakte beoordelingsrubriek verstrekt. Nadat de studenten hun verslag hadden geüpload, gingen ze aan de hand van deze twee bronnen feedback geven op het artikel van één medestudent. Iedere groep van drie studenten kreeg zo drie verschillende peerreviews voor haar verslag. Daarna konden de studenten hun verslag reviseren en de definitieve versie uploaden. De onderwijsassistenten beoordeelden het gereviseerde verslag in één stap (voldoende/onvoldoende).

FeedbackFruits biedt een gebruiksvriendelijke en toch aanpasbare omgeving om het peerreviewproces op te zetten. De coördinator kan in alle stadia van het proces van gedachten wisselen met de studenten en zo nodig als moderator optreden. FeedbackFruits biedt ook uitgebreide statistische informatie (op individueel en populatieniveau), bijvoorbeeld over de tijd die werd besteed aan het beoordelen of het aantal opmerkingen, wat enorm handig is als je de betrokkenheid van de studenten wilt volgen.

Peter en Adrie vonden dat de combinatie van statistische informatie en rechtstreekse interactie goed van pas kwam bij het volgen van het beoordelingsproces en de kwaliteitscontrole.

Waarom verrijkt deze tool het onderwijs aan EUR?

Op basis van een aselecte steekproef en de feedback van onderwijsassistenten zijn Peter en Adrie van oordeel dat de kwaliteit van de ter beoordeling ingeleverde artikelen vergelijkbaar is met die van voorgaande jaren. Naar aanleiding van de ervaring van dit jaar concluderen zij dat peerreview in combinatie met zorgvuldige instructie (rubriek en modelreferentiedocument) in het kader van hun cursus een effectief leermiddel is. Het voordeel van peerreview is tweeledig:

• Studenten zijn actiever betrokken bij het schrijfproces doordat ze de pet van de schrijver en de pet van de corrector opzetten (onderwijskundig voordeel).
• Onderwijsassistenten moeten de individuele artikelen nog steeds lezen en beoordelen maar hoeven minder tijd te besteden aan het geven van uitgebreide feedback, waardoor de totale tijdsinvestering afneemt (financieel voordeel).

Hoe gebruik je deze tool tijdens je cursus?

Studenten uploaden een eerste versie van hun artikel en ontvangen ingebouwde geautomatiseerde feedback van FeedbackFruits. De docent past deze applicatie aan zodat bijvoorbeeld wordt gecontroleerd op de verplichte onderdelen (titel, samenvattingen, inleiding enz.), het aantal woorden en de taal. Dit kan handig zijn voor studenten maar het programma screent niet op inhoud-, context- en grammatica-gerelateerde kwesties.

Daarna zet FeedbackFruits het peerreviewproces op door aan te wijzen welk artikel door wie moet worden beoordeeld en geeft de tool informatie over deadlines. Alles bij elkaar is het programma gebruiksvriendelijk maar toch redelijk goed aan te passen. Tijdens het proces controleren wij of de studenten hun artikel op tijd inleveren en of de feedback in overeenstemming is met de beoordelingsrubriek door naar individuele opmerkingen te kijken. Zoals hierboven beschreven houden we ook de statistieken in de gaten om in kaart te brengen welke kwesties mogelijk een nader onderzoek waard zijn.

Wat vinden je studenten ervan?

FeedbackFruits biedt studenten ook de mogelijkheid om de ontvangen feedback te beoordelen. Op basis van deze gegevens en andere reacties die we van studenten hebben ontvangen, hebben we de indruk dat studenten de opmerkingen van hun medestudenten waardeerden en als zinvol ervoeren. Noemenswaardig is hierbij dat verschillende studenten aangaven dat het geven van feedback weliswaar enige tijd in beslag nam, maar dat de pet van de criticus hen hielp hun eigen artikel te verbeteren. Ze beseften ook beter hoeveel tijd het kost om uitgebreide feedback te geven, wat betekende dat ze de ontvangen feedback over het algemeen heel serieus namen.

Welke andere tips, trucs of adviezen zou je jouw collega-docenten aan EUR geven?

Zorg voor duidelijke instructies als je gebruik wil maken van peerreview. Aangezien de studenten de kneepjes van het vak nog moeten leren, is het van belang dat ze beschikken over de juiste instrumenten. In ons geval werkten een analytische rubriek en een modelreferentiedocument heel goed. Zorg ervoor dat de instructies die je geeft zo duidelijk en eenduidig mogelijk zijn.