Deze handleiding geeft nuttige tips voor de verschillende fasen van het selecteren en schrijven van casestudy's voor het SEP (2021-2027), met een specifieke focus op het benadrukken van de maatschappelijke impact. Als je tijdens dit proces ondersteuning wenst, neem dan tijdig contact met ons op.
Voorbereiden van casestudy's voor impact binnen SEP (2021-2027)
Geschreven door: Lisa Burghardt & Lotte Houtepen
Datum: 15.05.2022
Elke zes jaar, op doorlopende basis, worden Nederlandse universiteiten en onderzoeksinstituten geëvalueerd volgens het Strategie Evaluatie Protocol (SEP), welke is ontwikkeld door KNAW, NWO en UNL. Op basis van ESI's ervaring met SEP aan de Erasmus Universiteit Rotterdam en literatuur over impactevaluatie, geven we een leidraad voor het selecteren en schrijven van impactcases die deel uitmaken van het zelfevaluatie narratief voor het SEP-protocol voor 2021 - 2027. We beginnen met wat achtergrondinformatie over maatschappelijke relevantie in SEP-evaluaties voordat we ons advies delen. Eerst algemeen advies, gevolgd door aanbevelingen toegesneden op de verschillende fasen binnen het proces van het opstellen van impact casestudy’s voor SEP.
Maatschappelijke relevantie in SEP
De SEP-beoordeling richt zich op de prestaties van de onderzoekseenheid in het licht van haar eigen doelstellingen en strategie, inclusief de toereikendheid of geschiktheid van de doelstellingen en strategie. De beoordeling is gebaseerd op een verhalend betoog dat de belangrijkste onderzoeksresultaten beschrijft en wat deze betekenen voor het algemene probleem en degenen die ermee te maken hebben. Een van de drie belangrijkste beoordelingscriteria is maatschappelijke relevantie, aangegeven met bewijs voor de maatschappelijke relevantie in termen van impact en betrokkenheid van de onderzoekseenheid in het narratief. Naast feitelijk bewijsmateriaal (waar nodig kunnen kwantitatieve indicatoren gebruikt worden) moet de onderzoekseenheid één of meer casestudy's verstrekken om aan te geven wat zij als haar meest onderscheidende en relevante verwezenlijking(en) beschouwt. Casestudy's hebben de vorm van een coherent verhalend betoog dat informatie bevat over zowel de academische als de maatschappelijke doelstellingen en output. Ze zijn bij uitstek geschikt om aan te geven hoe academisch werk verbonden is met maatschappelijke relevantie. Het advies in deze handleiding richt zich op het ontwikkelen van deze casestudy's.
Algemene aanbevelingen
- Consistente definitie van impact: Aangezien maatschappelijke impact veel verschillende dingen kan betekenen, afhankelijk van bijvoorbeeld het onderzoeksgebied of de epistemische cultuur, kan het een uitdaging zijn om duidelijk te definiëren wat impact is. Wanneer in een narratief over impact wordt geschreven, moet impact daarom op een consistente manier worden beschreven - consistent met wat in een specifieke onderzoekseenheid als impact wordt beschouwd.
- Op tijd contact opnemen met andere partijen die kunnen helpen: Het identificeren, selecteren en analyseren van casestudy's die representatief zijn voor de impactambities van de eenheid is een tijdrovende en mogelijk uitdagende exercitie. Zowel het ESI-team als belanghebbenden kunnen je bij dit proces helpen, zolang je maar op tijd komt. Het ESI-team kan je helpen bij de selectie van representatieve casestudy's en je adviseren hoe je deze in een narratieve impactcontext kunt plaatsen. Om je goed te kunnen ondersteunen, moeten wij op tijd worden ingeschakeld - dat wil zeggen tijdens de fase waarin de cases worden geïdentificeerd. Belanghebbenden, direct betrokken of met een belang bij het onderzoek, kunnen helpen bij het formuleren van impactambities, het selecteren van cases en het opstellen van de impact-narratieven. Ons advies is om hen waar mogelijk te betrekken via focusgroepen of door hen deel te laten uitmaken van een reviewcommissie (Spaapen & van Drooge, 2011).
- In overeenstemming met de strategie van jouw eenheid: Als onderdeel van het SEP-proces bepaalt de onderzoekseenheid haar strategische keuzes. In haar strategie legt de onderzoekseenheid 1) haar doelstellingen en ambities vast en 2) het actieplan om deze doelstellingen te bereiken. De doelstellingen en het plan zijn afhankelijk van het disciplinaire profiel van de eenheid, de institutionele context, het aggregatieniveau, de aanbevelingen van de vorige beoordelingscommissie, enz. Er is dus geen algemene strategie, maar een specifieke strategie voor een onderzoekseenheid. Om richting te geven aan de strategieformulering geeft het SEP-protocol een (niet- uitputtende) lijst van voorbeelden van wetenschappelijke en/of maatschappelijke doelen die een onderzoekseenheid kan nastreven en haar strategisch plan om die te bereiken (zie SEP-protocol blz. 29).
Representativiteit: Casestudy's kunnen op verschillende aggregatieniveaus worden uitgevoerd: project, programma of eenheid. Wat het exacte aggregatieniveau ook is, de casestudy moet indicatief zijn voor de "normale" praktijk van de eenheid. Dit geldt zowel op het niveau van individuele onderzoekers - is deze impact het resultaat van een bewuste aanpak, uitgebreide ervaring, of een toevallige omstandigheid - als op het niveau van een onderzoeksgroep - zijn er veel meer voorbeelden zoals deze, of is dit de uitzondering? Idealiter zou de selectie van casestudy's de inhoud en de verscheidenheid van het programma als geheel moeten vertegenwoordigen. Vermijd het uitkiezen van de meest herkenbare voorbeelden of "impacthelden". Dit kan van impact een geïndividualiseerde uitzonderlijke activiteit maken. Besteed in plaats daarvan aandacht aan bredere voorwaarden voor impact: groepen geëngageerde onderzoekers, ondersteunend personeel en regelingen die impactondersteuning en erkenning bieden.
Fase 1 (~ 10 - 8 maanden voor bezoek ter plaatse): Hoe identificeer je relevante impactcases?
De casestudy's moeten illustreren hoe de eenheid in de praktijk werkt aan (of streeft naar) impact. Idealiter identificeert een eenheid verschillende gevallen die in overeenstemming zijn met hun strategie, alvorens een casestudyselectie te maken die samen hun gehele strategie vertegenwoordigt. Aspecten om te overwegen zijn:
- Aard van het initiatief: zijn er bepaalde impactactiviteiten die bijzonder relevant zijn voor jouw veld en die impact hebben voor jouw afdeling?
- Trajecten naar impact: zijn er bepaalde routes die de eenheid vaker volgt? Indien dit wordt benaderd vanuit een perspectief van Theory of Change (ToC), houdt dit in dat onderzoeks-input en activiteiten de daaropvolgende output en resultaten, alsmede de (bereikte of potentiële) maatschappelijke impact. Dergelijke beschrijvingen van impacttrajecten maken het mogelijk te illustreren "hoe en waarom een gewenste verandering naar verwachting zal plaatsvinden in een specifieke probleemcontext" (Belcher et al., 2020).
- Belangrijke belanghebbenden: zijn bepaalde (langdurige) samenwerkingsverbanden of groepen belangrijk voor jouw academisch werk?
- Bredere voorwaarden voor impact: zijn er groepen betrokken onderzoekers, ondersteunend personeel en regelingen die impactondersteuning en erkenning bieden? Welke beleids- en praktische maatregelen zijn genomen om de juiste voorwaarden binnen de onderzoekseenheid te creëren? Hoewel de motivatie van onderzoekers natuurlijk van cruciaal belang is voor doeltreffende impactinitiatieven, mag een verhaal en/of strategie niet alleen gebaseerd zijn op voorbeelden van uitmuntende individuen. In zo'n geval blijft het meestal vaag hoe de zaak zich verhoudt tot de ambities, voorwaarden en mogelijkheden van een onderzoekseenheid, een centraal uitgangspunt in de SEP-evaluatie.
Aangezien representativiteit niet vanzelfsprekend is, moet je ervoor zorgen dat je transparant bent over de selectie van gevallen voor effectverhalen, en dat je in het zelfevaluatieverhaal kunt uitleggen en weergeven welke criteria zijn gebruikt.
Fase 2 (~ 8 tot 4 maanden voor bezoek ter plaatse): Hoe schrijf je een impact casestudy?
Casestudy's illustreren hoe de afdeling werkt aan (of streeft naar) impact in de praktijk. Gewoonlijk zijn casestudy's een korte samenvatting (ongeveer één pagina) met een beschrijving van een project in een verhalende vorm die voor het grote publiek duidelijk te begrijpen is (aangezien de casestudy's openbaar zullen worden gemaakt als onderdeel van de kwaliteitsborgingscyclus). Te overwegen aspecten zijn:
- Aard van het initiatief: Bepaal de context van de casestudy en - waar mogelijk - waarom de uitgevoerde activiteiten een goede weergave zijn voor de impactactiviteiten in jouw eenheid. Dit moet ook inzicht geven in waarom de specifieke casus een relevante casus is om naar te verwijzen.
- Trajecten naar impact: Het schetsen van deze trajecten kan helpen om aannames en processen expliciet te maken. Een veelgemaakte fout in impactverhalen is bijvoorbeeld dat relaties met actoren worden beschreven als "er gewoon zijn". Een ToC-benadering kan een nuttig kader bieden om deze impacttrajecten te beschrijven en de onderliggende veronderstellingen expliciet te maken. Een op ToC gebaseerde impactanalyse omvat gewoonlijk een beschrijving van:
- De overkoepelende onderzoeksdoelstellingen;
- Activiteiten die werden uitgevoerd (bijv. projectontwerp, veldwerk, communicatie of betrokkenheid met relevante stakeholders, participatieve activiteiten);
- Onderzoeksoutput: producten, goederen of diensten die voortkomen uit het onderzoek of het onderzoeksproces (bijv. kennis of processen die door de activiteiten worden gegenereerd);
- Onderzoeksoutcomes: eventuele veranderingen in kennis, attitudes, vaardigheden en relaties die zich uiten in gedragsveranderingen; dit kan ook worden beschreven per specifieke actorgroep - indien van toepassing.
- Belanghebbenden: Neem beschrijvingen op van productieve interacties met jouw belanghebbenden, voorbeelden van onderzoeksactiviteiten zoals co-creatie, overleg met stakeholders of gebruik van onderzoeks- en/of maatschappelijke veranderingen. Dit betreft zowel beschrijvingen van directe interacties (vergaderingen, informele contacten, bestuurslidmaatschap enz.) en indirecte interacties (d.w.z. financiële transacties en middelen voor onderzoek).
- Ruimere voorwaarden voor impact: Maak de aard van jouw initiatief duidelijk: was het onderdeel van een strategie, een resultaat van een langdurige samenwerking, een experimentele poging, of een toevallige gebeurtenis? Vermijd de nadruk op 'impacthelden'. Dit kan van impact een geïndividualiseerde en uitzonderlijke activiteit maken. Besteed in plaats daarvan aandacht aan bredere voorwaarden voor impact: groepen betrokken onderzoekers, ondersteunend personeel en regelingen die impactondersteuning en erkenning bieden. Vermeld ook concrete verwijzingen naar hoe een impactomgeving en capaciteit voor onderzoekers wordt gecreëerd om maatschappelijke impact te bereiken (bijv. om maatschappelijke partners te vinden en met hen samen te werken; om bevindingen te verspreiden onder een professioneel publiek).
Structuur
- Titel: Waar het onderzoek over gaat, of wat het resultaat van een bepaald project of programma was.
- Inleiding: Begin met het onderwerp waaraan je werkt en hoe het wetenschappelijke werk verband houdt met de samenleving. Vermeld het (de) impactgebieden (en) waaraan het onderzoek wil bijdragen (bijv. beleidsimpact, milieu-impact, economische impact, etc.). Dit moet worden gekoppeld aan een beschrijving van wie om dit onderzoek geeft of er baat bij heeft; wat er in de samenleving mis zou gaan zonder dit onderzoek; op welke waarden of kwesties het inspeelt; enz. Beschrijf vervolgens hoe de betrokken actoren het onderzoek hebben gestuurd, d.w.z. een beknopte beschrijving van de interacties/relaties die het project hebben gestimuleerd. Er moet duidelijk worden gemaakt hoe de relaties met externe actoren/productieve interacties tot stand komen.
- Hoofdgedeelte: Beschrijf of zich daadwerkelijke voordelen of maatschappelijke veranderingen hebben voorgedaan of, aangezien het jaren kan duren om veranderingen vast te stellen, beschrijf potentiële veranderingen. Voor experimenteel of fundamenteel onderzoek kan het gaan om een bijdrage aan een kennisketen. Geef daarbij aan hoe de maatschappelijke en wetenschappelijke prestaties zich tot elkaar verhouden. Beschrijf de onderzoeksresultaten en het soort effect dat de resultaten hebben gehad. Idealiter houdt het verhaal verband met impacttrajecten (zoals eerder beschreven) die ook in de meer algemene en strategische delen van het rapport zijn geïdentificeerd/beschreven. Deze kunnen worden ondersteund door passende indicatoren en erkenning van het onderzoek door maatschappelijke actoren en onderzoekers uit andere disciplines te belichten. In dit gedeelte zou het verhaal kunnen weergeven wie de onderzoeksresultaten heeft gehoord en hoe, evenals wat er is veranderd en wie van de verandering heeft geprofiteerd. Maak bij het schrijven van dit hoofdstuk expliciet hoe jouw werk mogelijk werd gemaakt door bredere voorwaarden voor impact die in jouw onderzoekseenheid aanwezig zijn (bijv. ondersteuning van verspreiding of beloning van bepaalde aspecten).
- Conclusie: Vat de effecten op de onderzoeksgroep samen en hoe het zich verhoudt tot de bestaande en toekomstige strategie: Ga je door in deze richting? Zul je de relaties met actoren in stand houden? Zul je je impactambitie ontwikkelen of actualiseren om veranderingen tot stand te brengen die nog niet waren bereikt?
Fase 3 (~ 4 tot 2 maanden voor bezoek ter plaatse): Hoe vermeld je de impact casestudy’s in het zelfevaluatie verhaal?
De impact casestudy’s zijn een voorbeeld van en leveren het bewijs voor de maatschappelijke relevantie van een afdeling, met name voor het impact onderdeel in het SEP-zelfevaluatieverhaal. Gemeenschappelijke elementen moeten worden benadrukt, vooral als het gaat om onderliggend bewijs voor trajecten naar impact, belangrijke stakeholders en voorwaarden voor impact. In het overkoepelende zelfevaluatieverhaal is het essentieel om deze elementen in het grotere geheel van de impactambities van de eenheid te plaatsen. Zijn de onderzoeksactiviteiten in de casestudy bijvoorbeeld representatief voor de door de eenheid uitgevoerde onderzoeksactiviteiten? Zijn de belanghebbenden die bij de casestudy betrokken waren of er een belang bij hadden vaker betrokken of zijn er mechanismen om langetermijnrelaties met deze belanghebbenden te bevorderen? Dit zijn elementen die reeds deel kunnen uitmaken van de impactbeoordeling en die hier nogmaals moeten worden benadrukt. Idealiter sluiten de indicatoren voor de maatschappelijke relevantie van de afdeling aan bij de processen en indicatoren die in de casestudy’s worden beschreven.
Denk eraan: de impactstudies zijn bedoeld als bewijs voor de maatschappelijke relevantie van een eenheid. Ze brengen jouw impactverhaal tot leven en bieden praktische voorbeelden om te illustreren hoe de strategie van een onderzoekseenheid wordt omgezet van woorden in daden.