Effectindicatoren

Impactindicatoren

Geschreven door: Hedi Westerduin

Datum: 02-06-2022

Steeds vaker worden academici gevraagd aan te geven hoe hun academisch werk zich verhoudt tot de samenleving.[1] Hetzij via formele evaluatieprocedures, zoals rapporten aan financiers of het Strategy Evaluation Protocol (SEP)[2], of als onderdeel van het subsidieaanvraagproces. Evaluatie van de maatschappelijke impact kan helpen om het leren en de waarde die we aan de Erasmus Universiteit Rotterdam (EUR) creëren aan te tonen, te beschrijven en te delen. Het Evaluating Societal Impact (ESI) project heeft niet alleen tot doel methoden te ontwikkelen om de maatschappelijke impact van onze EUR-kernactiviteiten te evalueren, maar ook om het begrip te bevorderen van het waarom, wanneer en hoe impactevaluatie te gebruiken. Dit begrip is met name belangrijk als het gaat om het selecteren en toepassen van indicatoren voor impactevaluatie, aangezien indicatoren, en met name kwantitatieve indicatoren, een veelbesproken onderwerp zijn geweest (Hicks et al., 2015). Op basis van literatuur over het gebruik van impactindicatoren en onze ervaringen bij de EUR, geven we richtlijnen voor het selecteren van impactindicatoren uit een (niet-uitputtende) lijst van impactindicatoren. Eerst delen we algemeen advies over waarom, wanneer en hoe indicatoren te gebruiken, voordat we instructies geven voor het gebruik van de (niet- uitputtende) lijst met impactindicatoren die we hebben samengesteld en als pdf onderaan deze pagina beschikbaar stellen. Dit is een opkomend, zich voortdurend ontwikkelend, gezamenlijk document - het is de bedoeling dit in co-creatie met academici van de Erasmus Universiteit Rotterdam verder te verfijnen en te ontwikkelen. Dus als je nuttige indicatoren ontwikkelt of ontdekt voor de evaluatie van maatschappelijke effecten of vragen heeft over de huidige inhoud, laat het ons dan weten.

Waarom impactindicatoren gebruiken?

Indicatoren zijn bedoeld om outputs en resultaten te helpen monitoren in relatie tot een beoogd maatschappelijk effect. Sommige indicatoren zijn kwantificeerbaar, zoals citaties in beleidsdocumenten, prijzen of subsidies. In impactkaders wordt ook steeds meer het belang erkend van kwalitatieve indicatoren voor maatschappelijke waardecreatie die vaak minder gemakkelijk te tellen zijn (bijv. samenwerkingsverbanden, langetermijnrelaties en productieve interacties met niet-academische belanghebbenden als wegen om impact te creëren) (Ludwig Boltzman Gesellschaft, 2021). Het is belangrijk op te merken dat indicatoren nooit op zichzelf staande bewijsstukken zijn.

Alleen wanneer ze worden geselecteerd en gebruikt in de context van een specifieke impactdoelstelling, kunnen indicatoren helpen tastbaar en meetbaar bewijs te verzamelen. Als ze op die manier worden toegepast, kunnen ze een krachtig bewijs voor impact vormen.

Wanneer gebruik je impactindicatoren?

Indicatoren zijn contextafhankelijk, wat betekent dat er geen uniforme indicator bestaat.[3] Tegelijkertijd kunnen ze (en worden ze) gebruikt in verschillende settingen met verschillende bedoelingen en tijdstippen. Bijvoorbeeld ex post om een portfolio van werkzaamheden te evalueren (bijv. SEP-evaluatie) of op project specifieke basis (bijv. subsidies). Of ex ante om een project met Impactmonitoring op te zetten of een monitoringsysteem voor een projectportefeuille te ontwikkelen. De diversiteit van de gebruikte casussen benadrukt het belang om na te gaan met welke intentie effectindicatoren in welke context worden gebruikt.

Hoe gebruik je effectindicatoren

Ons belangrijkste advies over indicatoren is om ze alleen te gebruiken in de context waarvoor ze zijn geselecteerd, met een goed gespecificeerde ambitie en doelstelling op het gebied van impact. Bij de evaluatie van een werkportefeuille (zoals bij SEP) zijn de indicatoren idealiter representatief voor de impactambitie en -strategie van de afdeling door aan te sluiten bij hun voorkeursprocessen, belanghebbenden en impactactiviteiten (meer informatie, specifiek over SEP in ons websitestuk: "Voorbereiden van casestudy's voor impact binnen SEP (2021-2027)".). Bij gebruik voor een individueel project adviseren wij om eerst een Theory of Change (ToC) te formuleren. In het proces van het formuleren van een ToC krijg je meer inzicht in hoe de verandering kan plaatsvinden en meer grip op planning, monitoring en evaluatie. Je kijkt ook kritisch naar je eigen aannames over het veranderingsproces (meer informatie in ons websitestuk 'Theory of Change'). Bovendien komt ToC ook terug in verschillende subsidierichtlijnen, bijvoorbeeld in de EU-kennisvalorisatie voor horizongids en NWO's impactplan aanpak.

Hoe de (onvolledige) lijst van effectindicatoren te gebruiken

Er bestaan veel potentiële indicatoren en verschillende uitstekende bronnen hebben al lijsten van indicatoren samengesteld.[4] Ons doel is niet om deze lijsten te vervangen, maar om een interpretatieve laag toe te voegen ter ondersteuning van de selectie in overeenstemming met wat wij als ESI aanbevelen. Onze lijst van impactindicatoren heeft het karakter van een keuzemenu: een niet-uitputtende, brede samenvatting van indicatoren waaruit academici of onderzoekseenheden kunnen kiezen, afhankelijk van hun specifieke profiel en in overeenstemming met hun eigen impactambitie en - strategie. Het biedt indicatoren die een breed bereik van valorisatie bestrijken. De wijze waarop wij de tabel hebben vormgegeven, is in overeenstemming met de aanpak die wij aanbevelen.

Begin eerst met het overwegen van je algemene impactsambitie - de maatschappelijke verandering die je hoopt te bereiken. Misschien kun je dit relateren aan een specifiek thematisch type effect, zodat je meer contextspecifieke indicatoren kunt overwegen. Om u hierbij te helpen hebben wij tabellen opgenomen die specifiek geschikt zijn voor een bepaald type impact (zie tabellen 2-8). Als extra lens voor impactindicatoren hebben we de eerste tabel voor algemene indicatoren (die nuttig kunnen zijn ongeacht het type impact) per type verandering uit het evaluatiekader van Kennisstromen (Edwards & Meagher, 2020). Merk op dat verschillende soorten verandering ook meer impliciet te vinden zijn binnen de thematische soorten impacttabellen.
Ten tweede, formuleer in de strekking van je missie wat voor soort resultaten je hoopt te bereiken. Uitkomsten betreffen resultaten op middellange termijn en hebben gewoonlijk een duidelijk verband met het doel van het academisch project; zij kunnen worden opgevat als tussenstappen naar effecten op langere termijn. In de tabellen hebben we voorbeelden van uitkomsten gegeven.
Ten derde, denk na over het soort output dat nodig is om je missie te bereiken. Output omvat de meest directe resultaten van een academisch project. Daarom moet je ernaar streven telbare en tastbare outputs te formuleren die het academisch werk moet opleveren. In de tabellen geven we voorbeelden van outputs. Nogmaals, afhankelijk van het soort verandering dat je nastreeft, kan de vereiste output van het project variëren.

Wij hebben bewust geen indicatoren voor activiteiten gespecificeerd, aangezien er een breed scala aan activiteiten kan zijn die bijdragen tot outputs en/of outcomes. Activiteiten zijn de praktische activiteiten die binnen jouw project uitgevoerd worden om de gewenste verandering te bereiken. Te denken valt aan activiteiten op het gebied van onderzoek, onderwijs en betrokkenheid.

Door van een resultaatniveau naar een activiteitenniveau te werken, heb je altijd het grotere geheel van jouw project voor ogen en kun je dus meer strategische beslissingen nemen over de activiteiten en outputs die tijdens het proces nodig zijn.

Om een idee te krijgen van hoe verschillende soorten impact kunnen worden aangetoond, kun je de onderstaande documenten bekijken.

Dit document bevat een gecombineerde selectie van effectindicatoren van VSNU Raamwerk Valorisatie Indicatoren (2013), Strategy Evaluation Protocol (2021-2027)[6], KNAW Maatschappelijke Impact in Kaart (2018)[7], ZonMw Impact Assesment Framework (2021)[8], Campus Engage Framework (2018)[9] en Research Excellence Framework (2021)[10]

Referenties

Edwards, D. M., & Meagher, L. R. (2020). A framework to evaluate the impacts of research on policy and practice: A forestry pilot study. Forest Policy and Economics, 114, 101975.

Hicks, D., Wouters, P., Waltman, L. et al. (2015) Bibliometrics: The Leiden Manifesto for research metrics. Nature 520, 429–431. https://doi.org/10.1038/520429a

Ludwig Boltzman Gesellschaft, (2021). “What is societal impact of research?” Literature Review: https://ois.lbg.ac.at/wp-content/uploads/sites/24/2022/01/Literature-Review_Societal-Research-Impact.pdf