Dit is een inleiding tot productieve interacties/SIAMPI als methode voor impactbeoordeling. Onderaan de pagina vind je een casestudy (inclusief een downloadbaar rapport) die beschrijft hoe ESI deze methode heeft gebruikt om een impactbeoordeling uit te voeren en onze reflectie.
SIAMPI Methode
Geschreven door: Lisa Burghardt
Datum: 30.05.2022
Wat is SIAMPI?
De SIAMPI-methode verschilt van andere impactbeoordelingsmethoden door de nadruk op processen, interacties en belanghebbenden in plaats van op de output van onderzoek. Een SIAMPI-analyse is sterk gericht op het onderzoeksproces en de bijbehorende interacties die daarbinnen plaatsvinden. De methode is gericht op het belichten van de mechanismen die maatschappelijke effecten kunnen bewerkstelligen, met een focus op zogenaamde productieve interacties en de rol van stakeholders. Volgens Spaapen en Van Drooge (2011) is een interactie productief wanneer deze leidt tot inspanningen van stakeholders om onderzoeksresultaten toe te passen op maatschappelijke doelen, dus wanneer deze leidt tot gedragsverandering.
Er worden drie soorten interacties onderscheiden:
- Directe interacties: Via direct persoonlijk contact (variërend van gewone vergaderingen tot complexe samenwerkingsregelingen voor onderzoek);
- Indirecte interacties: Via indirect contact of bemiddeling door specifieke "dragers" (Bijv. deskundigenverslagen, collectieve goederen, producten, beleidsinstrumenten, opleiding en onderwijs);
- Financiële interacties: Via financiering of andere steunmechanismen, zoals samenwerkingsovereenkomsten.
Spaapen en Van Drooge (2011) beschrijven deze interacties als mechanismen voor maatschappelijke impact. Zij beschouwen “productieve interacties” als een eerste vereiste voor de maatschappelijke impact van onderzoek, door te stellen dat "om impact te hebben moet je contact hebben - direct, indirect en/of financieel". Toch wordt de definitie van maatschappelijke impact in SIAMPI-artikelen nogal opengehouden: het gaat om het welzijn van mensen (kwaliteit van leven) en/of de sociale relaties tussen mensen en organisaties. SIAMPI verduidelijkt niet de grenzen tussen productieve en onproductieve interacties, of wanneer een productieve interactie al dan niet tot maatschappelijke impact leidt.
Waarom moet het worden gebruikt (of waarom niet)?
Gezien de vele problemen bij het beoordelen van impact, richt SIAMPI zich op interacties tussen diverse actoren in het onderzoeksproject die tot impact kunnen leiden. Het biedt een goed inzicht in de sociale relaties en netwerken die ontstaan tijdens en ter ondersteuning van het onderzoeksproces. SIAMPI kan ook bijdragen tot het creëren van een theoretisch kader waarbinnen interacties zichtbaar worden gemaakt en kunnen worden beoordeeld.
Hoewel SIAMPI dit niet specifiek vermeldt, hebben we binnen onze casestudy de SIAMPI-uitkomsten gekoppeld aan de Theory of Change (Belcher et al, 2020) om de (beoogde) maatschappelijke impact nader te definiëren.
Bij het gebruik van SIAMPI kunnen enkele opmerkingen worden gemaakt:
(1) De SIAMPI-methodologie is niet volledig ontwikkeld. SIAMPI geeft niet duidelijk aan hoe de productieve interacties worden omgezet in (beoogde) maatschappelijke impact; waar houden de productieve interacties op en ontstaat maatschappelijke impact? Aangenomen wordt dat de productieve interactie zelf een impact vormt.
(2) SIAMPI vermeldt niet hoe een potentiële productieve interactie, of een belemmering van een productieve interactie moet worden aangegeven. Het kan interessant zijn deze potentiële of belemmerende mechanismen in het analytische kader op te nemen om te begrijpen waarom een productieve interactie niet (volledig) heeft plaatsgevonden.
(3) SIAMPI vermeldt geen tijdsindicatie om een onderzoeksproject te volgen en/of in de toekomst (opnieuw) te evalueren (Bijvoorbeeld: Wordt het x aantal jaren later opnieuw gemeten?). Verduidelijk daarom vooraf een tijdsbestek waarin een SIAMPI-evaluator bepaalt wanneer zijn/haar betrokkenheid begint en eindigt. Zo kunnen de betrokken belanghebbenden zich ook voorbereiden op het overdragen van een evaluerende rol binnen hun onderzoeksproject.
(4) Bij diepte-interviews is de topiclijst van SIAMPI ruim geformuleerd. De topiclijst kan dus worden afgestemd op een specifieke context en type belanghebbende (primaire/secundaire/onderzoeker).
Wanneer moet het gebruikt worden?
Via SIAMPI kan licht worden geworpen op wat er gebeurt in het proces van kennisproductie, en welke rol verschillende belanghebbenden daarin spelen. De focus van een SIAMPI-evaluatie ligt op het interactieproces en niet op een onderzoeksentiteit. SIAMPI is dus een geschikte evaluatiemethode voor projecten met elementen van co-creatie, actieonderzoek, proeftuinen of andere vormen van betrokkenheid van belanghebbenden.
Hoe kan het gebruikt worden?
SIAMPI als benadering voor impact casestudy’s is relatief breed: het gaat er vooral om de verschillende soorten interacties tussen de betrokken actoren in een project, eenheid of programma kwalitatief en, indien relevant, kwantitatief in kaart te brengen. Dit betekent dat men deze aanpak zowel tijdens als na afloop van een project kan gebruiken.
Tijdens het project (ex durante) kan SIAMPI een goede leidraad zijn voor interactief leren tussen projectleden. Het afnemen van de interviews en het bespreken van (voorlopige) resultaten van de beoordeling binnen het team kan alle betrokkenen bewuster en reflectiever maken over welke interacties productief zijn en hoe zij kunnen bijdragen aan de maatschappelijke verandering die zij willen bereiken.
Achteraf (ex post) kan SIAMPI een nuttige aanpak zijn om te achterhalen welke interacties uiteindelijk productief waren, d.w.z. tot veranderingen in het gedrag van belanghebbenden (inclusief de onderzoekers!) hebben geleid.
Ook kan dan enig inzicht worden verkregen in de relatie tussen interacties en (beoogde) impact.
Wat wordt er verkregen?
De uitkomst van een SIMAPI kan verschillende vormen aannemen en er is niet één manier om dat te doen. Aangezien SIAMPI vooral gericht is op interacties moet het resultaat van een dergelijke evaluatie gericht zijn op het zichtbaar maken van deze interacties. Een voorlopige visualisatie van productieve interacties kan worden besproken met de belanghebbenden om na te gaan of deze overeenstemt met hun ervaringen en om leerprocessen te vergemakkelijken (formatieve evaluatie).
Bekijk een voorbeeld van hoe de ESI-onderzoekers het hebben gedaan in de casestudy onder deze tekst.
Wie is een belanghebbende en wie is betrokken bij een beoordeling aan de hand van deze methode?
“Belanghebbenden” in deze benadering omvatten alle actoren die betrokken zijn bij het bereiken van maatschappelijke effecten: onderzoekers, het bedrijfsleven en private partijen, publieke organisaties, de overheid en het grote publiek.
Toch wordt bij een SIAMPI-analyse de nadruk gelegd op de relatie tussen onderzoekers en andere belanghebbenden, waaronder academici op aangrenzende gebieden. Het doel is ook om alle belanghebbenden bij de beoordelingsprocedure te betrekken door middel van bijvoorbeeld focusgroepen of door hen deel te laten uitmaken van een beoordelingscomité.
Hoe pak je het aan?
De data voor de impactbeoordeling kan zowel kwantitatief als kwalitatief voor elk type interactie zijn. Deze data kunnen bijvoorbeeld bestaan uit verhalen, casestudies, documenten, enz.
Aangezien SIAMPI geen handleiding voor impactbeoordeling geeft, moeten sommige praktische kwesties door de analisten zelf worden beslist, zoals bijvoorbeeld de duur van de beoordeling. De analisten en de betrokken actoren moeten een duidelijke periode voor de beoordeling bespreken en beslissen wat er daarna zal gebeuren.
In het algemeen ontbreekt het SIAMPI aan nauwkeuriger richtsnoeren. Belanghebbenden zouden veel baat kunnen hebben bij meer concrete instrumenten waarmee zij de methode zelf kunnen voortzetten nadat onderzoekers die de impactevaluatie uitvoeren zich uit het project terugtrekken. De methode biedt echter ook mogelijkheden om creatieve manieren te verkennen om productieve interacties en dus, volgens Spaapen en Van Drooge, maatschappelijke impact vast te stellen.
Literatuur
The societal impacts of research. MethodsX, (7). Belcher, B.M., Davel, R. & Claus, R. (2020). A refined method for theory-based evaluation of the societal impacts of research. MethodsX, (7).
Edelenbos, J., & Monnikhof, R. (2001). Lokale interactieve beleidsvorming: Een vergelijkend onderzoek naar de consequenties van interactieve beleidsvorming vergelijkend onderzoek naar de consequenties van interactieve beleidsvorming voor het functioneren van de lokale democratie. Utrecht: Lemma voor het functioneren van de lokale democratie. Utrecht: Lemma
Polonsky, M.J. and Scott, D. (2005), "An empirical examination of the stakeholder strategy matrix", European Journal of Marketing, Vol. 39 No. 9/10, pp. 1199-1215.
Spaapen, J and L van Drooge 2011. Productive interactions as a tool for social impact assessment of research. Research Evaluation, 20(3). ment of research. Research Evaluation, 20(3).
Productive Interactions in Education - SIAMPI as an impact evaluation tool
Written by: Lisa Burghardt
Date: 23.02.2022
Project duration: Project Impact Assessment (PIA) took place between February and June 2021; the Nudging in Education Project runs from 2018 to 2022
Stakeholders: Project ‘Nudging in het Onderwijs’ at Department of Psychology and Pedagogical Sciences (DPECS) at the Faculty of Social Science of Erasmus University Rotterdam (ESSB), Evaluating Societal Impact
ESI Researchers: Margriet Nguyen, Lucy van Eck & Jorrit Smit
In this case study on a 'Nudging in Education’ research project, we have used the SIAMPI (Social Impact Assessment Methods through Productive Interactions) approach as introduced by Spaapen & Van Drooge (2011). Because of the many issues with assessing impact, SIAMPI focuses on interactions between diverse actors in the research project that might lead to impact. It provides good insight into the social relationships and networks that emerge during, and that support, the research process.
SIAMPI can also contribute to the creation of a framework within which interactions are made visible and assessed. Preliminary visualization of productive interactions can be discussed with stakeholders to check whether it aligns with their experience and to facilitate learning processes (formative evaluation). We have tested this method, and reflected on its use, in an evaluation of the societal impact of a research project within the educational sector. Our experience and impressions are summarized below.
An example of SIAMPI ex durante: Nudging in Education
ESI used SIAMPI to assess productive interactions in a collaborative pedagogical research project.
“The research project ‘Nudging in Education’ (Nudging in het Onderwijs) is a collaboration between different partners: Erasmus University Rotterdam, Da Vinci College, Hogeschool Rotterdam, De Rooi Pannen, BUAS, ECBO, and TU Eindhoven. Researchers, teachers, and management of these institutions work together in this project with the common goal of helping students demonstrate autonomous learning behavior at MBO levels. The research project is made possible by the grant for Practical Research from NWO-NRO” (nudginginhetonderwijs.nl, 2021).
‘Nudging in Education’ focuses on professionalizing teachers through nudging theory. Nudges are almost imperceptible changes to our decision environment that are meant to subtly guide behaviour into (more) healthy or otherwise ‘desirable’ directions. As part of this project teachers learn about nudging theory, develop nudges together with researchers and professionals and test these nudges experimentally in their educational practices. Based on these experiments, the researchers expect to generate insights on the applicability of nudging in education (specifically for teacher professionalization). In addition, they will develop practical tools that teachers and teacher educators can use to support students in their learning process (NRO, 2018).
What did the assessment consist of?
Impact assessment with SIAMPI relies first and foremost on qualitative data. In this case, ESI studied available documents and websites of the project and conducted eight interviews with a diverse set of stakeholders. The interviews were coded to distinguish between different productive interactions, as well as related changes in attitude, knowledge, relationships, network, and skills (outcomes).
The ESI team also paid attention to different ideas about the intended societal impact of the project 'Nudging in Education'. It should be noted that the productive interactions and outcomes in themselves can also, to a certain extent, be understood as societal impact. Impact, therefore, does not necessarily have to be related to the intended impact of the researchers themselves. It is precisely by putting the web of interactions (see p. 17 in report) and its outcomes in the spotlight that it becomes clearer what changes in behaviour and relations have already taken place due to the research project, the researchers’ involvement, and the efforts of the stakeholders.
What was the result of the SIAMPI analysis?
This impact assessment, guided by SIAMPI, resulted in a report. It contains a narrative that summarizes in which way the Nudging in Education project aims to achieve societal impact. Furthermore, there is a table that captures the different kinds of productive interactions (direct, indirect, financial) that already do, or in the future might, contribute to this change (see here or report p. 13).
In addition, the ESI team decided it would be worthwhile to visualize the web of productive interactions. Therefore, they devised a stakeholder map of the Nudging in Education project, in close consultation with the actors. In this visualization we decided to include the level of involvement and participation of different actors. The level of involvement was indicated through the participation ladder which is often used in public administration (see Edelenbos and Monninkhof, 2001). This visualization (p. 17 in report) created a good opportunity to discuss and (re)evaluate the involvement of the stakeholders in one of their consortium meetings. This visualization made the role of the partners more transparent and stimulated further discussion on their modes of interaction.
We would like to highlight that such a visualization is not a standard or ‘requirement’ of a SIAMPI evaluation. In this case, the visualization not only improved the understanding of the ESI analysts, but it also provided a basis for deliberate conversations amongst all stakeholders involved in the process.
The ‘Nudging in Education’ project is an example of scientific research with a high degree of practical relevance, where different societal stakeholders are enabled to co-create based on their own expertise. The entire project is a learning environment in which people learn from one another and social contacts are intensified. Crucial is the key role of the PhD-student, who has a strong mediating role between the practice and the scientific environment. The result is a strengthened network, changes in attitude and awareness of teaching skills and the teacher’s own role, as well as an increased degree of knowledge sharing within and outside the consortium. These outcomes contribute to the intended societal impact of teacher professionalization and increased student autonomy.
Please find the report 'Nudging in het hoger onderwijs 2021' below as a downloadable file.