Dit is een inleiding tot Flows of knowledge als methode voor impactbeoordeling. Onderaan de pagina vind je een casestudy (inclusief een downloadbaar rapport) die beschrijft hoe ESI gebruik heeft gemaakt van deze methode om een effectbeoordeling uit te voeren en onze reflecties.
Flows of Knowledge
Geschreven door: Margriet Kim Nguyen & Jorrit Smit
Datum: 30.05.2022
Wat is Flows of Knowledge?
Flows of knowledge (Flows) is een methode om de beleids- en praktijkeffecten van wetenschappelijk onderzoek te beoordelen. De methode is ontwikkeld (en bijgewerkt) op basis van uitgebreide professionele ervaring op het gebied van effectevaluatie in het Verenigd Koninkrijk (Meagher et al). Als benadering van impact casestudy’s is Flows relatief veelzijdig: het gaat er vooral om de verschillende soorten bereikte effecten kwalitatief en, indien relevant, kwantitatief in kaart te brengen, te specificeren wie erbij betrokken waren en welke causale factoren bevorderend of belemmerend werkten voor deze verandering. Deze conceptuele "bouwstenen" kunnen op veel verschillende manieren worden gecombineerd, wat een rijke beschrijving van de specifieke kenmerken van een effectgeval mogelijk maakt.
In de meest recente versie, beschreven in Edwards & Meagher (2020), zijn de drie kernvragen
(1) wat is er veranderd, (2) waarom en (3) welke lessen kunnen daaruit worden getrokken? Deze vragen worden beantwoord in een narratief, gebaseerd op informatie over effecten, actoren en oorzaken. Om het narratief te schrijven, wordt de informatie geanalyseerd volgens een kader dat in tabel 1 is weergegeven. Flows onderscheidt vijf soorten gevolgen, vijf categorieën belanghebbenden en acht causale factoren die kunnen leiden tot, of een risico vormen voor, het ontstaan van gevolgen. Flows omvat een reeks bouwstenen die aan verschillende situaties kunnen worden aangepast.
Onderdelen | Belangrijkste evaluatievragen |
1A. Effecten | Wat is er veranderd? |
Instrumentaal: Wijzigingen in plannen, besluiten, gedrag, praktijk, acties en beleid. | |
Conceptueel: Veranderingen in kennis, bewustzijn, attitudes en emoties. | |
Capaciteitsopbouw: Wijzigingen in vaardigheden en deskundigheid. | |
Duurzame connectiviteit: Veranderingen in aantal en kwaliteit van relaties en vertrouwen. | |
Cultuur/houding tegenover kennisuitwisseling en de impact van het onderzoek zelf. | |
1B. Actoren | Wie is er veranderd? (Beïnvloeders en de beïnvloeden) |
Beleidsmakers: met inbegrip van regelgevende instanties; lokaal, nationaal en internationaal. | |
Uitvoerders: overheid, particulieren, ngo's. | |
Gemeenschappen: m.b.t. plaats of interesse, algemeen publiek. | |
Onderzoekers: binnen en buiten het project en de instelling. | |
Anders: | |
2. Oorzakelijke factoren
| Waarom/hoe hebben zich veranderingen voorgedaan? |
Probleemstelling: Mate van belangrijkheid; hanteerbaarheid van het probleem; onderhandeling over onderzoeksvragen; geschiktheid van de onderzoeksopzet. | |
Onderzoeksbeheer: Onderzoekscultuur; integratie tussen disciplines en teams; van onderzoeksdiensten; planning; strategie. | |
Inputs: Financiering; personeelscapaciteit en -verloop; erfenis van eerdere werken, toegang tot apparatuur en middelen. | |
Outputs: Kwaliteit en bruikbaarheid van de inhoud; geschikt formaat. | |
Verspreiding: Gerichte en efficiënte levering van outputs aan gebruikers en aan doelgroepen. | |
Betrokkenheid: Niveau en kwaliteit van de interactie met gebruikers en andere belanghebbenden; coproductie van kennis; samenwerking tijdens ontwerp, ver opname van outputs. | |
Gebruikers: Invloed van kennisintermediairs. | |
Context: Sociale, politieke, economische, klimatologische en geografische factoren. | |
3. Geleerde lessen, toekomst | Geleerde lessen voor het vaststellen en generen van effecten
|
Tabel 1: Evaluatiekader voor onderzoeksimpact (Edwards & Maegher, 2020)
Waarom moet het worden gebruikt (of waarom niet)?
Multidirectionele flows of knowledge over een web van netwerken en relaties zijn de processen die het genereren van maatschappelijke impact mogelijk maken. Flows levert de conceptuele bouwstenen om de (meestal kwalitatieve) data verzameling en constructie van een narratief te structureren. Het kader voor effectbeoordeling is flexibel omdat er veel vrijheid is bij het gebruik ervan (zoals blijkt uit onze casestudy waarin we nabijheden hebben toegevoegd voor nadere definiëring). Het is een veelzijdige methode in intentie, opzet en interpretatie. Het was uitdrukkelijk de bedoeling verder te gaan dan starre logische modellen die eenduidige causaliteit, volgorde en zelfs lineariteit suggereren in het proces van het genereren van impact. Daarom besteedt deze methode aandacht aan "subtielere" impact zoals capaciteit, cultuur en verbinding. Zo stimuleert de methode gebruikers om niet alleen aandacht te besteden aan outputs en outcomes, maar ook aan processen m.b.t. het bouwen van relaties (die vaak de voorwaarden zijn voor toekomstige impact). Een opmerkelijk kenmerk is de aandacht voor het belang van intermediairs in processen die tot onderzoekseffect leiden. Dit aspect van relatievorming kan een krachtige motivatie zijn om Flows te gebruiken.
In termen van opzet biedt Flows verschillende bouwstenen die kunnen worden afgestemd op lokale behoeften en effectverwachtingen. Dit betekent dat het een geschikte methode is voor verschillende soorten beoordelingen, bijvoorbeeld van een financieringsprogramma, een specifiek project of een afdeling. In het algemeen helpt het kader om onderliggende redenen voor impact binnen de context van het project aan het licht te brengen, waardoor onderzoekers en stakeholders in de toekomst stappen kunnen ondernemen. Daarom ondersteunt het intern leren en externe communicatie. De bouwsteenbenadering van Flows of Knowledge zou actoren ook na een eerste evaluatie achteraf in staat kunnen stellen hun impact en de oorzaken ervan te blijven volgen.
De methode vergt wel enige tijdsinvestering, aangezien de identificatie van de soorten impact, de causale factoren en de betrokken actoren een raamwerk oplevert voor het belichten van de kennisstromen. Het verhaal moet nog uit dit raamwerk worden opgebouwd, hetgeen tijd en verdere reflectie vergt. Het feit dat deze aanpak op verschillende gebieden en niveaus kan worden toegepast is enerzijds haar grootste troef; anderzijds vergt zij ook een proactieve houding en een hoog niveau van impactkennis van degenen die met de beoordeling zijn belast. Vanuit methodologisch oogpunt kan de impactbehoundende connectiviteit (veranderingen in aantal en kwaliteit van de relaties) overlappen met de causale factor betrokkenheid (niveau en kwaliteit van de interactie met gebruikers en andere belanghebbenden). Daarom moeten de soorten interacties binnen de kennisstromen zorgvuldig worden onderscheiden. Edwards & Meagher (2020) merkten evenwel op dat duurzame connectiviteit niet als een volwaardige impact op zich hoeft te worden beschouwd, aangezien zij tot andere vormen van impact kan leiden (of het potentieel kan hebben om daartoe te leiden).
Wanneer moet het gebruikt worden?
Als het hoofddoel van een beoordeling formatief is, kan Flows goed van pas komen. Dat wil zeggen, wanneer er een beoordeling wordt uitgevoerd om leren, reflectie, verbetering en communicatie over impact mogelijk te maken. Hoewel de auteurs opmerken dat het conceptuele kader incidenteel ook kan worden gebruikt voor externe verantwoordingsdoeleinden. Bovendien is het gericht op het beoordelen van impact ex post: nadat een onderzoeks- of samenwerkingsproject is afgelopen. Toch kan het ook ex ante worden gebruikt om plannen te maken voor gewenste uitkomsten die vervolgens ex post moeten worden geëvalueerd.
Hoe kan het gebruikt worden?
Impactbeoordeling met Flows berust in de eerste plaats op kwalitatieve gegevens, waar nodig aangevuld met kwantitatieve gegevens. Een leidend beginsel is het verzamelen van input van meerdere stakeholders en databronnen. Het conceptuele kader kan worden gebruikt als leidraad voor het stroomlijnen van de gegevensverzameling en -interpretatie, alsook voor de opbouw van verhalen. De keuze van de kwalitatieve en eventueel kwantitatieve methoden hangt af van de omvang van het te evalueren programma of project. Voor grootschalige gevallen: enquêtes, projectdocumenten, zelfevaluaties en voorbereidende workshops, bibliometrie. Voor specifieke casestudies: focusgroepen en interviews om een diepgaande, rijke beschrijving te verkrijgen om de stromen te identificeren en om niet-bewuste veranderingen aan te pakken. Dit was het geval binnen onze casestudy, aangezien de nadruk van Flows ligt op 'verandering' en 'effecten' in interviewvragen/een evaluatiekader, kunnen niet-bewuste veranderingen moeilijker aan bod komen. Deze komen in interviews vaak pas later, terloops (en misschien helemaal niet in de zelfrapportage) naar voren. Bij de evaluatie van grotere programma's of afdelingen adviseren de auteurs de meer algemene gegevensverzameling aan te vullen met specifieke casestudy’s.
De gegevens kunnen samen met het conceptuele kader worden gebruikt om een impactnarratief op te bouwen. Belangrijk is dat dit kan worden gedaan door de analisten (zie onze voorbeeldcasus, waarvoor we inhoudsanalyse en semigestructureerde interviews hebben gebruikt), maar ook door de betrokken actoren zelf (zie Edwards & Meagher, 2020, die een combinatie van zelfevaluatie en inhoudsanalyse gebruikten).
Zoals gezegd besteedt deze methode aandacht aan "subtielere" effecten en stimuleert zij gebruikers om niet alleen te letten op outputs en outcomes, maar ook op processen van relatievorming (die vaak de voorwaarden zijn voor toekomstige effecten). De verschillende bouwstenen van Flows kunnen worden gebruikt voor verschillende soorten evaluaties en stellen actoren in staat hun impact en de oorzaken ervan te blijven volgen. Noodzakelijke voorwaardes voor het toepassen van Flows is tijdsinvestering, een proactieve houding en een basisniveau van impactgeletterdheid.
Wat is het resultaat?
Het belangrijkste resultaat van een beoordeling met Flows is een narratief. Indien gewenst kan dit narratief worden ondersteund met een selectie van indicatoren die door stakeholders tijdens het dataverzamelingsproces zijn vastgesteld. Uiteindelijk moet dit narratief zodanig worden vormgegeven dat actoren kunnen leren over of er iets veranderd is, wat er precies veranderd is en waarom (niet). Het narratief kan deel uitmaken van een groter rapport. In dat geval kunnen de kwalitatieve bevindingen, in de vorm van citaten en tabellen, een gevoel en overzicht geven van de verschillende stromen, effecten en actoren. Een bijkomend resultaat dat kan worden geproduceerd is een overzicht van coderingsfrequenties, gebaseerd op de inhoudsanalyse door de analisten, om een meer kwantitatief gevoel te geven van welke effecten, actoren en oorzakelijke factoren het belangrijkst waren in de besproken gevallen.
Wat is een “knowledge flow” en wie is betrokken bij een beoordeling volgens deze methode?
Oorspronkelijk werd de terminologie "stromen van kennis, deskundigheid en invloed" ingevoerd om een bepaalde opvatting over de maatschappelijke effecten van wetenschappelijk onderzoek weer te geven:
“Onderzoeksimpact is een functie van de interactie tussen de inhoud van het onderzoek, de context voor de toepassing ervan en de processen van gebruikersbetrokkenheid, waarbij die processen multidirectionele stromen van kennis, deskundigheid en invloed via een web van netwerken en relaties omvatten” (Maegher et al, 2008 ; Maegher & Martin, 2017).
Bij "Flows" ligt de nadruk dus vooral op processen van interactie tussen gebruikers en producenten van onderzoek en de factoren die daarop van invloed zijn. Dit betekent ook dat idealiter niet alleen onderzoekers (en analisten) worden betrokken, maar ook actoren uit beleid, praktijk en intermediaire instanties die een rol spelen in de betreffende cases. Niettemin bleek uit onze casestudy dat het inschakelen van een externe evaluator een zekere afstand creëerde tot het onderzoeksproject waarin men een meer 'objectief' standpunt kon innemen. Na het opstellen van de flows en het narratief was feedback van de geïnterviewden nodig om op de flows te reflecteren, waardoor een iteratief leerproces ontstond.
Bekijk een voorbeeld waarbij ESI-onderzoekers Flows of Knowledge hebben toegepast in de casestudy onderaan deze pagina.
Literatuur over Flows of Knowledge
Edwards, D. M., & Meagher, L. R. (2020). A framework to evaluate the impacts of research on policy and practice: A forestry pilot study. Forest Policy and Economics, 114, 101975. https://doi.org/10.1016/j.forpol.2019.101975
Meagher, L.R., & Martin, U. (2017). Slightly dirty maths: The richly textured mechanisms of impact, Research Evaluation, 26(1), 15–27. https://doi.org/10.1093/reseval/rvw024
Meagher, L., Lyall, C., & Nutley, S. (2008). Flows of knowledge, expertise and influence: A method for assessing policy and practice impacts from social science research. Research Evaluation, 17(3), 163–173. https://doi.org/10.3152/095820208X331720
Laura R. Meagher, Ursula Martin, Slightly dirty maths: The richly textured mechanisms of impact, Research Evaluation, Volume 26, Issue 1, January 2017, Pages 15–27,
Improving crew planning at Dutch railways - Flows of Knowledge as an impact evaluation tool
Written by: Margriet Kim Nguyen, Jorrit Smit
Date: 30.05.2022
Duration: Project Impact Assessment (PIA) took place between June 2021 and March 2022; the PhD project was concluded in 2020, the collaboration between NS and EUR continues.
Stakeholders: Econometrics Institute at Erasmus School of Economy of Erasmus University Rotterdam (ESE); innovation department at national railways (P&I, NS); Evaluating Societal Impact
ESI Researchers: Margriet Kim Nguyen & Jorrit Smit
In this case study on using algorithms to improve the fairness, efficiency, and quality of crew planning for the national railways, we have used the Flows of Knowledge (Flows) approach as introduced by Meagher, Lyall & Nutley (2008) and described in Edwards & Meagher (2020).
Flows moves beyond a narrow interpretation of impact in the instrumental sense (direct, tangible effects of research on practice or policy). Rather, this method pays attention to ‘more subtle’ impacts like capacities, culture, and connectivity. In this way, the method stimulates users to pay attention not only to outputs and outcomes, but also to processes of relationship-building (which are often the conditions for future impact). Our experience and impressions are summarized below.
An example of Flows of Knowledge ex post: Improving fairness and quality of crew planning
ESI used Flows to assess how a collaboration between econometricians and innovation experts at the NS contributed to changes in the process of crew planning. There is a long-running collaboration between the NS and ESE; for over twenty years there is intensive contact, and the NS has funded ESE research into rail-related mobility and logistics on a structural basis. This collaboration consists of a special chair in Public Transport Optimalisation, a professor who also works as innovation expert at the NS, and regular funding of ESE PhD research. Both the chair and PhD candidates are physically present at the EUR and NS offices. This case study is about one PhD trajectory that focused on improving crew planning in terms of quality and ‘fairness’ for train drivers and conductors. The PhD researcher developed, from theoretical principles, an algorithm that could produce various ‘good’ and ‘fair’ schedules. Subsequently, the algorithm was further developed into a prototype, at the NS, and tested during a pilot-phase in the practice of actual scheduling committees.
What did the assessment consist of?
Impact assessment with Flows of Knowledge relies first and foremost on qualitative data. ESI studied available documents of the project and conducted five in-depth interviews with stakeholders from the EUR and the NS. The interviews were coded on the basis of the Flows conceptual framework to distinguish different types of impact, involved stakeholders and causal factors that made changes possible. The ESI team also paid attention to the different dimensions of proximity that enabled collaboration and exchange to occur. Ultimately, this allowed us to reconstruct in narrative form a complex whole of ‘knowledge flows’ between the actors from the university, the innovation department and the other NS units around the algorithm.
What was the result of the Flows of Knowledge analysis?
This impact assessment, guided by Flows, resulted in a report. It contains a narrative that summarizes the way knowledge ‘flowed’ between different actors and how this led to changes in the practice of making work schedules.
Besides a narrative, the report contains descriptions of the ways in which the project did or did not yet realize five different types of impacts. For each impact, the involved actors are identified and the causal factors that supported (+) or obstructed (-) the generation of lasting change (see table 7, p.13/14 in report). We added another interpretive layer by associating these causal factors with five different dimensions of proximity (Boschma, 2005) (see table 9 or in report table 9). This concept from innovation literature is not a requirement of a Flows-analysis but was relevant to include as in this case the focus was on a (long-term) collaboration between science, innovation, and practice. The flexibility of the Flows approach made it possible to add more analytic tools that were relevant for our understanding and to promote learning.
Ultimately, the Flows analysis shed light on ‘improved crew planning’ which is an example of bottom-up initiated research and structural science-practice collaboration. The question how to optimize the process of constructing crew schedules was initiated ‘bottom up’ and reached the researcher via the intermediary innovation department of the train company. The physical presence of the PhD researcher at the NS office greatly contributed to understanding of the problems, knowledge of the end-users and the specific needs that the algorithm had to respond to. The intermediary co-workers at the innovation department were able to translate the theoretical work into a practically applicable system through a co-creative process with end-users. This resulted in partial adoption of the applicable system: one user group accepted the solution, the other did not fully accept the solution.
Several implementation barriers to implement the outcome within the railway organisation on a national scale became visible, for various technical but mainly organizational reasons. The outcome of the research however intensified social networks within and outside the railway organisation which resulted in further knowledge dissemination and led to changed attitudes regarding the use of algorithms for staff planning and capacities within the organisation.
Please find the report ‘Eerlijke Personeelplanning op het spoor 2022’ below as a downloadable file.