Transparantie en eerlijkheid
Om de transparantie van Horizon Europe te vergroten, en het enthousiasme bij het kennisveld te stimuleren, is het zaak stakeholders meer te betrekken bij het ontwerp van calls. Dat komt naar voren in het Commissierapport ‘Study on the proposal evaluation system for the EU R&I framework programme’, dat ingaat op het evaluatieproces van voorstellen onder Horizon 2020. Verder concludeert het rapport dat het evaluatieproces in grote lijnen eerlijk verloopt. Zo hebben gender en waar onderzoekers vandaan komen over de gehele linie van het programma geen invloed op succesratio’s. Dit is wel het geval bij de European Research Council en de Marie Skłodowska-Curie Acties. De lagere succesratio van vrouwen in vergelijking met mannen komt met name voort uit het feit dat vrouwelijke onderzoekers minder vaak een voorstel indienen, stelt het rapport. Opvallend is verder dat de vrouwen die succesvol zijn, evenals aanvragers uit widening-landen, een slechter bibliometrisch track record hebben dan mannelijke aanvragers en aanvragers uit overige lidstaten. De studie concludeert ook dat er geen verschil zit tussen de beste voorstellen die het niet halen en de zwakste succesvolle voorstellen. Daarom kan het lonen om een alternatieve aanpak in te zetten, zoals loterijen, voor de selectie van voorstellen binnen deze groep.
Meer ruimte voor nieuwe ideeën
Het evaluatieproces is conservatief en biedt daardoor relatief weinig ruimte aan nieuwe, innovatieve onderzoeksideeën. Dit concluderen de auteurs van de studie op basis van het feit dat voorstellen waarbij er een grote variatie is tussen de scores van evaluatoren een lagere kans op succes hebben. De onderliggende redenatie is dat nieuwe ideeën duiden op meer tegenspraak. Om deze zwakte in het evaluatiesysteem te adresseren suggereert de studie om speciale financieringsstromen in te stellen voor innovatieve ideeën. Een andere mogelijkheid is de introductie van een speciaal ‘innovatiecriterium’ in het evaluatieproces.
Werkdruk verlagen
Het onderscheid tussen verschillende aanvraagprocedures werkt niet op een efficiënte manier, aldus de studie. Indieners zijn namelijk ongeveer even veel tijd kwijt aan voorstellen met een enkele ronde als aan voorstellen met meerdere ronden. Om de werkdruk voor indieners te verlagen moeten er binnen procedures met meerdere ronden twee keer zo veel voorstellen worden geweigerd in de eerste ronde, aldus de studie. Binnen Horizon 2020 staat dit percentage op 40 procent. Ook de werkdruk voor beoordelaars kan omlaag, bijvoorbeeld door het beperken van zogenaamde consensus meetings, die bedoeld zijn om evaluatoren op één lijn te krijgen. Het houden van zulke besprekingen zou alleen nodig zijn als er echt significante meningsverschillen tussen beoordelaars zijn. Daarnaast suggereert de studie om evaluatoren flexibeler in te zetten. Een goede optie die niet alleen de werkdruk maar ook de efficiëntie verbetert is om de beoordeling van aanvragen te verdelen tussen verschillende beoordelaars, corresponderend met hun specifieke expertise. Verder kan de feedback voor onsuccesvolle aanvragers beter; slechts 20 procent van deze groep is hier positief over. Beoordelaars zouden de evaluatiecriteria centraler moeten stellen in de feedback die zij geven.
Context
De lessen die in de studie worden getrokken uit Horizon 2020 bieden een basis om veranderingen door te voeren in het huidige Kaderprogramma. In dat opzicht sorteert de studie alvast voor op de ex-post evaluatie van Horizon 2020. Een eerste appreciatie van de aanvraagprocedure onder Horizon Europe concludeerde dat onderzoekers weliswaar over het algemeen positief zijn, maar dat meer duidelijkheid, gebruiksvriendelijkheid en stabiliteit van belang is om de procedure te verbeteren.
