Anonymizované hodnocení v programu Horizont Evropa

Novince v pracovním programu se věnovala pracovní skupina IGLO Implementation.

Pracovní program Horizontu Evropa na období 2023/2024 sebou přinesl kromě rozšíření financování paušálními částkami i novinku ve formě pilotu tzv. anonymizovaného hodnocení (blind evaluation). Hlavní podstatou nového hodnocení je anonymizace identity organizací, které v projektovém návrhu figurují, za účelem zajištění objektivnějšího přístupu hodnotitelů a zamezení předpojatosti a nedůvěře vůči žadatelům ze zemí s nižší intenzitou výzkumu. Anonymizované hodnocení je nyní testováno v rámci prvního kola u všech výzev s dvoukolovým hodnocením kromě výzev v části Widening. Anonymizace projektových návrhů se tak stala novým kritériem přípustnosti.

Zavedení anonymizovaného hodnocení bylo jedním z požadavků Evropského parlamentu a Rady EU při vyjednávání aktuálního rámcového programu. Prvotní snahou Evropské komise bylo otestovat nový způsob hodnocení již v předešlém pracovním programu, což ale nebylo možné z důvodu nedostatečného zájmu ze strany výkonných agentur Komise. Účelem pilotu je především otestovat, zda je tento způsob hodnocení pro Evropskou komisi časově a kapacitně proveditelný. Anonymizované hodnocení bylo součástí již 5. rámcového programu, ale právě kvůli náročnosti jeho implementace od něho bylo upuštěno.

Pro naplnění nového kritéria přípustnosti nesmí žadatelé v části B své projektové žádosti v prvním kole zveřejnit názvy svých organizací, akronymy, loga ani jména zaměstnanců. Část A projektového návrhu bude anonymizovaná automaticky prostřednictvím IT nástroje Evropské komise. Před odesláním návrhů hodnotitelům bude způsobilost kontrolována pracovníky Evropské komise. V případě, že i navzdory této prvotní kontrole hodnotitelé narazí v projektovém návrhu na nepřímou referenci, na základě které by bylo možné určit identitu členů konsorcia, budou tyto projekty posuzovány případ od případu ve spolupráci s právním oddělením Komise.

Za účelem lepšího představení anonymizovaného hodnocení došlo k aktualizaci šablony návrhu pro žádosti v 1. fázi „Standard Application Form (HE 1st stage RIA and IA)“. Šablona nyní obsahuje pokyny pro žadatele o tom, jak odpovídajícím způsobem koncipovat návrh a také obsahuje příklady prohlášení, která jsou povolena, a prohlášení, která mohou vést k nepřípustnosti návrhů. Zároveň došlo také k aktualizaci pokynů pro expertní hodnotitele. Evropská komise v této fázi neplánuje vydat žádné další pokyny.

První hodnocení pilotu proběhne už začátkem 2024. Průběžná analýza, která se bude skládat z dotazníku pro žadatele, koordinátory výzev a ze zpětné vazby hodnotitelů bude použita k doporučení pro případné rozšíření pilotu na období 2025-2027.

V rámci pracovní skupiny IGLO Implementation dále vystoupili zástupci Evropské spolupráce ve vědeckém a technickém výzkumu (COST) a švýcarské grantové agentury SNSF. Obě agentury mají již dlouholeté zkušenosti s implementací anonymizovaného hodnocení.

Dle zkušeností COST jsou pouze 2–3 % návrhů na výzvu prohlášeny za nezpůsobilé z důvodu porušení anonymity. Z pohledu hodnotitelů je tento způsob hodnocení ve většině vnímán velmi pozitivně, někteří z nich jsou ovšem kritičtí, protože úsilí potřebné pro hodnocení je v porovnání s klasickými žádostmi vyšší. Zástupce COST zdůraznil, že anonymitu je třeba vnímat jako celkový koncept. Autor projektového návrhu musí při psaní projektového návrhu dávat pozor na to, aby neodhalil identitu nejen sebe ale ani nikoho z konsorcia.

Švýcarská grantová agentura SNSF implementuje anonymizované hodnocení v rámci programu SPARK, který je určen pro financování převratných nápadů a kde zkušenosti výzkumníka nemají na hodnocení žádný vliv. Vzhledem k tomu, že se jedná o program určený pro výzkumníky jenom z jedné země, hodnotitelé občas přepokládají, že znají identitu hostující instituce. Z analýzy vyplývá, že hodnotitelé se domnívali, že vědí, kdo byli žadatelé ve 3,5 % návrhů, avšak pouze u 1 % návrhů byly jejich předpoklady správné. Výsledkem zavedení anonymizovaného hodnocení bylo navýšení počtu nováčků žádajících o financování. Nastavením programu SPARK se inspirovala i německá nadace Volkswagen Stiftung.