„A jelenlegi kutatásértékelési gyakorlatok meghatározó szerepet játszanak a tudományos prioritások, a finanszírozás és a karrierutak alakításában, mégis gyakran szűk mérőszámokra támaszkodnak, amelyek nem képesek megragadni az együttműködést, a nyitottságot és a társadalmi hatást. Ez torz ösztönzőket teremthet, és nyomás alá helyezheti a kutatási rendszereket. Egyre nagyobb szükség van kiegyensúlyozottabb, költséghatékonyabb és átláthatóbb megközelítésekre, amelyeket nyílt adatok, valamint az MI gondosan szabályozott használata támogat. A kutatásértékelés reformja összehangolt intézményi fellépést igényel annak érdekében, hogy az értékelési gyakorlatok jobban igazodjanak a tudomány változó természetéhez és a társadalmi szükségletekhez.
Legfontosabb megállapítások:
A kutatásértékelés (Research Assessment, RA) központi szerepet játszik a kutatási rendszer prioritásainak és működésének alakításában, a jelenlegi gyakorlatok azonban gyakran nincsenek összhangban a változó szakpolitikai igényekkel és a kutatási folyamat átalakulásával. Az RA túlzott támaszkodása a szűk teljesítménymutatókra hajlamos alulértékelni az olyan kritikus kutatási gyakorlatokat és hozzájárulásokat, mint az együttműködés, a nyitottság, a társadalmi hatás vagy a szakpolitikai támogatás. Ugyanakkor ezek a mutatók torz ösztönzőket teremtenek, és nem kívánatos magatartásformákhoz vezethetnek.
Sürgető szükség van olyan alternatív értékelési eszközök és folyamatok kidolgozására és tesztelésére, amelyek egy egészséges és produktív, a társadalmi igényeket szolgáló kutatási kultúra kialakulását segítik elő. A kutatásértékelési koncepciók és módszertanok rendszerszintű, jobban alkalmazkodó irányba történő továbbfejlesztésének szükségességét a kutatást végző szervezetek és a finanszírozók egyaránt felismerik. Az RA átalakítása azonban nehéznek bizonyult, mivel összehangolt erőfeszítést és paradigmaváltást igényel a mélyen beágyazott értékelési gyakorlatokban és struktúrákban.
A kutatásértékelést költséghatékony módon kell alkalmazni. Az RA a kutatási rendszerrel szemben támasztott elvárásokkal párhuzamosan exponenciálisan növekedett. Az értékelés ma már túl sok időt és erőforrást von el mind a kutatóktól, mind a kutatási adminisztrátoroktól. RA-t csak világosan meghatározott célok érdekében szabad végezni, és csak akkor, ha más, kevésbé erőforrás-igényes folyamatok nem alkalmasak e célok elérésére.
A hatékony kutatásértékeléshez FAIR-alapú és nyílt adatkörnyezetre van szükség. A kizárólag saját tulajdonú adatokra és szolgáltatásokra való támaszkodás csökkenti azoknak a metaanalíziseknek az elvégzésére vonatkozó kapacitást, amelyek kulcsfontosságúak a hatékony kutatásértékelés szempontjából. Az ellenőrzés és az átláthatóság elvesztése alááshatja a kutatási ügynökségek és intézmények autonómiáját, valamint a kutatói közösség bizalmát.
A nemzeti és globális rangsorokat, illetve rangsorolási táblázatokat, amelyek az elmúlt években jelentős befolyásra tettek szert, nem szabad kutatásértékelésre használni. Ezek nem igazodnak a különböző kutatást végző szervezetek sajátos profiljaihoz és céljaihoz, ezért nem tükrözik pontosan az országok vagy intézmények minőségi kutatás végzésében nyújtott teljesítményét.
A mesterséges intelligencia (MI) kutatásértékelésben betöltött lehetséges szerepét körültekintően kell megvizsgálni. Bár az MI ígéretes lehetőségeket kínál egyes kutatásértékelési folyamatok egyszerűsítésére, hibákra és torzításokra is hajlamos, megbízhatósága pedig több olyan tényezőtől függ, amelyeket gondosan ellenőrizni kell. További munkára van szükség annak teljes körű felméréséhez, hogy az MI átlátható és felelős módon alkalmazva jelenthet-e hozzáadott értéket a kutatásértékelésben.”
Forrás:
Reforming research assessment for better science; OECD Policy Briefs, No. 56; OECD Publishing; DOI: 10.1787/f6202159-en; 2029. április 29.
Lásd még:
A FAIR-alapú és nyílt adatkörnyezet olyan adatkezelési ökoszisztéma, amely a megtalálhatóság, hozzáférhetőség, interoperabilitás és újrafelhasználhatóság (Findable, Accessible, Interoperable, and Reusable – FAIR) elveire épül, és ezeket a nyílt adatokra jellemző demokratizált, korlátozásmentes hozzáféréssel kapcsolja össze. Elősegíti az átláthatóságot és az innovációt, miközben az „amennyire csak lehet, legyen nyílt; amennyire szükséges, legyen zárt” irányelv alapján működik.
FAIR Versus Open Data: A Comparison of Objectives and Principles Open Access; Putu Hadi Purnama Jati, Yi Lin, Sara Nodehi,
Dwy Bagus Cahyono, Mirjam van Reisen; Data Intelligence; (2022) 4 (4); 867–881.o
