Meglepő fordulat a tudományban: a kutatási módszerek irányíthatják az eredményeket
Az adatfeldolgozás módszertani döntései jelentősen befolyásolhatják a tudományos kutatások eredményeit. A társadalom- és viselkedéstudományok területén az elmúlt években sok reform indult a kutatások átláthatóságának és megbízhatóságának növelésére, de az adatkezelési eljárások szerepe eddig kevés figyelmet kapott.
A statisztikai elemzés során a kutatók gyakran választanak különböző módszereket, amelyek alapvetően befolyásolják az eredményeket. Egyetlen kutatási adatállományt jellemzően egy kutatócsoport dolgoz fel, és csak egyféle elemzési útvonal kerül bemutatásra a végső publikációban. Ez a gyakorlat azonban nem tükrözi a valóságban fennálló empirikus bizonytalanságot, mivel más statisztikai döntések esetén eltérő eredmények is születhetnek.
Egy nemzetközi kutatási projekt, amelyet Aczél Balázs és Szászi Barnabás vezetett, pontosan ezt a kérdést vizsgálta. A projekt során 457 elemző 504 újraelemzést végzett 100 korábban publikált tanulmány adatain. Az elemzők ugyanazt az adatállományt használták, de teljes szabadságuk volt az elemzési módszerek megválasztásában.
A kutatás eredményei azt mutatták, hogy az azonos adathalmaz különböző elemzése eltérő következtetéseket eredményezett. Ez azt bizonyítja, hogy a módszertani döntések jelentős hatással vannak az eredményekre, és az elemzési variabilitás figyelmen kívül hagyása hamis biztonságérzetet kelthet.
A tanulmányok újraelemzései során sokféle eredmény született. Bár a legtöbb újraelemzés lényegében megerősítette az eredeti kutatások fő következtetéseit, a kapott hatásméretek és a statisztikai becslések gyakran jelentősen eltértek. Csak az esetek körülbelül egyharmadában értek el pontosan azonos eredményeket, mint az eredeti tanulmányok szerzői.
„Az eltérések nem az elemzők felkészületlenségéből fakadtak" – hangsúlyozza Szászi Barnabás. A tapasztalt statisztikusok is gyakran jutottak eltérő következtetésekre, különösen a megfigyeléses vizsgálatok esetében, amelyek kevésbé bizonyultak stabilnak a kísérleti tanulmányoknál. Ez arra utal, hogy a bonyolultabb adatstruktúrák nagyobb elemzési szabadságot, és ezzel együtt nagyobb bizonytalanságot is eredményezhetnek.
A kutatók kiemelik, hogy eredményeik nem kérdőjelezik meg korábbi kutatások hitelességét. Inkább arra világítanak rá, hogy egyetlen elemzés bemutatása nem mindig tükrözi a teljes empirikus bizonytalanságot. Ezért javasolják a több elemző bevonását és a multiverse típusú elemzések alkalmazását, különösen fontos tudományos vagy társadalmi kérdések esetén. Ezek a megközelítések nem egyetlen „igaz” választ keresnek, hanem feltárják a tudományos következtetések stabilitását vagy törékenységét.
