Esiste una crisi di replica nella psicologia sperimentale?

wikicommons
Fonte: wikicommons

Una crisi di replica?

La pubblicazione dello scorso anno su Science di uno studio sulla replicabilità delle scoperte in psicologia sperimentale ha suscitato costernazione in tutti i campi pertinenti. Duecentosettanta ricercatori associati a The Open Science Collaboration hanno tentato di replicare i risultati di un centinaio di articoli provenienti da riviste leader di tutta la psicologia sperimentale, ma sono stati in grado di ottenere repliche incontrovertibili solo nel trentanove percento dei casi. Quel numero, ovviamente, è molto al di sotto del numero che ci si aspetterebbe sulla base degli standard statistici convenzionali per la ricerca pubblicabile.

Questo documento non fa che aumentare la preoccupazione per la solidità metodologica di molte ricerche scientifiche, poiché i tassi di ritrazione degli articoli pubblicati tra le riviste sono aumentati nella maggior parte delle scienze nell'ultimo decennio. La preoccupazione generale è che la pressione sugli scienziati non solo di pubblicare, ma di pubblicare nuove scoperte sorprendenti, è allettante per alcuni a tagliare angoli di tanto in tanto nella loro ricerca. I commentatori hanno avanzato una varietà di proposte sulle pratiche problematiche che possono portare a un'incapacità di replicare alcuni risultati, compreso un numero insufficiente di partecipanti sperimentali o presentare un'ipotesi formulata sulla base di modelli scoperti nelle scoperte dopo il fatto come se fosse l'ipotesi originale sotto studio.

Il contesto è importante?

In un recente articolo sul New York Times , Jay Van Bavel, ha descritto la ricerca che lui e i suoi colleghi hanno affrontato. Era finalizzato ad accertare se le differenze tra i contesti in cui venivano eseguite le repliche tentate, da una parte, e i contesti dei cento studi originali, dall'altra, poteva essere una considerazione critica nello spiegare perché il tasso di replicazione era così basso. I contesti in cui sono stati condotti gli studi di tentativo-replicazione differiscono in modo critico dagli esperimenti originali in modo da ridurre le probabilità di ottenere repliche?

I fattori contestuali comprendono cose come le differenze temporali, culturali, geografiche e demografiche. Uno studio è stato condotto prima della Grande Recessione mentre l'altro è stato realizzato dopo? I partecipanti erano in uno studio cinese ma i partecipanti al tentato tentativo di replica canadesi? La ricerca originale è avvenuta in una grande città, mentre lo studio corrispondente si è svolto in una piccola città? I partecipanti al primo studio erano studenti universitari privati ​​e d'élite, ma i partecipanti alle seconde madri single di mezza età, senza lavoro, chiedono i buoni pasto? Il punto non è che qualcuno possa sapere in anticipo che tali variabili influenzeranno i risultati degli studi. È solo che i risultati di alcuni studi, dato il carattere degli argomenti che stanno esplorando, potrebbero sembrare più probabili di altri ad essere influenzati da tali questioni contestuali.

Esplorare il ruolo del contesto

Van Bavel ei suoi collaboratori hanno arruolato programmatori con formazione in psicologia sperimentale per valutare la relativa sensibilità al contesto dei cento esperimenti. Ognuno dei codificatori ha letto gli estratti di cinquanta dei fogli e li ha valutati su una scala da uno a cinque per quanto riguarda il modo in cui ritenevano che gli studi fossero sensibili al contesto. La sostanziale coincidenza dei giudizi dei valutatori di venticinque studi selezionati a caso che tutti i valutatori hanno valutato, ha indicato che stavano valutando gli studi in modo simile. Van Bavel e i suoi collaboratori hanno calcolato le valutazioni medie della sensibilità al contesto degli studi e hanno misurato la loro correlazione con le repliche riuscite.

Fondamentalmente, gli studi con i punteggi di sensibilità al contesto più bassi erano significativamente più probabilità di essere replicati con successo. Le valutazioni della sensibilità al contesto degli studi si sono rivelate un fattore predittivo influente anche dopo aver consentito una varietà di fattori che sono stati precedentemente collegati nella letteratura di psicologia sperimentale con successo di replica. La misura di sensibilità al contesto ha anche fatto un buon lavoro di previsione degli undici studi tra i cento per i quali gli investigatori originali hanno espresso preoccupazione in merito ai tentativi di replicarli. Di fronte al sospetto che tali autori avessero registrato le loro preoccupazioni, poiché hanno riconosciuto i punti deboli degli studi, un'ulteriore analisi ha rivelato che solo la misura della sensibilità del contesto, tra la varietà di caratteristiche dello studio precedentemente associate alla previsione del successo della replicazione, si è dimostrata un fattore predittivo significativo se un autore ha espresso tali preoccupazioni.

La linea di fondo è che, una volta che i ricercatori si occupano del ruolo critico che le variabili contestuali possono giocare nei risultati degli esperimenti psicologici, le voci su una crisi di replicazione nella psicologia sperimentale possono essere alquanto esagerate.

Solutions Collecting From Web of "Esiste una crisi di replica nella psicologia sperimentale?"