Psihološke studije su bile lažne u više od 50% slučajeva

2024 Autor: Seth Attwood | [email protected]. Zadnja izmjena: 2023-12-16 15:59

Postoje "snažni položaji" koji grade samopouzdanje i smanjuju hormone stresa. Kada ljudi drže šolju toplog napitka u rukama, postaju ljubazniji prema onima oko sebe. Snaga volje je resurs koji trošimo kada se odupremo iskušenju. Sposobnost odlaganja nagrade određuje budući uspjeh djeteta.

Ove izjave su vrlo slične jedna drugoj: iza njih su poznata psihološka istraživanja, popularni naučni bestseleri, kolumne u popularnim časopisima i TED razgovori.

Imaju i još jednu zajedničku stvar: ispostavilo se da su svi pogriješili.

Kriza reproduktivnosti bacila je sumnju na čitava polja nauke. Mnogi rezultati, koji su bili naširoko citirani u medijima, sada se smatraju pretjeranim ili lažnim. Kada su naučnici pokušali da repliciraju i klasične i nedavne psihološke eksperimente, rezultati su bili iznenađujuće dosledni, pri čemu je otprilike polovina slučajeva bila uspešna, a druga polovina neuspešna.

Kriza je konačno postala očigledna 2015. godine, kada su naučnici predvođeni Brianom Nosekom provjerili 100 psiholoških studija. Početne rezultate su uspjeli postići samo u 36 slučajeva. Glavni urednik Lanceta Richard Horton ubrzo je izjavio:

„Optužbe protiv nauke su prilično jasne: barem polovina naučne literature je jednostavno pogrešna. Pateći od studija sa malim uzorkom, oskudnim efektom i pogrešnim analizama, kao i opsesijom modnim trendovima sumnjivog značaja, nauka je skrenula ka neznanju.

Reproducibilnost je jedan od ključnih zahtjeva za naučno znanje. Što se rezultat bolje reproducira, to je pouzdaniji - to je jedini način da se odvoje stvarni obrasci od jednostavnih slučajnosti

Ali pokazalo se da ovaj zahtjev nije uvijek ispunjen.

Kriza je počela s medicinom, ali najviše je pogodila psihologiju. U ljeto 2018. godine, naučnici su pokušali da repliciraju izbor psiholoških studija objavljenih u Science and Nature, najprestižnijim svjetskim naučnim časopisima. Od 21 eksperimenta, samo 13 je potvrđeno – pa čak iu ovim slučajevima prvobitni rezultati su bili preuveličani za oko 50%.

Često test reproduktivnosti propadne one studije koje su bile naširoko replicirane u medijima i koje su uspjele utjecati na javnu svijest. Na primjer, djela koja pretraživači narušavaju pamćenje, a čitanje beletristike razvija sposobnost empatije. Ako ponovljeni eksperimenti ne uspiju, to ne znači da su originalne hipoteze bezvrijedne. Ali sada su potrebna bolja istraživanja da bi se oni dokazali.

Kako predvidjeti budućnost pomoću statistike

Poznati američki psiholog Daryl Boehm je 2011. godine objavio članak koji je dokazao mogućnost vidovitosti. Ovaj zaključak nije bio proizvod njegove nasilne mašte, već se temeljio na decenijama istraživanja, u koje su sudjelovale stotine ljudi. Mnogi su sumnjali da je Boehm odlučio dogovoriti nešto poput Sokalove prevare i razotkriti psihologiju lažnim člankom s namjerno apsurdnim zaključcima. Ali prema svim metodološkim standardima, članak je bio vrlo uvjerljiv.

U jednom od Behmovih eksperimenata, dva ekrana su postavljena ispred učesnika – morali su da pogode iza koje se slike krije. Slika je generisana nasumično odmah nakon odabira. Ako su učesnici dobro obavili posao, to bi značilo da na neki način mogu predvideti budućnost. U eksperimentu su korištene dvije vrste slika: neutralne i pornografske.

Boehm je sugerirao da ako šesto čulo postoji, ono vjerovatno ima drevno evolucijsko porijeklo. Ako je tako, onda je vjerovatnije da je usklađen s našim najstarijim potrebama i porivima

Učesnici su pogađali pornografske slike 53% vremena - nešto češće nego što bi trebalo da su bile čista slučajnost. S obzirom na veliki broj eksperimenata, Boehm bi mogao tvrditi da predviđanje postoji.

Kasnije su stručnjaci otkrili da je prilikom analize rezultata koristio ne sasvim ispravne metode. Po pravilu, rezultat istraživanja se smatra pouzdanim ako vjerovatnoća da je slučajno dobijen ne prelazi 5%. Ali postoji mnogo načina da se ova vrijednost svede na potrebnu razinu: promijenite početne parametre analize, dodajte ili uklonite potreban broj primjera iz uzorka, koristite uspješnije hipoteze nakon prikupljanja podataka.

Problem je u tome što su ne samo Boehm, već i mnogi drugi naučnici koristili iste tehnike. Prema istraživanju iz 2011. godine, skoro polovina psihologa je to priznala

Kada je vidoviti članak izašao, društveni naučnici Joseph Simmons, Leaf Nelson i Uri Simonson shvatili su da nauka ide ka vlastitoj propasti. Napravili su nekoliko kompjuterskih modela i otkrili da koristeći prilično standardne statističke tehnike možete nekoliko puta povećati nivo lažno pozitivnih rezultata. To znači da metode koje su formalno naučne mogu lako dovesti do potpuno apsurdnih zaključaka.

Kako bi to ilustrovali, naučnici su izveli eksperiment koji je potvrdio da slušanje pjesme "Kad mi bude šezdeset četiri" čini slušaoca godinu i po mlađim.

“Svi su znali da je pogrešno koristiti takve tehnike, ali su smatrali da je to prekršaj po svom značaju – poput prelaska puta na pogrešnom mjestu. Ispostavilo se da je to više ličilo na pljačku banke”, zaključio je Simmons.

Kako razlikovati loše istraživanje od dobrog

Ubrzo je postalo jasno da pitanja reproduktivnosti nisu ograničena na psihologiju. U istraživanju raka, naučni dokazi su podržani u 10-25% slučajeva. U ekonomiji, 7 od 18 laboratorijskih eksperimenata nije bilo moguće ponoviti. Istraživanja umjetne inteligencije također pokazuju znakove krize.

Ali gubljenje vjere u nauku, čini se, još uvijek nije vrijedno toga. Naučnici su već smislili nekoliko načina koji su uvelike poboljšali pouzdanost i kvalitetu novih istraživanja

Prije nekoliko godina gotovo niko nije objavio rezultate ponovljenih eksperimenata, čak i ako su izvedeni. To nije prihvaćeno, nije donijelo grantove i nije doprinijelo uspješnoj naučnoj karijeri. Prema istraživanju Nature, više od 70% psihologa pokušalo je i nije uspjelo da reproducira tuđa istraživanja, oko polovina nije uspjela ponoviti svoje, a gotovo niko nije tražio da ove rezultate objavi.

Kada se pojavila kriza reproduktivnosti, mnogo se toga promijenilo. Ponovljena istraživanja postepeno su postala uobičajena; eksperimentalni podaci počeli su se sve češće objavljivati u javnosti; časopisi su počeli objavljivati negativne rezultate i bilježiti cjelokupni plan istraživanja i prije nego što su počeli.

Istraživanja su postala opsežnija - uzorak od 30-40 ljudi, što je bilo sasvim standardno u psihologiji, sada odgovara malom broju ljudi. Velike međunarodne organizacije – kao što je Psychological Science Accelerator – testiraju iste hipoteze u nekoliko laboratorija širom svijeta.

Prije provjere članaka iz Nature and Science, o kojima smo pisali na početku, naučnici su zamoljeni da se klade na nagradne igre. Morali su predvidjeti koje će istraživanje proći test, a koje neuspjeh. Sve u svemu, cijene su bile vrlo tačne. "To znači, prvo, da naučna zajednica može da predvidi koji će radovi moći da se ponove, a drugo, da nemogućnost repliciranja studije nije bila puka slučajnost", kažu organizatori eksperimenta.

Naučnici su generalno dobri u razlikovanju pouzdanih od nepouzdanih istraživanja – to je dobra vijest. Sada stručnjaci Centra za otvorenu nauku zajedno sa agencijom DARPA pokušavaju kreirati algoritam koji će isti zadatak obavljati bez ljudske intervencije.

Previše je članaka objavljenih svake godine da bismo ručno ponovo provjerili čak i mali dio njih. Ako se umjetna inteligencija baci na posao, sve će biti mnogo lakše.

Već u prvim testovima, AI se uspješno nosio sa predviđanjima u 80% slučajeva.

Šta istraživanje najčešće čini nepouzdanim? Mali uzorci, nedosljednosti u brojevima, prelijepa potvrda hipoteza. I također - želja za senzacijama i previše jednostavnim odgovorima na teška pitanja.

Predobro da bi bilo istinito

Najlakši način da se stvori senzacionalno istraživanje je obmanom. Čuveni socijalni psiholog Diederik Stapel koristio je izmišljene podatke u nekoliko desetina naučnih članaka. Stapelova istraživanja su se velikom brzinom širila po novinama i časopisima, dobio je nekoliko prestižnih naučnih nagrada, objavljivan u Scienceu i smatran je jednim od najvećih stručnjaka u svojoj oblasti.

Jednom se pokazalo da Stapel dugo vremena uopće nije provodio istraživanje, već je jednostavno izmišljao podatke i davao ih studentima na analizu.

Ovo je veoma retko u nauci. Mnogo češće glasne, ali netačne izjave nastaju iz drugih razloga. Ljudi očajnički traže jednostavne, razumljive i učinkovite odgovore na uzbudljiva pitanja. Može biti vrlo lako doći u iskušenje da pomislite da imate ove odgovore, čak i ako ih zaista nemate. Težnja za jednostavnošću i sigurnošću jedan je od glavnih razloga zašto mnoge studije ne uspijevaju testirati ponovljivost. Evo nekoliko značajnih primjera.

Eksperiment sa marshmallowom

U eksperimentu, od djece je zatraženo da biraju između jedne male nagrade - poput sljeza - koja se može odmah dobiti, i dvostruke nagrade ako mogu malo pričekati. Kasnije se ispostavilo da su djeca koja su dobila drugu nagradu postala uspješnija u odrasloj dobi. Studij je postao veoma popularan i uticao na neke školske programe.

2018. eksperiment je ponovljen na širem uzorku. Ispostavilo se da je bogatstvo u porodici mnogo važniji faktor od kojeg zavisi i nivo samokontrole.

"Poze snage" i "Poze slabosti"

Učesnici eksperimenta su dva minuta zauzeli jednu od dvije poze: zavalili su se u stolicu i bacili noge na sto („poza snage“) ili prekrižili ruke na prsima („poza slabosti“). Kao rezultat toga, učesnici iz prve grupe su se osjećali sigurnije i češće su pristajali na rizik u kockanju. Oni koji su sedeli u jakom položaju povećali su nivo testosterona, a oni koji su sedeli u slabom položaju povećali su nivo kortizola. U ponovljenim eksperimentima, reproduciran je samo jedan efekat: "držači snage" pomogli su učesnicima da se osjećaju sigurnije, ali nisu promijenili njihovo ponašanje ili hormonske parametre.

Asocijacije na starost čine da se krećete sporije

Učesnici eksperimenta su zamoljeni da riješe nekoliko zagonetki. Ako bi se u njih ubacile riječi koje asociraju na starost - "zaboravan", "stariji", "usamljen" - tada su učesnici napuštali prostoriju sporijim tempom.

U nedavnim ispitivanjima, eksperiment je uspješno reproduciran samo u jednom slučaju: ako su sami eksperimentatori znali da u testovima sudionici nagovještavaju starost. Sam efekat je ostao, ali su razlozi već bili drugačiji.

Topli predmeti čine ljude prijateljskim

Učesnicima eksperimenta je bilo dozvoljeno da kratko drže šolju tople ili hladne kafe, a zatim su zamoljeni da ocijene ličnost osobe koristeći kratki opis. Učesnici koji su držali toplu kafu ocijenili su tu osobu simpatičnijom. U drugom eksperimentu, učesnici su dobili predmet u toplom ili hladnom pakovanju, a zatim su zamoljeni da ga zadrže ili daju prijatelju. Ako je predmet bio umotan u topli paket, vjerojatnije je da će učesnici izabrati drugu opciju. Ponovljeni eksperimenti sa širim uzorkom nisu dali takve rezultate. Izgleda da vas topla odjeća neće učiniti altruistom.

Snaga volje je iscrpljena kada se odupremo iskušenjima

Ispred učesnika eksperimenta postavljena su dva tanjira - sa kolačićima i rotkvicama. U prvoj grupi učesnici su mogli da jedu kolačiće, au drugoj samo rotkvice. Zatim je svaki učesnik bio zamoljen da riješi nemoguću zagonetku. Učesnici koji su jeli samo rotkvice u prvom dijelu eksperimenta odustali su mnogo ranije od ostalih. U ponovljenim eksperimentima, rezultati nisu potvrđeni.

U nekim slučajevima, sposobnost samokontrole se nije iscrpljivala, već se vremenom čak intenzivirala. Mnogi psiholozi danas smatraju koncept "snage volje" previše pojednostavljenim.

Mnogo je već urađeno u svjetskoj psihologiji kako bi istraživanja bila pouzdanija i ponovljiva. U Rusiji ovaj problem tek treba da se shvati.

„U ruskoj psihologiji, problemi krize uglavnom se tiču naučne omladine, koja je u velikoj meri orijentisana na zapadnu nauku“, rekao je za Knife Ivan Ivančej, vanredni profesor na RANEPA. - Kontrola kvaliteta publikacija na ruskom jeziku uglavnom nije visoka. Časopisi rijetko odbijaju članke, pa se objavljuje mnogo nekvalitetnih istraživanja. Često se koriste mali uzorci, što također smanjuje vjerovatnoću uspješne reprodukcije. Postoji sumnja da se, ako se ozbiljno pozabavi pitanjem ponovljivosti djela na ruskom jeziku, mogu otkriti mnogi problemi. Ali niko nije direktno umešan u ovo."

U januaru 2019. postalo je poznato da će ruska vlada značajno proširiti zahtjeve za naučnike u pogledu broja publikacija: minimalni broj članaka objavljenih godišnje trebao bi porasti za 30-50%.

Naučnici iz uticajnog akademskog „Kluba 1. jula” kritikovali su inicijativu: „Zadatak nauke nije da proizvede maksimalan broj publikacija, već da istražuje univerzum i koristi znanje stečeno za čovečanstvo”. Najvjerovatnije će novi zahtjevi samo povećati obim problema.

Priča o krizi reproduktivnosti nije priča o nadolazećoj apokalipsi i invaziji varvara. Da nije došlo do krize, sve bi bilo mnogo gore: i dalje bismo se pozivali na pogrešna istraživanja s punim povjerenjem da znamo istinu. Možda se vrijeme hrabrih naslova poput "Britanski naučnici dokazali" bliži kraju. Ali glasine da je nauka mrtva treba smatrati pomalo pretjeranim.